1. چرا Googlebot فایل robots.txt را درخواست می کند در حالى که این فایل در سرور من نیست؟
Robot.txt یک سند استاندارد است که به روبات گوگلی میگوید چه اطلاعاتی از سرور وب شما را ذخیره نکند.

2. چرا Googlebot می کوشد پیوندهای نادرست را از سرور من دریافت کند؟
این که تعداد زیادی از LINKها از بین رفته باشد و یا اینکه هیچگاه وجود نداشته بودند، یک خصوصیت وب است. زیرا ممکن است یکی اشتباها به سایت شما اشاره کند و یا نتواند صفحاتش رو برای هماهنگی با تغییرات به روز کند. روبوگوگلی برای ذخیره پیوندهای غلط سایت شما هم زور خواهد زد! به همین خاطر ممکن است نتایج مربوط به ماشینی را ببینید که هرگز وجود نداشته است.

3. چرا Googlebot اطلاعاتى را از وب سرور "پنهانی" ما دریافت می کند؟
تقریبا غیر ممکنه که بتونید با منتشر نکردن پیوند، سایت خودتون را مخفی نگه دارید. چون به زودی یکی پیدا میشود و آدرس سایت شما را در سایت دیگه ای قرار میدهد. پس حالا امکان ذخیره اون توسط وب سرور مهیا شده و از این طریق است که دیر یا زود روبوگوگلی یا دیگر ابزارهای مشابه سایت شما را پیدا خواهند کرد!

4. چرا Googlebot از فایل robots.txt من پیروی نمی کند؟
برای صرفه جویی در پهنای باند، روبوگوگلی روزی یک بار و یا موقعی که تعداد زیادی صفحه از روی سرور برمیدارد؛ Robot.txt را میخواند. بنابراین مدتی طول می کشد تا روبوگوگلی تغییرات Robot.txt شما را متوجه شود. در ضمن Google روی تعداد زیادی از ماشین ها قرار دارد که هر کدوم Robo.txt را به طور مجزا نگه میدارند. یادتون باشه مه گرامر صحیح را با استاندارد که در http://www.robotstxt.org/wc/norobots.html واقع شده، تطبیق بدهید. اگه با همه این کارها بازهم مشکل حل نشد، به ما بگویید تا ما اون رو درست کنیم.

5. چگونه سایت خود را درGooglebot ثبت کنم تا فهرست برداری شود؟
ما هر بار که وب را می کاویم بدون نیاز به انجام کاری از جانب شما سایتهای جدید را به فهرست خود اضافه می کنیم.شما هم می توانید سایت خود را از طریق فرم اضافه کردن آدرس به اطلاع ما برسانید.

6. چگونه سایتی را ازفهرست گوگل حذف کنم؟
Google تمام اطلاعات خود را به صورت اتوماتیک و طبق یک برنامه زمان بندی مشخص به روز می کند.وقتی که ما به وب سر می کشیم ، صفحات جدید را پیدا می کنیم همچنین لینکهای مرده را حذف می کنیم و لینکها را به صورت اتوماتیک به روز می آوریم.لینکهایی که در حال حاضر تاریخشان قدیمی شده است را اقلب در مرور آینده از مجموع اطلاعات حذف می کنیم.برای اطلاعات بیشتر لطفا اینجا را انتخاب کنیذ.

7. چرا در Google.com دسترسیهایى از چندین ماشین با حالت user-agent از Googlebot وجود دارد؟

Googlebot به طریقی طراحی شده است که بر روی چندین ماشین مختلف اجرا شود به این ترتیب کارایی سیستم همزمان با بزرگتر شدن وب بهتر می شود.همچنین ، برای کاهش استفاده از پهنای باند ما ترجیح می دهیم که از روبوتهایی استفاده کنیم که بر روی ماشینهایی قرار داشته باشند که به سایتی که می خواهیم به لیست اضافه کنیم نزدیکتر باشد.