0Ви дізнались тільки
% інформації

Googlebot пробує сканувати 16 млн заблокованих сторінок. Що робити?

Generic selectors
Exact matches only
Search in title
Search in content
Search in posts
Search in pages

Мене звати Андрій Чорний і зараз я розкажу що робити, якщо Google сканує заблоковані сторінки. Недавно мені колеги надіслали інформацію, що є проблема з сайтом. Проблема полягала у тому, що Google сканує 700 000 – 16 000 000 дубльованих сторінок.

Що у нас є по вступній частині цього сайту?

Ніяких проблем немає, все зроблено логічно, тобто спамів не виявлено чи проблем у помилках SEO.

  1. Сайту один рік. З ним почали працювати у 2019 році.
  2. Тематика достатньо потужна, оскільки зараз він займає багато де перші місця у ТОП Google.
  3. У посиланнях спаму немає.
  4. Все закрито в Robots.txt та meta noindex.
  5. XML карта сайту добре зроблена.

Сайт займає перші місця, за останній рік зріс в 10 раз.

Які відбуваються дії при аналізі сканування сторінок Google?

Дія 1. Google сканує заблоковані сторінки, цифра сягає 16 000 000. Сторінки ростуть кожні 6 днів і тут написано, що ці всі сторінки заблоковані. Не зрозуміло чому так.

Дія 2. У логах виявлено велику кількість ІР Googlebot на сервері. Все решта, що ми перевіряли дійсно є у запитах від Google.

Дія 3. Інформація по самих логах, очевидним є те, що 19067 сторінок це приблизно 26 рядків на одну сторінку. Це майже півмільйона запитів від Google за день.

Дія 4. На сервері шалено росте в навантаження. Якщо у звичайний день це було 30-34, то зараз навантаження зросло понад 1000 разів. Дякуючи спеціалістам та правильним налаштуванням, сервер витримав це. Факт того, що немає жодної 503 помилки. Налаштування зроблено зрозуміло і логічно. Сервер Ukraine, я його рекомендую, вже багато років використовуємо і все супер.

Дія 5. Виявлено дивні посилання. З прикладу видно, що фільтра незвично сформовані, оскільки сегментів 28. Тобто, якщо буде на 1-2 менше слешів, виходить 25-26 сегментів залежить від розміру. Дуже дивні посилання виходить, що Google заходить дуже далеко, насправді такого не буває. На інших проєктах такого немає, подивившись на інші сайти у всіх є така ситуація, але з набагато меншими об’ємами 10-100 тис. сторінок, але не 16-22 млн. У всіх можна таке згенерувати та виходить, що тут зразу появляється багато “але”, як таке могло статись? Іноді буває, що SEO спеціаліст складно просуває 3-4-5 рівень, а тут 25 рівень від головної сторінки. Це дуже глибоко. По справді Google немає так глибоко дивитись і тут виникає здогадка, що хтось спеціально це зробив, тобто конкуренти могли це заспамити. При перевірці було виявлено посилання з двома слешами, а отже посилання й справді могли згенерувати.

Розглянувши позиції, тут наочно можна побачити цифру 19,3. А це означає, що дуже багато запитів у ТОП 10, достатньо великий об’єм трафіку.

Які можуть бути у цьому рішення?

  1. Перевірити на сайті Plerdy, під’єднавши SEO checker. Ще раз перевірити сайт, якщо у вас відбулась така ситуація і шукати якісь певні аномалії.
  2. Просто чекати, коли спаде навантаження через деякий час, але це поганий варіант.
  3. Додати ще noindex nofollow. Можливо додати ще один захист, оскільки Google бачить додатково індекс, який налаштовується на сервері. Чесно, ми його додали, але навантаження не зменшилось, хоча деякі спеціалісти говорили, що воно може зменшити навантаження.
  4. Обмежити запити в секунду від Googlebot, було 8, зробили 2. Ця річ гарно спрацювала, хоча не суттєво, але було отримано певний результат. Хоча суттєвих проблем з сервером не було.
  5. Подати звіт про баги Googlebot, зробили. Це також було зроблено. Посилання залишу внизу:
  6. Під’єднати сервіс Cloudflare. Ще один варіант, оскільки ми перевірили, але не всі ІР адреса, тобто вони десь можуть попадатись від спамерів. Це можуть бути псевдо Googlebot, тому потрібно підключати Cloudflare. Це дуже класний сервіс від ДОС атаки. Коли ми його підключали, він дійсно дуже гарно спрацював, блокує частину ботів, хороших ботів він не блокує. І просування на основі нього іде без проблем.

Коли є такий ризик все одно потрібно щось робити. Що б тут не спрацювало, якби не було – це сервер. Якщо сервер у вас дуже слабкий, то ви втратите високі позиції, а також можна б було отримати багато 503 помилок, тобто ви б втратили б прибуток.

Якщо у Вас виникли запитання, залишайте коментарі чи пишіть мені у соціальних мережах:

Я з радістю Вам відповім та допоможу покращити конверсію Вашого інтернет-магазину.

Задати запитання

Залишіть запитання чи коментар до статті:

Your email address will not be published. Required fields are marked *