Часте сканування сайту повязано з неправильною структурою URL

32

Від автора: часте сканування сайту пошуковим ботом може бути пов’язано з проблемами в структурі URL-адрес. А також з тим, що ресурс складається з сторінок, які містять унікальний, але схожий контент. Про це розповів представник пошуку Google.

Нещодавно на форумі підтримки пошукової системи обговорювалося питання, пов’язане зі зміною швидкості проходження краулером Google безлічі піддоменів за раз. Один з вебмайстрів звернувся в Google Webmaster Central Help з проханням допомогти вирішити цю проблему.

Він пояснив, що його сайт складається з тисячі різних піддоменів, що працюють на одній групі серверів. Щодня пошуковий робот Google робить більше 8 млн. проходів по сайту, що негативно позначається на продуктивності ресурсу.

Щоб зменшити навантаження на систему, вебмайстру необхідно змінювати налаштування кожного з тисячі піддоменів. І повторювати цю процедуру через з місяці.

Джон Мюллер порадив для вирішення цього питання надіслати запит команді, яка відповідає Google за сканування вмісту сайтів. Крім цього можна здійснити налаштування сервера, щоб він повертав пошуковому роботу помилку 503. А також перевірити, які URL-адреси сканує краулер.

Мюллер зазначив, щоб проблеми зі скануванням часто виникають на тих ресурсах, сторінки яких містять унікальний, а багато в чому схожий контент. Або якщо структура URL сайту є проблемною.