Семальт: Как Google знает, когда (и почему) прекратить сканирование вашего сайта?

Google-пауки так же важны, как и сама SEO-кампания при маркетинге сайта. Они сканируют веб-сайты и индексируют контент со всех найденных страниц. Он также выполняет переиндексацию на обновленных страницах сайта. Он делает это на регулярной основе, основываясь на нескольких факторах. Они включают, но не ограничиваются, PageRank, ограничения на сканирование и ссылки, найденные на странице. Количество случаев, когда пауки Google сканируют сайт, зависит от одного или нескольких из этих факторов.

Веб-сайт должен быть легко ориентируем как для посетителей, так и для пауков сканирования Google. По этой причине наличие сайта, удобного для сканирования, является дополнительным преимуществом для SEO-кампании. В противном случае Google не сможет получить доступ к контенту, что приведет к снижению рейтинга сайта на странице рейтинга в поисковых системах .

Росс Барбер (Ross Barber), менеджер по работе с клиентами компании Semalt , определяет, что двумя из наиболее важных факторов индексации, на которые Google полагается, чтобы повлиять на свое решение о замедлении или прекращении сканирования вашего сайта, являются время соединения и код состояния HTTP. Другие включают команду disavow, теги "no-follow" и robots.txt.

Время подключения и коды состояния HTTP

Коэффициент времени подключения относится к количеству времени, которое требуется роботу для сканирования Google, чтобы достичь сервера сайта и веб-страниц. Google высоко ценит скорость, так как она свидетельствует о хорошем пользовательском опыте. Если веб-страница не оптимизирована по скорости, тогда рейтинг сайта будет низким. Пауки Google будут пытаться добраться до веб-сайта, и, если время, затрачиваемое на создание соединения, больше, оно отходит назад и сканирует его реже. Кроме того, если Google подтолкнет к индексации веб-сайта с текущей скоростью, это может помешать работе пользователя, поскольку это может значительно замедлить работу его сервера.

Второй фактор индексации - это коды состояния HTTP, которые указывают, насколько хорошо сервер отвечает на запрос на сканирование сайта. Если коды состояния находятся в диапазоне 5xx, то Google берет на себя обязательство остановить или отложить скорость, с которой они сканируют текущий сайт. Все, что находится в диапазоне 5xx, является индикатором возможных проблем с сервером, и что ответ на запрос может быть проблематичным. Из-за риска возникновения дополнительных проблем, боты Google отойдут в сторону и проведут индексацию, когда сервер станет более доступным.

Когда Google возобновляет сканирование сайта?

Google верит в предоставление пользователям наилучшего опыта и оценивает сайты, которые оптимизируют свои элементы SEO, к этим целям. Однако, если в настоящее время на сайте обнаружены проблемы, упомянутые выше, он даст команду своему роботу Google попытаться сканировать его позднее. Если проблемы сохранятся, владелец упустит прекрасную возможность, чтобы Google просмотрел его содержание и присвоил ему заслуженное место в результатах поиска. В дополнение к этим проблемам, при любых признаках спама сайт будет заблокирован, чтобы он никогда не появлялся в результатах поиска.

Как и все другие алгоритмы, которые использует Google, его пауки также являются автоматическими. Они разработаны для поиска, сканирования и индексации содержимого на основе определенных параметров. Если сайт не соответствует определенным рекомендациям, индексация не произойдет. Существует множество других факторов, но не забывайте уделять пристальное внимание времени подключения и HTTP-кодам состояния вашего сайта.