Конечный путеводитель по бот-пастбищам и паукам

Это часть 1 серии из трех частей.

Мы обычно думаем о поисковой оптимизации по отношению к людям: какие запросы используют мои клиенты?

Как я могу привлечь больше блоггеров для ссылки на меня?

Как я могу заставить людей оставаться дольше на моем сайте?

Как я могу добавить больше ценности для жизни и бизнеса моих клиентов?

Так оно и должно быть.

Но даже несмотря на то, что мы живем в мире, на который все больше воздействуют нечеловеческие акторы, такие как машины, искусственный интеллект (AI) и алгоритмы, мы часто забываем, что большая часть оптимизации веб-сайта не имеет ничего общего с людьми.

На самом деле, многие посетители веб-сайта, которые нам нравятся, на самом деле являются роботами, и мы игнорируем их в нашей опасности!

Что такое бот, так или иначе?

Бот (также известный как паук или искатель) – это просто часть программного обеспечения, которое Google (или другая компания) использует для поиска в Интернете и сбора информации или выполнения автоматизированных задач.

Термин «бот» или «паук» немного вводит в заблуждение, так как предполагает некоторый уровень интеллекта. В действительности, эти искатели на самом деле не делают большого анализа. Боты не определяют качество вашего контента; это не их работа. Они просто следуют ссылкам по сети, перекачивая содержимое и код, которые они доставляют другим алгоритмам для индексирования.

Затем эти алгоритмы берут информацию, которую собирал искатель, и хранят ее в массивной распределенной базе данных, называемой индексом. Когда вы вводите ключевое слово в поисковую систему, именно эта база данных вы ищете.

Другие алгоритмы применяют различные правила для оценки содержимого в базе данных и определяют, где универсальный указатель ресурсов (URL) должен быть помещен в ранжирование для определенного поискового запроса. Анализ включает в себя такие вещи, как ключевые слова, связанные с ключевыми словами, на странице, количество и качество обратных ссылок и общее качество контента.

К настоящему времени вы, вероятно, понимаете, почему важно оптимизировать ботов.

Хотя искатель не определяет, будет ли ваш сайт отображаться в результатах поиска, если он не может собрать всю необходимую ему информацию, ваши шансы на ранжирование довольно тонкие!

Итак, как вы пресекаете всех этих искателей и направляете их туда, где они должны быть? И как вы даете им именно то, что они ищут?

Прежде всего: понимание бюджета на обход

Если вы хотите оптимизировать свой сайт для ботов, сначала вам нужно понять, как они работают. Вот где ваш «бюджет сканирования» входит.

Бюджет обхода – это термин поисковой оптимизации (SEO), разработанный для описания ресурсов, которые поисковая система выделяет для обхода определенного сайта. По сути, чем более важна поисковая система, но и ваш ресурс, тем больше ресурсов, которые он будет использовать для сканирования, и тем выше ваш бюджет на обход.

В то время как многие комментаторы пытались найти точный способ вычисления бюджета на обход, на самом деле нет никакого способа разместить конкретное число.

После того, как этот термин стал популярным, Google взвесил с объяснением, что означает бюджет обхода для робота Googlebot. Они подчеркивают два основных фактора, которые составляют ваш бюджет на обход:

  • Предел скорости обхода : скорость, с которой робот Googlebot может сканировать сайт, не ухудшая опыт своих пользователей (в зависимости от емкости вашего сервера и т. Д.).
  • Спрос на сканирование: исходя из популярности определенного URL-адреса, а также того, как «устаревший» контент по этому URL-адресу находится в индексе Google. Чем популярнее URL-адрес, тем выше спрос, и чем больше он обновляется, тем чаще Google должен обходить его.

Другими словами, ваш бюджет на обход будет зависеть от ряда факторов, в том числе от того, сколько трафика вы получите, легкость, с которой поисковая система может сканировать ваш сайт, скорость вашей страницы, размер страницы (использование полосы пропускания), как часто вы обновляете ваш сайт, соотношение значимых и бессмысленных URL-адресов и т. д.

Чтобы узнать, как часто Googlebot сканирует ваш сайт, просто перейдите в раздел «Сканирование: Сканирование» в Google Search Console. Эти диаграммы / графики предоставляются бесплатно от Google, и, действительно, они полезны, но они дают ужасно неполную картину активности бота на вашем сайте.

В идеале вам необходимо проанализировать файлы журналов сервера с помощью программы, такой как OnCrawl или Screaming Frog Log Analyzer.

Важно помнить, что Google Search Console (GSC)  не  является анализатором журналов сервера. Другими словами, веб-мастера не могут загружать журналы сервера в GSC для анализа  всех  посещений ботов, включая Bingbot.

Есть несколько важных вещей, которые следует учитывать при оптимизации бюджета обхода:

  • Частота обновлений сайта. Если вы запускаете блог, который обновляется раз в месяц, не ожидайте, что Google разместит высокий приоритет при сканировании вашего сайта. С другой стороны, громкие URL-адреса с высокой частотой обновлений (например, домашняя страница HuffPost, например) могут сканироваться каждые несколько минут. Если вы хотите, чтобы Googlebot чаще сканировал ваш сайт, чаще кормите его.
  • Нагрузка хоста. Хотя Google хочет регулярно сканировать ваш сайт, он также не хочет нарушать работу пользователей. Высокая частота обходов может привести к большой нагрузке на ваши серверы. Как правило, сайты с ограниченной пропускной способностью (например, на общем хостинге) или необычно большие веса страниц сканируются реже.
  • Скорость страницы. Медленное время загрузки может повлиять на ваш рейтинг и убрать пользователей. Он также блокирует сканеры, которые должны быстро собирать информацию. Медленное время загрузки страницы может привести к быстрому удару ботов и скорому переходу на другие сайты.
  • Ошибки сканирования . Проблемы, такие как таймауты серверов, 500 ошибок сервера и другие проблемы доступности сервера, могут замедлить работу ботов или даже помешать им полностью сканировать ваш сайт. Чтобы проверить наличие ошибок, вы должны использовать комбинацию инструментов, таких как Google Search Console, Deep Crawl или Screaming Frog SEO Spider (не путать с Screaming Frog Log Analyzer). Перекрестные ссылки, и не полагайтесь только на один инструмент, поскольку вы можете пропустить важные ошибки.

 

Оставить ответ