Маркетолог того же центра IELTS вставляет адрес страницы курса в строку проверки URL в Search Console. Ответ короткий: «URL нет в индексе Google». Страница при этом открывается, форма записи работает, реклама в Google и Instagram ведёт сюда каждый день. Ниже, в поле «Индексирование разрешено?», стоит «Нет», и указано, чем запрещено: метатегом robots с правилом noindex.
Откуда взялся запрет, выясняется за один звонок разработчику. Когда сайт переделывали, новую версию собирали на тестовом адресе и закрыли от поисковиков, чтобы черновик не попал в выдачу. При переносе запрет убрали из шаблона главной, а шаблон внутренних страниц, на котором сделаны курс, расписание и страницы преподавателей, забыли. Посетителю это не мешает: тег читают только роботы. Поэтому главная находится по названию центра, а страницы курса в Google нет совсем.
Страница открывается, но её нет в индексе
- Проверяемая страница
- Курс IELTS
| Проверка | Что видно |
|---|---|
| В браузере | Страница открывается, форма записи работает |
| Проверка URL | URL нет в индексе Google |
| Индексирование разрешено? | Нет |
| Причина | Метатег robots: noindex |
Робот должен прочитать noindex. При запрете сканирования в robots.txt он его не увидит.
Что проверяет технический аудит
Про каждую важную страницу аудит отвечает на три вопроса. Может ли робот её получить: не закрыта ли она в robots.txt, что отвечает сервер, ведут ли на неё ссылки. Можно ли ей в индекс: нет ли noindex, не считает ли поисковик её копией. И видит ли робот то же, что человек на телефоне. Когда на все три ответ «да», дальше решает содержание страницы, и это уже работа on-page.
Начинают не с самой страницы, а с двух отчётов, где поисковики сами пишут, что у них не так. В Search Console это отчёт об индексировании страниц: сколько страниц проиндексировано и по какой причине не проиндексированы остальные. В Яндекс Вебмастере это «Индексирование» → «Страницы в поиске», вкладка «Исключенные страницы», где у каждой страницы стоит статус вроде «Запрещено элементом noindex» или «Дубль».
Google знает 38 адресов сайта центра:
| Причина в отчёте | Страниц | Что это у центра | Что делать |
|---|---|---|---|
| Проиндексировано | 14 | Главная, статьи, контакты | Ничего |
| Страница содержит директиву noindex | 6 | Курс, расписание, пробный урок, три страницы преподавателей | Убрать запрет из шаблона, срочно |
| Не найдено (404) | 11 | Адреса старого сайта | Три адреса со ссылками перенаправить, остальные оставить |
| Страница с переадресацией | 4 | Адреса с http, которые ведут на https | Ничего, так и задумано |
| Страница просканирована, но пока не проиндексирована | 3 | Короткие новости «Набор в группу» прошлых лет | Не срочно |
Не каждая строка в таком отчёте - поломка. По справке Google, в индексе должны быть не все страницы сайта, а только основные версии, а страница со статусом «просканирована, но пока не проиндексирована» может попасть туда позже, и заново отправлять её не нужно. У Яндекса похожий статус - «Малоценная или маловостребованная страница». Старые новости о наборе центру в поиске и не нужны.
Срочная строка одна: шесть страниц с noindex, среди них все, где можно записаться.
robots.txt, noindex и canonical: три разные настройки
| Настройка | Что делает | Чего не делает |
|---|---|---|
| robots.txt (Google, Яндекс) | Запрещает роботу сканировать адреса | Не убирает страницу из поиска: адрес, на который ведут ссылки, может попасть в выдачу без описания |
noindex в метатеге или в заголовке X-Robots-Tag (Google, Яндекс) | Убирает страницу из поиска, когда робот её прочитал | Не действует, если страница закрыта в robots.txt: робот не увидит запрет |
| canonical | Подсказывает, какую из похожих страниц считать основной | Не перенаправляет посетителя и не обязывает поисковик |
У центра запрет стоит в <head> страницы, в таком виде:
Личный кабинет ученика не закрывают ни тем ни другим, его закрывают паролем.
Canonical - подсказка. Сильнее всего на выбор основной версии влияют 301-й редирект и rel="canonical", слабее всего адрес в sitemap, и Google может выбрать не ту версию, что указали вы. Его выбор показывает проверка URL, где рядом стоят «Каноническая страница, выбранная пользователем» и «Каноническая страница, выбранная Google» (инструмент проверки URL). Ставить canonical всех страниц курсов на главную нельзя: если поисковик послушается, из поиска уйдут как раз те страницы, где записываются.
Sitemap помогает найти страницу, но не индексирует её
Файл Sitemap - список адресов, которые вы хотите видеть в поиске. Он помогает роботу найти страницы, особенно на новом сайте, на который ещё мало ссылок. Адрес в sitemap не обещает ни сканирования, ни индексирования, а сайту примерно до 500 страниц, где на все важные страницы есть ссылки, он может быть и не нужен (обзор файлов Sitemap).
В sitemap центра 20 адресов, и шесть из них - те самые страницы с noindex. Файл говорит роботу «эта страница важна», страница говорит «не индексируй», и побеждает страница. Отправить sitemap ещё раз предложил разработчик, но это ничего не исправит: список адресов не отменяет запрет на самой странице.
Тот же порядок действий годится, когда новая статья есть в sitemap, а в поиске её нет. Отдельно выясняют три вещи: открывается ли страница роботу (ответ 200, не закрыта в robots.txt), разрешено ли её индексировать (нет noindex, canonical указывает на неё саму) и есть ли на ней что индексировать (не пустая, не копия другой). А менять адрес статьи, чтобы «пнуть» поисковик, бесполезно: новый адрес - это новая страница, которую снова нужно найти, а старый превращается в 404 или в редирект.
Ответы сервера и старые адреса
Удалённая насовсем страница отвечает кодом 404 или 410, и Google такие адреса не индексирует, а проиндексированные убирает. Хуже, когда на удалённом адресе красивая страница «Не найдено» с кодом 200: в отчёте это «Ложная ошибка 404». Редиректы 301 и 308 Google считает сильным сигналом, что новая страница заменила старую, 302 и 307 слабым, поэтому при переезде ставят 301.
У центра 11 адресов старого сайта отвечают 404. Восемь никому не нужны: старые новости и акция прошлого года. На три ведут ссылки из постов в Instagram и с форума поступающих, одна из них - бывшая страница курса. Их перенаправляют 301-м редиректом на новые страницы.
Мобильная версия и скорость
Google сканирует и оценивает сайт в мобильной версии, поэтому основной текст на телефоне должен быть тот же, что на компьютере. Длинные блоки можно спрятать в раскрывающиеся списки, но не удалять.
Скорость меряют тремя показателями Core Web Vitals. Хорошо, когда самый крупный элемент первого экрана загружается за 2,5 секунды (LCP), страница откликается на нажатие быстрее 200 миллисекунд (INP) и вёрстка почти не прыгает при загрузке (CLS меньше 0,1) (Core Web Vitals у Google). Эти показатели используют системы ранжирования Google, но показывает он всё равно самую подходящую по смыслу страницу, даже если с удобством у неё хуже (удобство страницы). Поэтому скорость чинят после индексации, а не вместо неё.
Страницу проверяют в PageSpeed Insights, который кроме реальных данных делает лабораторный замер Lighthouse. У центра он показывает на телефоне LCP 4,8 секунды на странице курса: вверху стоит фотография класса весом 3 МБ. Сжать её - задача на час, но после noindex.
Задача разработчику и проверка после исправления
«Почините SEO» разработчик не сделает, потому что не знает, что чинить. Задача, которую можно проверить, выглядит так:
- Где. Страница курса и ещё пять страниц на том же шаблоне, адреса списком.
- Что нашли. Метатег
robotsсnoindexв<head>. Видно в коде страницы и в проверке URL Search Console, дата проверки такая-то. - Что должно быть. На шести страницах нет
noindex, сервер отвечает 200, canonical указывает на саму страницу. На тестовом адресе запрет остаётся. - Как проверим. Проверка URL в режиме «Проверить страницу на сайте» показывает «URL доступен Google», в коде шести страниц нет
noindex.
Отдельной строкой в той же задаче: три старых адреса перенаправить 301-м редиректом, фотографию сжать.
После исправления маркетолог запускает «Проверить страницу на сайте», убеждается, что запрета нет, и один раз нажимает «Запросить индексирование». Сканирование занимает от нескольких дней до нескольких недель, и повторные запросы его не ускоряют (как запросить повторное сканирование). Положительный результат проверки на сайте индексации тоже не обещает: в справке инструмента проверки URL сказано, что проверки, которая гарантирует индексацию, не существует. В Вебмастере те же шесть адресов отправляют на переобход страниц, и по справке Яндекса индексирование занимает от 3 до 7 дней.
Через две-три недели маркетолог открывает отчёт об индексировании и смотрит, ушли ли шесть адресов из строки с noindex. Дальше показы по запросам про курсы зависят уже от содержания страницы.
Чек-лист технического аудита
Пройдите его на сайте своего проекта или клиента. На сайте в 20-30 страниц это занимает около часа.
Выполнено 0 из 11
Пункты в списке неравноценны. Всё, что не пускает продающую страницу в индекс, чинят в первую очередь: noindex, запрет в robots.txt, ошибка сервера, canonical на чужую страницу. Старые адреса и дубли идут вторыми, скорость третьей. Если продающие страницы в индексе, а сайт тормозит, порядок меняется, но такое решение принимают по замеру, а не по ощущению. В итоге у вас должна получиться короткая задача для разработчика по образцу выше: где, что нашли, что должно быть и как проверите.
Видео: robots, sitemap и canonical
Видео на русском, взгляд со стороны разработчика сайта.