TL;DR
- Техническое SEO отвечает за то, чтобы поисковик мог найти страницу, открыть ее, понять основной контент, выбрать правильную версию URL и безопасно показать ее в выдаче.
- Самые частые блокеры: закрытая индексация, ошибки robots.txt, неправильный canonical, дубли, битые ссылки, медленная мобильная версия, тяжелый JavaScript и хаос в статус-кодах.
- Sitemap помогает поисковику узнать о важных URL, но не гарантирует индексацию.
robots.txtуправляет обходом, но не всегда решает вопрос показа URL в поиске. Для удаления из индекса нужны другие механики.- Техническое SEO должно проверяться регулярно, потому что релизы сайта, CMS, фильтры каталога и скрипты аналитики легко ломают индексацию.
Зачем это нужно
SEO часто обсуждают через тексты, ключевые слова и ссылки. Но поисковик не сможет оценить контент, если не доберется до страницы или увидит неправильную версию. Техническое SEO - это инфраструктура органического трафика.
Представьте интернет-магазин с хорошими категориями и полезными описаниями. Если фильтры создают тысячи дублей, карточки возвращают ошибки, мобильная версия грузится десять секунд, а canonical указывает на главную, поисковая система получает противоречивый сигнал. В итоге часть страниц не индексируется, часть конкурирует друг с другом, а часть выглядит хуже, чем она есть.
Для маркетолога техническое SEO важно не потому, что нужно самому писать серверную логику. Важно уметь ставить задачу разработчикам, читать базовые отчеты Search Console, понимать последствия релиза и не принимать "у нас все работает в браузере" как доказательство, что все работает для поиска.
Как поисковик видит сайт
Упрощенно процесс состоит из нескольких шагов. Сначала поисковик узнает URL: из ссылок, sitemap, старого индекса или внешних источников. Затем он пытается обойти страницу. После этого может потребоваться рендеринг, особенно если контент появляется через JavaScript. Дальше система решает, индексировать ли страницу, какую версию считать канонической и когда показывать ее по запросам.
На каждом шаге есть риск. Страница может быть недоступна серверно, закрыта от обхода, возвращать 404, иметь noindex, подгружать основной контент слишком поздно, конфликтовать с дублем или вести поисковик в бесконечные параметры URL.
Схема
Если страница выпала из цепочки на этапе краулинга, спорить о заголовке и ключевых словах бессмысленно. Сначала нужно вернуть техническую доступность.
Базовые элементы технического SEO
robots.txt говорит поисковым роботам, какие разделы можно обходить, а какие не стоит. Ошибка в этом файле может закрыть от обхода важные разделы. При этом запрет в robots.txt не равен гарантированному удалению URL из индекса, если на него уже есть внешние ссылки или он был известен раньше.
Sitemap помогает перечислить важные страницы. Он полезен для крупных сайтов, новых разделов, медиа, новостей, локальных страниц и сайтов со сложной структурой. Но sitemap не должен быть свалкой всех возможных URL. В нем лучше держать канонические, индексируемые и полезные страницы.
Canonical помогает выбрать основную версию страницы, когда есть дубли или близкие варианты. Например, товар может открываться с разными параметрами сортировки, UTM или фильтрами. Неправильный canonical может отправить сигнал на нерелевантную страницу и фактически убрать нужную страницу из поиска.
Статус-коды показывают, что произошло с URL. 200 означает доступность, 301 - постоянный редирект, 302 - временный, 404 - не найдено, 410 - удалено, 500 - серверная ошибка. Для SEO важно, чтобы эти статусы соответствовали реальности.
Мобильная версия и скорость влияют на пользовательский опыт. Даже если контент хороший, тяжелая страница, прыгающая верстка, всплывающие окна и долгий отклик создают плохой опыт. Это особенно заметно на мобильном трафике.
Мини-аудит для маркетолога
Начните с Search Console. Проверьте, какие страницы индексируются, где есть ошибки, какие URL Google считает дублями, какие страницы исключены и почему. Затем проверьте важные посадочные страницы вручную: открываются ли они без авторизации, виден ли основной контент без клика, не закрыты ли они от индексации, корректно ли работают canonical и редиректы.
Следующий слой - структура ссылок. Если важная страница доступна только из sitemap, но на нее нет внутренних ссылок, поисковик и пользователь получают слабый сигнал. Сильные страницы должны быть связаны с навигацией, категориями, статьями и коммерческими страницами.
Для больших сайтов отдельно проверяйте параметры, фильтры, пагинацию и поиск по сайту. Именно там чаще всего рождаются миллионы мусорных URL, которые тратят краулинговый бюджет и размывают качество.
Типичные ошибки
Первая ошибка - закрыть staging-ограничения на production. Команда переносит сайт, забывает убрать noindex или запрет в robots.txt, и новый сайт исчезает из поиска.
Вторая ошибка - считать JavaScript невидимой магией. Google умеет рендерить JS, но это не значит, что любой тяжелый фронтенд одинаково хорошо индексируется. Критичный контент, ссылки и метаданные должны быть доступны надежно.
Третья ошибка - делать редизайн без SEO-карты. Если URL меняются, нужны редиректы, карта соответствий, проверка метатегов, контроль индексации и мониторинг после релиза.
Видео
Что почитать
- Google Search Central: Technical requirements
- Google Search Central: Sitemaps overview
- Google Search Central: Introduction to robots.txt
- Google Search Central: How to specify a canonical URL
Главный совет
Перед любым большим релизом сайта делайте SEO-чеклист так же серьезно, как проверку платежей и форм. Один неверный noindex, canonical или редирект может обнулить месяцы контентной работы.