Как ускорить индексацию сайта в Яндексе: что сделать самому

Как ускорить индексацию сайта в Яндексе, решают три бесплатные настройки Вебмастера, переобход новых адресов, карта сайта в разделе Sitemap и обход по счётчику Метрики. По справке Яндекса индексирование после переобхода может занять от трёх до семи дней.

Ускорение при этом покупает только визит робота, а место в поиске страница зарабатывает сама, и справка прямо пишет, что посещённая роботом страница в поисковую базу может не попасть.

Ниже разберу, как робот находит страницы, какой способ брать и что проверить до отправки. А сверх этого покажу, как превратить индексацию в деньги, то есть какие вопросы задать себе по выгрузке из Вебмастера, как на них ответить и как отвечать быстрее, отдав разбор нейросети.

Как робот Яндекса находит новую страницу и сколько это занимает

Робот Яндекса приходит на сайт по своему расписанию и сам решает, сколько страниц обойти за визит. Список адресов он собирает из ссылок на вашем сайте и на чужих, из карты сайта, из данных Метрики и правил robots.txt, так описано в справке о том, как работает поиск. Новый сайт после добавления в Вебмастер может появиться в выдаче в течение двух недель. Отдельная страница без подсказки ждёт, пока робот наткнётся на ссылку на неё (а на молодой сайт он заходит нечасто).

По моему опыту быстрее индексируются сайты с ровным ритмом. Компания выкладывает статью каждый вторник, и робот приходит туда чаще, чем к соседу, который раз в квартал вываливает пять статей за вечер.

Второе наблюдение проще. Новую страницу стоит в тот же день связать ссылкой со старой, уже стоящей в поиске, ведь робот ходит по известным адресам и по пути находит новый. Так же работают и обратные ссылки на сайт, если стоят на живых страницах.

Четыре способа проиндексировать сайт в Яндексе быстрее

Каждый способ закрывает свою задачу, и справка Вебмастера советует их совмещать. Сроки и пределы в таблице взяты из неё же.

Сайту компании на несколько десятков страниц хватает первых трёх строк, и справка сама советует маленькому сайту переобход вместо IndexNow. Размер суточного лимита переобхода Яндекс не публикует, остаток виден в кабинете. Протокол IndexNow, по сообщению Search Engine Land, Microsoft и Яндекс запустили в октябре 2021 года. Подключают его через программный интерфейс (API) или модуль для движка сайта (CMS), и окупается он там, где разработчик сделает это один раз.

Почему индексация не строка техзадания

В типичном техзадании на подрядчика по сайту строкой стоит «Проиндексировать сайт», рядом с аудитом и семантикой. Платить за это как за отдельную работу я бы не стал, ведь три настройки Вебмастера собственник успеет сделать сам за вечер. Деньги стоит платить за то, чтобы страницам было с чем попасть в поиск.

Что проверить до отправки адресов

Любое ускорение упирается в запреты на самом сайте, и проверяют их до первой ссылки. На аудитах чаще всего встречается одна картина. Сайт собирали на тестовом адресе, разработчик закрыл его от робота строкой Disallow в robots.txt или метатегом noindex, а после переезда на домен запрет забыли снять. Собственник месяц отправляет страницы на переобход, робот исправно приходит и уходит ни с чем.

Проверка занимает минуты. В Вебмастере есть анализ robots.txt и проверка ответа сервера, нужная страница должна отдавать код 200. По справке Яндекса страницы с кодами 4XX и 5XX в поиск не попадают (кроме временного ответа 429), как и страницы тяжелее 10 МБ. Сам robots.txt робот перечитывает за несколько часов, на переобход его не отправляют.

Если разбирать коды ответа и запреты некому, технический разбор сайта по Вебмастеру даёт список адресов с причиной и правкой для разработчика.

Робот пришёл, а страницы в поиске нет

Статус «Заявка обработана» означает только визит робота, и справка о переобходе прямо пишет, что индексацию он не обещает. Отсюда главное противоречие темы. Собственник шлёт адреса на переобход каждый день, а робот приходит быстро и оставляет половину блога за бортом.

Причину Вебмастер называет сам, в разделе «Страницы в поиске» на вкладке исключённых. Чаще других там два статуса. «Малоценная или маловостребованная страница» значит, что алгоритм видит у неё мало шансов на показ, например она отвечает на вопрос, которого никто не задаёт, или тема слишком конкурентна. «Дубль» значит, что страница повторяет другую страницу сайта, и помогают постоянная переадресация 301 или атрибут canonical, которым страница называет основной адрес (справка о статусах).

Как это выглядело в компании по установке окон

В компании по установке пластиковых окон на двадцать пять человек^* в городе до двух миллионов жителей блог за год вырос до 120 статей, их писали сами с нейросетью. Собственник отправлял каждую новую статью на переобход, а в поиске стояли 52 статьи из 120. Остальные 68 Вебмастер исключил, 52 как маловостребованные и 16 как дубли, потому что 32 статьи стояли парами и из каждой пары поиск брал одну.

Двойников слили с переадресацией, пустые статьи закрыли и по плану выпустили 30 новых с записью на замер, под запросы, которые в этой нише правда ищут. Через четыре месяца заявок на замер из поиска стало 20 в месяц вместо 7, почти втрое больше.

Где нейросеть снимает работу с индексацией, а где решает собственник

Нейросеть хорошо делает скучную часть, разбирает выгрузку исключённых страниц, считает доли по статусам и группирует адреса. Вручную таблица на двести страниц съедает вечер, у модели уходит минута. Она же напишет разработчику внятную задачу про запрет в robots.txt.

Опасна она там, где нужно знать выдачу. Модель не видит, ищут ли люди тему статьи, и без чисел Вордстата уверенно назовёт маловостребованную страницу ценной. Решать, какие страницы закрыть, а какие переписать, я бы оставил собственнику, потому что за каждой стоит вопрос, который клиенты задают или не задают.

Когда страницы вошли в поиск, дальше считают видимость сайта в поиске и клики. Если на это нет времени, сопровождение сайта в поиске берёт на себя и план страниц, и разбор исключённых.

Промпт: разбор исключённых страниц из выгрузки Вебмастера

В Вебмастере откройте «Страницы в поиске», вкладку исключённых, и выгрузите её в CSV с колонками url, httpCode, status, lastAccess, title. Домен и название компании замените меткой, коммерческую тайну в публичный чат не вставляйте. Подойдёт любая крупная модель, DeepSeek работает бесплатно и без VPN, ChatGPT и Claude мощнее, но с ограничениями доступа из России.

Роль. Ты технический SEO-специалист и разбираешь индексацию сайта в Яндексе для владельца компании.

Результат. Таблица причин, по которым страницы не попали в поиск, с долей каждой причины в процентах, список страниц для правки в первую очередь и готовые задачи разработчику и автору текстов.

Зачем. Я хочу знать, сколько страниц сайта работает впустую, что чинится за день, а что требует нового текста.

Порядок. Не переходи к следующему шагу, пока не закончен предыдущий.
1. Посчитай строки выгрузки и долю каждого значения колонки status.
2. Выпиши адреса с httpCode не 200 и со статусами META_NO_INDEX, ROBOTS_TXT_ERROR, HTTP_ERROR. Это технические запреты, их чинит разработчик.
3. Для статуса DUPLICATE выпиши пары с похожими title как кандидатов. Какую оставить, не решай, а попроси меня сверить содержание обеих и какая из них стоит в поиске.
4. Для статуса LOW_DEMAND сгруппируй страницы по теме из title и по каждой группе спроси меня, ищут ли люди эту тему. Без моего ответа решения по группе не принимай.
5. Собери итог: доля исключённых технически, доля дублей, доля маловостребованных.
6. Под каждой группой напиши одну фразу задачи для разработчика или автора, которую я отправлю завтра.

Нюансы. Пиши по-русски, коротко, таблицами. Нет нужной колонки, скажи какой, и не додумывай значения. Статус спорит с кодом ответа, покажи такие строки отдельно.

Рамки. Не выдумывай частоты запросов и позиции. Не обещай сроков попадания в поиск. Мотивационные речи и рассуждения о важности опусти полностью.

Выгрузка [вставьте содержимое CSV]

Коротко: главное из статьи

• Как ускорить индексацию сайта в Яндексе, решают переобход страниц, файл Sitemap, обход по счётчику Метрики и протокол IndexNow, и справка советует их совмещать.
• После переобхода индексирование может занять от трёх до семи дней, карта сайта обрабатывается до двух недель.
• Сайту на несколько десятков страниц хватает переобхода, IndexNow нужен магазинам и каталогам с ежедневными изменениями.
• До отправки адресов проверяют robots.txt, код ответа 200 и метатег с запретом noindex.
• Статус «Заявка обработана» означает визит робота и места в поиске не обещает.
• Причины исключения страниц Вебмастер выгружает в файл, и чаще всего это дубли и маловостребованные страницы.

Частые вопросы