Виявлено, проскановано, проіндексовано: чому це різні стани

Виявлення та індексування — різні процеси. Ілюстрацію створено за допомогою AI.

Уявіть новий посібник, який відкривається в браузері й зазначений у карті сайту, але не з’являється в пошуку за своєю назвою. На якому етапі варто шукати проблему? Спершу корисно відокремити те, що вже підтверджено спостереженнями, від того, що поки залишається припущенням.

Google загалом описує роботу Пошуку як сканування, індексування та показ результатів. Для діагностики в межах цього процесу корисно окремо перевіряти виявлення URL і рендеринг. Це пояснювальна модель, а не обіцянка, що кожна URL-адреса пройде незмінну послідовність етапів.

Простежте шлях сторінки за підтвердженими даними

На етапі виявлення з’ясовують, чи знає Google про існування URL-адреси. Він може дізнатися про неї з посилань на вже відомих сторінках або з карти сайту. Проте знати адресу — ще не означає завантажити її вміст.

XML-карта сайту (XML sitemap) містить відомості про URL-адреси, які ви хочете зробити доступними для виявлення пошуковими системами. Google зазначає, що включення до карти сайту не гарантує сканування чи індексування. Такий запис показує, яку адресу сайт пропонує для виявлення, але не доводить, що Google вже завантажив саму карту або сторінку.

Сканування (crawling) передбачає завантаження вмісту. Код стану HTTP (HTTP status code) відображає відповідь сервера на запит. Відповідь 200 дає Google змогу розглядати отриманий вміст для подальшого опрацювання, але не гарантує індексування. Відповідь 5xx означає помилку сервера; у відповідь на такі помилки роботи Google можуть уповільнювати сканування. Аналізуйте саме ту відповідь, яку було отримано, враховуючи час і обставини запиту.

Рендеринг JavaScript (JavaScript rendering) важливий, коли вміст статті формується за допомогою скриптів. У документації для JavaScript-застосунків Google розрізняє сканування, рендеринг та індексування. Те, що ви бачите вміст у своєму браузері, ще не означає, що Google бачить його так само: для цього скрипти мають бути доступними, а рендеринг на боці Google — успішним. У рекомендаціях щодо JavaScript також є застереження: якщо Google одразу виявить noindex, він може пропустити рендеринг. Тому розрахунок на те, що скрипт згодом видалить це правило, може не спрацювати.

Індексування (indexing) охоплює аналіз сторінки й визначення того, як її інформація має бути представлена в індексі Google. Саме опрацювання сторінки не гарантує її включення до індексу. Google також враховує дублікати й канонічні версії, тому очікувана командою URL-адреса може відрізнятися від версії, обраної для пошуку.

Оберіть засіб керування відповідно до мети

robots.txt керує доступом пошукових роботів до URL-адрес. Адреса сторінки, сканування якої заборонене, усе одно може з’явитися в результатах Google, якщо пошукова система дізналася про неї з іншого місця, навіть не просканувавши її вміст. Для приватної інформації потрібне належне обмеження доступу: сама інструкція для сканування її не захищає.

noindex керує індексуванням через метатег сторінки або заголовок відповіді. У документації Google щодо noindex пояснено важливу залежність: Googlebot повинен мати доступ, щоб завантажити сторінку й побачити це правило. Заборона завантаження через robots.txt може приховати саме ту інструкцію, яка мала виключити сторінку з індексу.

Один посібник, дві послідовні перешкоди

Наведений нижче приклад вигаданий. Власник посібника хоче, щоб він був доступний у публічному пошуку. Це умовні результати послідовних діагностичних перевірок, а не спостереження з клієнтського проєкту, облікового запису Search Console чи цього сайту.

1. URL-адреса є в карті сайту, але сканування заборонене. Команда має сторінку, доступну людині, та правило robots, яке не дозволяє Googlebot завантажити її. Насамперед команда перевіряє, чи суперечить це обмеження бажаній для власника видимості сторінки. Повторне надсилання адреси не розв’яже питання доступу.
2. Згодом погоджене власником виправлення дозволяє завантаження. Нова перевірка показує відповідь 200 та успадковане правило noindex. Доступ змінився, але доступне для зчитування правило виключення й далі пояснює, чому ця версія не повинна потрапляти до результатів Google. Наступне питання — чи встановлено це правило навмисно.
3. На завершальному етапі цього умовного прикладу власник узгодив правило виключення з призначенням публічного посібника. Завантажена сторінка містить потрібний вміст і вже не має цього правила. Обидва виявлені обмеження усунено. Проте це ще не підтверджує, що Google ухвалив окреме рішення про індексування сторінки або її показ у результатах.

Чітко визначайте мету видимості. Приватний документ або сторінка тестового середовища мають інше призначення й повинні зберігати передбачений для них захист. Фіксуйте дату, запит і результат кожної перевірки, щоб не сприйняти старе спостереження як підтвердження стану після виправлення.

Визначте наступну перевірку на основі спостереження

Таблиця допомагає обрати наступне питання, а не встановити причину за одним симптомом. Спостереження та перевірки в ній — це схема діагностики, а не звіт про проведені нами тести.

Що можна з’ясувати за допомогою технічного SEO

Технічне SEO (Technical SEO) допомагає дослідити обмеження, що впливають на виявлення, доступ і опрацювання вмісту. Корисний результат — обґрунтована даними наступна дія. У Search Essentials Google прямо зазначає: дотримання вимог і рекомендованих практик не гарантує сканування, індексування чи показу вмісту в результатах. Усунення виявленої перешкоди — це поступ, а не гарантія позицій у пошуку.

Навіть проіндексована сторінка може бути відсутньою в результатах за певним запитом. Наявність в індексі та вибір сторінки для конкретного пошуку — різні спостереження. Фіксуйте, що саме підтверджують ваші дані.

Завершуйте діагностику трьома короткими висновками: що відомо, на якому етапі залишається невизначеність і яке спостереження могло б змінити висновок. Так від нечіткої скарги на видимість можна перейти до конкретного рішення, чітко розуміючи межі наявних доказів.