Розумійте різницю між скануванням та індексацією

Файл robots.txt міститься у корені домену та задає правила для роботів, що їх дотримуються. Заборона сканування не дорівнює надійній забороні показу URL в результатах. Для сторінки, яку не треба індексувати, використовують відповідну директиву noindex за умови, що робот може прочитати її.

Не закривайте весь сайт після запуску, залишивши тестове правило Disallow: /. Перед зміною перевірте, які розділи реально потрібно обмежити і чи не блокуєте зображення або CSS, потрібні для розуміння сторінки.

У карту додавайте цільові адреси

sitemap.xml містить URL, які ви хочете показати пошуковій системі. До неї зазвичай включають важливі канонічні сторінки зі зрозумілим статусом, а не 404, тестові копії, випадкові параметри чи адреси з noindex. Після публікації нових матеріалів карта має оновлюватися.

Карта допомагає знайти URL, але не гарантує їхнього сканування чи індексації. Потрібні також доступні сторінки, нормальна навігація та зміст, що відповідає запиту. Про причини відсутності сторінок у пошуку є окремий матеріал про індексацію.

Звірте сигнали після перенесення

Коли сайт переїжджає на інший домен або платформу, помилки часто виникають не в самому файлі, а в суперечливих сигналах. Наприклад, sitemap уже показує нову адресу, canonical залишається на старому домені, а внутрішнє меню веде через редирект. Складіть контрольний список для кожного типу сторінки.

На WordPress перевірте постійні посилання, видимість сайту для пошукових систем, карту та можливі SEO-плагіни. Не налаштовуйте дві системи, які одночасно виводять різні canonical і meta description.

Слідкуйте за фактичними URL у Search Console

Надішліть адресу карти сайту в Search Console та перевірте важливі сторінки інструментом перевірки URL. Якщо одна сторінка не потрапила в індекс, дивіться конкретний статус, канонічну адресу, доступ до сканування й посилання з інших сторінок. Масова повторна відправка sitemap не виправить неправильної конфігурації.

Перед запуском користуйтеся чеклістом SEO-аудиту. Для переїзду корисна і наша стаття про перенесення на WordPress.

Приклад суперечливих сигналів

Уявімо сторінку послуги у sitemap, але її канонічний тег указує на стару копію, а сервер повертає редирект на інший розділ. Сама наявність адреси у файлі не виправить суперечності. Виберіть кінцевий URL, налаштуйте правильну відповідь сервера, зробіть його канонічним і оновіть внутрішнє посилання та карту. Для сторінок без цінності в пошуку перевірте, чи потрібні вони в sitemap взагалі.

Швидка перевірка перед запуском

  • Відкрийте /robots.txt і знайдіть випадкову повну заборону сканування.
  • Відкрийте sitemap у браузері та перевірте кілька реальних адрес.
  • Порівняйте канонічний URL і адресу з карти для основної послуги.
  • Переконайтеся, що посилання з меню веде на ту саму кінцеву сторінку.

Повторіть кроки після переходу на основний домен: тестове середовище й робочий сайт часто мають різні налаштування доступу.

Потрібен план для вашого сайту?
Дізнайтеся про SEO-просування, вартість робіт або опишіть нам задачу.