Sitemap.xml — это файл, который содержит список всех полезных страниц вашего сайта в виде ссылок. У каждой страницы есть дата последнего изменения и приоритет индексации.
Этот файл необходим для того, чтобы поисковые системы могли понять, какие страницы нужно проиндексировать или обновить, и в каком порядке это следует делать.
Таким образом, можно сказать, что Sitemap.xml является своего рода картой для поискового робота.
Благодаря этой «карте» роботы легко найдут любую страницу и добавят ее в индекс.
В карте не должно содержаться мусорных страниц, которые являются бесполезными для поисковиков. Такими страницами могут быть страницы результатов поиска по сайту, страницы пагинации, страницы авторизации и входа в админку, а также страницы, которые формируются динамическими фильтрами товаров.
Также следует избегать бесполезных страниц, которые не содержат полезной информации, неканонических страниц (дубликатов), страниц, закрытых от индексации, удаленных страниц (404) и страниц с редиректами (301/302). Также важно обратить внимание на другие страницы, код ответа которых не является 200. Ошибка в протоколе http также может встречаться и требует внимания.
При переходе с http на https (подключение SSL сертификата) сайты часто допускают ошибку.
Таким образом, если ваш сайт уже функционирует на протоколе https, но ссылки в файле все еще указаны с использованием протокола http — это является серьезной ошибкой.
Любые изменения на странице должны быть отражены в карте сайта, даже если это обновление цены или остатков товаров.
Если даты изменения страниц не будут обновляться, поисковик не сможет определить, какие страницы нужно переиндексировать, что может стать большой проблемой для интернет-магазинов.
Нам необходимо правильно расставить приоритеты индексации, поскольку поисковой робот не способен проиндексировать весь сайт сразу. Если у нас есть 1000 страниц, то он сможет обойти только около 200 за один проход. Мы должны определить, какие страницы будут обойдены в первую очередь.
Если мы являемся интернет-магазином, то основной приоритет следует отдать главной странице и страницам товарных категорий.
Также, мы должны убедиться, что в файле robots.txt указана ссылка на sitemap.xml. Если мы не укажем эту ссылку, поисковик не сможет найти нашу карту сайта. Файл robots.txt содержит инструкции для поискового робота, и ссылка на карту должна быть указана именно в нем.
Сайты из поиска, имеющие проблемы с sitemap.xml, подвергаются проверке. Если ваша карта сайта превышает 5000 страниц, рекомендуется разделить ее на два отдельных файла. Создайте общий файл sitemap (индексный файл) и добавьте ссылки на две карты сайта. Все правила формирования, описанные выше, применимы как к обычному sitemap, так и к индексному.