Что такое файл Sitemap xml

29 Апреля 2019
Что такой Sitemap.xml

Содержание

Для показа в выдаче поисковой системе необходимо проиндексировать страницы сайта. Для этого в 2005 году компания Google был создан инструмент, который назвали sitemap. Это файл с расширением XML для описания страниц, где компактно можно описать все страницы сайта для их индексации поисковой системой. Теперь этот формат используется всеми поисковиками, поэтому надо правильно его настраивать.

Создание карты сайта

Если сайт имеет большое количество страниц, сразу возникает вопрос - как создавать карту сайта? Многие CMS имеют встроенные функционал для его создания, но можно генерировать и скриптом. Чтобы понять можно взглянуть на пример:

                                                                                                   
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="https://www.sitemaps.org/schemas/sitemap/0.9">
  <url>         
    <loc>http://example.com/</loc>     
    <lastmod>2013-11-18</lastmod>        
    <changefreq>monthly</changefreq>       
    <priority>0.8</priority>
  </url>
</urlset>                                                                                            
   
  • encoding="UTF-8" - указываем кодировку для файла
  • urlset xmlns - указывает стандарт протокола
  • url - родительский тег для всех урлов в sitemap
  • loc - сюда записываем url-страницы, которую хотим предоставить для индексации поисковику
  • lastmod - необязательный тег, который указывает дату последнего обновления
  • changefreq - вероятная частота обновления для страницы, также необязательный тег
  • priority - приоритет для ПС для этой страницы относительно остальных страниц в файле сайтмап, необязателен

Где взять файл sitemap для своего сайта

  • Найти генератор карты сайта онлайн;
  • Воспользоваться специальной программой, имеющей данный функционал: Screaming Frog, WonderWebWare Sitemap Generator;
  • Написать сайтмап собственноручно;
  • Сгенерировать с помощью CMS (если доступна такая функция), о чем мы поговорим далее.

Генератор карты картинок

Эта возможность актуальна только для Гугла, с учетом необходимости продвижения в поиске по картинкам. Также как и обычный sitemap имеет схожую структуру:

Не забывайте добавлять карту картинок в файл robots.txt, вместе с обычной картой. У Яндекса такой функционал не предусмотрен.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="https://www.sitemaps.org/schemas/sitemap/0.9">
xmlns:image="https://www.google.com/schemas/sitemap-image/1.1"> <url> <loc>http://example.com/</loc>
<image:image>
<image:loc><image:loc>
</image:image>
</url>
</urlset>

Как добавить карту сайта в Яндекс

Для помощи в индексации сайта Яндексу, файл sitemap необходимо добавить в вебмастер (или проверить добавлен ли он). Заходим в индексирование > файлы sitemap и можем добавить и просмотреть текущие файлы.

В инструментах вы можете проверить карту на наличие ошибок, добавив ссылку на файл, загрузить или просто вставить код. Если интересно посмотреть какие бывают ошибки в файле, то можете сразу промотать сюда.

Добавление и просмотр файлов sitemap в Google

Для добавления карты надо открыть новую версию Search Console от гугл и для выбранного проекта добавить карту сайта в выделенное поле (актуально и для карты картинок)

Далее заходим на просмотр конкретной карты и можем узнать более подробную информацию (в том числе и ошибки).

Создание файла sitemap xml в Opencart

Существует встроенный генератор “Google Sitemap” для Opencart. Чтобы его запустить, необходимо перейти в список модулей, затем в “Каналы продвижения” (для версий 2.0 - 2.2) или “Модули / Расширения” и только там выбрать фильтр “Каналы продвижения” (для версий 2.3 и выше).

В админ панели OpenCart зайдите в Дополнения -> Каналы продвижения. Переходите в меню Редактировать Google Sitemap. Переключите статус sitemap на “включено” и скопируйте адрес Data Feed.

Для использования этого плагина сайт необходимо зарегистрировать в Google Search Console, поскольку далее нам понадобится перейти в меню Сканирование-> Файлы Sitemap и указать там адрес нашей карты сайта.

Недостатки

Как и в любом плагине, у Google Sitemap тоже есть свои недостатки.

  • Во-первых: на исполнение скрипта генерации карты сайта отведено ограниченное время (обычно это 30, 60, или 180 сек.). Решается эта проблема только путем установки более нового усовершенствованного генератора.
  • Во-вторых: Возникает конфликт с Яндексом из-за наличия изображений. Устранить конфликт можно установкой модуля Yandex Sitemap, он отличается от предыдущего только лишь тем, что не содержит тега image.
  • В-третьих: Неправильный приоритет добавления страниц. В первую очередь в сайтмап должны добавляться категории, а для нашего модуля товары имеют больший вес - 1.0, когда категории и производители - всего лишь 0,7. При этом вес у товаров будет одинаковым независимо от того, старые они или новые. В таком случае ПС должны применять свои алгоритмы для определения приоритетных страниц, и кроме того, карта сайта с правильно расставленными приоритетами будет плюсом для выбранной вами страницы.

Как создать карту сайта sitemap.xml в Wordpress

Самый доступный вариант - воспользоваться плагином Google XML Sitemaps.

  1. В меню панели управления WordPress переходим в плагины
  2. Добавить новый
  3. В строке поиска пишем “Google XML Sitemaps”
  4. Устанавливаем плагин
  5. По окончании установки кликаем на “Активировать плагин”

Карта сайта создается сразу после активации плагина, далее нам нужно правильно это все дело настроить.

  1. Переходим в Настройки -> XML-Sitemap
  2. В появившейся странице нам понадобится изменить следующее:
    • В настройках приоритета выбираем “Не использовать автоматическое вычисление приоритета
    • В содержании отмечаем те пункты, которые мы хотим добавить в карту сайта

Другие опции настраиваются индивидуальным образом для каждого проекта, если все оставить как есть, сайтмап все равно будет замечательно работать.

Как включить sitemap xml в Yoast SEO

Yoast SEO - довольно популярный плагин для WordPress, и следует отметить, что в нем предусмотрена настройка карты сайта.

После установки данного плагина в левом меню появится пункт “SEO”. Здесь нам нужно включить построение карты сайта в соответствующем пункте. Далее пробежимся по вкладкам с настройками.

Общие: Здесь можно посмотреть созданную карту сайта. Если сайт работает слишком медленно, попробуйте уменьшить значение “Max entries per sitemap”.

Карта сайта со списком пользователей: Если у вас интернет-магазин или любой другой ресурс, не подразумевающий создание записей различными пользователями, рекомендуется поставить галочку на “Отключить карту сайта со списком авторов и пользователей”, чтобы исключить из карты сайта лишнюю информацию.

Типы записей: Отключаем ненужные типы ресурсов. Для блогов рекомендуется отключить медиафайлы, это сделает xml карту сайта легче и при ее построении уменьшит нагрузку на блог.

Таксономии: Исключаем из карты метки, форматы и рубрики (если они не приносят трафик).

Ежели по какой-либо причине Яндекс.Вебмастер утверждает, что “нет используемых роботом файлов sitemap” в сайте на WordPress, придется залить карту сайта вручную.

Карта сайта для Joomla 3

Базовый функционал этой CMS не предусматривает создание файла карты сайта, но для нашей цели существуют специальные расширения, позволяющие создать Sitemap в общепринятых форматах.

Поговорим о самых известных из них:

  • Xmap
  • mapX
  • OSMap
  • JSitemap
  • JL Sitemap

Начнем с Xmap

Данный генератор является самым популярным на Joomla, поскольку он:

  • самый первый генератор карт сайта для Joomla
  • свободно распространяемый (бесплатный)
  • простой для освоения
  • функциональный
  • прекрасно справляется со своей задачей

Теперь о недостатках

  • устарел и очень давно не обновляется
    Последняя версия плагина была выпущена в 13 году, из-за чего могут возникать проблемы при взаимодействии с другими используемыми компонентами Joomla.
  • требует наличия дополнительных плагинов
    Если на сайте установлены сторонние компоненты, то для добавления в карту сайта некоторых документов, которые создаются этими компонентами, понадобятся дополнительные решения, которых может уже и не существовать, т. к. их актуальность непрерывно стремится к нулю.

Создать карту сайта с Xmap можно практически в пару кликов:

  • устанавливаем компонент,
  • открываем настройки,
  • создать и опубликовать sitemap,
  • создать и опубликовать пункт меню.

Компонент MapX

По сути тот же Xmap, но с некоторыми дополнениями:

  • обновленный интерфейс,
  • функция “Пинг”, сообщающая об обновлении карты поисковым системам.

OSMap

Наследник Xmap, но, в отличие от своего предка, поддерживается разработчиком и, как следствие, регулярно обновляется.

JSitemap и JL Sitemap имеют очень широкий функционал, и рекомендуется их использовать только в тех случаях, когда просто сгенерировать sitemap вам не достаточно, или если вы просто не ищете легких путей.

Создание карты сайта в MODx

Здесь все будет крайне просто:

Для создания карты сайта будем использовать пакет pdoTools, если он не установлен, найдите его в установщике приложений Modx.

Далее идем по пунктам:

  1. Создаем новый файл с именем sitemap.xml и псевдонимом sitemap
  2. указываем шаблон (пустой шаблон)
  3. Переходим в настройки - тип содержимого XML
  4. В поле "содержимое" пишем [[!pdoSitemap? &checkPermissions= list ]]
  5. Публикуем и сохраняем

Карта сайта в Drupal

Если вы используете Drupal 7, то для вас разработан модуль, способный создавать и регистрировать карту сайта автоматически. Его можно найти на официальном сайте друпала, называется он “XML sitemap”, устанавливается он не сложно, на просторах интернета можно найти предостаточно инструкций для новичков на данной CMS. Достаточно включить следующие составляющие модуля:

  • XML sitemap
  • XML sitemap engines
  • XML sitemap menu
  • XML sitemap node
  • XML sitemap taxonomy

Прежде, чем приступить к настройке модуля, нам потребуется открыть доступ всем пользователям, и даже анонимам, на просмотр профилей пользователей. И так, в верхнем меню переходим в Пользователи -> Права доступа.

В строке “просмотр профилей пользователей” ставим все галочки.

Далее, идем в «Конфигурация» -> «Поиск и метаданные». Там вы увидите ссылку ссылка на XML-карту сайта, кликаем. Настройку начнем с раздела “Поисковые системы”.

Здесь выставляем все галочки на «Отправлять карту сайта на следующие поисковики», а в поле «Не отправлять чаще чем раз в» настраиваем ограничение по частоте отправки файла сколько вам нужно. Плавно перемещаемся в следующий раздел “Настройки”

Минимальным временем жизни карты сайта является цикл жизни XML файла.Трогать соответствующее поле стоит в том случае, когда у вас большое кол-во страниц (больше 400), в иных случаях настраивать время жизни не обязательно.

Предварительно запрашивать URL синонимы во время генерации карты сайта – опция достаточно тяжелая для сервера, т.к. она одномоментно запрашивает все ur. Поэтому, если сайт крупный, чтобы не перегружать сервер, её рекомендуется отключить.

После того как мы завершили настройку нашего модуля, давайте добавим материалы, термины и меню в получившуюся карту сайта.

  1. Для начала перейдем в Структуру, типы материалов.
  2. Справа от каждого типа материала находится нужная нам ссылка «Изменить».
  3. Листаем до конца и переходим в раздел «XML-карты сайта»
  4. В графе «Добавлять в карту сайта» устанавливаем галочку на "включить", а в приоритетности, для basic page, ставим «1.0». Для всех остальных проделываем то же самое, но с корректировкой приоритета, исходя из важности выбранного материала.
  5. Включаем Sitemap для пунктов меню и терминов таксономии. В верхнем меню идем в “словарь”, который находится по пути «Структура» -> «Таксономия»
  6. Изменить словарь
  7. Добавляем наши материалы в карту сайта.

Возвращаемся в окно настроек модуля. Там мы видим, что в подразделах появилась новая вкладка «Обновить карту сайта», что нам, собственно, и нужно.

На странице необходимо оставить галочку «Сохранить и восстановить любые текущие включения и приоритет ссылок.» и здесь же обновляем карту сайта.

Последнее, что от нас нужно, это запустить планировщик Cron в ручном режиме. В админ панели идем в раздел «Конфигурация» -> «Система», там вы увидите «Cron Settings»

Запускаем крон с помощью соответствующей кнопки в раскрывшемся окне.

Карта сайта готова.

Sitemap в 1С Bitrix

Как известно, Битрикс - это замечательная CMS, в том числе и потому, что Sitemap.xml в ней создается автоматически. Для кастомизации есть пользовательская форма создания карты сайта, в которой можем указать материалы и разделы инфоблоков, которые мы собираемся добавить в карту.

Развернутый список настроек карты сайта расположен в Маркетинг > Поисковая оптимизация > Настройка sitemap.xml.

Немного расскажу о кнопках, которые мы увидим в контекстной панели

  • Добавить - нужна для перехода к форме добавления новой настройки генерации карты сайта.
  • Настроить - переход к окну настройки отображения (внешнего вида) отчетной формы.
  • Excel - экспорт данных из отображаемой таблицы в MS Excel.

Список настроек

  • Колонка флажков - выбор настроек, к которым предполагается применить какое-либо действие.
  • Меню действий - перечень доступных для нас действий;
  • Редактировать - переход в окно редактирования выбранной настройки генерации карты сайта;
  • Запустить - запуск встроенного генератора карты сайта sitemap.xml;
  • Удалить - удаление настройки.
  • ID - идентификатор настройки.
  • Изменено - последнее изменения в настройках или последняя генерация карты в формате дата и время.
  • Название - название настройки карты сайта.
  • Сайт - идентификатор и название сайта, для которого составлена настройка.
  • Последний запуск - последняя генерация карты сайта в формате дата и время.

Список ошибок

файл не проиндексирован загрузка файла прошла неудачно, стоит проверить доступность сайта по заданному url
размер файла больше допустимого значения размер файла превысил 50 кб, стоит разделить файл не несколько
ошибка при ответе HTTP, Неправильный HTTP-ответ файл отдает ответ отличный от 200 или ответ не соответствует HTTP протоколу, проверить ответ
невалидный URL невалидная запись URL-сайта
Ошибка DNS Проверить чтобы ссылка на файл была правильной
Соединение было прервано, ошибка при соединении при загрузке файла, соединение с сервером было разорвано или не удалось установить его
URL запрещен в файле robots.txt Урлы запрещенные в robots.txt должны быть удалены из sitemap
Ответ не содержит данных Сервер передал пустой файл
Тег встречается более одного раза Все теги должны быть использованы только один раз для каждой записи
Неизвестный тег В файле не должно быть лишних тегов
Тег не найден Обязательным должно быть включение трех тегов urlset xmlns, url, loc
Некорректный URL (не соответствует местоположению файла Sitemap) Необходимо формировать отдельный sitemap для поддоменов
Слишком длинный URL Длина урла не должна превышать 1024 символа
Нет данных в теге, тег не должен содержать другие теги, превышено допустимое число данных Все эти ошибки говорят о том что данные в тегах неверны
Неверная кодировка Эта строка обязательна и указывает на кодировку <?xml version="1.0" encoding="UTF-8"?>
Невалидный XML Неправильная структура XML
Число URL превышает заданный предел Если записей больше 50000, то надо разделить файл на несколько и сделать индексный файл Sitemap
Число файлов Sitemap превышает заданный предел Также и файл индекса сайтмап не может быть больше чем 50000 записей
Много некорректных URL в начале файла и слишком много ошибок Надо проверить правильность вывода url и вообщем файла, загрузка прекращается на начальной стадии (требуется повторно проверить на ошибки)
Файл Sitemap index не может содержать ссылки на файлы Sitemap index Если вы используете конструкцию <sitemapindex> , то в перечисление не должно быть файлов, содержащих <sitemapindex>
Ошибка в корневом теге Не удалось правильно обработать корневой тег. Проверьте тег <urlset>

*
 
0Мне нравится
Николай
01.08.2019 16:40:04
Как вариант, еще можно карту так создать https://******.ru/blog/tech/sitemap-xml.html
Ответить 0Мне нравится
0Мне нравится
Intelsib
02.08.2019 07:07:27
Николай, добрый день!
Да, так тоже можно.
Ответить 0Мне нравится
0Мне нравится
Кирилл
16.07.2019 06:17:34
Здравствуйте, как из sitemap удалять ненужные ссылки, вручную или с помощью сервиса? И спасибо Вам за статью!
Ответить 0Мне нравится
0Мне нравится
Intelsib
16.07.2019 12:30:08
Добрый день! Кирилл, смотря что Вы имеете в виду под "ненужными" ссылками?
Ответить 0Мне нравится
0Мне нравится
Светлана
12.07.2019 14:33:42
Большое спасибо за развернутую инструкцию. Подскажите еще, пожалуйста, как часто нужно обновлять карту сайта?
Ответить 0Мне нравится
0Мне нравится
Intelsib
15.07.2019 13:01:16
Светлана, спасибо за обратную связь! Карту сайта лучше настроить автогенерируемой. Если такой возможности нет, то обновлять по мере добавления новых продвигаемых страниц на сайт.
Ответить 0Мне нравится

Другие статьи
18  Октября  2019
Неопределенный трафик

В последнее время в системе аналитики Яндекс.Метрики по данным счетчиков некоторых сайтов наблюдается разница суммарного поискового трафика за идентичный период между отчетами “Поисковые запросы” и “Поисковые системы”.

14  Октября  2019
Правила оформления сайтов стоматологических клиник
В этой статье мы рассмотрим на примере нескольких клиник как правильно позиционировать себя в сети и как этого делать не стоит.
26  Апреля  2019
Как сделать расширенный сниппет в Яндекс
Сниппет представляет собой краткую информацию об интернет-ресурсе, которая выводится в выдаче Яндекс, Google и других систем.
   
17  Марта  2020
Исследование: эффективные рекламные каналы для компаний, производящих товары народного потребления

Компания Intelsib подвела итоги опроса среди компаний, которые занимаются производством товаров народного потребления. Результаты исследования могут быть интересны компаниям, которые ищут для себя эффективные каналы продвижения, каналы привлечения новых заявок.

Хотите узнать, как можно улучшить Ваш сайт?
Никита
Разработает персональное коммерческое предложение
Нажимая на кнопку "Получить предложение", вы соглашаетесь с Политикой конфиденциальности
Отправить письмо
Мы получим ваше сообщение на электронную почту и подготовим ответ.
Также вы можете прикрепить к сообщению файл.
Прикрепить файл
Нажимая на кнопку "Отправить", вы соглашаетесь с Политикой конфиденциальности
Получить предложение
Укажите сайт и контактные данные, наш бизнес-консультант подготовит для Вас стратегию продвижения с оплатой за результат
Нажимая на кнопку "Получить предложение", вы соглашаетесь с Политикой конфиденциальности
Заказать книгу
Укажите контактные данные
Нажимая на кнопку "Отправить заявку", вы соглашаетесь с Политикой конфиденциальности
Вход на сайт
Стать партнёром
Укажите свои имя и телефон
Нажимая на кнопку "Отправить заявку", вы соглашаетесь с Политикой конфиденциальности
Рассчитать стоимость продвижения сайта!
Нажимая на кнопку "Отправить заявку", вы соглашаетесь с Политикой конфиденциальности