ФОРУМ о СПУТНИКОВОМ ТВ и ИНТЕРНЕТЕ

XML-файлы Sitemap, обычно называемые "Sitemap" (с заглавной буквы "S"), дают Google представление о вашем сайте. В данной статье обсуждается именно этот тип файлов Sitemap.

Проще говоря, файл Sitemap - это список страниц вашего веб-сайта. Создание и отправка файла Sitemap позволяют обеспечить наличие данных в системе Google обо всех страницах на вашем сайте, включая URL-адреса, которые невозможно обнаружить в ходе стандартного процесса сканирования Google.

Файлы Sitemap особенно полезны в следующих случаях.

* На вашем сайте имеется динамическое содержание.
* Ваш сайт содержит страницы, которые трудно обнаружить в процессе сканирования роботом Googlebot, например страницы, содержащие сложные файлы AJAX или Flash.
* Ваш сайт новый и на него мало ссылок. (Робот Googlebot сканирует Интернет, переходя по ссылкам с одной страницы на другую. Если на ваш сайт мало ссылок, нам будет сложно его найти.)
* Ваш сайт содержит большой архив содержательных страниц, которые слабо связаны друг с другом или не связаны совсем.

Можно также использовать файл Sitemap, чтобы предоставить дополнительную информацию о своих страницах, в том числе перечисленную ниже.

* Частота изменений страниц вашего сайта. Например, страницу со сведениями о своей продукции можно обновлять ежедневно, тогда как страница "О компании" может изменяться раз в несколько месяцев.
* Дата последнего обновления страницы.
* Относительная значимость страниц сайта. Например, главная страница вашего сайта может иметь относительную значимость 1,0; страницы категорий - важность 0,8; а отдельные записи в блоге или страницы продукта - 0,5. Этот рейтинг приоритетов показывает важность определенного URL-адреса по отношению к другим URL-адресам вашего сайта и не влияет на рейтинг страниц в результатах поиска.

Файлы Sitemap предоставляют Google информацию, дополняющую наши стандартные методы сканирования Интернета. Мы надеемся, что с их помощью мы сможем осуществлять более полное и своевременное сканирование вашего сайта, однако мы не можем гарантировать добавление URL-адресов из вашего файла Sitemap в индекс Google. За отправку файлов Sitemap к сайтам не применяются никакие санкции.

Компания Google ориентируется на протокол Sitemap версии 0.9 согласно определению sitemaps.org. Протокол Sitemap представляет собой диалект языка XML, который служит для представления сводной информации Sitemap, относящейся к веб-сканерам. Таким образом, файлы Sitemap, создаваемые для сети Google с использованием протокола Sitemap 0.9, совместимы с другими поисковыми системами, поддерживающими стандарты sitemaps.org.

Хотя стандартный файл Sitemap подходит для большинства сайтов, можно также создавать и отправлять специализированные файлы Sitemap для определенных типов содержания. Эти форматы файлов Sitemap применяются только в Google и не используются другими поисковыми системами. Они представляют собой отличный способ передать в Google подробные сведения об определенных типах содержания. Например, издатели могут использовать файлы Sitemap для новостей, чтобы предоставить Google информацию для показа в результатах поиска в Новостях Google (например дату публикации, ключевые слова и символ биржевого кода). Существуют следующие форматы файлов Sitemap:

* файлы Sitemap для видео;
* файлы Sitemap для мобильных устройств;
* файлы Sitemap для новостей;
* файлы Sitemap для поиска кода;
* файлы Geo Sitemap.

Формат протокола Sitemap состоит из тегов XML. Для всех значений данных в Sitemap должно использоваться маскирование. Для самого файла должна использоваться кодировка UTF-8.

Ниже приведен пример Sitemap, в который включен только один URL, но используются все необязательные теги. Необязательные теги выделены курсивом.

< urlset xmlns="http://www.google.com/schemas/sitemap/0.84">
< url>
< loc>http://www.example.com/
< lastmod>2005-01-01
< changefreq>monthly
< priority>0.8

Sitemap должен:

* Начинаться открывающим тегом и заканчиваться закрывающим тегом .
* Включать запись для каждого URL как родительский тег XML.
* Включать дочернюю запись для каждого родительского тега .

Определения тегов XML

Ниже описаны доступные теги XML.

обязательный Инкапсулирует этот файл и указывает текущий стандарт протокола.

обязательный Родительский тег для каждой записи URL. Остальные теги являются дочерними для этого тега.

обязательный URL страницы. Этот URL должен начинаться с протокола (например, http) и заканчиваться косой чертой, если Ваш веб-сервер требует этого. Длина этого значения не должна превышать 2048 символов.

необязательно Дата последнего изменения файла. Эта дата должна быть в формате W3C Datetime. Этот формат позволяет Вам при желании опустить сегмент времени и использовать формат ГГГГ-ММ-ДД.

необязательно

Вероятная частота изменения этой страницы. Это значение предоставляет общую информацию для поисковых систем и может не соответствовать точно частоте сканирования этой страницы. Допустимые значения:

* always (всегда)
* hourly (ежечасно)
* daily (ежедневно)
* weekly (еженедельно)
* monthly (ежемесячно)
* yearly (ежегодно)
* never (никогда)

Значение "always" (всегда) должно использоваться для описания документов, которые изменяются при каждом доступе к этим документам. Значение "never" (никогда) должно использоваться для описания архивных URL.

Имейте в виду, что значение для этого тега рассматривается как указание, а не как команда. Несмотря на то, что сканеры поисковой системы учитывают эту информацию при принятии решений, они могут сканировать страницы с пометкой "hourly" менее часто, чем указано, а страницы с пометкой "yearly" более часто, чем указано. Кроме того, сканеры могут периодически сканировать страницы с пометкой "never" для контроля неожиданных изменений на этих страницах.

необязательно

Приоритет этого URL относительно других URL на Вашем сайте. Допустимый диапазон значений — от 0,0 до 1,0. Это значение не влияет на сравнение Ваших страниц со страницами на других сайтах, оно только позволяет указать поисковым системам, какие из страниц по Вашему мнению более важны, чтобы можно было сканировать Ваши страницы в предпочтительном для Вас порядке.

Приоритет страницы по умолчанию — 0,5.

Следует учитывать, что приоритет, который Вы назначили странице, не влияет на положение Ваших URL на страницах результатов поисковой системы. Поисковые системы используют эту информацию при выборе между URL на одном и том же сайте, поэтому Вы можете использовать этот тег для увеличения вероятности присутствия своих более важных страниц в поисковом индексе.

Кроме того, следует учитывать, что назначение высокого приоритета всем URL на Вашем сайте не имеет смысла. Поскольку этот приоритет является относительным, он используется только для выбора между URL на Вашем сайте; приоритет Ваших страниц не будет сравниваться с приоритетом страниц на других сайтах.

Маскирование символов

Мы требуем, чтобы для файла Sitemap использовалась кодировка UTF-8 (обычно ее можно выбрать при сохранении данного файла). Как это принято для всех файлов XML, все значения данных (включая URL) должны использовать маскирование сущностей для символов, перечисленных в таблице ниже.
Символ Маскирование
Амперсанд & &
Одинарные кавычки ' '
Двойные кавычки " "
Больше > >
Меньше < <

Кроме того, для всех URL (включая URL Вашего Sitemap) должна использоваться кодировка для удобочитаемости веб-сервером, на котором они размещаются, и маскирование URL. Однако, если Вы используете какой-либо вид сценария, инструментального средства или журнального файла для создания своих URL (любой способ, кроме ввода их вручную), обычно это уже сделано. Если при отправке своего Sitemap Вы получили сообщение об ошибке, что Google не может найти некоторые URL, убедитесь, что URL соответствуют RFC-3986 стандарту для URI, RFC-3987 стандарту для IRI и XML-стандарту.

Ниже приведен пример URL, в котором используется не-ASCII символ (ü), а также символ, для которого необходимо маскирование (&):

_http://www.example.com/ümlat.html&q=name

Ниже этот же URL приведен в кодировке ISO-8859-1 (для размещения на сервере, который использует эту кодировку) и с использованием маскирования URL:

_http://www.example.com/%FCmlat.html&q=name

Ниже этот же URL приведен в кодировке UTF-8 (для размещения на сервере, который использует эту кодировку) и с использованием маскирования URL:

_http://www.example.com/%C3%BCmlat.html&q=name

Ниже приведен тот же URL с использованием маскирования сущностей:

_http://www.example.com/%C3%BCmlat.html&q=name

Пример XML Sitemap

В следующем примере показан Sitemap в XML-формате. Sitemap в этом примере содержит небольшое количество URL, каждый из которых обозначается с помощью тега XML . В этом примере для каждого URL предоставлен различный набор необязательных параметров.

http://www.example.com/
2005-01-01
monthly
0.8


http://www.example.com/catalog?item=12&desc=vacation_hawaii
weekly


http://www.example.com/catalog?item=73&desc=vacation_new_zealand
2004-12-23
weekly


http://www.example.com/catalog?item=74&desc=vacation_newfoundland
2004-12-23T18:00:15+00:00
0.3


http://www.example.com/catalog?item=83&desc=vacation_usa
2004-11-23

Для сжатия файлов Sitemap можно использовать архиватор gzip. Сжатие файлов Sitemap позволит уменьшить требование к пропускной способности канала. Следует учитывать, что размер несжатого файла Sitemap не должен превышать 10 Мб.