Без вариантов

Sitemap и robots.txt для блогов на Blogger (Blogspot) — как это сделать

Всех приветствую и желаю хорошего настроения!
На днях на одном из занятий мы изучали вопрос добавления карты сайта (sitemap) и robots.txt в блог на платформе Blogger (Blogspot).

И я решил, что эта информация будет полезна и всем читателям моего блога.
Ну во-первых я хочу решительно заявить, что эта платформа для блогов — Blogger (Blogspot) — мне нравится все больше и больше. Недаром она считается профессиональной. А с недавних пор, как Google добавил туда функции «Описание для поисковых систем», возможность вставлять в код ссылки теги target=»_blank» и rel=»nofollow» а также сделать то, о чем я сейчас поговорю, то не осталось ни одной, сколь нибудь весомой причины, по которой не нужно использовать эту блог-платформу. Как говорится, «Если вам не нравятся кошки, то это потому, что вы не умеете их готовить!» 🙂

Итак, по порядку.
Карта сайта нужна. Аксиома, не требующая доказательств. Если хотите, чтобы ваш блог лучше индексировался, то нужно иметь и карту сайта, и robots.txt Иначе поисковый робот встанет перед дилеммой, как богатырь в картинке ниже 🙂

Карта сайта

 

(Кстати, для тех, кто впервые на моем блоге, очень советую воспользоваться советами из моего поста

Как улучшить индексацию блога

И если на WordPress с созданием карты все относительно просто, то с Blogger (Blogspot) до недавних пор было не все так просто.

Различают карты сайта для поисковых роботов и карты сайта для людей.
Так вот, если говорить про карту сайта для роботов, то тут все оказывается до смешного просто. Достаточно лишь к ссылке на ваш блог дописать /sitemap.xml чтобы ссылка на карту вашего блога выглядела вот в таком виде: http://rsolovyov.blogspot.com/sitemap.xml и ваша карта сайта уже сгенерирована! Blogger уже давно использует  автогенерацию sitemap.xml, и там перечислены все посты (URL) блога с датой последней модификации.  Поэтому больше не надо ломать голову, какую ссылку скормить поисковикам на карту сайта. Я даже не буду описывать сейчас те ухищрения, на которые приходилось прибегать раньше. Словом, теперь везде, где нужно прописать ссылку на карту, просто пишете в том виде, как я привел выше. И проблема решена.

Ну а если говорить про карту сайта для людей, то тут придется немного поработать ручками. Это не страшно. Но нужно быть внимательным.

Заходим в админку блоге, во вкладку «Страницы» => «Создать»).  Создаем новую страницу, называем ее, например, Карта блога.

Затем переходим в режим HTML  и вставляем вот такой код:

<link href=»http://abu-farhan.com/script/acctoc/acc-toc.css» media=»screen» rel=»stylesheet» type=»text/css»></link>
<script src=»http://abu-farhan.com/script/acctoc/daftarisiv2-pack.js»></script>
<script src=»http://rsolovyov.blogspot.com/feeds/posts/summary?max-results=1000&alt=json-in-script&callback=loadtoc»></script>
<script type=»text/javascript»>
var accToc=true;
</script>
<script src=»http://abu-farhan.com/script/acctoc/accordion-pack.js» type=»text/javascript»></script>

и будьте внимательны: в коде из таблицы мое доменное имя rsolovyov нужно заменить на Ваше!

Сохраните изменения, опубликовав страницу и у вас будет отображаться на этой странице «Карта блога» нечто похожее на мое:

Sitemap for Blogspot
Ну а теперь, когда мы создали карты сайта и для роботов, и для читателей, то нужно дать знать об этом поисковикам. В первую очередь нужно сообщить поисковому роботу о том, что ему индексировать, через информацию в файле robots.txt Но как быть, ведь создать и загрузить по FTP такой файл невозможно — домен 3-го уровня и платформа бесплатная. Но Google решил и эту задачу!

Заходим в админке блога в НАСТРОЙКИ => Настройки Поиска => и включаем «Пользовательский файл robots.txt»

robots for Blogspot

Внимание! Некорректное использование этих функций может привести к тому, что ваш блог не будет индексироваться поисковыми системами.

Затем вам нужно прописать, что именно вы хотите разрешить или запретить для индексации.

И тут я хочу сделать небольшое, так сказать лирическое отступление. 🙂 Практически все авторы блогов на этой платформе не вносили сюда никаких изменений! А зря! Вот что обычно стоит по умолчанию в этом месте:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://rsolovyov.blogspot.com/feeds/posts/default?orderby=UPDATED

А вот что должно стоять после: (вот этот код вам нужно скопировать и вставить. Только опять же,  замените мое rsolovyov на ваше.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://rsolovyov.blogspot.com/sitemap.xml

Ну а теперь, надо сообщить о том, что у вас теперь на блоге есть и карты сайта, и файл robots.txt  основным инструментам для веб мастеров: в Яндексе,  в Google, в Bing, в Mail.ru и пожалуй, это может быть темой следующего, отдельного, поста.

Если понравился блог, можете подписаться на RSS, чтобы всегда быть в курсе новостей блога

Читать в Яндекс.Подписках

Комментарии:

28 комментариев к Sitemap и robots.txt для блогов на Blogger (Blogspot) — как это сделать

  • Ирина  говорит:

    Спасибо большое, все получилось, карта сайта проиндексировалась и файл робот.тхт тоже. К большому моему удивлению обнаружила, что Яндекс проиндексировал всего лишь 1 страницу. Остальные страницы оказались исключены из индексирования. Ответ: «Страницы запрещены к индексированию вебмастером или не существуют». Вообще у меня блог с 2008 года и года 3-4 назад моя попытка зарегистрироваться на Яндексе закончилась неудачей. Несмотря на это в ГуглАналитиксе у меня Яндекс стоит на первом месте. Я делаю сайты на Жумле, там все понятнее, а вот мое любительское детище в Блоггере превратилось в бесконечный поиск методов оптимизации. Жалко. Я живу в Греции и здесь блоги из Блоггера без всякого СЕО выходят на 1 стр поиска. Может посмотрите мой блог, если не трудно?

    [Ответить]

    Руслан Соловьев Reply:

    Ирина, спасибо за коммент! Обязательно загляну в гости на Ваш блог и выскажу свое мнение о Вашем блоге! 🙂

    [Ответить]

  • Павел Яковлев  говорит:

    /sitemap.xml для блоггер не адрес. Вы ошибаетесь.

    [Ответить]

    Руслан Соловьев Reply:

    И какие будут факты и доказательства? Или это просто сотрясение воздуха? Все ж просто проверяется — откройте ссылку http://rsolovyov.blogspot.com/sitemap.xml да и посмотрите сами. Дело 3-х секунд чтобы понять, что Вы написали ерунду…

    [Ответить]

  • Павел  говорит:

    В случае если домен 3 уровня (ссылки потом сотрете), то pawelstaryy.blogspot.com/sitemap.xml — всё верно пишите. Но свой домен http://www.blog-starika.ru/sitemap.xml — «такой страницы не существует». Значит, для своего домена, /sitemap.xml не адрес sitemap. Следовательно и в rodots такой адрес бесполезен, если не вреден. Ерунду не всегда пишем, так, слегка всего не договариваем.

    [Ответить]

    Руслан Соловьев Reply:

    Так карту сайта, в случае если это домен 2-го уровня, еще создать надо.
    Если на Вордпресс, то там все просто.
    А вот для блога на Blogger, если домен 2-го уровня — тут я не знаю, не пробовал.
    Надо поковыряться…

    [Ответить]

    Павел Reply:

    Заголовок этой статьи «Sitemap и robots.txt для блогов на Blogger (Blogspot)» о нем и разговор. А домен 2-го уровня для blogger, в настоящее время, большая проблема. Без WWW домен «прикрутить» просто невозможно. В вордпресс, насколько помню, плагин генерирует /sitemap.xml

    [Ответить]

  • Катерина  говорит:

    Здравствуйте! Вы написали:

    «Достаточно лишь к ссылке на ваш блог дописать /sitemap.xml чтобы ссылка на карту вашего блога выглядела вот в таком виде: http://rsolovyov.blogspot.com/sitemap.xml и ваша карта сайта уже сгенерирована!»

    Как это сделать на практике? Как к ссылке на мой блог дописать /sitemap.xml?
    Заранее спасибо!

    [Ответить]

    Руслан Соловьев Reply:

    Катерина, в Вашем случае это будет выглядеть так: http://katerinamartin.blogspot.ro//sitemap.xml
    Вот эту ссылку и прописываете, как карту сайта

    [Ответить]

  • Виктор  говорит:

    Спасибо большое, все получилось, карта сайта проиндексировалась и файл робот.тхт тоже.

    [Ответить]

  • Igor Chumakov  говорит:

    Руслан, спасибо за статью.
    Подскажите, пожалуйста, что я делаю неверно. Ввел в адресную строку адрес своего блога + sitemap.xml, получил http://forex-for-smartest.blogspot.com/sitemap.xml но карта сайта не генерируется. Заранее благодарю за ответ.

    [Ответить]

  • Александр  говорит:

    Руслан, спасибо за статью с подробными разъяснениями. Создал карту сайта для роботов и файл роботс. Вроде все нормально. Время покажет. А то блогу больше 2 лет и ничего не проиндексировано.

    [Ответить]

  • Сергей  говорит:

    С подключенным доменом все оказалось до противного просто. Вписывайте адрес на блоггере как был — site.blogspot.ru- и будет счастье! При этом в карте адреса ставятся правильные, на подключенный домен 2 уровня — специально качнул карту и проверил

    [Ответить]

  • Пул  говорит:

    Спасибо за инфу

    [Ответить]

  • Andrey  говорит:

    Руслан, большое спасибо за ваши труды, все сделал как вы сказали, все работает. У меня раньше блог был на WordPress, но его почему то постоянно взламывали, да и за хостинг приходилось платить. Недавно принял решение перенести блог на Blogger, правда приходиться статьи вручную прописывать, но в залог стабильности сайта я на это решился. Вот мой блог на компьютерную тематику: http://www.wintelecom.ru/
    Так же хочу отметить что в роботе вроде как нужно еще указывать главное зеркало(Главный хост), что бы поисковик понимал что главное с WWW а без него редирект. Сейчас буду искать информацию в интернете 🙂

    [Ответить]

  • Andrey  говорит:

    Дополняя предыдуший комментарий, за это отвечает деректива Host.
    Яндекс рекомендует вот так его прописывать:

    Host: http://www.glavnoye-zerkalo.ru (где http://www.glavnoye-zerkalo.ru — ваш сайт)

    [Ответить]

  • Andrey  говорит:

    Host прописывается без http://

    [Ответить]

Оставить комментарий или два

Вы можете использовать HTML тэги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>