388x60 Ads

Как добавить пользовательский robots txt в Blogger


Добрый день, уважаемые читатели блога БЛОGГЕР!


Совсем недавно в панели администратора Blogger появилась возможность настройки пользовательского файла robots.txt.

Что такое robots.txt?


Файл robots.txt - это страница, при помощи которой вы можете указать поисковым системам (поисковым роботам) какую часть контента индексировать, а какую запретить индексировать.

Как посмотреть содержание robots.txt?


Посмотреть, как выглядит ваша страница robots.txt по умолчанию, можно открыв ее в браузере добавив после вашего домена ссылку на страницу:


Например http://pro100blogger.com/robots.txt.


Кроме того, посмотреть содержание файла robots.txt вашего блога можно в Google Webmasters , а именно Инструменты для веб-мастеров – Доступ для сканера – Blocked URLs (robots.txt).

Как добавить пользовательский robots.txt?


Для добавления пользовательского файла robots.txt в настройках блога откройте меню «Настройки поиска» - «Пользовательский файл robots.txt»-«Изменить»


Я добавил такой код пользовательского robots.txt

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /

Sitemap: http://pro100blogger.com/feeds/posts/default?orderby=updated

User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /
Пользовательский файл robots.txt для Blogger


После внесения изменений, не забудьте их сохранить.


Кроме этого, там же можно настроить персонализированные теги robots для заголовков.


В этой вкладке я для архива и страницы поиска установил значения noindex , nofollow и noarchive .

Персонализированные теги robots для заголовков

Если эта статья вам понравилась, не забываем поблагодарить автора – активно плюсуем.

P.S. Дочитавшим до конца, небольшой музыкальный видео бонус.

SCORPIONS-Dust In The Wind








Подпишитесь В закладки НапечататьPrint Friendly and PDF


Вячеслав Вареня
Статус: seo-специалист | Контакты


34 коммент.:

aldous комментирует... [Ответить]

А чего директиву host не добавил для яндекса?

Марина комментирует... [Ответить]

Грамотно изложено. Вообще Ваш блог надо изучить внимательно - пригодится.

Asimo комментирует... [Ответить]

Как раз этот вопрос очень интересовал.Видел сервисы которые создают
robots.txt , уйма ссылок с назавнием статтей но неясно было как к Блоггеру прикрепить и постоянно обновлять ссылки, геморно как-то.
Если делать таким способом то в этом месте Sitemap: http://pro100blogger.com/feeds/posts/default?orderby=updated только имя твоего домена сменить на свой и все?
Пожалуйста отключи каптчу, бывает хочеться написать коммент, но пока разгадаеш шифр ужу думаеш "а ну его все..."

БЛОGГЕР комментирует... [Ответить]

@aldous

Привет. Да пост ночью писал, плюс новый дизайн готовлю... Директиву добавлю.

БЛОGГЕР комментирует... [Ответить]

@Asimo

Да, домен нужно заменить на свой.

aldous комментирует... [Ответить]

Я пока не трогал роботс, руки не дошли, да и после последних обстоятельств пока ничего не предпринимаю.

Николай комментирует... [Ответить]

Вот вы поставили для архива значения, а что это дает? Будет полный игнор ссылок в архиве или как. Просто я не понимаю.
И на счет директивы host, напишите чтобы все знали как. А то я пытаюсь ее добавить, а пишет что не правильно.

Николай комментирует... [Ответить]

А еще забыл, а разве это User-agent: Mediapartners-Google
Disallow: нужно оставлять, если нет рекламы от гугл?

БЛОGГЕР комментирует... [Ответить]

Архивы не должны индексироваться.
Что касается директивы host, то я пока не пробовал ее добавлять.

Катя комментирует... [Ответить]

Я тоже хотела научится составлять правильный роботс, но все статьи, которые попадались под руку, были сложные...
А вы хоть и писали статью ночью, но мне все интуитивно понятно. Спасибо!

aldous комментирует... [Ответить]

Nmitra из "Шпаргалки" составила очень правильный роботс.тхт (респектъ), в котором отсекаются все левые сслки от комментов и мобильной версии блога.
Что касается директивы "host", то Гугл не разрешает её добавлять, поскольку её поддерживает только Яндекс, с которым мировой поисковик не хочет считаться.

БЛОGГЕР комментирует... [Ответить]

@aldous

Не хочет считаться... Но, это не совсем правильно.

Pavel комментирует... [Ответить]

Неправильно отдельно для Яши ставить правило. Он попадает под User-agent: *

OaZi комментирует... [Ответить]

Спасибо! Очень приятный пост,а главное полезный!Долго лазил по инету по поводу этого robota,и только здесь нашёл нормальное объяснение.Автору респект!Так держать.Успехов!

БЛОGГЕР комментирует... [Ответить]

@OaZi

Спасибо. Рад был помочь.

Ильшат комментирует... [Ответить]

Спасибо за полезный пост очень помог мне.

Андрей Гайда комментирует... [Ответить]

Спасибо за инструкцию!

Advisor+ комментирует... [Ответить]

User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /

правильно ли ?
- для яндекса Allow: / не должен быть в конце

Виктор комментирует... [Ответить]

Спасибо Большое это сайт очень полезный мне тут пришлось искать почти целый день а у вас всё так описано что я сделал почти за 10 секунд...

Константин комментирует... [Ответить]

спасибо автору! очень полезно оказалось!

Alex Tarassevich комментирует... [Ответить]

Большое спасибо. На разных сервисах пробовал составлят, а гугл пишет "неправильный".А вот Ваш сразу прокатил. Буду ждать индексации.

Алексей Скворцов комментирует... [Ответить]

Тоже попробовал,посмотрим .
Автору спасибо

Мир питомца комментирует... [Ответить]

Спасибо автору за инструкцию! Сейчас буду пробовать. Успехов!

Rima Schreiber комментирует... [Ответить]

Спасибо! Ясно, просто.

Вячеслав Вареня комментирует... [Ответить]

@Rima Schreiber

Можно добавить в роботс сайтмеп и в формате xml. Пример смотрите тут http://pro100blogger.com/robots.txt

Витёк Федотов комментирует... [Ответить]

Посоветуйте правильный robots, чтобы прописать и больше ничего не менять, а то каждый по разному советует.
Вот мой роботс

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.nashakuhnja.ru/feeds/posts/default?orderby=UPDATED

Вячеслав Вареня комментирует... [Ответить]

Дело в том, что унифицированного варианта нет. Каждый веб-мастер составляет роботс на свое усмотрение. Такой вариант, как у вас используется в официальных блогах Гугл, например http://googlerussiablog.blogspot.ru/robots.txt

Елена и Сергей Кириченко комментирует... [Ответить]

Здравствуйте! Спасибо большое за помощь! Ничего в этом не понимаю, все скопировала, вставила свои данные. Уверенна, сделала хорошее дело)))

SalimOffClip Rishat комментирует... [Ответить]

Здравствуйте! Исходя из Ваших рекомендаций:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://kopilkarish.blogspot.ru/feeds/posts/default?orderby=updated

User-agent: Yandex
Disallow: /search
Allow: /

Ну пожалуйста, скажите, что правильно!!!

тимур комментирует... [Ответить]

Доброго времени суток.
А если не добавлять ничего а что робот сам не может определять для себя все.

У меня такой вопрос.Подскажите как правильно сделать

1)Я хочу чтоб робот индексировал у меня стоит отключено ,так он сам проиндексирует или мне указать на пользовательский?и что прописать

2)персонализированные теги robots для заголовков я хочу чтоб все индексировалось (а у меня ссылки ррел нофоллов )это тоже нужно отмечать или как?

Сайхан Сосланбеков комментирует... [Ответить]

Здравствуйте. Пожалуйста помогите, у меня появилась одна проблема: Почему-то blogspot не принимает robots.txt с указанием главного зеркала. Пишет: содержимое robots.txt не соответствует правилам форматирования. Вот как выглядит мой robots.txt:

User-agent: *
Disallow: /search
User-agent: Mediapartners-Google
Disallow:

Sitemap: http://мой сайт.ру/sitemap.xml

Объясните пожалуйста. Куда надо вставлять директиву "host" чтобы она заработала.

Вячеслав Вареня комментирует... [Ответить]

@Сайхан Сосланбеков

Сайхан, к сожалению пока Blogger не поддерживает директиву host в robots.

Андрей Кравцов комментирует... [Ответить]

подскажите в search console инструмент проверки файла robots это именно тот файл что я должен ддобавить в настройки блога вот скрин http://prntscr.com/ael40k

Вячеслав Вареня комментирует... [Ответить]

@Андрей Кравцов

Добрый день. Не знаю насколько я правильно понял ваш вопрос, но в SC вы проверяете ваш файл robots.txt, который редактируете в аккаунте Blogger - Настройки - Настройки поиска.

Отправить комментарий