388x60 Ads

Как проверить историю домена сайта - лучшая методика

Проверка истории домена  важный этап создания сайта, о котором многие вебмастера забывают. Наблюдая за вопросами на Справочном форуме для вебмастеров, обратил внимание на обилие вопросов об истории домена. Вебмастера не подозревают что каждый домен для поисковой системы имеет свою историю и репутацию. Не проверив домен перед покупкой, вебмастер может обнаружить, что, нежданно не гадано, его новый сайт уже получил меры, принятые вручную. Минимизировать подобные риски, предлагаю по моей методике проверки истории домена.


Проверка доступности домена

Почему начинаем с этого раздела? Потому что сначала выбираете домен, а потом делаете проверку его репутации.

Для проверки доступности домена используйте сайты:

Возможно вы знаете более удобные интернет-ресурсы для этих целей. Укажите их в комментарии к статье.

Если целенаправленно ищите дроповый домен, лучший сайт для этого - expireddomains.net. Здесь вы увидите информацию о статусе домена и его доступную статистику.

Проверка истории DNS

Проверка истории DNS покажет как давно существует домен, сколько раз менялись DNS, какое время он был брошен (не был зарегистрирован).

Для наглядности будем анализировать историю домена childrenproject.org.

Используйте бесплатные SEO-инструменты:

Судя по доменной зоне, домен childrenproject.org предназначается для организаций.
Как проверить историю домена сайта

Результаты проверки показывают, что домену 11 лет и в течение этого срока он 6 раз был брошен. Есть над чем задуматься.

Как проверить историю домена в архивах

Мы выяснили, что домен childrenproject.org подозрительный. Проверка истории домена сайта по веб-архивах даст представление о контенте и дизайне сайта.

Используйте бесплатные SEO-инструменты:

Один из этих сервисов показывает, что childrenproject.org содержит адалт контент.
Проверка истории домена сайта онлайн

Занимались сайтом китайские друзья. Вероятно, что сайт был взломан.

Если это будет технически возможно, вы можете получить доступ к коду сайта. Используйте для этого бесплатный SEO-сервис archiveorg.download. Зарегистрируйтесь, введите нужный домен. Если информация есть в веб-архиве, сможете скачать отдельные страницы или сайт.

Из кода страниц, кроме всего прочего, можно понять какой там был контент, сколько его было, какие рекламные скрипты в тот момент использовались на сайте, и где размещались рекламные блоки.

Анализ этой информации позволит понять, заслуживал ли домен мер за агрессивный спам или других мер, принятых вручную.

Как проверить репутацию домена

Проверить репутацию домена можно проанализировав существуют ли признаки спама.
На ссылочный и анкормный спам проверяйте в Ahrefs и Majestic.
Проверка истории ссылок

Если были пиковые приросты dofollow-ссылок, коммерческие анкоры составляют больше 15%, сайт мог получить меры за ссылки или попасть под Пингвина.

Обязательно прочитайте:
Суть алгоритма Google Penguin 4
Как проверить качество ссылок

Используйте оператор intext для анализа упоминаний в Google о домене. Например, intext:childrenproject.org .

Проверьте домен бесплатными SEO-сервисами:

Если указанные способы проверки не заставили вас сомневаться в репутации домена  это не означает, что можно на нём создавать сайт.

Как проверить историю домена в Search Console

В Google можно проверить домен на наличие мер без создания сайта. Как? Сейчас расскажу.
Добавьте домен в Search Console. Обычно для проверки требуется подтверждение права на сайт. Но есть случай, который позволяет подтвердить права только на домен. Перейдите в Справку Google. Найдите раздел "Провайдер доменных имен". Если провайдер поддерживает необходимые процедуры, система подтвердит права на домен.

Обычно если меры к домену применены вы  в Search Console увидите информацию об этом в течение 72 часов.

Если подобная проверка истории домена показала, что меры есть, но вам этот домен по каким-то причинам важен, можете подать запрос на повторную проверку. В ином случае, лучше выбрать для сайта чистый домен.
Подробнее

Продвижение сайта в Google на 2018 год

Продвижение сайта в Google на 2018 год

SEO — комплекс мероприятий улучшения общего качества сайта для увеличения трафика, конверсий и позиций в поисковой выдаче.

2017 год запомнится веб-мастерам непонятными апдейтами Google. Сложно было понять причины падения позиций и трафика.

Раскрутка сайта в Google — современные тенденции

В этой статье вы узнаете основные SEO-тенденции для продвижения сайта. Ещё в 2013 году Google делал заявления о том, что основной акцент будет сделан на развитие мобильной выдачи. Мобильный поиск с того времени стал "священной коровой".

Веб-мастера помнят как два — три года назад Google устроил массовые чистки среди сайтов, использующих wap-click. Затем настало время сайтов, использующих в мобильной версии полноэкранные рекламные объявления. В 2017 году Google запустил новый инструмент проверки скорости мобильной версии сайтов, а также увеличил число символов в description до 230.

Mobile-first index

Информация о запуске Mobile-first index появилась в официальном блоге Google в ноябре 2016 года.
Чтобы наши результаты были более полезными, мы начали эксперимент, чтобы сделать мобильный индекс основным. Хотя наш индекс поиска по-прежнему будет единым индексом веб-сайтов и приложений, наши алгоритмы в итоге будут в основном использовать мобильную версию контента сайта для ранжирования страниц с этого сайта, для понимания структурированных данных и отображения сниппетов этих страниц в наших результатах.
Если Google и проводит эксперименты, то они затрагивают десятки тысяч сайтов. Не исключено, что падение позиций и трафика некоторых сайтов в феврале, марте, сентябре 2017 года частично связаны с выкаткой Mobile-first index.

Mobile-first index — пошаговая инструкция

1. Унификация основного контента и разметки вебсайта. Если у вас используется адаптивный дизайн, где основной важный контент и разметка эквивалентны в мобильной и десктопной версии, вам не нужно ничего менять. Важный высококачественный контент — текст, изображения (с alt - атрибутами!) и видео в обычных форматах для сканирования и индексирования.
Если на сайте основной контент и разметка для мобильной и десктопной версии различаются, следует подумать о внесении изменений в сайт для достижения их эквивалентного представления.

2. Унификация структурированных данных вебсайта. Обязательно разместите одинаковую основную структурированную разметку для десктопной и мобильной версии. Их соответствие вы можете проверить, введя URL-адреса обеих версий в инструменте тестирования структурированных данных и сравните результат. Структурированные данные важны для функций индексирования и поиска. Разметка должна быть валидна.
При добавлении структурированных данных на мобильный сайт избегайте добавления больших объёмов разметки, которые не имеют отношения к конкретному информационному содержимому каждого документа.


3. Доступность мобильной версии роботу. Используйте инструмент проверки robots.txt, чтобы убедиться, что ваша мобильная версия доступна роботу Googlebot.

4. Метаданные. Они должны присутствовать в обеих версиях сайта.

5. Метатег rel canonical. В canonical вносить изменения не нужно. Google продолжит использовать эти ссылки для предоставления соответствующих результатов пользователю.

6. Подтверждение мобильной версии. Если вы подтвердили в Search Console только десктопную версию сайта, добавьте туда и подтвердите версию для мобильных устройств.

7. Мобильная версия на субдомене. Google официально заверяет что никаких изменений для взаимодействия с отдельными мобильными URL-адресами (m.-dot sites) не требуется. Хотя неофициально настоятельно рекомендует использовать адаптивный шаблон. Сохраните существующие ссылки rel = canonical и rel=alternate для мобильной версии сайта на субдомене.

8. Скорость загрузки сайта. Скорость загрузки мобильной версии сайта должна быть меньше 3 секунд при тестировании на 3G соединении. Убедитесь, что серверы, на которых размещён мобильный сайт (m.example.com), имеют достаточную ёмкость для обработки потенциально повышенной скорости сканирования. Это не распространяется на сайты с адаптивным дизайном. Проверьте ваш сайт инструментом PageSpeed Insights. Его показатели для обеих версий сайта должны быть выше 85. Вот цитата из официальной документации Google.
You can understand your performance better by using Pagespeed Insights (aim for score >85) and SpeedIndex on WebPageTest (aim for <4000 first view on Mobile 3G Nexus 5 Chrome)

Рекомендуемые SEO-инструменты:

Schema markup generator
Mobile SEO
Mobile-First Index Prep Tool (Beta)
Mobile friendly test

Внедрение AMP и PWA

Внедрение AMP и PWA

AMP переводится как ускоренные мобильные страницы. Это ещё один вектор развития поисковых технологий Google. AMP-страницы загружаются менее чем за 1 секунду и используют в 10 раз меньше данных, чем обычные веб-страницы.

Подобный эффект достигается за счёт уменьшения веса веб-страниц.

AMP не является фактором ранжирования. Внедрение этой технологии на практике иногда приводит к тому, что по отдельным запросам AMP-страница ранжируется выше, чем обычные веб-страницы.

Продвижение сайта при помощи AMP-страниц бесплатно. Код и документация выложены в открытом доступе. Можно самому всё настроить. С чего начать? Для начала изучите AMP-документацию. Обратите внимание на сервис ampproject.org. Это великолепное дополнение к документации AMP для тех, кто собирается внедрить эту технологию на сайте.

И если цель технологии AMP моментально загрузить веб-страницу при низкой скорости интернет, PWA позволяет взаимодействовать с сайтом или его разделами при отсутствии интернет-соединения.

PWA — технология для коммерческих сайтов с растущей мобильной аудиторией. Размер PWA в 54 раза меньше, чем у Android-приложения, и на 180x меньше, чем у iOS-приложения.

Пример того, как это работает.

BookMyShow — крупнейшая в Индии компания по продаже билетов, аудитория более 50 миллионов посетителей ежемесячно. Они разработали улучшенную версию своего мобильного веб-сайта с использованием прогрессивного веб-приложения (PWA). Результат не заставил себя ждать. Количество конверсий увеличилось  на 80%, а это означает, что больше пользователей покупают билеты. Руководство Google о PWA.


Рекомендуемые SEO-инструменты:

AMP validator
Lighthouse
PWA Stats
PWA Directory
Progressive Web App Checklist

Голосовой поиск в Google

Голосовой поиск

А знаете ли вы, что:
● 40% взрослых выполняют, по крайней мере, один голосовой поиск каждый день.
● Голосовые запросы, выполненные в Google, выросли в 35 раз начиная с 2008 года.
● 20% всех поисков на мобильных устройствах — это голосовые поисковые запросы.
● По прогнозам ComScore 50 процентов всех поисковых запросов к 2020 году будут голосовыми запросами.

Размещая текстовый контент на страницах сайта, подумайте по каким голосовым запросам пользователи будут искать информацию на ваших веб-страницах. Делайте акцент на естественность языка.

Влияние ссылок

Бэклинки были и остаются одним из основных факторов ранжирования в Google. Тут ничего не поменялось. Ссылки должны вести из качественных, авторитетных источников. По ним должен быть трафик.

Оптимизация и продвижение сайта, в том числе структура и динамика обратных ссылок, должны выглядеть естественно.

Не допускайте пиковых приростов обратных ссылок. Бэклинков с атрибутом nofollow в структуре ссылочного профиля должно быть не меньше 10 процентов.

Обязательно прочитайте!
Как проверить качество ссылки

Что делать с некачественными бэклинками? Нужно ли их отклонять? Здесь есть изменения.

После запуска четвёртой версии алгоритма Пингвин инструмент disavow tool рекомендуется применять, только если в Search Console есть сообщение о мерах, принятых вручную.

Релевантность и качество основного контента

Уже два года подряд сотрудники Google акцентируют внимание на том, что в ранжирование давно не ссылками едиными.

Многие веб-мастера не понимают, что алгоритмы Google в своём развитии ушли далеко вперёд и схема "количество вхождений + SAPE" работает всё реже и реже.

Некоторые известные SEO-специалисты до сих пор уверены, что для Google в первую очередь важна длина текста.
Как написать полезный контент, который хочет видеть Google?
Сначала опубликуйте контент объёмом не менее 2000 слов.
Brian Dean, автор блога Backlinko
Я не соглашусь с Брайаном. Тексты ради текстов никому не нужны и количество слов имеет значение, но второстепенное.

Если говорить о количестве слов, то их минимум установлен только для новостных сайтов (текстового контента) и составляет 80 слов.

Главное, чтобы текст был максимально полезным и релевантным поисковому запросу. Не забудьте о естественности изложения информации. Ниже указаны инструменты для оптимизации текстов.

Обязательно прочитайте!
Оптимальное количество слов в новостях
Как Google использует слова синонимы

Рекомендуемые SEO-инструменты:

Content Analysis
Лемматизатор текста
WordSimilarity
RusVectōrēs

Использование указанных выше SEO-трендов и инструментов сделает продвижение сайта в Google в 2018 году намного эффективнее. Будут вопросы, пишите в комментариях.
Подробнее

Результаты исследований: CTR и ранжирование

Google внёс много изменений в свой интерфейс. В том числе AMP, локальные пакеты объявлений, запуск алгоритма Rank Brain, увеличение количества рекламы в SERP и многое другое.

Как это повлияло на CTR? Существует ли корреляция между CTR и позицией сайта в SERP?

В этой статье я опубликую перевод результатов нескольких исследований.

Факторы ранжирования и CTR

В Патенте Google сказано, что CTR  –  индикатор популярности и, следовательно, потенциальный индикатор качества [1].
CTR – это количество кликов по объявлению, разделённое на число показов.
Высокий CTR означает, что пользователи считают ваши объявления полезными и релевантными. CTR объявления также влияет на расчётный CTR ключевого слова (от которого, в свою очередь, зависит показатель качества), а потому он может влиять на позицию и стоимость объявления.
Cправка - AdWords


Google традиционно опровергает информацию о том, что CTR – это фактор ранжирования.

Инженеры Google говорят о том, что не нужно искать зависимость между результатами органической и рекламной выдачи. Если показатель кликабельности влияет на рекламную выдачу это не означает, что автоматически влияет и на органическую.

Но так ли это? Многие веб-мастера и аналитические агентства сомневаются в том, что нет взаимосвязи между CTR и позицией в органической выдаче. Определённая логика в этом есть. Основная цель Google более высоко показывать в SERP результаты максимально полезные и релевантные поисковому запросу.
Есть две стороны хорошей целевой страницы: качество и релевантность. «Качество» означает, что у пользователей хороший опыт посещения сайта. «Релевантность» означает, что они находят то, что было обещано в объявлении.
AdWords TenScores
Если кликабельность  –  индикатор популярности, качества целевой страницы, полезности и релевантности, то вполне вероятно, что CTR хоть и косвенно, но учитывается для целей ранжирования. С другой стороны, определённая корреляция позиции в SERP показателя кликабельности может быть лишь следствием расчёта рейтинга страницы с учётом признанных факторов ранжирования и выбора пользователя.

Обязательно прочитайте!
О RankBrain в подробностях
Как люди просматривают сайт
Fred не существует

Ignite Visibility провело в 2017 году исследование проанализировав 5000 запросов.

Они отмечают, что, как правило, страницы с более высоким рейтингом в Google имеют более высокий CTR.

Процентные ставки CTR в 2017 году в зависимости от позиции в SERP Google.
CTR и ранжирование
Изображение Ignite Visibility

Распределение процентных ставок CTR в 2017 году по позициям из ТОП 10 Google.
Позиция 1 – 20,5%
Позиция 2 – 13,32%
Позиция 3 – 13,14%
Позиция 4 – 8,98%
Позиция 5 – 9,21%
Позиция 6 – 6,73%
Позиция 7 – 7,61%
Позиция 8 – 6.92%
Позиция 9 – 5,52%
Позиция 10 – 7.95%

Ignite Visibility видит существование чёткой корреляции между ранжированием позиции и кликами в Google. Они считают логичным (закономерным) распределение CTR в зависимости от позиции в SERP до десятой позиции, которая имеет небольшой рост[2].

Основываясь на этом исследовании, Ignite Visibility считает значение CTR важным моментом для ранжирования позиций в Google в 2017 году.

По-прежнему верно, что чем больше запросов сайта на первой странице SERP, тем больше трафика вы получите. Но тут нам следует обратить внимание на другое исследование.

Снижение кликабельности на 37%

Специалисты агентства Wordstream заметили падение трафика по топовым запросам. Они заподозрили, что это связано с изменением представления результатов в SERP Google и привело к снижению CTR.

Wordstream проанализировало 24 запроса, по которым они в течение двух лет неизменно занимают первую позицию.
По данным исследования Wordstream, средний CTR снизился на 37 процентов![3]

Причём несмотря на увеличение доли мобильного трафика Wordstream наблюдают падение CTR на всех типах устройств.

Летом 2017 года Internet Marketing Ninjas (IMN) опубликовал собственное внутреннее исследование о CTR.

IMN проанализировали 20 000 запросов, которые за 3 месяца получили более 64 миллионов показов и более 4 миллионов кликов.

CTR по позициям
Изображение Internet Marketing Ninjas

IMN пришли к таким выводам:[4]
На 30% процентов результатов из ТОП 2 Google вовсе не кликают. Это довольно близко к тем результатам, которые получили специалисты Wordstream.
99% всех кликов по брендовым запросам поступают из Top 3.
● В среднем, позиция №1 в SERPs имеет CTR в диапазоне ниже 20%. IMN обнаружил, что менее половины (~ 40%) позиций № 1 получили оценку CTR не более 30%.
● Позиция №2 обычно составляет примерно половину того, что было зафиксировано в рейтинге для позиции № 1 – CTR в диапазоне 10%.

Влияние рекламных блоков на конкурентность запроса

Ещё одно интересное исследование опубликовало SEO Works.

В феврале 2016 года Google объявил о том, что они перестанут показывать рекламу с правой стороны поисковых запросов, чтобы освободить место для товарных объявлений и объявлений в панели знаний. И вместо рекламы с правой стороны у нас теперь есть реклама как в верхней, так и в нижней части SERP.
Количество блоков рекламы и уровень конкуренции
Изображение SEO Works

По данным SEO Works, уровень конкуренции по  ключевому слову напрямую связан с количеством объявлений, отображаемых в результатах поиска. Запросы, которые содержат модификаторы "купить", "купон" и тому подобное, повышают конкуренцию по ключевому слову на 50%[5].

Повышение уровня коммерциализации SERP приводит к увеличению конкуренции по коммерческим запросам. По мнению Wordstream, это хоть и незначительно, но повлияло на общий уровень снижения CTR.

[1] Патент Google "Website quality signal generation" US 8442984 B1
[2] Исследование Ignite Visibility. GOOGLE CLICK-THROUGH RATES IN 2017 BY RANKING POSITION.
[3] Elisa Gabbert. Value of a #1 Google Ranking Down 37% in Two Years?
[4] Dan O'Leary. Announcing: 2017 Google Search Click Through Rate Study.
[5] Keith Paulin. Google’s PPC Shift: How Ads for “Highly Commercial Queries” Impact Organic Results.
Подробнее

В центре внимания – юзабилити сайта

Результаты трёх исследований о юзабилити сайта


Знаете ли вы, куда посетители смотрят, посещая веб-страницу? Сколько слов и символов они воспринимают? Nielsen Norman Group провела три исследования на эту тему.

Цели тестирования – выяснить что находится в центре внимания посетителя интернет-страницы, как он её просматривает, сколько символов он воспринимает в ссылке.

Исследования в области проверки зрения показывают, что люди просматривают веб-страницы и экраны телефонов в разных шаблонах, один из которых в форме большой латинской буквы F.


В F-образном шаблоне сканирования характерно множество фиксаций внимания, сосредоточенных в верхней и левой частях страницы. В частности: сначала пользователи читают двигая глазами горизонтально, обычно через верхнюю часть области содержимого. Этот начальный элемент образует верхнюю панель шаблона восприятия F.

Затем пользователи немного перемещаются по странице и просматривают её во втором горизонтальном движении, которое обычно покрывает более короткую область, чем предыдущее движение. Этот дополнительный элемент образует нижнюю планку F.

Наконец, пользователи просматривают левую сторону содержимого в вертикальном движении.

Иногда это медленное и систематическое сканирование, которое выглядит как сплошная полоска. В других случаях пользователи двигаются быстрее. Этот последний элемент образует "стебель" шаблона внимания F.
Последствия F-шаблона внимания:
● Первые строки текста на странице получают больше взглядов, чем последующие строки текста на одной странице.
● Первые несколько слов слева от каждой строки текста получают больше фиксаций, чем последующие слова в одной строке[1].

В первых строках текста люди сканируют больше слов справа, чем на следующих.

Эта картина сканирования напоминает форму буквы F, но она редко бывает в форме идеальной литеры F. Например, в некоторых случаях люди могут заинтересоваться абзацем на странице и могут фиксироваться на большее количество слов, снова считывая вправо, поэтому картина иногда похожа на Е.

F-образный шаблон применяется для чтения пользователями области содержимого веб-страницы. Он описывает поведение людей, когда они посещают веб-страницу и оценивают ее контент, а не их поведение, когда они находятся в новом разделе веб-сайта, и проверяют навигационные панели (как правило, наверху и / или слева от страницы), чтобы решить куда идти дальше. Таким образом, в F-шаблоне, взгляды слева падают на левую часть области содержимого, а не на саму левую часть полной страницы, если левая колонка занята навигационной направляющей.
В центре внимания – юзабилити сайта
Изображение nngroup.com
Пользователи тратят 80% своего времени на просмотр левой половины страницы.
Двадцать процентов времени люди тратят, просматривая правую половину[2].

Учитывайте эргономичность при разработке сайтов и  SEO продвижении. Удобство пользования и размещения основного контента поможет максимизировать эффективность пользователей и прибыль сайта.

Обязательно прочитайте!
Как раскрутить сайт своими силами

Использование данных  SERP составляло 16% веб-тестирования и анализировались отдельно, чтобы предотвратить перекос данных. Nielsen Norman Group обнаружили, что шаблоны просмотра на страницах результатов поиска (SERP) отличаются от шаблонов просмотра в общей сети. В SERP 94% фиксаций упали на левую сторону страницы[2].

Способы убедится, что клиенты могут легко найти приоритетный контент :
- Используйте обычные верхние навигационные или левые навигационные форматы.
- Приоритетное содержание размещайте спереди и в центре, имея в виду, что правая сторона страницы привлекает гораздо меньше внимания, чем левая, и что крайняя левая область должна быть зарезервирована для навигации (если используется такой шаблон).
- Сохраняйте вспомогательный контент справа.
- Если вы используете правую часть контента, убедитесь, что люди действительно смотрят туда.
Ещё один дельный совет был опубликован на Хабре.
Избегайте рассеивания внимания. Пользователи, особенно мобильные, не любят, когда неожиданно меняется содержимое экрана. К этому нужно прибегать только в ответ на явные действия пользователей[3].
Если мы все проснёмся завтра в мире, где все сайты будут размещать навигацию справа, пользователи это заметят и будут вынуждены менять свои привычки просмотра, чтобы адаптироваться к этому новому миру.

Если вы хотите победить в гонке за внимание пользователя, убедитесь, что ваш сайт выигрывает от удобства использования. Позвольте вашим пользователям быть успешными. Успешные пользователи достигают своих целей. Поддержка целей пользователей является наиболее важной частью достижения бизнес-целей.

Тестирование того, насколько хорошо люди понимают первые 11 символов ссылки, показывает, что сайты создают для пользователей, которые обычно сканируют, а не читают списки элементов.

Цель новейшего исследования usability сайта, проведённого Nielsen Norman Group, – проверить, насколько хорошо пользователи понимают первые 11 символов ссылок и заголовков сайта.

Вам будут интересны их результаты.
● Обычно пользователи видят около 2 слов для большинства элементов списка;
● они увидят немного больше, если слова короткие;
● и только первое слово, если слова длинные.
Конечно, люди не видят ровно 11 символов каждый раз, но это число выбрали, чтобы обеспечить единообразие на сайтах, которые тестировали. Подобные принципы применимы как к ссылкам, так и к заголовкам[4].

По материалам:

1. KARA PERNICE. F-Shaped Pattern of Reading on the Web: Misunderstood, But Still Relevant (Even on Mobile)
2. THERESE FESSENDEN. Horizontal Attention Leans Left
3. Статья на Habrahabr "15 шагов по улучшению юзабилити", 30 марта 2016.
4. JAKOB NIELSEN. First 2 Words: A Signal for the Scanning Eye
Подробнее

Как Google использует слова синонимы


Почему синонимы очень важны для продвижения сайтов? Как Google использует похожие слова при обработке запросов? Синонимы  это фактор ранжирования? В этой статье вы получите ответы на эти вопросы.

Цель поисковой системы — вернуть наилучшие результаты для поиска, а понимание языка имеет решающее значение для возвращения лучших результатов. Ключевая часть этого — система для понимания синонимов. Google использует много методов для извлечения синонимов. Их системы анализируют огромное количество веб-документов и исторических данных поиска, чтобы создать сложное понимание того, что слова означают в разных контекстах.

Исследования показывают, что синонимы влияют на 70 процентов пользовательских запросов на более чем 100 языках, поддерживаемых Google.

Google взял ряд запросов и проанализировал, насколько точны синонимы, и был доволен результатами: на каждые 50 запросов, где синонимы значительно улучшали результаты поиска, Google получил только один плохой синоним[1].

Об этом в 2010 году писал инженер Google Steven Baker.


Мэтт Катс, комментируя эту статью, посоветовал веб-мастерам подумать о разных словах, которые поисковики могут использовать при поиске вашего контента. «Подумайте о сленге, который будут набирать пользователи. Не упускайте из вида термины, которые люди будут печатать, подумайте о синонимах, естественным образом соответствующие вашему контенту. Не засоряйте статью ключевыми словами, но если вы используете разные способы рассказать о предмете естественным образом, это может помочь пользователям»[2].

Так что Мэтт Катс тоже рекомендовал использовать синонимы в контенте сайта.

Что такое слова синонимы?

Определим критерии термина "синонимы".
Слова синонимы — слова, принадлежащие, как правило, к одной и той же части речи, различные по звучанию и написанию, но имеющие похожее лексическое значение.
Википедия[3]
Что происходит на практике. Часто пользователь вводит запрос на одном языке, а результаты получает на другом.

Пример — в Google-ua вводится запрос на украинском языке из четырёх слов, несозвучных и не однокоренных с похожими словами на русском языке. При этом результаты выдачи на запрос пользователь получает на русском языке.

Второй пример. Пользователь вводит запрос, а в перечне результатов видит страницы, в которых ключевое слово запроса отсутствует.

Google понимает термин "слова синонимы" более широко. Это слова одинаковые или близкие по смыслу и упоминаются в одинаковом контексте. Это необязательно слова на одном языке.

Google использует систему Knowledge base, поэтому рискну предположить, что "Корпорация добра" выкупила у Xerox Corporation патент US 8103669 B2.

Слово «синоним» относится к термину (к слову или фразе), который встречается в запросе пользователя и считается эквивалентным термину в базе знаний (knowledge base) или наоборот. Он может иметь такое же или сходное значение для термина базы знаний.
Патент US 8103669 B2[4]
«Синонимическое правило» — это тип правила расширения запроса, которое указывает пару (проблематичный термин, заменяющий термин) и необязательно содержит ограничение на контекст. Контекстное ограничение может указывать другой термин, связанный / не связанный с проблемным термином и / или заменять термин для правила расширения запроса, которое должно применяться.
Патент US 8103669 B2

Инженер Google Paul Haahr третьего марта 2016 года на конференции SMX West выступил с докладом «Как работает Google». Обратите внимание на этот слайд из доклада.
Как Google использует слова синонимы

Процесс понимания поисковой системой Google запроса состоит из трёх этапов:
- Содержит ли запрос имя или известную сущность;
- Существуют ли полезные синонимы;
- Какой контекст использования.
Как указано в Патенте US 8103669 B2 синонимы полезны в нескольких контекстах. Системы поиска информации нуждаются в создании и обслуживании правил расширения запросов на основе синонимов, поскольку терминология, используемая в доступном для поиска содержании базы знаний, часто отличается от терминологии, применяемой пользователями поисковой системы.

Системы устранения неполадок с пользовательским взаимодействием на основе пользовательского языка обеспечивают эффективные результаты только в том случае, если у пользователя есть определённый опыт терминологии, используемой в базе знаний (knowledge base), и он может выбирать правильные слова для запроса.

Синонимы должны определяться точно и выборочно чтобы быть полезными. Общий список синонимов для естественных языков в некоторых случаях отсутствует. Большинство баз знаний имеют ограниченное число правил расширения запросов, которые заменяют один или несколько синонимов для запрашиваемого термина. 

Примерный вариант реализации изобретения обеспечивает способ разработки правил расширения запросов, который может выполняться, по меньшей мере, полуавтоматически, для улучшения поиска из структурированной базы знаний (knowledge base).

Предполагается, что полуавтоматическая система [с привлечением редакторов] формирования правил расширения запроса включает в себя модуль, который автоматически извлекает пары синонимов из выражений, используемых пользователями в запросах при поиске в базе знаний. Модуль экспорта правил синонимии экспортирует правила расширения запросов на носитель данных для использования при расширении пользовательских запросов при поиске базы знаний.

Если Google использует этот Патент, подбор синонимов производится примерно в таком порядке
1. Пользователь вводит запрос;
2. Система проверяет, содержит ли он имя или сущность;
3. Система анализирует контекст использования;
4. Система производит поиск синонимов в knowledge base;
5. Система получает из knowledge base информацию и создаёт список релевантных страниц;
6. Система ранжирует (англ. ranking) каждую страницу из списка используя факторы ранжирования.

Слова синонимы - фактор ранжирования

Синонимы являются фактором ранжирования, как это ни удивительно для многих звучит. Не верите? Смотрите на слайд из доклада инженера Paul Haahr.
Синонимы — это фактор ранжирования

Paul Haahr объяснил, что синонимы — это сигнал ранжирования, зависимый от запроса. Как слова синонимы влияют на ранжирование, не совсем ясно. Можно предложить, что синонимы используются Google в модели LSA.
Латентно-семантический анализ (ЛСА) (англ. Latent semantic analysis, LSA) — это метод обработки информации на естественном языке, анализирующий взаимосвязь между коллекцией документов и терминами в них встречающимися, сопоставляющий некоторые факторы (тематики) всем документам и терминам. Впервые ЛСА был применён для автоматического индексирования текстов, выявления семантической структуры текста и получения псевдодокументов. Затем этот метод был довольно успешно использован для представления баз знаний и построения когнитивных моделей.
Википедия[5]

Обязательно прочитайте!
Обновления алгоритма Google - Fred и его друзья
Google Algorithm Update 7 февраля 2017 года

Я уже писал, основываясь на документах Google, что если RankBrain видит незнакомое ему слово или фразу, машина может сделать предположение относительно того, какие слова или фразы имеют аналогичный смысл и фильтровать результат.
Судя по всему, модуль подбора синонимов  часть алгоритма RankBrain и синонимы не являются самостоятельным сигналом ранжирования. RankBrain — это система машинного обучения, объединяющая сигналы ранжирования и понимание документов.

SEO продвижение и подбор синонимов

Нужно активно использовать семантические аналоги для продвижения сайтов, поскольку инженер Google Paul Haahr говорит о синонимах как о факторе ранжирования.
Если пары синонимов в knowledge base действительно периодически корректируются редакторами, то "человеческий фактор" может при каких-то обновлениях алгоритма опосредовано влиять на результаты выдачи. В таких случаях веб-мастерам будет всё сложнее искать причины падения трафика или позиций. Рекомендую посмотреть это видео.
Итак, где найти примеры синонимов? Первое что вам поможет — это сам Google. Поисковая система подсвечивает полужирным текстом ключевые слова из запроса и их синонимы. Примеры синонимов видны в инструменте автозамены при вводе запроса в окно поиска; в результатах выдачи; подсказках внизу результатов выдачи.

Автоматизировать процесс сбора подсказок можно при помощи программы Словодер.

Также используйте:
Викисловарь
Словарь синонимов
Словари gramota.ru
Парсинг подсветок Yandex

Ещё одним полезным инструментом является Google Correlate.
Google Correlate

Google Correlate использует информацию об активности веб-поиска для поиска запросов с похожим шаблоном в целевой серии данных.

Если ввести в этот инструмент слово "консультация" Google выдаст результаты, которые коррелируют с трудоустройством, медицинской тематикой, и в меньшей степени с юриспруденцией. Предположительно Google Correlate указывает на контекст, в котором Google хочет обрабатывать запрос.

Источники:
1. Google Official Blog. January 19, 2010. Steven Baker, Software Engineer. Helping computers understand language.
2. Matt Cutts. January 19, 2010. More info about synonyms at Google.
3. Синонимы. Статья из Википедии.
4. Патент US 8103669 B2. System and method for semi-automatic creation and maintenance of query expansion rules.
5. Латентно-семантический анализ. Статья из Википедии.
Подробнее

Обновления алгоритма Google - Fred и его друзья


Что повлияло на трафик сайтов в феврале 2017 года? Что такое Fred и существует ли он? Что такое "медицинский апдейт" и был ли он на самом деле?

Наверно только ленивый не писал об алгоритме Fred. Я в числе таких лентяев, потому что пишу только сейчас. Теперь давайте обсудим три комплексные обновления поискового алгоритма Google, произошедшие в 2017 году.

Обновление алгоритма в феврале 2017 года

Кто не помнит, началось все с февральского обновления. Тогда тоже в кругах веб-мастеров возникла паника, потому что не было понятно что повлияло на ухудшение результатов сайтов.
Есть основания считать, что в феврале 2017 года было крупное обновление алгоритма Панда. Подробности по ссылке выше. Смотрите так же видео ниже.
Тогда же в феврале 2017 года на мой вопрос Джон Мюллер ответил следующим образом:
Это не столько «обновление основного алгоритма», сколько, вообще, нормальные изменения, как всегда, но несколько одновременно и это скорее по совпадению, чем по плану.  Мы не комментируем их, это просто наши нормальные изменения. Некоторые сайты растут, работая над улучшением качества сайта, некоторые сайты идут вниз.
John Mueller, Google
Алгоритм Панда обновляется ежемесячно. Крупные обновления происходили в начале месяца. Гипотеза — если к ежемесячному обновлению Панды подмешиваются обновления других алгоритмов — это приводит к комплексному обновлению. Учитывая, что ядром февральского, мартовского и, возможно, сентябрьского обновлений может быть Панда, будет полезным напомнить слова Gary Illyes об этом алгоритме.
Это часть основного алгоритма ранжирования. Вам нужно улучшить качество сайта, смена доменов не улучшит ваш рейтинг.
Панда оценивает качество сайта, проверяя подавляющее большинство страниц. Но, по сути, позволяет нам учитывать качество всего сайта при ранжировании страниц и корректировать рейтинг для страниц. Если вы хотите получить простой ответ, алгоритм не будет снижать оценку, он будет фактически понижать.
Gary Illyes, Google

Рождение Фреда — март 2017 года

Всем известный "рупор" новостей из Google Барри Шварц, общаясь в твиттере с Гэрри Илшем, попросил его прокомментировать подобные комплексные изменения алгоритмов Google, которые произошли в начале марта 2017.
Gary Illyes об алгоритме Fred

У нас  3 обновления [алгоритма, — прим. авт.] в день в среднем. Я думаю, можно с уверенностью предположить, что недавно было... [обновление, — прим. авт.]
Gary Illyes, Google
Барри предложил как-то назвать это обновление, на что Гэрри Илш ответил:
Конечно! С этого момента каждое обновление, если не указано иное, называется Fred.
Gary Illyes, Google

SEO-порталы быстро растиражировали это под "соусом" того, что якобы появился новый алгоритм Fred. Мало кто обратил внимание, что это лишь одно из нескольких регулярных обновлений и название Fred было, скорее всего, шуткой Гэрри Илша.

Три месяца назад ещё один сотрудник Google мне подтвердил, что как такового алгоритма Fred не существует и никогда не существовало.

Казалось бы, прошло уже полгода, а интерес к алгоритму Фред не утихает. 5 сентября 2017 г. вебмастера на очередной видеовстрече допрашивали Джона Мюллера есть ли жизнь на Марсе существует ли Fred.
Название Fred использовалось для целой серии алгоритмических обновлений, которые начались весной ... Люди объединяют все это в имя Fred, что, с моей точки зрения, не делает его намного проще для понимания. Иногда возникают очевидные проблемы с качеством, в соответствии с которыми мы обновляем эти алгоритмы. Иногда есть очевидные проблемы со ссылками, на которые могут сосредоточиться наши алгоритмы. Но если вы сложите все это вместе и скажете: "Я нашёл пять веб-сайтов, которые похожи на это. Поэтому Фред должен быть таким", то это вводит в заблуждение.
John Mueller, Google
Как видим, так называемый  Fred, — это результат комплексного обновления нескольких алгоритмов Google.

Я как и многие веб-мастера пытался понять какие именно из известных нам алгоритмов обновились в марте. Проанализировав несколько десятков сайтов были выявлены общие признаки.

По моему, мнению  Fred, — это обновление в течении короткого периода времени таких алгоритмов качества:
- Панда
- Алгоритмы, оценивающие UX
- Page Layout. Если кто не помнит, — этот алгоритм наказывает сайты за агрессивную рекламу.
- Алгоритмы, связанные с оценкой качества мобильной версии сайта.

Подробнее на видео.

Да, такие обновления приводят к значительным изменениям в выдаче и объёме трафика и довольно сложно веб-мастеру понять причину снижения позиций или трафика.

Обновление алгоритма Google в сентябре 2017

Веб-мастера активно обсуждают последствия обновления алгоритмов Google, которое произошло 6-10 сентября 2017 года. Как и в феврале, и в марте 2017 года у сайтов наблюдается резкое снижение трафика. Веб-мастера отмечают, что пострадали в основном сайты медицинской тематики из США и Западной Европы.

В это же время ко мне обратились владельцы шести сайтов adult тематики, у которых тоже резко просел трафик. Не знаю насколько это показательно, но их объединяло то, что у всех этих сайтов была низкая скорость загрузки в мобильной версии.

Сотрудники Google категорически отрицают тот факт, что обновление может касаться какой-то одной ниши.

По этому, говорить о том, что сентябрьский апдейт носит ярко выраженную медицинскую направленность нет оснований.


Рекомендую "медикам" почитать Руководство Google для асессоров. В нём ясно сказано что Google ожидает от таких сайтов. Собственно в Руководстве сказано, что сайты, относящиеся к категории YMYL, должны отвечать самым высоким критериям качества, авторитета и доверия (модель E-A-T). Вам также будет интересно прочитать - Как Google использует слова синонимы.

Ради интереса была проанализирована выдача из ТОП 10 Google-ru по запросам "Прыщи", "Лифтинг кожи", "Протезирование зубов виды". Полученный список сайтов был проверен сервисом testmysite.withgoogle.com.

Вот такие получились результаты.
Скорость загрузки сайтов ТОП 10 Google-ru

В ТОП 10 ниши "Медицина" только 22 процента медленных сайтов. Лучшие сайты в этой нише имеют скорость загрузки 5 секунд и ниже. Не забывайте о том, что Google постепенно внедряет mobile-index, экспериментируя на десятках тысячах сайтов. Вполне вероятно, что ваш сайт попал в их число. И если мобильная версия вашего сайта не отвечает требованиям mobile-index, то, возможно, это тоже сказалось на ранжировании.

Посмотрим динамику популярности запросов "прыщи", "сыпь","лифтинг кожи", "протезирование зубов виды". Именно  с 10 по 16 сентября популярность отдельных запросов медицинской тематики упала. Это могло быть одной из причин падения трафика.
Динамика популярности запроса прыщи

о запросам "сыпь","лифтинг кожи", "протезирование зубов виды" такая же динамика популярности в период с 6 по 10 сентября как и по запросу "прыщи" .

Владельцы (веб-мастера) возмущались почему в ТОП 10 по медицинским запросам появились такие сайты, как "Комсомольская правда", "АиФ". А почему им там и не быть? Это качественные трастовые сайты. Никто им не запрещает создать у себя раздел медицинской тематики.

Я сделал небольшой анализ качества контента по запросу "Прыщи". Я не доктор и мне сложно судить о смысловой оригинальности контента. По этому для своей модели анализа качества контента я решил использовать статистические показатели и несколько оценочных.
Анализ качества контента
На момент снятия позиций "Комсомольская правда" занимала 1 позицию, а "АиФ" шестую.
Средний "показатель качества контента" у сайтов в ТОП 10 [28,24] выше, чем в ТОП 20 [26,26] и это логично.  Если посмотреть на такой показатель как "количество информации", то у сайтов в ТОП 10 он тоже выше, чем у сайтов в ТОП 20.

"Средняя частота релевантности ТОП5 биграмм" показывает, что контент о прыщах не является для сайтов "Комсомольская правда" и "АиФ" достаточно релевантным. Даже если этот контент для них не достаточно релевантен, он высокого качества.

Почти у всех сайтов из ТОП 20 контент не уникален. Его скопировали другие сайты. Обновление контента хороший сигнал для поисковика  —  устаревший контент в какой-то степени актуализируется; техническая уникальность его повысилась.

Учитывая, что "Комсомольская правда" и "АиФ" являются авторитеным ресурсами, то за счёт других сигналов ранжирования они вполне могли потеснить сайты медицинской тематики по этому запросу.

Пока точно не известны причины понижения трафика отдельных сайтов медицинской тематики после апдейта Google в начале сентября. Возможно причины в снижении популярности запросов в определенный период времени, а именно с 2 по 10 сентября.

Поскольку определённости в причинах нет, обратите внимание на следующее:
- Сайт должен загружаться быстрее, чем за 3 секунды. Google говорит о том, что 50% людей ожидают, что сайт загрузиться быстрее, чем за две секунды. Не обманите их ожидания. The New York Times утверждает, что достаточно разницы в 0,25 секунды при загрузке, чтобы люди предпочли один сайт другому;
- Контетнт должен быть оригинальным по смыслу и максимально удовлетворять информационные потребности пользователя;
- Google планирует сделать с 2018 года мобильный индекс основным, поэтому ваша мобильная версия сайта должна быть оптимально оптимизирована и содержать контент в таком же объёме, как и в десктопной;
- В Google Search Console появился раздел Web Tools, в котором будут показываться результаты проверки вашего сайта на соответствие стандартам Better Ads Standards.  В браузере вы увидите последствия этого начиная с 2018 года. Поэтому, проверьте какие рекламные объявления используете на сайте, где размещены рекламные блоки и в каких количествах;
- Ещё один тренд Google - переход сайтов на https. Вебмастеров всеми возможными способами "стимулируют" к такому переходу. Во-первых: https — это один из факторов ранжирования. Во-вторых: многие помнят не единоразовые массовые рассылки "писем счастья" от Google о том, что сайт небезопасен и нужно перейти на https. Если вы пользуетесь инструментом SEMrush Sensor увидите сколько сайтов из ТОП 10 или ТОП 20 в вашей нише используют https. В большинстве случаев, этот процент превышает 50%. Следовательно - хотите быть в ТОПе, не забывайте о https;
- Внедряйте PWA на тех сайтах, где это целесообразно. Это новая "любимая игрушка" Google. Постарайтесь быть в числе первых;
- О ссылках. Куда же без них. Все по-старому. Обилие неестественных ссылок снижает рейтинг сайта и показатель общего качества. Одним из индикаторов снижения общего качества страницы сайта является отключение расширенных сниппетов.

От веб-мастера мало что зависит

Google проводит очень много экспериментов. Они делятся на два вида автоматическое A/B тестирование и оценка асессоров.

Обратите внимание на слайд Paul Haahr (Google Software Engineer).
Google проводит очень много экспериментов
Как видно из текста на изображении A/B тестирование проводится на реальном трафике. В одном эксперименте дают больше трафика, в другом меньше. А веб-мастера тем временем лихорадочно ищут причины резких колебаний трафика.

Google изучает шаблоны кликов. Пример эксперимента. Страницы А [ответ на запрос в контенте] и В [ответ на запрос в контенте и в сниппете] отвечают информационным требованиям пользователя. Если алгоритм ставит страницу А перед страницей В и пользователь кликает на страницу А, оценка "хорошо". Если алгоритм ставит страницу В выше страницы А и пользователь не кликает на страницу В, оценка "плохо".

На конференции SMX 2016 Инженера Paul Haahr  спросили — учитывает ли Google оценку CTR как фактор ранжирования. Пауль ответил: "мы используем оценку CTR для экспериментов и для персонализации выдачи". Отвечая на вопрос — использует ли Google прямые и косвенные сигналы ранжирования Paul Haahr ответил: "я не могу сказать ни да, ни нет".

А также Пауль объяснил почему маленький сайт может иметь более высокую оценку качества, чем крупный интернет-ресурс. "Потому что наши асессоры хорошо делают свою работу", — ответил  Paul Haahr.

Вот вам ещё один пример непрямого сигнала ранжирования. Инженеры Google, обобщают результаты экспериментов, делают выводы и вносят коррективы в алгоритмы оценки качества и ранжирования.

RankBrain объединяет много факторов ранжирования и технологию машинного обучения. Вероятно, что он получает информацию из knowledge base, данные в которой  редактор может изменять в ручном режиме. При очередном обновлении алгоритма возможно значительное влияние "человеческого фактора".

У веб-мастера всё меньше возможностей узнать причины падения трафика или позиций.
Подробнее