4 мая 2020 года в 21:00 Danny Sullivan в Твиттере сообщил о начале широкого обновления ядра алгоритма Google.

Он указал, что они называют это майским обновлением алгоритма Google 2020 года.

Через два часа после первого твита Danny Sullivan опубликовал одно уточнение:

Как обычно, для этих обновлений, для полного развертывания требуется около одной-двух недель.

Майское обновление алгоритма Google

По моим наблюдениям, развертывание широкого обновления ядра может закончится чуть раньше, через десять дней после его начала.

Обязательно прочитайте об особенностях широких обновлений ядра Google в моих публикациях. Там очень много интересного.

Традиционно, видимо чтобы мы с вами не задавали много вопросов, Danny Sullivan рекомендует нам в очередной раз перечитать официальную публикацию “Что вебмастера должны знать об основных обновлениях Google”.

Хочу сказать, что в этой публикации действительно много полезной информации о широких обновлениях ядра Google.

Первые рекомендации для вебмастеров:

1) Следите за обсуждением в этих твитах. Как показывает практика, со временем Danny Sullivan опубликует там чуть больше ценных деталей.

2) Следите за позициями и трафиком на протяжении обновления. Определите список страниц, у которых больше всего в ту или иную сторону в период обновления менялись эти показатели.

3) Подождите минимум десять дней после официального завершения майского обновления алгоритма Google 2020 года и только тогда начинайте анализировать, что могло повлиять и на какие страницы повлияло. Для этого откройте Google Analytics, перейдите в “Источник/Канал”, выбираем Google organic.

Можно сравнить десять дней до начала обновления и десять дней после окончания обновления. Дополнительный параметр – “Страница входа”. В том случае, если у трафика есть сезонность (например в выходные всегда ниже), рекомендую выбрать более продолжительные, но сопоставимые по времени периоды до и после апдейта. Например, сравните две полные календарные недели до начала обновления ядра и две после него.

Перейдите в Google Search Console. Если вы видите падение CTR без соответствующего падения показов, проверьте последние изменения на сайте, особенно изменения, которые могут повлиять на то, что отображается в результатах поиска (включая ваши теги TITLE и описания META). Однако в этом случае разумно предположить, что вы наблюдаете общее падение спроса, например из-за глобальной пандемии коронавируса COVID-19.

Майское обновление алгоритма Google – первые особенности

По состоянию на 16 часов (по Киеву) 5 мая 2020 года я, как и Marie Haynes никаких особенностей в своей клиентской базе не выявил.

Единственный момент, на который я обратил внимание, что у некоторых клиентов наблюдаются аномальные изменения в трафике с мобильных устройств.

Интересное наблюдение я получил от зарубежных любителей “чёрной шляпы”:

Еще одна вещь, которую я заметил, – почти все сайты, которые занимают 1-5 позиций по ключевым словам в этой нише, сейчас не содержат рекламы или очень мало рекламы. По сути, мой веб-сайт — единственный, на котором размещено больше рекламы, что немного беспокоит. В основном все другие сайты, которые имели много рекламы, полностью опустились из первой десятки … Это обновление может относиться как к рекламе, так и к времени загрузки страницы, поскольку, очевидно, что рекламные материалы сильно влияют на время загрузки. 

Одновременно с обновлением алгоритма поиска произошло широкое обновление браузера Chrome, которое нацелено на блокирование тяжелой медийной рекламы, особенно той, которая связана с возможным майнингом и нагрузкой ресурсов компьютеров.

Подробнее об этом сообщили 14 мая в Блоге Chromium. Там же и указаны параметры рекламы, которая будет блокироваться.

Насколько я знаю, официальные публикации в таких блогах готовятся минимум неделю.
Вот и получается, что запуск обновления Chrome был частью всех этих майских обновлений.

Так что подозрения по поводу возможного понижения сайта в рейтинге из-за обилия или типа рекламы вполне оправданы.

Так же есть хоть и косвенное, но зато официальное подтверждение, что обновление алгоритма включает в себя изменения, связанные со скоростью загрузки сайтов.

В период майского обновления алгоритма в Google Search Console в разделе “Скорость загрузки” появилось сообщение:

В связи с предстоящими изменениями в отчете проверка заданий временно отключена.

В справке Google по этому поводу сказано:

Если отчет содержит сообщение о том, что проверка временно невозможна, значит мы обновляем критерии, относящиеся к некоторым проблемам в этом отчете.

С началом майского апдейта Google, а именно 5 мая 2020 года, в блоге Chromium была опубликована статья о запуске новой программы под названием Web Vitals, которая определяет важные показатели для здорового сайта.

Три основные индикатора:

LCP (Largest Contentful Paint) — измеряет воспринимаемую скорость загрузки и отмечает точку на временной шкале загрузки страницы, когда основное содержимое страницы, вероятно, загружено. Оптимизировать>>>
FID (First Input Delay) — измеряет скорость отклика и количественно определяет опыт, который испытывают пользователи, когда пытаются впервые взаимодействовать со страницей. Оптимизировать>>>
CLS (Cumulative Layout Shift) — измеряет визуальную стабильность и количественно определяет величину неожиданного сдвига шаблона видимого содержимого страницы. Оптимизировать>>>

Все эти метрики созданы для измерения качества пользовательского опыта.

Похоже, что майское обновление ядра Google затронуло трафик из Discover. На Справочном форуме Google появляется всё больше тем по этому поводу. Вот пример.

В официальной публикации Google, посвящённой апдейтам (см. выше), сказано:

Обновления ядра также могут повлиять на Google Discover.

То, что обновление затронуло Google Discover 6 мая 2020 года официально подтвердил Danny Sullivan.

Джон Мюллер в феврале 2020 года подтвердил , что в процессе выкатки январсокго обновления 2020 года так же был затронут трафик с Google Discover. Похоже, на то, что это регулярная практика при широком обновлении алгоритма.

11 мая 2020 года Михаил Шакин специально для этой статьи предоставил такой комментарий:

Я считаю, что выводы можно будет делать через 3-4 недели после начала апдейта, когда накопится необходимая информация. Бывает, что в некоторых тематиках обновления частично откатывают. На данный момент могу сказать по продвигаемым мной англоязычным сайтам, что в тематике домашних животных наблюдаю наибольшие изменения как в минус, так и в плюс. Транспорт, юридическая и музыкальная тематики, мода и красота, технологии  практически без изменений.

Маркус Тобер из Search Metrics прокомментировал ситацию с майским обновлением Google таким образом:

Это обновление кажется более широким, чем предыдущие обновления. Из моего анализа, проведенного всего за несколько часов, кажется, что Google снова работал над факторами контента в сочетании с факторами бренда (возможно, включая CTR / данные пользователя).

Роль EAT и асессоров при обновлении алгоритма Google

В марте 2020 года Google отвечая на вопрос, является ли EAT фактором ранжирования, сказал:

Наши автоматизированные системы используют множество различных сигналов для ранжирования отличного контента в соответствии с критериями EAT.

Таким образом, ЕАТ — это не самостоятельный фактор ранжирования, а набор критериев, для оценки каждого из которых Google использует микро алгоритмы в рамках единой модели оценки.

Вы можете спросить, причём тут какие-то модели и обновление алгоритма Google.

6 мая 2020 года отвечая в Твиттере на один из вопросов о майском обновлении алгоритма Danny Sullivan сказал:

Основные вещи, которые мы ищем для оценки отличного контента, не меняются. Мы просто могли бы улучшить способы моделирования поиска этого контента.

Как известно, Google использует искусственный интеллект и определённую модель для оценки качества сайтов.

Я об этом писал в своём исследовании – “Как Google классифицирует YMYL сайты“.

В той же таки публикации Google о специфике обновлений сказано:

…улучшения, которые мы вносим в Поиск, не совершенны. Вот почему мы продолжаем обновлять. Мы тестируем любое широкое обновление ядра, прежде чем его выпустить, включая сбор отзывов от вышеупомянутых оценщиков качества поиска, чтобы выяснить, насколько полезны наши взвешивания сигналов.

Как известно из патентов Google каждому сигналу ранжирования присвоен определённый весовой коэффициент. Судя по всему, поучив и проанализировав отчёты оценщиков, Google эти веса для модели искусственного интеллекта периодически пересматривает.

Как эти веса поменялись и в отношении каких сигналов определить невозможно, но после окончания апдейта попробуем выявить какие-то закономерности.

Анализ майского обновления Google

Традиционно для анализа обновлений алгоритма Google я использую данные SEMrush Sensor.

Судя по данным SEMrush Sensor пик обновления алгоритма Google был 6 мая 2020 года.

Рис.1

Senior Marketing Manager SEMrush Евгений Середа, так прокомментировал эту ситуацию в  сообществе Сообщество Google для вебмастеров Facebook:

Как видно на графике, 6 мая было самое сильное потрясение. Судя по постам в Facebook за сегодня (8 мая 2020 – прим.авт.) и по сенсору, изменения ещё есть. Такие апдейты имеют очень высокое пиковое значение (как на фото), резкий спад в последующие дни и небольшую встряску после. Дело в том, что или сам алгоритм поднастраивается или его поднастраивают. 2 недели, о которых ты пишешь, возможно как раз попадают в этот отрезок времени. 

Если говорить о первой пятёрке тематик, в которой сильно пострадали сайты, то к ним в этот раз относятся:
* Online Communities -5.8
* Games -5.2
* Internet & Telecom -4.9
* Pets & Animals -4.9
* Arts & Entertainment -4.3

Судя по этим тематикам, в этот раз фокус обновления алгоритма Google не нацелен преимущественно на YMYL – сайты.

Косвенно это подтверждают предварительные результаты исследования Лили Рэй, опубликованные 8 мая 2020 года:

Базовое обновление в мае 2020 года, по-видимому, оказало непропорциональное влияние на YMYL-сайты.

Она проанализировала 550 доменов по индексу видимости Sistrix U.S.

И если в предыдущих подобных обновлениях трясло в основном мобильную выдачу, то в этот раз изменения были одинаковыми для десктопной и мобильной выдачи.

8 мая 2020 года редактор блога SEMrush Melissa Fach опубликовала статью “Обновление Google от мая 2020 года”.

С её слов, майское обноление алгоритма Google больее сильное, чем январское обновление 2020 года.

…наиболее подверженными влиянию категориями являются Путешествия, Недвижимость, Здоровье, Животные и животные, Люди и общество. Мы также заметили, что многие крупные домены сильно пострадали. Около половины значительных изменений рейтинга в США происходит на сайтах с трафиком, превышающим 1 миллион посетителей в месяц.
— Melissa Fach

Все эти категории так или иначе связаны с глобальной пандемией, карантином. Google неоднократно сообщал о небывалом росте популярности запроса “Covid-19” и, как следствие, повление огромного количества связанного с этой темой контента. Именно по этому, по данным SEMrush категория “Новости” в числе основных победителей.

Моя гипотеза состоит в том, что в майском обновлении алгоритма Google в какой-то степени происходит перераспределение объемов трафика, которые ранее получали сайты-миллионники, на мение популярные сайты.

Моя выборка по данным SEMrush Sensor на пиковую дату апдейта (6 мая 2020 года) изначально составляла 200 доменов (100 “Победителей” и 100 “Проигравших”). Я отбирал домены из мобильной версии по локации США.

Из них 3,5% (семь доменов) не отдавали ответ 200. Это на уровне статистической ошибки, но, на всякий случай, проверьте техническую сторону работы своих сайтов, особенно редиректы, настройку протоколов и метатегов.

После окончательной очистки и форматирования данных в моей выборке осталось 176 доменов (86 “Проигравших” и 90 “Победители”).

Первое, что бросается в глаза – это два пиковых показателя: Total backlink Ahrefs (слева на Рис.2) и External Backlinks  –  Majestic (справа на Рис.2).

Рис.2

Я специально на Рис.2 добавил увеличенное изображение этих показателей. Красная линия – это показатель “Победителей”, а синяя – соответственно “Проигравших” сайтов.

Напоминаю значение этих показателей:
* Total backlink Ahrefs: это количество внешних обратных ссылок, найденных на ссылающихся страницах, которые ссылаются на цель.
* External Backlinks  –  Majestic: это количество внешних обратных ссылок на целевой URL (режим: Host) в соответствии с Majestic.

Мы видим, что оба показателя – это количество обратных ссылок и в обоих метриках значения показателя “Обратные ссылки” у “Проигравших” сайтов значительно превышает количество обратных ссылок у “Победителей”.

В числе основных неудачников в этот раз попал сам LinkedIn. Как вы помните, Seroundtable 6 мая 2020 сообщил о том, что Google исключил из индекса LinkedIn.

Я сначала подумал, что аномальное значение беклинков LinkedIn могло исказить значения на указанном выше графике (Рис.2), но даже после временного исключения LinkedIn из набора данных, показатели пиковых значений остались прежними.

Поэтому, можно предположить, что майское обновление ядра алгоритма Google, в том числе, было нацелено на ссылочный спам. Возможно существенно обновили алгоритм Пингвин.

Обратные ссылки учитываются в расчёте одного из самых глаавных факторов ранжирования Google – Page Rank, который определяет важность страницы. В одном из интервью Джон Мюллер сказал, что с течением времени контент может устаревать и ссылки, которые в нём находятся теряют вес.

Следовательно, с уменьшением релевантности страницы-донора, уменьшается влияние обратных ссылок на ваши целевые страницы, что может привести к падению позиций, а затем и трафика.

Вот первая тройка показателей, по которым между «Победителями» и «Проигравшими» сайтами есть статистически значимые (не случайные) отличия. У сайтов-победителей из моей выборки значения этих показателей в полтора два раза ниже, чем у «Проигравших». Поэтому для ориентира привожу средние значения только для сайтов-победителей.

1. «Images – On-Page: URL» – количество изображений, найденных в тегах <img> на целевой странице. Среднее значение для «Победителей» – 28.
2. «Words – On-Page: URL» – количество слов в разделе <body> целевой страницы. Среднее значение для «Победителей» – 999.
3. «Content Size – On-Page: URL» – количество символов (включая пробелы) в разделе <body> документа, исключая теги HTML. Проще говоря, размер текста на странице, включая пробелы. Среднее значение для «Победителей» – 6171.

Еще статистически значимые отличия есть по параметру «Text/HTML Ratio – On-Page: URL» – это соотношение текстового содержимого (параметр «Размер содержимого») ко всему содержимому (параметр «Размер HTML») в целевом объекте.  У сайтов-победителей это значение в среднем 0,079, а для «Проигравших» соответственно – 0,10 При этом, в группе «Проигравших» большое количество сайтов с соотношением от 0,001 до 0,079.

Рис.3

Как видно на Рис.3, показатели «External Backlinks  –  Majestic»,  «Images – On-Page: URL», «Words – On-Page: URL», «Text/HTML Ratio – On-Page: URL» притягивают к себе в основном сайты-неудачники. Возможно, эти показатели каким-то образом повлияли на определение рейтинга сайтов, которые потеряли позиции и трафик в течение майского обновления алгоритма Google.

По поводу количества слов (символов) на странице, есть такие мысли. Возможно, после запуска Google BERT стала ещё более важной суть написанного, а не количество слов или символов в тексте.

Наверное, хочется хоть в общих чертах понять общие признаки сайтов-победителей.

Используя машинное обучение на базе этого набора данных построим модель в виде дерева решений.

Во всех “ветках” дерева решений предиктором выступает параметр  «Words – On-Page: URL» (количество слов). Это позволяет предположить, что при обновлении одну из решающих ролей сыграли сигналы ранжирования, определяющее качество контента, а не его количество. За качество контента у Google отвечает алгоритм “Панда”, а данные он скорее всего получает, в том числе, от Google Bert.

Рис.4

С уровнем уверенности 83% можно сказать, что сайт-победитель имеет такие общие основные параметры:
* Количество слов на странице меньше 600.
* Количество изображений на странице меньше 23.
* Ahrefs Domain Rating больше 44,5.

Это возможно совпадение, но один из пользователей форума BHW поделился наблюдениями, соответствующими моим результатам:

На одном из моих веб-сайтов, который сильно пострадал, было много спамных ключевых слов, а количество контента длиной более 800 слов. Мой другой веб-сайт, контент на котором меньше 500 слов, получил небольшое увеличение, никакого снижения. У моих конкурентов в среднем около 500-600 слов, и они занимают первое место.

Напоминаю, что выборка не большая и содержит только демены, указанные в SEMrush Sensor по состоянию на 6 мая 2020 года, потому эти результаты могут отличаться от выводов других экспертов.

Основные выводы

1) Это обновление не нацелено на E-A-T.
2) Обновление ядра затронуло Google Discover. Похоже, это стало “доброй” традицией.
3) Google внедрил и протестировал новые метрики – LCP, FID и CLS. Как сказал мне по секрету один из инженеров, скоро это будет критически важно для многих сайтов. Возможно LCP, FID и CLS скоро станут очень важными сигналами ранжирования, если уже таковыми не стали.
4) Обновлены основные алгоритмы (Penguin, Panda, BERT).
5) Взвешивание сигналов ранжирования, скорее всего, было изменено в соответствии с новыми качественными данными оценщиков. Это приводит а автоматическому пересчёту рейтинга страниц и обратных ссылок.
6) Произошло широкое обновление браузера Chrome, направленное на блокирование определённого типа рекламы. Те сайты, на которых были подобные рекламные блоки, могли потерять в рейтинге.
7) В процессе анализа данных SEMrush, а так же тех сайтов, которые меня попросили проверить, было выявлено много технических огрехов. Некоторые сайты имели в индексе полные дубли, некоторые в период обновления меняли домен и не все правильно настроили, у некоторых сайтов был закрыт от индексации контент. Так что иногда основная причина не в обновлении алгоритма.

Обратите особое внимание на количество и качество обратных ссылок. Как показали результаты исследования, это является одной из основных причин снижения позиций и трафика.

Еще одна цель этого обновления – качество контента. Часть его устаревает (как в описанном выше случае с форумами), а это означает потерю релевантности.

Так что много пострадавших сайтов, вероятно, попали под воздействие алгоритма Пингвин или Панда.

Что нам нужно сделать?

1) Проверьте качество ваших обратных ссылок.
2) Обновите контент на страницах, которые затронуты.
3) Удалите тонкий контент или добавьте новый полезный контент на эти страницы.
4) Если вы видите падение CTR без соответствующего падения показа, просмотрите последние изменения на сайте, особенно те, которые могут повлиять на то, что отображается в результатах поиска (включая ваши теги TITLE и описания META). Однако в этом случае разумно предположить, что мы наблюдаем общее падение спроса.
5) Тщательно проверьте возможные технические проблемы вашего сайта.
6) Подумайте от какой рекламы вы можете отказаться.

Исследование было основано на результатах поисковой выдачи Google по ста запросам медицинской тематики. Набор данных состоял из 2914 YMYL страниц.

Используя интеллектуальный анализ данных были выявлены основные кластеры YMYL страниц, которые соответствуют подходу, описанному в  патенте Google WO/2020/033805, для классификации сайтов по уровню качества.

Результаты исследования близки к реалиям в нише “Медицина” и, вероятно, на них можно ориентироваться при принятии определённых решений.

По уровню качества большинство YMYL страниц медицинских сайтов попали в кластер страниц (С2), оценка которых ниже первого порога качества. Страницы сайтов новостей, социальных сетей, ресурсы Яндекса, видео YouTube и страницы Википедии оцениваются лучше, чем медицинские сайты.

Собственно, именно такое положение дел вебмастера наблюдают на практике. По многим медицинским запросам “Комсомольская правда”, “АиФ”, “Вести” и тому подобное занимают весь ТОП.

При помощи машинного обучения на основе сформированного набора данных была построена модель, которая позволила выявить интересные результаты.

Одним из таких результатов было то, что в моем наборе данных заголовок Н1 YMYL страниц кластера “Новостников” (С3) не содержит слово «отзывы», а у “Медиков” (кластер С2), наоборот, во многих случаях содержит.

Это исследование получило широкий отклик, но некоторые вебмастера в своих комментариях написали, что наличие или отсутствие слова «отзывы» в заголовке Н1 не является однозначным критерием для классификации YMYL страниц.

Учитывая это, я при помощи машинного обучения провел дополнительный анализ текстовых полей моего набора данных.

Что такое анализ тем YMYL страниц?

В ваших текстовых данных скрыто множество ценных идей. Данные в виде простого текста могут быть очень полезны для рекомендаций по содержанию, задач поиска информации, сегментирования ваших данных или обучения прогнозным моделям.

Есть три ключевых слова, которые мы должны знать, когда пытаемся понять основы тематических моделей: документы, термины и темы .

Скрытое распределение Дирихле (LDA) – это метод обучения без присмотра, который обнаруживает различные темы, лежащие в основе набора документов, где каждый документ представляет собой набор слов или терминов. LDA предполагает, что любой документ является комбинацией одной или нескольких тем, и каждая тема связана с определенными терминами высокой вероятности.

Основной целью моделирования тем является поиск значимых тематически связанных терминов  ( «тем» ) в неструктурированных текстовых данных. В тематических моделях слова в ваших текстовых данных, которые часто встречаются вместе, группируются в разные «темы».

Полученный  список тем можно использовать в качестве конечного результата для задач поиска информации, совместной фильтрации или для оценки сходства документов среди других. Темы также могут быть очень полезны как дополнительные входные функции в вашем наборе данных для других задач моделирования (например, классификация, регрессия, кластеризация, обнаружение аномалий).

Для машинного обучения и построения тематических моделей я использую бесплатную подписку на сервис BigML.

Если вы этим заинтересуетесь, рекомендую сначала прочитать статью в блоге BigML.

Машинное обучение для анализа тем YMYL страниц

Я загрузил свой набор данных в BigML в качестве источника. Созданный в BigML был очищен от аномалий. Я обучил и оценил модель принятия решений.

Как вы помните из исследования “Как Google классифицирует YMYL сайты”, для классификации сайтов по тематике Google извлекает контент интернет страницы и анализирует его при помощи соответствующих алгоритмов и нейронной сети.

Проанализировав извлечённый контент нейронная сеть присваивает интернет странице тематику. Затем из совокупности тематик, которые определены, присваивается основная тематика всему сайту. По этому медицинским сайтам может быть присвоена совершенно другая тематика, не связанная со здоровьем и лечением.

Учитывая это, я в BigML создал тематическую модель, основанную на текстовых полях моего набора данных – “Содержание Title”, “Содержание Description”, “Содержание Н1”. Когда тематическая модель создана, можно отфильтровать и проверить ее, используя две визуализации, предоставляемые BigML.

В первом представлении вы сможете сразу увидеть все темы, представленные кружками, пропорционально значимости тем (чем больше диаметр кружка, тем выше значимость темы). Кроме того, темы отображаются в макете карты, который отображает отношения между ними, так что более близкие темы более тематически связаны.

Рис.1

Карта тем YMYL страниц медицинской тематики. Самая значимая тема “Инструкции” имеет коммерческую направленность и относится к фармацевтике.

Как видно на первой визуализации по названием “Карта тем” (Рис.1) темы разделены на четыре кластера:
1. Инструкция (фармацевтика), цена, клиника.
2. Медицина, лечение, симптомы, коррекция.
3. Темы о косметологии и дерматологии.
4. Стоматология.

Самая значимая тема для набора данных – “Инструкции” (описание различных препаратов) в числе основных терминов содержит слово “купить”. Сопутствующие ей темы – “Цена”. А тема “Клиника” в числе основных терминов содержит слово “цена” и “отзыв”.

Следовательно кластер тем №1 имеет ярко выраженную коммерческую тематику. Предполагаю, что нейронная сеть будет “рассуждать” следующим образом – страницы этого кластера созданы чтобы заработать, а не для того, чтобы полечить.

Кроме того, в теме “Клиника” мы видим связь терминов “отзыв” и “цена” – первое подтверждение того, что страницы с отзывами, скорее всего, не относятся к теме Здоровья как такового.

Однако лучший способ получить представление о ваших темах – взглянуть на вторую визуализацию BigML для тематических моделей: гистограмму.

Рис.2

На этом графике вы можете просмотреть основные термины по темам. Каждый термин представлен полосой, длина которой обозначает важность термина в этой теме (т. е. вероятность термина).

Модель тем находит термины, которые с большей вероятностью встречаются вместе, и группирует их в разные темы. Этот вероятностный метод дает довольно точные группировки терминов, которые тесно связаны между собой.

Как видно на гистограмме (Рис.2), в моем наборе данных есть две темы об отзывах – “Отзывы фото” и “Отзывы пациентов”. И как раз во второй теме есть третий по важности термин – “цена”, а сама тема в модели расположена на гистограмме рядом с темами о цене. На мой взгляд, это еще одно подтверждение того, что слово “отзывы” может указывать нейронной сети на коммерческую (не направленную на здоровье и лечение) тематику таких страниц.

Я решил копнуть глубже и на основе тематической модели создал модель для темы “Отзывы пациентов”.

Рис.3

Используя машинное обучение я получил довольно интересный результат.

Многие YMYL страницы медицинской тематики занимают в поисковой выдаче позиции на галёрке (с двадцатой и ниже), если:
* Описание для поисковых систем содержит слово “пациентов”;
* Title или заголовок Н1 содержит слово “отзывы”.

Следовательно, основываясь исключительно на данных моей выборки (моего набора данных) и моего предыдущего исследования, рискну предположить:
* страницы об отзывах пациентов о медицинских товарах и услугах, скорее всего исключены нейронной сетью Google из тематики “Здоровье”;
* страницы об отзывах пациентов могут попасть в результаты поисковой выдачи на позиции выше двадцатой только в двух случаях – контент на странице не содержит коммерческой составляющей (пользователю не предлагают что-то купить) и пользователь ищет именно отзывы.

Всё написанное выше исключительно моё мнение и может не совпадать с вашим.

Надеюсь на дальнейшее конструктивное обсуждение в комментариях к статье.

Если статья вам понравилась, не забудьте поделится ей с вашими друзьями и знакомыми.

Из этой статьи вы узнаете, как Google классифицирует сайты, а также прочитаете результаты моего исследования, проведённого на основе ста запросов медицинской тематики. Вам станет понятно, почему у Google есть сайты-любимчики и почему они получают больше трафика независимо от занимаемой позиции.

YMYL – аббревиатура появившаяся в 2014 году в Руководстве Google для асессоров и расшифровывается как  «Ваши деньги или ваша жизнь». YMYL – типы страниц, которые могут потенциально повлиять на будущее счастье, здоровье, финансовую стабильность или безопасность человека.

К YMYL относятся сайты таких тематик: Новости и текущие события; Гражданское право, правительство и закон; Финансы; Покупки; Здоровье и безопасность; Группы людей; Прочие. Формально YMYL относятся страницы любой тематики, кроме тех случаев, когда это прямо указано в Рекомендациях для асессоров. Например, темы спорта, развлечений и повседневного образа жизни, как правило, не являются YMYL страницами.

Как Google классифицирует сайты?

Помните, в августе 2018 года было сильное обновление ядра алгоритма Google, которое получило название «Медицинский апдейт»? Почти в то же время, 10 августа 2018 года была подана заявка на патент «Вектор представительства веб-сайта для обучения результатов поиска и классификации сайта» (номер публикации патента WO/2020/033805). Думаете это совпадение? Однозначно Google опробовал эту технологию в августе 2018 года и одновременно начал процесс получения патента на неё.

В этом патенте сказано, что обученная нейронная сеть классифицирует сайты:

• * По показателю качества;
• * По тематике;
• * По уровню экспертизы;
• * По авторитету.

Как Google классифицирует сайты по тематике?

Как следует из патента, Google создал домены знаний или как мы привыкли говорить, – отрасли знаний. Эти домены знаний включают в себя поддомены знаний. Google бот сканирует сайт, передаёт данные другим алгоритмам, в том числе алгоритму BERT. Они оценивают качество контента и релевантность области знаний. Затем нейронная сеть используя эти данные, а также ярлыки, присвоенные асессорами этому сайту или сайтам аналогам, определяет к какому поддомену знаний относится сайт или его страница.

[0004]  Способ может включать в себя генерирование каждого из векторов признаков с использованием нейронной сети, которая принимает в качестве входных данных контент, включённый в соответствующий веб-сайт.

По этой причине медицинский сайт в зависимости от его основного контента может быть классифицирован не как медицинский сайт, а как отзовик, сайт обзоров или сайт другого типа.

Как Google классифицирует сайты по качеству и авторитету?

Как рассчитывается показатель в патенте не сказано. Но там сказано о двух порогах качества – «Первый порог» и «Второй порог». Причём «Второй порог» выше первого.  По порогу качества сайты разделены на две основные категории – «Первые» и «Вторые». Но также выделяют «Третьи» или «Прочие» сайты – это те, что нейронная система не может с высокой долей уверенности отнести в состав первых двух категорий.

Первые сайты (не очень качественные по мнению Google) – это сайты, которые не превышают первый порог качества.

Вторые сайты (авторитетные сайты) – сайты, превышающие второй порог качества.

[0005]  Алгоритм может обнаруживать веб-сайты, которые с большей вероятностью реагируют на запросы в области знаний, например, более вероятно, являются авторитетными для области знаний. [0004]  Вторые веб-сайты могут быть определены как набор авторитетных источников данных.

Возникает резонный вопрос, а что же находится между первым и вторым порогом? Логично предположить, что именно там находятся прочие сайты. Другими словами, это сайты, качество которых хорошее, но они ещё не являются доверенными сайтами для Google.

Нейронная сеть формирует общие признаки (наборы отличий) для «Первых» и «Вторых» сайтов. Получая составное представление (обобщённую информацию от других алгоритмов) о сайте нейронная сеть используя коэффициенты сходства оценивает сайт по качеству как «Первый» или «Второй». Если этого сделать нельзя, сайт оценивается как «Прочие».

Как Google классифицирует сайты по экспертизе?

Для классификации веб-сайтов нейронная сеть использует категории сайтов в области знаний по уровню экспертизы.

Наиболее наглядным примером будет цитата из этого патента:

[0013] Классификации веб-сайтов могут включать в себя первую категорию веб-сайтов, созданных экспертами в области знаний, например, врачи, вторую категорию веб-сайтов, созданных учениками в области знаний, например, студенты-медики, и третью категорию веб-сайтов, созданных специалистами или непрофессионалами в области знаний. Используя составное представление, основанное на существующих классификациях веб-сайтов, классификация веб-сайтов может использовать характеристики, извлечённые из существующих веб-сайтов.

Если по-простому, Google делит сайты медицинской тематики по уровню экспертизы на три категории:

• * сайты врачей (клиник);
• * сайты людей с достаточным уровнем знаний в медицине, но не врачей;
• * разного рода блоги, форумы, где любой желающий может дать свой совет по заболеванию, а также сайты, которые нельзя по уровню экспертизы отнести в первые две категории.

Исследование: как Google классифицирует YMYL сайты

Методология:

• * При помощи SEMrush для анализа я собрал сто запросов медицинской тематики.
• * Используя Netpeak Checker по каждому из этих ста запросов собраны первые тридцать результатов поисковой выдачи по Google.ru.
• * Источники данных: Netpeak Checker (показатели OnPage), API Moz (DA, PA), Serpstat (Трафик), Majestic (TF, CF).
• * Подготовка данных – из набора данных удалены строки, у которых отсутствовали данные о размере контента.
• * Традиционно для интеллектуального анализа данных был использован бесплатный фреймворк Orange.
• * Кластеризация – все данные были кластеризованы при помощи алгоритма k-Means на четыре кластера, но об этом чуть позже.

 Процесс исследования классификации сайтов

В процессе сбора данных я получил от Serpstat показатели трафика по Украине и по России. Я добавил в набор данных дополнительный столбец под названием «Общий трафик».

Полученные данные были загружены в Orange. Используя виджет «Line Plot» стало понятно, что для самой лучшей визуализации кластеров нужно использовать показатель «Общий трафик».

Изначально я планировал кластеризовать данные на три кластера, но полученные результаты не отражали реальное положение дел. В настройках виджета «k-Means» Orange количество кластеров было изменено до четырёх. И именно такая настройка кластеризации данных, на мой взгляд, наиболее близка к тому, о чём идёт речь в патенте Google (см. Рис.1).

Рис.1

Как видно на Рис.1 больше всего трафика по данным Serpstat получают YMYL страницы из кластера С4, который почти на 100% состоит из страниц Wikipedia и YouTube. Думаю, это недалеко от истины, поскольку Wikipedia это давний доверенный ресурс для Google, а YouTube – это его сервис и один из самых посещаемых сайтов в мире.

Вторым по количеству трафика является кластер С1, состоящий преимущественно из страниц сервисов Яндекса.

Причём, страницы из кластеров С1 и С4 получают большинство трафика независимо от того, на какой странице выдачи они находятся.

Из этого можно сделать вывод, что сайты из кластеров С1 и С4, скорее всего, оценены нейронной сетью Google как авторитетные и отнесены в категорию «Вторые сайты» (превышают второй порог качества).

Кластер С2 (красный) – это сайты ниже первого порога качества. Другими словами, это те сайты, в качестве которых Google сомневается.

И есть кластер С3 (зелёный), который, как видно на Рис.1, выше первого порога качества, но ещё не дотягивает до второго. Вероятнее всего, по уровню качества нейронная сеть отнесёт их к «Прочим сайтам». Кластер С3 преимущественно состоит из страниц всеми любимой «Комсомольской правды», других известных новостников, facebook, Pinterest, ответов Mail.ru и тому подобное.

Рис.2

На Рис.2 видно, что страницы с высоким показателем PA Moz получают больше трафика независимо от позиции.

Из своего опыта могу сказать, что сайты из кластера С2 (красный) часто грешат тем, что публикуют не точную, не полную, искаженную информацию, либо их контент создан не в профессиональном стиле.

Поэтому, на мой взгляд, Google чаще показывает на “Позиции ноль” (в выделенных описаниях) страницы сайтов, которым поисковик больше доверяет (кластеры С1, С4, С3).

Истинность информации по общественно значимым темам, в том числе касающейся гражданской сферы, медицины, науки и истории, должна быть широко признана в профессиональных кругах. Это правило действует только в отношении контента, который может появляться в выделенных описаниях.

На этом рисунке также видно, что кластеры по уровню качества располагаются в зависимости от показателя PA Moz.

Учитывая это, показатели DA и PA Moz вебмастера могут использовать как ориентир уровня «Авторитета». Google традиционно отрицает, что он использует данные DA и PA Moz, но видимо у Google есть внутренние и очень близкие по методике расчёта метрики, в том числе Page Rank.

Еще примечательная особенность «Первых» сайтов (красный кластер С2) – на их страницах начиная с ТОП 20 очень много исходящих dofollow ссылок на другие сайты (Рис.3).

Рис.3

Обратите внимание на то, что время ответа сервера для «Первых» сайтов (красный кластер С2) является важным фактором для определения качества, поскольку у них эти показатели во многих случаях значительно выше, чем у других кластеров (Рис.4).

Рис.4

Выводы:

1. Google делит сайты по качеству на три категории. У Google есть перечень сайтов, которых он считает авторитетными и на основе данных которых обучал свою нейронную сеть.
2. Для оценки авторитета сайта или страницы лучше всего использовать метрики DA и PA Moz.
3. Страницы кластеров С1, С3, С4 имеют больше траста по Majestic, чем страницы «Первых» сайтов (кластер С2).
4. Для того чтобы прорваться из «Первых» (не очень качественных) сайтов в состав хотя бы «Прочих» сайтов нужно, чтобы страницы в основном соответствовали такому набору показателей:

• * DA домена>77, PA страницы до 45, Trust Flow домена от 41 до 71;
• * Хост не содержит www и Citation Flow домена до 41, внешних dofollow ссылок на странице не больше 16;
• * URL не содержит «http», заголовок Н1 не содержит слово «отзывы».

На Рис.5 вы увидите набор отличий по кластеру С3 (Прочие сайты, кластер зеленого цвета).

Рис.5

В заключение, хочу привести цитату Дэвида Файнбера главы Google Health – “Я считаю, что Google уже является компанией здравоохранения“.

Business Insider 18 сентября 2019 подтвердил, что Google завершил поглощение DeepMind через которое еще в 2016 году незаконно получил широкий доступ к данным 1,6 миллиона пациентов. Эти и другие медицинские базы данных легли в основу обучения нейронной сети для классификации сайтов и других алгоритмов Google.

Подписывайтесь на канал и добавляйте блог в закладки!