Широкое обновление алгоритма Google 

1 августа 2018 года произошёл сильный апдейт Гугла. Об это в твиттере сообщил Danny Sullivan:

На этой неделе мы выпустили широкомасштабное обновление алгоритма, как это делаем несколько раз в год.

Анализируя мартовский апдейт Гугла, я предполагал, что следующее обновление ядра алгоритма Google должно было произойти в сентябре этого года. Но Google видно спешил что-то оперативно внедрить и запустил обновление ядра на месяц раньше.

Медицинское обновление алгоритма Google

Итак... Что нам известно об этом обновлении основного алгоритма Google? Это был глобальный апдейт ядра. Начался он 1 августа 2018 года. Пик пришелся на третье августа.

Danny Sullivan в твиттере писал:

...к середине следующей недели, [обновления — прим. авт.] должны быть полностью развернуты.

‏Официально всё закончилось раньше — 8 августа.

Многие эксперты утверждают, что недавний апдейт алгоритма Google затронул в основном сайты медицинской и финансовой тематики  — YMYL сайты.

Danny Sullivan официально опроверг эту гипотезу. Я тоже считаю, что обновление алгоритма затронуло все тематики.

Примечательно, что в том же твиттере 18 августа другой сотрудник Google косвенно подтвердил существование медицинского апдейта:

Если вы все еще изучаете обновление Google Update от 1 августа. Проверьте это @Moz Podcast по рекомендациям по качеству, опубликованным в январе 2018 года http://mozpod.libsyn.com/seo-and-the-quality-rater-guidelines ... и @Marie_Haynes сказала, что здравоохранение, юриспруденция, финансы будут затронуты, и это на самом деле произошло.

Все мы только предполагаем, что именно могло в основном повлиять в этом апдейте.

Как известно, факторов ранжирования больше двухсот. Вполне вероятно, что в связи с запуском mobile-index были пересмотрены веса старых факторов и добавлены новые, о которых мы не знаем.

Тем не менее мы точно знаем, что этот апдейт Гугла не связан со скоростью или безопасностью сайтов.

Мы говорим о многом, что нужно делать. Улучшить скорость сайта. Подумать о безопасности. Но это не то, с чем было связано это обновление...
— Danny Sullivan

Я решил проверить это на сайтах, к статистике которых у меня есть доступ.



Как видно по данным в таблице, скорость абсолютно разная как для сайтов, которые существенно затронуло обновление Гугла, так и у сайтов, которых апдейт не затронул. Затронуты сайты разных тематик.

Что еще интересно, так это то, что мобильную выдачу трясло сильнее, чем десктопную.
Еще интересное совпадение — именно в дни начала обновления алгоритма Google в новой версии Search Console появился инструмент "Удобство просмотра на мобильных устройствах". Очень возможно, что мобильный UX явлется одной из причин, которая могла существенно повлиять во время этого апдейта.

UX является критичным, поскольку, если пользователи не могут взаимодействовать с вашим контентом – они не могут его рекомендовать, они не собираются конвертироваться – тогда вся техническая работа по SEO, которой вы занимаетесь, будет бесполезной.
Поэтому в данном случае я бы определённо принимал во внимание обе эти стороны – и техническую оптимизацию, и удобство для пользователей – чтобы учесть все вторичные эффекты, играющие роль.
 — John Mueller,Google

Я решил провести еще один эксперимент. Используя SEMrush Sensor проанализировал "Влеты и падения" (по 100 сайтов) на дату окончания апдейта — 8 августа 2018 года.

Для сбора критериев я использовал:
*Ahrefs;
*Screaming frog.

Таблицу с данными загрузил в AnswerMiner.

В первую очередь меня интересовала корреляция других показателей с изменением количества позиций по сайтам из выборки "Взлеты и падения".

Корреляция двух величин может свидетельствовать о существовании общей причины, хотя сами явления напрямую не взаимодействуют.

В моем случае по восьми показателям корреляция есть, но слабая. В то же время, отсутствие корреляции между двумя величинами ещё не значит, что между ними нет никакой связи.

Итак, у меня есть две выборки — "Взлеты" и "Падения". В каждой из них по сто сайтов. Я сравнил значения показателей Response Time, Domain Rating, Total Backlinks, Word Count, External Outlinks, Linked Domains, Title 1 Length, H2-1 length сайтов в двух этих выборках.

Первое что меня интересовало, насколько статистически значима разница между выборками по этим критериям. Вывод — разница между ними не статистически значима, т.е. носит скорее случайный характер.

На этом можно было бы остановится, но я решил сравнить, насколько отличаются средние значения между выборками по каждому из критериев.

Длина H2 у упавших сайтов в среднем на 32% меньше, чем поднявшихся.

Разница в длине Title, похоже, никак не повлияла.

Количество доменов-акцепторов (Linked Domains) у сайтов, которые упали, на 44% больше, чем у сайтов, которые поднялись.

При этом у упавших сайтов количество исходящих ссылок (External Outlinks) больше в два раза, чем у сайтов, которые поднялись.

Показатель Total Backlinks у упавших сайтов в среднем на 79% меньше, чем у поднявшихся.

Видимо апдейт Гугла 1 августа 2018 года был в значительной степени нацелен на ссылочное (количество, качество, продажа ссылок).

Показатель Word Count (все слова в теге body) у упавших и поднявшихся сайтов в моих выборках мало чем отличается.

Средний Domain Rating по Ahrefs в обеих выборках почти одинаковый.

Что интересно, Response Time (время загрузки URL в секундах) в среднем на 32 процента у упавших сайтов меньше.

Примечательно, что многие после этого апдейта кинулись изучать Руководство Google для асессоров. И правильно сделали. Это тот документ, в котором хоть в качестве намеков содержится информация о том, как на уровне алгоритма могут быть оценены сайты.

Асессоры в основном оценивают специфические вещи, касающиеся работы наших алгоритмов. Асессоры обычно специально не оценивают репутацию сайтов, и это не то, что мы используем напрямую. Но мы используем оценку человека для проверки различных идей, имеющих отношение к алгоритмам, которые мы хотим опробовать. И, теоретически, эти оценки могут содержать что-то вроде репутации сайта в целом. Но прямой связи между мнением асессоров о том, что у ресурса плохая репутация, и его позициями в поиске нет.
— John Muller, Google 

Обращаю ваше внимание на то, что Google стал лучше понимать содержание и качество текстового контента.

Danny Sullivan написал, что в 2018 году Google запустил новую систему "Нейронные соответствия", которая использует систему искусственного интеллекта Google. Основное предназначение "Нейронных соответствий" — понять, как слова, связанные с понятиями. Это система супер-синонимов.

Через пять месяцев после августовского апдейта Google 2018 года мы провели исследование влияния E-A-T на динамику трафика до и после 1 августа 2018 года.

Веб-мастера часто не видят "бревна в глазу", считая свой сайт идеальным. Многие "медицинские сайты" содержат в основном унылый рерайт инструкции по применению препаратов или наборы симптомов.

Товарищи "медики", настала новая объективная реальность, Google не только понимает, что вы написали, но и насколько это полезно (качественно).

Выводы и рекомендации по результатам апдейта

1. Медицинские консультации на качественных E-A-T сайтах должны быть :
*написаны или подготовлены в профессиональном стиле людьми или организациями с соответствующим медицинским опытом или образованием;
* проверены редактором;
* регулярно пересматриваться и обновляться;
* представлять собой устоявшийся научный консенсус по вопросам, где такой консенсус существует.

Рекомендация: нужно создать страницы-профили авторов-врачей с их краткой биографией и контактными данными; создать страницу "О нас", в которой указать состав редакции, ее адрес и контакты. Медицинский контент не должен устаревать. Его нужно периодически обновлять добавляя новую информацию о симптомах, способах лечения и т.п.

Пример, если статья содержит научный консенсус, не предусматривающий определенную диету, а вы эту диету навязываете, такая статья скорее всего не получит высокую оценку алгоритмом Гугла или через время будет понижена в SERP.

2. Данное обновление алгоритма Google, скорее всего, не связано со скоростью загрузки и безопасностью сайта.

3. На основе полученной в результате экспериментов информации, можно предположить, что на изменение в рейтинге сайта могли повлиять мобильный UX, качество ссылочного профиля и, возможно, изменение весов сигналов ранжирования.

4. Основываясь на пояснениях John Mueller могу предположить, что намеки типа "это связано с релевантностью", указывают на внедрение в 2018 году системы "Нейронные соответствия". Результатом обновленного "понимания" Google содержания текстового контента является обновление алгоритма "Panda". Так что, одна из вероятных причин падения трафика после 1 августа 2018 года — низкое качество контента ("Panda").
Если у вас есть, свои наблюдения на счет медицинского обновления алгоритма Google (1 августа 2018 года), поделитесь в комментариях к статье.

Так уж устроен Интернет, что для решения определённых задач в нём используются боты. Много сайтов используют капчу, как средство защиты от ботов.

Rucaptcha (Рукапча) — это популярный и надёжный интернет-сервис (веб-служба) с удобным и интуитивно-понятным интерфейсом. Специализация: распознавание капч и изображений при помощи ручного труда.

Рукапча регулярно обновляется. Так, 12 февраля 2019 года добавлен метод для GeeTest капчи.

На сервисе Rucaptcha пользователю доступны три роли, из которых две основные:

• Работник — разгадывает капчи и распознаёт изображения. За этот труд веб-служба Рукапча платит работникам деньги. 
• Заказчик — присылает и изображения для обработки через API.

Думаю вы найдёте для себя нужную роль, вот ссылка для регистрации.

Rucaptcha — отзыв заказчика

После регистрации, заходим в Dashboard и пополняем баланс.

Доступные способы платежа — QIWI, WebMoney (WMR и WMZ),Yandex Деньги, платёжные карты, InterKassa (BITCOIN, Privat24, MTS, Beeline, Megafon, LiqPay, PM), Payeer, OkPay, AdvCash, PerfectMoney, EXMO.

Размер комиссии указан на странице https://rucaptcha.com/pay

В меню "Распознавание" вы можете включить дополнительные опции:

• Защита ключа по IP — установка ограничения — список IP адресов по которым веб-служба должна принимать запросы с вашим ключом к API.
• Настройка доп.параметров — название опции говорит само за себя. Вы можете настроить язык, регистр, буквенно-цифровое сочетание капчи, математические действия с ней и так далее.
• Ограничение цены — используя ползунок, настройте ставку за 1000 простых капч. Рекомендую оставить как есть или установить близкой к максимальной.

Информация об API KEY доступна в Профиле и по ссылке API в главном меню.

Rucaptcha — пример использования

Допустим, SEO-специалист проводит эксперимент и хочет спарсить выдачу по списку запросов. Ему нужна соответствующая компьютерная программа.

Запускаем Netpeak Checker. В настройках Параметров выбираем On-page (там где нужно, снимаем отметки), Whois.

Если есть соответствующий API KEY — настройте параметры Serpstat (Видимость, Суммарный трафик, Ключевые фразы), Ahrefs, Majestic, SEMrush, Moz, Alexa.

После завершения настройки базовых параметров, нажимаем на кнопку "Парсер ПС", вводим список запросов.

Переходим во вкладку "Настройки" парсинга.  Сделайте настройки в разделе "Поисковые системы".

Затем откройте опцию "Капча". Вот сюда мы будем прописывать API KEY Rucaptcha (Рукапча).

После добавления  API KEY Rucaptcha  не забудьте нажать кнопку "ОК" в настройках Netpeak Checker и в верхнем правом углу закройте "Настройки".

Нажимаем кнопку "Старт" и Netpeak Checker начинает быстро парсить нужную информацию.

Результаты получены. Теперь SEO-специалист может перенести URL/Хосты, сохранить URL, фильтровать и экспортировать результаты.

Отзыв о Рукапча. API KEY Rucaptcha показало себя с самой лучшей стороны — за помощь в удобном сборе информации по трём запросам с моего баланса было списано всего 32 копейки. Было бы не плохо, чтобы Rucaptcha была по умолчанию интегрирована с Netpeak Checker.

Подобные действия можно проделать с другими программами, куда интегрирована Рукапча.

Оставьте свой отзыв о Rucaptcha в комментариях к этому обзору.

Mobile first index не связан с "Медицинским апдейтом"

С 1 по 8 августа 2018 года произошло обновление ядра поискового алгоритма Google – так называемый "Медицинский апдейт".

Вебмастера продолжают искать причину падения трафика после 1 августа 2018 года, пытаясь найти какие-то закономерности.

В одном из предновогодних хенгаутов Джона Мюллера спросили о том, мог ли перевод сайта на mobile first index стать причиной падения органического трафика с Google.

Я заметил, что мой сайт был переведен на mobile first index в августе.
В сентябре произошло значительное снижение органического трафика.
Содержимое одинаково на обоих устройствах. В чем может быть причина?

На что Джон Мюллер ответил:

В общем, переход на mobile first index в первую очередь происходит очень быстро. И если бы были какие-либо проблемы, связанные с мобильной версией сайта, то, с одной стороны, мы в первую очередь постарались бы не переводить сайт на mobile first index.
И с другой стороны, вы увидите эти изменения почти сразу же, как только они появятся в mobile first index.
Так что, если вы видите изменения в сентябре или позже, тогда это будут обычные органические изменения рейтинга, как и всегда.
В сентябре или в августе - конце августа  произошли некоторые изменения в ранжировании.
Так что я могу представить, что это просто обычные изменения алгоритма ранжирования ядра, которые мы всегда имеем. И это не связано с mobile first index.

Из этого понятно, что перевод сайта на mobile first index и "Медицинский апдейт" не взаимосвязаны. С другой стороны, в mobile first index изменения происходят гораздо быстрее.

В том же хенгауте был ещё один интересный комментарий Джона Мюллера, связанный с переходом сайта на mobile first index.

Для оценки готовности веб-сайта к mobile first index мы также учитываем ссылки на сайте, особенно внутренние ссылки.
Так что, если, например, эти внутренние ссылки полностью отсутствуют в мобильной версии, тогда мы бы не стали переключать сайт на mobile first index.

Что такое траст сайта?

Страница имеет много характеристик сайта низкого качества: нет контактной информации, нет указаний на то, кто написал содержание, никаких доказательств медицинской экспертизы / авторитета и серьезная монетизация рекламой, которая отвлекает внимание от основного контента. Следовательно, эта страница не заслуживает доверия.

Я не знаю, могу ли я назвать это авторитетностью [доверием - прим.авт.], но у нас есть некоторые показатели, которые больше относятся к уровню сайта (site level), некоторые показатели больше относятся к уровню страницы (page level).

Возможные критерии траста сайта

Подытожим критерии определения траста сайта:

* Возраст домена;
* Наличие https протокола;
* Наличие контактной информации;
* Отсутствие пиковых приростов неестественных ссылок;
* Монетизация рекламой, не отвлекает внимание от основного контента;
Дополнительно для сайтов тематики YMYL :
* полная информация об авторе контента;
* исчерпывающая информация о том, кто отвечает за содержание сайта.

Какую метрику использовать?

Это перевод Общего руководства по структурированным данным (далее по тексту – Общее руководство), которое применяется ко всем структурированным данным, дополненный лучшей практикой, собранной на Справочном форуме для веб-мастеров Google.

Соблюдайте принципы Общего руководства, чтобы структурированные данные отобразились в результатах поиска Google.

 Технические рекомендации по структурированным данным

Вы можете протестировать соответствие техническим рекомендациям с помощью инструмента Structured Data Testing Tool и Посмотреть как Googlebot , которые выявят большинство технических ошибок.

Формат структурированных данных

Чтобы иметь право на отображение расширенных сниппетов, вы должны разметить страницы своего сайта, используя один из трёх поддерживаемых форматов:

• JSON-LD (рекомендуется)
• Microdata
• RDFa

Доступ к данным

Не блокируйте страницы структурированных данных для робота Googlebot, используя robots.txt, noindex или любые другие методы контроля доступа.

Рекомендации по качеству

Страницам или сайтам, которые нарушают содержание (принципы) этого Общего руководства:
 * может быть уменьшен рейтинг или;
 * они могут быть отмечены как неприемлемые для отображения расширенных результатов поиска Google.

По моему мнению, не исключено, что речь идёт об уменьшении общего рейтинга сайта для целей ранжирования.

Если сайту или на отдельных страницах отключили отображение расширенных сниппетов, – сайт (его страницы) стал оцениваться как менее качественный и, возможно, будет хуже ранжироваться или получать меньше трафика.

Если страница содержит структурированные данные или контент, который считается спамом в структурированных данных, к ней будут применены меры, принятые вручную.

Важно: Google не гарантирует, что структурированные данные будут отображаться в результатах поиска, даже если страница правильно размечена (разметка валидна).

Вот общие причины:

•   Использование структурированных данных позволяет их отображать, но не гарантирует, что они будут отображаться.
•  Структурированные данные не являются релевантными по отношению к основному содержимому страницы или потенциально вводят в заблуждение.
•  Структурированные данные размечены неверно (с ошибками).
•  Содержимое, на которое ссылаются структурированные данные, скрыто от пользователя.
•  Страница не соответствует Общему руководству по типу или Рекомендациям Google  для вебмастеров.

Обратите внимание, что любое нарушение принципов Рекомендаций для Google для вебмастеров приведёт к отключению показа расширенных сниппетов на странице.

 "Звёздочки" в частности и расширенные описания в целом не показываются для сайтов, где обнаружены приёмы, выходящие за рамки рекомендаций по обеспечению качества, как например покупка ссылок, а также для страниц ниже определённого порога качества. В данном случае я бы прежде всего продолжил работу по удалению когда-то купленных ссылок и ждал обновления со стороны Google. Когда много покупных ссылок-звёздочек не будет.
Андрей Липатцев (Google)

Обратите внимение на упоминание термина "порога качества". Сайты низкого и самого низкого качества расцениваются как агрессивный спам и логично, что на их страницах Google не будет показывать информацию в расширенных сниппетах.

Дополнительно читайте:
Руководство Google для асессоров
Обновление алгоритма Google от 1 августа 2018
Как добавить сайт в карусель Главные новости

Замечу, что по запросу site: расширенные описания могут и отображаться, так как для него действуют особые критерии.
Андрей Липатцев (Google)

Эти особые критерии слегка раскрыл другой сотрудник Google:

Иногда, когда результаты обновления алгоритма влияют на наш общий взгляд на качество веб-сайта, может случиться, что он влияет на отображение или отсутствие расширенного сниппета (обычно мы не показываем расширенный сниппет, когда мы не уверены в качестве веб-сайта).
Простой способ двойной проверки. Нужно использовать комбинацию операторов site: -query:
Если там показаны расширенные сниппеты, но они не отображаются при обычном поиске контента веб-сайта, то это признак того, что наши алгоритмы качества не слишком довольны этим сайтом.

Контент

Следуйте рекомендациям по качеству веб-мастеров Google.

Предоставляйте актуальную информацию. Google не будет показывать расширенные сниппеты для чувствительного ко времени (неактуального и устаревшего) контента.

Публикуйте оригинальный контент.

Не размещайте контент, который не отображается читателям страницы. Например, если разметка JSON-LD описывает исполнителя, в коде HTML опишите того же исполнителя.

Не размещайте несоответствующий или вводящий в заблуждение контент, например, фальшивые отзывы или контент, не связанные с целью страницы.

Содержание не должно поощрять педофилию, скотство, сексуальное насилие, насильственные или жестокие действия, целенаправленную ненависть или опасную деятельность.

Актуальность

Ваши структурированные данные должны быть истинным представлением содержимого страницы. Вот примеры нерелевантных данных:
* Спортивный трансляционный веб-сайт, обозначающий трансляции в качестве местных мероприятий.
* Деревообрабатывающий сайт маркирует инструкции как рецепты.

Завершенность

Укажите все требуемые свойства для вашего типа расширенного сниппета. Элементы, для которых отсутствуют требуемые свойства, не имеют права на отображение в расширенных сниппетах.

Чем больше рекомендуемых свойств вы предоставляете, тем выше качество результата для пользователей. Например: пользователи предпочитают:
 - объявления о вакансиях с явно указанными зарплатами;
 - рецепты с фактическими отзывами пользователей и подлинными звёздными рейтингами (обратите внимание, что отзывы или рейтинги, оставленные недействительными пользователями, считаются спамными).

Место нахождения

Поместите структурированные данные на страницу, которую они описывают, если иное не указано в документации.

Разметку для отзывов в сниппеты главной страницы следует добавлять только в тех случаях, когда основная тема страницы – конкретный продукт или услуга. Обычно использование микроразметки на главной странице к указанным случаям не относится.
Gary Illyes, аналитик и инженер отдела качества поиска Google

Однако, если вы отметите один элемент из списка, вы должны разметить все элементы списка; разметка только одного субъекта категории из всех перечисленных на странице противоречит рекомендациям Google.

Не размещайте страницу, которая описывает «10 лучших идей для приготовления индейки», со ссылками на каждый рецепт.

Не размещайте страницу, в которой перечислены все инженерные задания в Mountain View, CA, со ссылками на отдельные страницы работы.

Если у вас есть дубликаты страниц для одного и того же контента, Google рекомендует размещать одни и те же структурированные данные на всех дубликатах страниц, а не только на канонической странице.

Специфичность

Используйте наиболее специфичные применимые типы и имена свойств, определенные спецификацией schema.org для вашей разметки.

Следуйте всем дополнительным рекомендациям, приведённым в документации для вашего конкретного типа разметки.

Изображения

При указании image как свойства структурированных данных убедитесь, что изображение действительно принадлежит к этому типу разметки. Например, если вы определяете свойство image schema.org/NewsArticle.image, размеченное изображение должно непосредственно принадлежать этой новостной статье.

Все URL-адреса изображений должны быть сканируемыми и индексируемыми. В противном случае Google не сможет отобразить их на странице результатов поиска.

Несколько элементов на странице

Размещайте на странице несколько объектов структурированных данных, если они описывают контент страницы, видимый пользователем.

Примеры:
Страница рецепта с текстом рецепта и сопровождающим видео. Разметьте текст и видео отдельно с помощью schema.org/Recipe и schema.org/VideoObject соответственно.

Страница категории, в которой перечислены несколько различных продуктов (или рецептов, видео или любой другой тип). Каждый объект должен быть помечен с использованием соответствующего типа schema.org, такого как schema.org/Product для страниц категорий продуктов. Однако, если размечен один элемент, все элементы должны быть размечены. Кроме того, если это не страница карусели, размеченные элементы не должны ссылаться на отдельно взятые страницы с детализацией сведений.

Страница видеоигры с соответствующим видео, встроенным в отдельный раздел на странице. В этом случае помечайте основное видео и связанные видео.