Що відбувається, коли один процесор змушує нас замислитися про застарілість традиційного інтерфейсу «миша-клавіатура»? Nvidia вважає, що ми на порозі таких змін. На конференції Computex 2026 гендиректор компанії Дженсен Хуанг офіційно представив RTX Spark — першу лінійку Arm-процесорів, розроблених для ноутбуків та міні-ПК. Це рішення покликане перетворити звичайні Windows-пристрої на «домашні суперкомп’ютери», здатні підтримувати роботу автономних ШІ-агентів у режимі 24/7.

Дженсен Хуанг прагне трансформувати ринок ПК, перенісши домінування NVIDIA у сфері ШІ на споживчі ноутбуки, долаючи монополію x86 та просуваючи архітектуру Blackwell. Головними цілями є закріплення лідерства в епоху AI PC та створення нової екосистеми у співпраці з MediaTek і Microsoft.

Google теж нещодавно перетворив звичайний пошук на AI Overviews та АІ MODE.

Основні тези

Що відбувається, коли один процесор змушує нас замислитися про застарілість традиційного інтерфейсу «миша-клавіатура»?
В основі нової платформи лежить флагманський процесор N1X, створений у тісній співпраці з компанією MediaTek.
Головною особливістю RTX Spark стала підтримка до 128 ГБ уніфікованої пам’яті LPDDR5X.

RTX Spark це технічний фундамент та інновації

В основі нової платформи лежить флагманський процесор N1X, створений у тісній співпраці з компанією MediaTek. Архітектурно чіп поєднує в собі 20-ядерний CPU Grace та потужну графіку Blackwell, що має 6 144 ядра CUDA.

Головною особливістю RTX Spark стала підтримка до 128 ГБ уніфікованої пам’яті LPDDR5X. Така архітектура дозволяє центральному та графічному процесорам використовувати спільний пул даних. Це суттєво прискорює роботу зі складними 3D-сценами та великими обсягами контексту, оскільки системі більше не потрібно витрачати ресурси на копіювання даних між різними модулями пам’яті.

Але як ці технічні характеристики змінять щоденний досвід користувача?

Дженсен Хуанг підкреслив, що мета RTX Spark — вихід за межі концепції звичайного персонального комп’ютера. Nvidia просуває ідею «агентного ШІ», де взаємодія з системою відбувається за допомогою природної мови. Такі автономні агенти зможуть самостійно ставити цілі та виконувати складні завдання у фоновому режимі, перетворюючи комп’ютер із простого інструмента на інтелектуального помічника.

Для реалізації цього бачення Nvidia представила OpenShell runtime — безпечне середовище для запуску автономних ШІ-агентів. Використання OpenShell дозволяє перенести важкі обчислення з хмари безпосередньо на локальний пристрій. Це не лише підвищує швидкість реакції системи, а й гарантує вищий рівень приватності даних користувача.

«Через 40 років Microsoft і Nvidia збираються перевинайти ПК», — заявив Дженсен Хуанг під час своєї ключової доповіді на Computex.

Партнерство та плани на майбутнє

Nvidia вже забезпечила підтримку своєї платформи з боку провідних світових виробників. Серед партнерів, які інтегрують RTX Spark у свої пристрої, названі Microsoft (зокрема в лінійці Surface), HP, Dell та Lenovo.

Компанія також продемонструвала довготривалу стратегію розвитку. Після поточної архітектури Grace Blackwell у дорожній карті платформи Spark значитимуть наступні покоління — Vera Rubin та Rosa Feynman. Хоча ці назви також використовуються для серверних рішень Nvidia, у контексті Spark вони означають еволюцію споживчого заліза.

Чому це важливо для індустрії

Перехід на Arm-архітектуру разом із використанням уніфікованої пам’яті дозволяє створювати пристрої, які зберігають високу продуктивність навіть без підключення до мережі, долаючи обмеження енергоспоживання, притаманні старішим системам.

Це створює нову нішу «AI-first» заліза. За заявами Nvidia, такі пристрої будуть здатні рендерити 12K-відео або запускати ігри з частотою 100 fps. Варто зауважити, що на момент анонсу незалежні бенчмарки ще відсутні, тому ці показники базуються виключно на даних виробника.

Для ринку програмного забезпечення це означає фундаментальний зсув: від програм-інструментів до програм-агентів. Якщо локальне залізо зможе ефективно підтримувати масивні моделі, операційна система Windows фактично трансформується в єдиного інтелектуального помічника, який координує роботу всього іншого софту.

Напоминаю, что OpenAI также является разработчиком GPT-3.

Запущенный с большим шумом в ноябре 2022 года, ChatGPT быстро стал основным инструментом для компаний и частных лиц, ищущих более увлекательный и интуитивно понятный чат-бот. Благодаря сложным алгоритмам и расширенным возможностям машинного обучения ChatGPT способен интерпретировать и реагировать на вводимые данные таким образом, чтобы они были отзывчивыми и персонализированными.

Так что, если вы хотите использовать возможности передовой технологии искусственного интеллекта, обратите внимание на ChatGPT. Благодаря впечатляющему набору функций и интуитивно понятному интерфейсу, этот чат-бот меняет правила игры во многих отраслях и сферах бизнеса как для предприятий, так и для потребителей.

Напоминаю, что ваша задача для чат-бота — это подсказка (prompt) для лингвистической модели ИИ, для того чтобы он понял, что от него требуется. Не забывайте, что ChatGPT — это прежде все машина, хоть и достаточно умная. Поэтому, если вы хотите получить хороший ответ от чат-бота, научитесь правильно ставить ему задачи.

Как правильно задавать вопросы ChatGPT

Будьте конкретны: при создании подсказки будьте максимально конкретны в своем вопросе. Неясные или слишком широкие вопросы могут привести к запутанным или неактуальным ответам. Если вы ищете информацию по определенной теме, постарайтесь задать вопрос, ориентированный именно на нее.

Используйте четкие формулировки: задавая вопрос, используйте четкий и лаконичный язык. Желательно подсказки вводить на английском языке. На других языках чат-бот запросы понимает, но немного хуже. Избегайте использования жаргона или технических терминов, которые могут быть незнакомы ChatGPT.

При создании подсказок для ChatGPT LLM не существует определенной оптимальной длины вопроса с точки зрения количества символов или слов. Идеальная длина вопроса может варьироваться в зависимости от конкретной подсказки и контекста, в котором она используется.

Из личного опыта – лучше всего если в одной подсказке будет максимум три коротких, но точных вопроса. После получения от чата устраивающего вас ответа вы всегда сможете задать дополнительные и уточняющие вопросы.

Указывайте контекст: контекст вашего вопроса поможет ChatGPT понять, что вы ищете, и дать более точный ответ. Например, если вы спрашиваете о новостном событии, предоставьте некоторую справочную информацию о событии, чтобы ChatGPT понял контекст вашего вопроса.

Пример:
“Можете ли вы объяснить недавнюю полемику вокруг предлагаемых изменений в иммиграционном законодательстве США? Какие основные аргументы приводят сторонники и противники изменений, и каковы потенциальные последствия для иммигрантов и их семей?”
Справочная информация (Background information): В сентябре 2021 года администрация Байдена предложила новый иммиграционный законопроект под названием “Закон о гражданстве США 2021 года”. Законопроект включает несколько положений, направленных на обеспечение пути к гражданству для иммигрантов без документов, включая “мечтателей” и основных работников. Однако законопроект вызвал споры и противодействие со стороны республиканцев и некоторых демократов, которые считают, что он заходит слишком далеко в предоставлении гражданства и льгот недокументированным иммигрантам. Сторонники законопроекта утверждают, что он является необходимым шагом на пути к всеобъемлющей иммиграционной реформе и что он принесет пользу экономике США и обществу в целом.

В этом задании ChatGPT предлагается дать подробный и нюансированный ответ о текущем состоянии предлагаемых изменений в иммиграционном законодательстве США, включая обзор основных аргументов, приводимых сторонниками и противниками изменений, и потенциальных последствий для иммигрантов и их семей. Справочная информация обеспечивает контекст подсказки и помогает гарантировать, что ChatGPT располагает необходимой информацией для предоставления точного и информативного ответа.

Если вам сложно самому написать контекст, скопируйте исходный текст (если такой есть) в чат-бот и при помощи команды Summarize получите краткое резюме нужной темы.

Задавайте открытые вопросы: задавая открытые вопросы, можно побудить ChatGPT давать более подробные и нюансированные ответы. Вместо вопроса “да” или “нет” попробуйте задать вопрос, требующий дополнительных разъяснений.

Пример открытого вопроса: “Можете ли вы рассказать мне о самой интересной книге, которую вы недавно прочитали? Что вам в ней понравилось и как она на вас повлияла?”.

Этот вопрос побуждает ChatGPT дать подробный и личный ответ о недавнем опыте чтения, включая конкретные детали о том, что сделало книгу интересной и как она повлияла на читателя. Вопрос также оставляет возможность для ChatGPT исследовать различные аспекты опыта чтения и дать развернутый ответ.

Избегайте двусмысленности: избегайте использования двусмысленных формулировок или двойных отрицаний в своих вопросах, так как это может привести к путанице и неточным ответам.

Используйте примеры: если вы ищете ответ на конкретный вопрос, приведите примеры, которые помогут ChatGPT понять, что вы ищете. Например, если вы спрашиваете об определенном типе продукта, приведите примеры похожих продуктов, чтобы помочь ChatGPT понять категорию.

Будьте лаконичны: хотя предоставление контекста и примеров может быть полезным, также важно, чтобы ваш вопрос был кратким. Длинные и запутанные вопросы могут привести к путанице и неточным ответам.

Пример:
Generate a meta Title up to 110 characters with spaces, which should provide a laconic, descriptive and helpful content:

Если чат-бот создаст Title длиной более 110 символов, напишите ему:
Make it shorter

Память ChatGPT ограничена 4 тыс. токенов, но вот простой совет, как расширить ее для создания более длинного контента.

После недописанного чат-ботом ответа введите фразу:

1. Summarize what you said before and mark it as “Summarize”.
2. Continue to write up to 200 words and mark it as “Extra text”.
   Do not use words “Moreover” and “However”.

Это поможет ChatGPT не потерять тему и сохранить актуальность контента.

Недостатки чат-бота ChatGPT

Следует учитывать, что чат-бот в своей основе использует большую обученную языковую модель.

Обратите внимание на слово «языковую». Дело в том, что ChatGPT создан в первую очередь для работы с текстом. Именно поэтому, его не стоит использовать для математических задач, статистики или анализа.

Да, чат-бот может сгенерировать вам ответ в этой области знаний, но точность результата будет очень низкая.

Кроме того, горизонт знаний ChatGPT ограничен 2021 годом. Другими словами, его бесполезно спрашивать о событиях, которые произошли позже.

Чат-бот так же не умеет (пока что) получать данные из поиска. Если вы его попросите указать ссылку на источник, он ссылку сгенерирует, но скорее всего, она будет вести на не существующую страницу.

Поэтому если вы хотите использовать возможности передовой технологии искусственного интеллекта, а именно чат-бота ChatGPT, учитывайте эти принципы составления подсказок, а также указанные ограничения.

Нравится начало статьи? Скажем спасибо ИИ, потому что именно он его написал и положил начало этой публикации. В этой статье рассмотрим способы создания при помощи искусственного интеллекта качественного текстового контента, изображений, создания видео из изображений, озвучивание видео (создание аудио контента).

Если вы хотите из этой статьи почерпнуть информацию как массово создать контент, не особо вникая в его качество и смысл, эта статья не для вас. Ударение на слове “качественный” сделано специально, потому что все и так знают, что Google считает, что генерированный контент в большинстве случаев не качественный. Мы же рассмотрим как при помощи ИИ сделать это качественно.

Вы должны быть готовы потратить достаточно много времени и ресурсов, чтобы создать что-то интересное и полезное для пользователя.

Пример применения ИИ для создания текстового контента

В феврале 2019 года компания OpenAI представила миру свой алгоритм GPT-2. Это было начало новой эпохи создания текстового контента при помощи ИИ. Качественный скачек произошел после выпуска GPT-3.

Раньше было сложно получить к нему доступ и потому на первоначальном этапе было не так много сервисов, которые были способны генерировать качественный текстовый контент.

Какой сервис использовать для создания текстового контента

На самом деле их уже настолько много, что сложно всех упомянуть. Одним из лидеров, возможно даже лучшим в этой отрасли, многие считают jasper.ai. И такая любовь к этому инструменту заслужена, потому что при довольно умеренной ценовой политике пользователь получает доступ к целому комбайну.

Я бы еще посоветовал такой бесплатный инструмент для создания контента при помощи ИИ – Hyperwrite AI. Именно он написал вступление к этой статьи. У них есть еще расширение для браузера, позволяющее вам быстрее и проще писать на английском языке в интернете.

Поделюсь с вами еще одним прекрасным инструментом, который использует нейросеть Faceboock. Его название InterKit. Он, в зависимости от тематики создаваемого контента, показывает прекрасные результаты. Думаю, что вам понравится и можете заранее поблагодарить в комментариях.

Появились и бесплатные аналоги GPT-3. Например, EleutherAI, использующий в качестве модели ИИ GPT-J-6B.

Пример применения ИИ для создания изображений

Есть несколько способов создания изображений при помощи искусственного интеллекта.

Первый и самый простой – использование инструментов, которые к уже существующему изображению применяют какие-то стили или иным способом модифицируют исходное изображение.

Мне этот способ уже не интересен. Появился в открытом доступе аналог нейронной сети DALLE-2, который называется Stable Diffusion. Если у вас довольно производительный компьютер с хорошей видеокартой, можете установить нейросеть Stable Diffusion локально. Можно использовать и онлайн версию Stable Diffusion, которая развернута на сайте dreamstudio.ai.

Вы можете ввести текст на английском языке и получить прекрасное изображение. Просто напишите, что вам нужно и нейронная сеть предложит вам варианты изображений.

Интерфейс Dreamstudio выглядит так.

Полезные учебные материалы

Учебник по созданию подсказок

Готовые примеры подсказок

Давайте создадим основное изображение для этой статьи. Откроем Dreamstudio AI.

Вот подсказка, которую я использовал, и вы можете повторить то же самое.

full portrait of robot cat, 1970 style,realistic proportions, highly detailed, smooth, sharp focus, 8k, ray tracing, digital painting, concept art ultra realistic illustration by artgerm greg rutkowski alphonse mucha trending on artstation, nikon d850, Seed: 2463008295

Дополнительные настройки: Sampler k_lms, Steps 50, Cfg Scale 7.

Полученное изображение, я потом слегка доработал в Photoshop. Проблема уникальности изображений, по большему счету, больше не существует. Каждый может создать любое изображение, на что хватает его фантазии. Улучшить качество полученного изображения можно при помощи Gigapixel AI.

Пример применения ИИ для создания видео

Текст вы уже знаете как создавать при помощи искусственного интеллекта, изображения тоже.

Давайте научим ваше изображение говорить.

Последние годы появилось много сервисов для генерирования речи из текста. Проблема в том, что качественных голосовых движков для русского и украинского языка не так много. Для русского языка одним из лучших является движок от ЦРТ (Россия).

Довольно хороший диктор с женским голосом на украинском языке есть в lovo.ai.

Более удобным мне показался инструмент Speechelo. Он не бесплатный. Я купил подписку и пока доволен.

Итак, при помощи этих двух сервисов или их аналогов ИИ поможет вам синтезировать речь из любого текста. Что дальше?

Нейронная сеть Wav2Lip на данный момент лучшая для генерирования видео из любых изображений, где четко видны черты лица человека. Экспериментируя с этой нейросетью я ради шутки создал из изображения видео на котором Джон Мюллер рассказывает по секрету о том, что Google активно использует поведенческие факторы для целей ранжирования. По определенным соображениям я его показывать не буду. Зато покажу другое.

Я недавно опубликовал статью Что мы знаем об обновлении полезного контента Google.

Фрагменты из этой статьи послужили заготовками для синтеза речи моего видео. В Speechelo я выбрал женский русский голос и получил несколько аудио дорожек. В Dreamstudio создал при помощи ИИ штук семь примерно однотипных женских изображений.

Изображения и аудио треки добавил в Wav2Lip и получил несколько видеороликов. Каждый из них затем был улучшен в Topaz Gigapixel AI for Video.

Последний шаг – монтаж видео. В этом случае видеомонтаж был сделан при помощи программы Adobe Premiere Pro.

Надеюсь, статья вам понравилась. Следите за дальнейшими публикациями. Каждый уважающий себя сеошник должен читать телеграм канал SEO Inside.

GPT-3 – предварительно обученный генеративный преобразователь. Это третье поколение языковой модели, созданной разработчиками OpenAI, которая способна генерировать письменный текст на английском языке такого качества, которое часто трудно отличить от текста, написанного человеком.

Если сравнивать с ее предшественником, новая версия алгоритма намного умнее, количество используемых параметров увеличилось с 1,5 до 175 млрд. Более, чем в сто раз!

Как это работает?

Вы вводите исходный фрагмент текста и модель сама начинает создавать продолжение сюжета. Иногда алгоритм «увлекается» и начинает уходить от основной идеи, поэтому, периодически требуется коррекция отдельных фрагментов текста.

GPT-3 – как пользоваться?

Как видно из описания алгоритма, его основная задача генерировать качественный текстовый контент.

GPT-3 используется в чат-ботах, для создания текстов – рассказов, стихов, инструкций, текстов рекламных сообщений, твиттов, сценариев, идей для блогов и так далее.

В сентябре 2020 года я получил доступ к GPT-3 и начал экспериментировать с качеством контента.

Вот две статьи из многих, которые написаны GPT-3:

Как провести эффективный SEO аудит

SEO тенденции для 2021 года

Качество контента очень высокое. Мне оставалось добавить изображения и несколько цитат и ссылок для придания тексту «человечности».

Дополнительно читайте: Искусственный интеллект для SEO

GPT-3 вполне можно использовать для массового создания контента для тех нищ, в которых этот контент особо не читают.

Но если ваш проект требует контент не только хорошего качества, но и точности, что требуется для YMYL-страниц, вам придется немного повозится, корректируя направление создаваемого контента и проверяя факты.

GPT-3 пока еще слабо обучен для генерации текстов в точных науках – математике, физике и других подобных направлениях.

Для текстов SEO-тематиках этот алгоритм, как вы поняли, очень даже пригоден.

На моё удивление, языковая модель не только знала о существовании  Ahrefs, Majestic, SEMrush, но и понимала специфику этих инструментов.

Как получить доступ к GPT-3 online?

Это довольно сложный вопрос. Изначально доступ к API OpenAI был бесплатным. Затем компания закрыла его и теперь нужно подавать заявку в «Лист ожидания».

Я тоже, как и десятки тысяч других пользователей, подавал такую заявку. Практика показала, что отправка заявки через «Лист ожидания» без дополнительных усилий – это путь в никуда. Вы будете ждать ответа, но он так и не придет.

Способ для тех, у кого есть способности хоть что-то программировать.

1) Подаете заявку в «Лист ожидания».

2) Покупаете домен для будущего инструмента.

3) Разворачиваете сайт и создаете презентационную страницу инструмента, чтобы была понятна основная идея и для чего вам нужен GPT-3.

3) Делаете презентацию.

4) Находите в Твиттер Greg Brockman @gdb и пишите ему примерно такой твит https://twitter.com/Asharjamil/status/1317163403681693699

Автор этого твита позднее написал – «Спустя всего 10 минут я получил ответ от него с просьбой прислать свою электронную почту. И бум, я получил доступ». 

Если у вас совсем туго с фантазией под какую идею создать «стартап» с целью получения доступа к API OpenAI, воспользуйтесь этим сервисом, который тоже работает на GPT-3.

Если это для вас очень сложно, можно воспользоваться теми сервисами, которые уже есть:

FitnessAI – это чат-бот на тему здоровья и фитнеса. Задавайте боту вопросы и копируйте ответы. Таким образом, вы получите сгенерированный текст.

Boredhumans – это целый набор инструментов на базе GPT-3. Нет смысла все их описывать, просто зайдите и посмотрите.

CopyAI – инструмент для создания рекламных текстов в социальных сетях. CopyAI платный, но есть тестовый бесплатный период.

Shortlyread – платный генератор эссе. Есть возможность бесплатно пару раз протестировать. Я читал отзывы людей, которые купили платную подписку. Судя по всему, они очень довольны.

Если эти два способа получения доступа к GPT-3 вас не устроили, я могу посоветовать бесплатно пользоваться GPT-2. Дешево и сердито.

Как получить доступ к GPT-4?

OpenAI по-прежнему блокирует доступ к своим моделям для некоторых стран, а GPT-4 протестировать очень хочется, верно?

Давайте, я расскажу как это сделать.

Открываем сайт POE. Он позволит вам бесплатно пользоваться не только ChatGPT, GPT-4, но и еще несколькими интересніми чатботами. Обратите внимание на то, что пока на пользование GPT-4 существует лимит — один запрос в сутки.

Второй вариант — заходим на сайт try-alters и пользуемся бесплатно GPT-4. Тут тоже есть ограничение. Суть его в том, что диалоговое окно ввода сообщения поддерживает не очень большое количество символов, но достаточное, чтобы коммуницировать с чатботом.

Самый интересный вариант — переходим на chat.forefront.ai , регистрируемся, пользуемся GPT-4.

Если статья вам понравилась, поделитесь ей в социальных сетях и подписывайтесь на мой телеграм канал SEO Inside.

В этой статье вы узнаете, как можно использовать машинное обучение и анализ данных для прогнозирования позиции сайта в результатах поисковой выдачи.

Прежде я хотел бы объяснить для чего это может понадобиться вебмастеру или интернет-маркетологу.

Многие из вебмастеров просто мониторят позиции сайта в поисковой выдачи и если эти позиции их не устраивают, начинается поиск причин. Я же вам предлагаю при помощи машинного обучения прогнозировать позиции сайта и оптимизировать страницы так, чтобы в итоге они достигли прогнозных значений.

Машинное обучение и анализ данных для SEO

Всё знают, что поисковики активно используют машинное обучение, но почему-то вебмастера, на мой взгляд, не спешат использовать Machine Learning для целей поисковой оптимизации сайтов. По крайней мере, в сети очень мало достойных внимания статей о машинном обучении, которые сфокусированы именно на SEO.

Я написал несколько статей о машинном обучении для SEO:
Машинное обучение и анализ данных для чайников
Как использовать машинное обучение для анализа тем YMYL страниц
Как Google классифицирует YMYL сайты

Итак, давайте рассмотрим пример, как спрогнозировать позицию страницы своего сайта или сайта конкурента.

Сбор и анализ данных для прогнозирования

Если вы вводите в окно поиска поисковый запрос, поисковик подсвечивает слова из запроса жирным шрифтом, если такие слова упоминаются в Title и Description. То, что использование слов из поискового запроса в Title, Description и Н1 влияют на релевантность страницы известно давно.

Мне было интересно, можно ли при помощи машинного обучения и анализа данных понять как именно “вхождения” ключевых слов влияют на релевантность и влияют ли они на прогноз позиций сайта.

Для анализа данных нужно их для начала собрать. Были собраны данные информационных сайтов. Для сбора данных я использовал SEMrush и Netpeak Spider. 

Откройте SEMrush, введите интересующие вас домен и базу поиска, например RU. Перейдите в раздел “Анализ поисковой выдачи”. Если это необходимо, можете настроить необходимые фильтры по позициям, Search Volume и другим показателям. Затем экспортируйте данные.

Из SEMrush в своем наборе данных я использовал такие показатели: Keyword, Position, Previous position, Search Volume, Keyword Difficulty, CPC, URL, Competition.

Далее, я взял из отчёта SEMrush список URL и добавил их в Netpeak Spider. Тут остановлюсь чуть подробнее. Откройте Netpeak Spider. Создайте новый проект.

В меню “Список URL” можно выбрать “Внести вручную” и вставить список URL. Именно так я и сделал.

В параметрах я выбрал: Время ответа сервера, Title, Длина title, Description, Длина description, Содержимое H1, Длина H1,Размер контента, Соотношение Text/HTML, Количество слов, Content-Length.

Я объединил данные из SEMrush и Netpeak Spider в один набор данных, который содержал информацию о 9751 URL.

При помощи самописной программы я получил коэффициент релевантности. Ну, это я для себя так назвал этот показатель, вы можете назвать по другому. Суть его в том, что скрипт по каждому запросу брал каждое слово из него и проверял, упоминается оно в Title, Description и Н1 или нет. Например, если запрос состоит из трех слов, а в Title упоминается только два из них, тогда коэффициент для Title составляет 0,66.

Машинное обучение и анализ данных

Набор данных, дополненный рассчитанными коэффициентами, я загрузил в бесплатный онлайн-инструмент для Machine Learning, который называется BigML. Об этом инструменте я подробно писал в указных выше публикациях.

Я построил модель в виде дерева решений точность которой составляет 77,9 процентов (довольно точная модель).

Как видно на этом изображении, предиктором является “Объем поиска”. Другими словами, многое зависит от того, это низкочастотный поисковый запрос или нет.

Построенная мной модель с точностью почти 85% показывает, что коэффициенты вхождения ключевого слова из запроса важны, только в случае, если это средне частотный или высокочастотный запрос, а сама страница имеет высокий показатель ответа сервера. Если, при этом, коэффициенты вхождения в Description и Н1 меньше 0,92 (не все слова из запроса упоминаются в Description и Н1), тогда страница не попадёт в ТОП 20 Google.

Прогнозирование и анализ данных о позициях сайта

Используя машинное обучение я решил спрогнозировать вероятность позиции в выдаче Google и как на этот прогноз повлияет изменения коэффициента вхождения ключевого слова в Title, Description и Н1.

Я собрал из SEMrush и Netpeak Spider данные выбранного наугад информационного сайта по указанному выше принципу и шаблону.

Затем, используя машинное обучение я получил прогнозные данные о вероятной позиции в выдаче Google. Сразу скажу, что при достаточно низкой ошибке модели, прогнозные позиции были как в лучшую, так и в худшую сторону, по сравнению с фактической.

Вот расширение для Google таблиц, которое вы можете использовать для повторения моего эксперимента.

Ухудшенная оценка может указывать на то, что страница держится в ТОПе за счет других более важных факторов.

Улучшенная оценка может указывать на то, что при оптимизации используемых в модели параметров можно достичь более высоких результатов.

Для эксперимента я в некоторых строках обнулил значения коэффициентов вхождения ключевых слов в Title, Description и Н1.

В результате в этой выборке у 22% URL ухудшился прогноз возможной позиции в Google.

Предварительные выводы

Этот эксперимент показал следующее:

Кому интересна эта статья, делитесь ею и подписывайтесь на мой Телеграм канал https://t.me/seo_inside

Особый интерес вызвали два исследования по YMYL страницах сайтов медицинской тематики.

Это связано с тем, что в процессе исследования я использовал машинное обучение при помощи бесплатного инструмента BigML.

Из текста заданных мне вопросов и комментариев я понял, что многие читатели хотели бы самостоятельно провести своё исследование, используя машинное обучение, но им:
а) не хватает базовых знаний о процессе машинного обучения;
б) сложно разобраться в том, как использовать BigML для этого.

Поэтому, эта статья – это, по сути, машинное обучение для чайников или введение в машинное обучение.

Я постараюсь максимально просто объяснить на примере, что такое машинное обучение и анализ данных в среде BigML. Сразу скажу, вам не нужно будет ничего программировать.

Что такое машинное обучение?

Существует огромное количество определений термина машинное обучение. Мне больше всего нравится определение, сформулированное специалистами SAS:

Машинное обучение – это метод анализа данных, который автоматизирует построение аналитической модели. Это отрасль искусственного интеллекта, основанная на идее, что системы могут учиться на основе данных, выявлять закономерности и принимать решения с минимальным вмешательством человека.

Давайте вернёмся к азам.

Введение в машинное обучение

Первым шагом в любом проекте является определение вашей проблемы. Вы можете использовать самые мощные и блестящие алгоритмы, но результаты будут бессмысленными, если вы решите не ту проблему.

Хорошо подумайте о своей проблеме, прежде чем начать. Это, бесспорно, самый важный аспект применения машинного обучения.

Алгоритмы машинного обучения учатся на данных. Крайне важно, чтобы вы предоставили им правильные и корректные данные для проблемы, которую вы хотите решить. Даже если у вас есть хорошие данные, вы должны убедиться, что они имеют полезный масштаб, правильный формат, не содержат пропусков.

Процесс подготовки данных для алгоритма машинного обучения можно обобщить в три этапа:

Шаг 1 : Выбор и сбор данных.
Шаг 2 : Предварительная обработка данных.
Шаг 3 : Преобразование данных. Этот шаг не для чайников, потому я в этой статье описывать его не буду.

Вам нужно подумать, какие данные вам действительно нужны для решения вопроса или проблемы, над которой вы работаете. Всегда существует сильное желание включить все доступные данные, чтобы соблюдалось правило «чем больше, тем лучше». Это не всегда правильно.

После того как вы выбрали данные, вам нужно подумать, как вы собираетесь использовать данные. Этот шаг предварительной обработки заключается в получении выбранных данных в форму, с которой вы можете работать.

Три основных этапа предварительной обработки данных – это форматирование, очистка и выборка:

Форматирование : выбранные вами данные могут быть не в том формате, который вам подходит для работы. Установите нужный формат для соответствующих типов данных. Не используйте для числовых данных подобный формат представления 1,989,49. Многие программы будут распознавать такие данные, как текст. Если вы хотите, чтобы это была цифра, она в вашем наборе данных должна выглядеть так  1989,49. Некоторые программы для анализа данных распознают данные как текст, если вместо запятой после целой части числа используется точка вместо запятой. Рекомендую использовать именно запятую.

Очистка : Очистка данных – это удаление или исправление отсутствующих данных. Могут быть экземпляры данных, которые являются неполными и не содержат данных, которые, по вашему мнению, необходимы для решения проблемы. Эти строки или столбцы, возможно, должны быть удалены.

Выборка : может быть гораздо больше выбранных данных, чем нужно для работы. Большее количество данных может привести к гораздо более длительному времени работы алгоритмов и большим вычислительным ресурсам и требованиям к памяти. Вы можете взять меньшую репрезентативную выборку выбранных данных, которая может быть намного быстрее для изучения и создания прототипов решений, прежде чем рассматривать весь набор данных.

Промежуточный итог

Вы получили первое представление, что такое машинное обучение. Чётко для себя определите задачу и подумайте, как вы будете её решать. Обязательно отформатируйте ваши данные так, как это нужно. Нужно очистить набор данных от столбцов или строк, которые не содержат данные.

Машинное обучение — пример

Судя по данным Ahrefs и Serpstat, многие пользователи ищут информацию о машинном обучении по запросам “машинное обучение пример” и “машинное обучение с чего начать”. Это перекликается с основной сутью полученных мной отзывов на предыдущие публикации.

Если вы не вебмастер, вы можете использовать любые другие доступные вам данные, например информацию из бухгалтерской программы 1С.

Например, я анализировал расчёты (платежи) трёх предприятий одной группы на предмет выявления аномалий (выбросов). Это позволило мне выявить нетиповые операции и сомнительных контрагентов.

Поскольку я занимаюсь веб-аналитикой и оптимизацией сайтов, в качестве источников информации я обычно использую данные:
* SEMrush;
* Serpstat ;
* Majestic;
* Ahrefs;
* Moz;
* Google Analytics;
* Google Search Console.

Собираю я эти и другие данные при помощи программ Netpeak Spider и Netpeak Checker (промокод на скидку в 10% – 869c893c), используя API указанных выше сервисов.

Вот что я использую для анализа данных:

* AnswerMiner – позволяет быстро и удобно получить информацию о силе корреляции между показателями набора данных.
* Orange – бесплатный, удобный и быстрый интеллектуальный анализ данных.
* BigML – бесплатная платформа для машинного обучения.

Итак, начнём рассматривать пример машинного обучения и анализа данных.

Цель – классифицировать YMYL страницы по качеству, выявить наборы уникальных различий для каждого из кластеров.

Способ достижения результата – сбор ТОП 30 по 100 запросам медицинской тематики (использовался SEMrush), сбор данных по запросам – использовался Netpeak Checker, кластеризация YMYL страниц (использовался Orange), машинное обучение (построение модели, её обучение и оценка – использовался BigML).

То что я собирал запросы именно с помощью SEMrush, ещё не значит, что вы должны делать так же.

Нужные запросы вы можете собрать и при помощи Serpstat и там же сразу кластеризовать.

Открываете в Serpstat меню “Инструменты” и там выбираете инструмент “Кластеризация ключевых слов и анализ текста”. Создаёте ваш проект, выставляете настройки кластеризации. Дальше инструмент всё сделает за вас.

Много об этом писать не буду, просто посмотрите это видео.

Что вам это даст? Результаты классификации можно использовать как дополнительные категории при анализе данных в процессе машинного обучения.

Допустим, все нужные запросы уже собраны. Запускаем Netpeak Checker (промокод на скидку в 10% – 869c893c). Открываем в нём инструмент “Парсер поисковых систем”. Выставляем нужные настройки и вносим список ключевых слов для парсинга.

Я таким образом по 100 запросам собрал результаты поисковой выдачи из ТОП30 Google.

Там же в Netpeak Checker я собрал показатели OnPage интернет-страниц, а также информацию по API из указанных выше источников данных. Например, показатели трафика я брал из Serpstat.

Дальше руками, хотя есть решения при помощи Python, я произвёл форматирование и очистку данных, как было описано выше.

Полученный набор данных я загрузил в Orange.

Используя Data Mining средствами Orange, я получил информацию о целевых кластерах, а также то, что самой значимой переменной для кластеризации является “Общий трафик”. Все мои выводы были опубликованы в исследовании Как Google классифицирует YMYL сайты .

В другом моём исследовании Как использовать машинное обучение для анализа тем YMYL страниц я привёл довольно подробный пример машинного обучения в среде BigML, но для многих пользователей его интерфейс показался сложным и они попросили подробнее показать, как им пользоваться.

Регистрируетесь в BigML.

Загружаете ваш набор данных. Здесь я дам небольшой комментарий. В качестве источника данных вы можете дать ссылку или просто перетянуть файл с рабочего стола в BigML, но я предпочитаю обычную загрузку файла. Причём, самый лучший формат для набора данных – CSV.

Вот так изнутри выглядит ваш набор данных.

В моём наборе три типа данных – числовые (123), текстовые (text), категории (ABC). Прежде чем производить дальнейшие действия, проверьте насколько BigML корректно распознал тип данных. Если вы увидели ошибку, нажмите на кнопку в виде бочёнка с шестерёнкой и внесите нужные исправления. Не забудьте сохранить изменения.

Затем переходим к созданию набора данных для машинного обучения в среде BigML. Нажмите на кнопку “1-Click Dataset”.

Вы должны исключить из дальнейшего процесса машинного обучения не значимые показатели. Например, я исключил показатель “Запрос”. Как это сделать?

Напротив каждого показателя есть “Карандаш”. Это кнопка для редактирования. По умолчанию показатели значимые (на картинке выше действие №1), кроме случаев, когда BigML сам определяет не значимые показатели. Вам нужно нажать на кнопку со знаком восклицания и затем сохранить изменения. После этого возле не значимого поля появится красный знак восклицания (на картинке выше действие №2).

Машинное обучение модели

Для целей оценки нам нужно обучить модель только частью данных (создать набор данных обучения), а затем проверить точность прогнозов на наборе данных, который мы не использовали для этапа обучения.

Давайте разделим данные на две части — набор данных для обучения и на тестовый набор данных.

По умолчанию BigML разделит ваши данные в пропорции 80 на 20, но вы можете выставить собственные значения, например, 70 на 30. Я оставил по умолчанию. В итоге будут созданы два дополнительных набора данных “НазваниеВашегоНабора80” и “НазваниеВашегоНабора20”.

Вам нужно войти в набор данных для обучения “НазваниеВашегоНабора80” и создать модель. Для этого нажимаете на кнопку в виде облака с молнией и выбираете опцию “1-CLICK MODEL”.

BigML построит дерево решений. Чем толще ветка дерева решений, тем вероятнее прогноз.

Но вы должны проанализировать и другие ветки. Обратите внимание на ветки, у которых конечный элемент имеет значение показателя уверенность (Confidence) больше 75 процентов. Таких веток может быть несколько. Советую отдавать предпочтение той ветке, у которой выше показатель уверенности и процент элементов в наборе данных. Для этого подведите курсор к конечному элементу ветки и вы увидите подсказку.

Оценка модели и прогноз

Следующий этап – это оценка точности модели. Очень важно, чтобы точность модели была не ниже 95 процентов.

В наборе данных для обучения “НазваниеВашегоНабора80” нужно выбрать функцию “Оценить” (Evaluate – на рисунке ниже действие №1). Затем, если вы захотите сделать прогноз, нужно нажать на кнопку “Прогнозировать” (Predict – на рисунке ниже действие №2).

В моём случае, точность модели составила 98,97 процента. Дерева решений вполне достаточно для того, чтобы найти интересные данные, которые раньше были не очевидными.

Что касается прогноза, я советую вам поиграть со значениями и ползунками. Уверен, что там ничего сложного и вы с этим сами разберётесь.

Надеюсь, машинное обучение и анализ данных для чайников с помощью BigML теперь стал для вас понятнее и проще.

Если что-то непонятно, пишите ваши отзывы в комментариях к статье.

Если статья вам понравилась, не забудьте поставить лайк и поделится в социальных сетях.

Исследование было основано на результатах поисковой выдачи Google по ста запросам медицинской тематики. Набор данных состоял из 2914 YMYL страниц.

Используя интеллектуальный анализ данных были выявлены основные кластеры YMYL страниц, которые соответствуют подходу, описанному в  патенте Google WO/2020/033805, для классификации сайтов по уровню качества.

Результаты исследования близки к реалиям в нише “Медицина” и, вероятно, на них можно ориентироваться при принятии определённых решений.

По уровню качества большинство YMYL страниц медицинских сайтов попали в кластер страниц (С2), оценка которых ниже первого порога качества. Страницы сайтов новостей, социальных сетей, ресурсы Яндекса, видео YouTube и страницы Википедии оцениваются лучше, чем медицинские сайты.

Собственно, именно такое положение дел вебмастера наблюдают на практике. По многим медицинским запросам “Комсомольская правда”, “АиФ”, “Вести” и тому подобное занимают весь ТОП.

При помощи машинного обучения на основе сформированного набора данных была построена модель, которая позволила выявить интересные результаты.

Одним из таких результатов было то, что в моем наборе данных заголовок Н1 YMYL страниц кластера “Новостников” (С3) не содержит слово «отзывы», а у “Медиков” (кластер С2), наоборот, во многих случаях содержит.

Это исследование получило широкий отклик, но некоторые вебмастера в своих комментариях написали, что наличие или отсутствие слова «отзывы» в заголовке Н1 не является однозначным критерием для классификации YMYL страниц.

Учитывая это, я при помощи машинного обучения провел дополнительный анализ текстовых полей моего набора данных.

Что такое анализ тем YMYL страниц?

В ваших текстовых данных скрыто множество ценных идей. Данные в виде простого текста могут быть очень полезны для рекомендаций по содержанию, задач поиска информации, сегментирования ваших данных или обучения прогнозным моделям.

Есть три ключевых слова, которые мы должны знать, когда пытаемся понять основы тематических моделей: документы, термины и темы .

Скрытое распределение Дирихле (LDA) – это метод обучения без присмотра, который обнаруживает различные темы, лежащие в основе набора документов, где каждый документ представляет собой набор слов или терминов. LDA предполагает, что любой документ является комбинацией одной или нескольких тем, и каждая тема связана с определенными терминами высокой вероятности.

Основной целью моделирования тем является поиск значимых тематически связанных терминов  ( «тем» ) в неструктурированных текстовых данных. В тематических моделях слова в ваших текстовых данных, которые часто встречаются вместе, группируются в разные «темы».

Полученный  список тем можно использовать в качестве конечного результата для задач поиска информации, совместной фильтрации или для оценки сходства документов среди других. Темы также могут быть очень полезны как дополнительные входные функции в вашем наборе данных для других задач моделирования (например, классификация, регрессия, кластеризация, обнаружение аномалий).

Для машинного обучения и построения тематических моделей я использую бесплатную подписку на сервис BigML.

Если вы этим заинтересуетесь, рекомендую сначала прочитать статью в блоге BigML.

Машинное обучение для анализа тем YMYL страниц

Я загрузил свой набор данных в BigML в качестве источника. Созданный в BigML был очищен от аномалий. Я обучил и оценил модель принятия решений.

Как вы помните из исследования “Как Google классифицирует YMYL сайты”, для классификации сайтов по тематике Google извлекает контент интернет страницы и анализирует его при помощи соответствующих алгоритмов и нейронной сети.

Проанализировав извлечённый контент нейронная сеть присваивает интернет странице тематику. Затем из совокупности тематик, которые определены, присваивается основная тематика всему сайту. По этому медицинским сайтам может быть присвоена совершенно другая тематика, не связанная со здоровьем и лечением.

Учитывая это, я в BigML создал тематическую модель, основанную на текстовых полях моего набора данных – “Содержание Title”, “Содержание Description”, “Содержание Н1”. Когда тематическая модель создана, можно отфильтровать и проверить ее, используя две визуализации, предоставляемые BigML.

В первом представлении вы сможете сразу увидеть все темы, представленные кружками, пропорционально значимости тем (чем больше диаметр кружка, тем выше значимость темы). Кроме того, темы отображаются в макете карты, который отображает отношения между ними, так что более близкие темы более тематически связаны.

Рис.1

Карта тем YMYL страниц медицинской тематики. Самая значимая тема “Инструкции” имеет коммерческую направленность и относится к фармацевтике.

Как видно на первой визуализации по названием “Карта тем” (Рис.1) темы разделены на четыре кластера:
1. Инструкция (фармацевтика), цена, клиника.
2. Медицина, лечение, симптомы, коррекция.
3. Темы о косметологии и дерматологии.
4. Стоматология.

Самая значимая тема для набора данных – “Инструкции” (описание различных препаратов) в числе основных терминов содержит слово “купить”. Сопутствующие ей темы – “Цена”. А тема “Клиника” в числе основных терминов содержит слово “цена” и “отзыв”.

Следовательно кластер тем №1 имеет ярко выраженную коммерческую тематику. Предполагаю, что нейронная сеть будет “рассуждать” следующим образом – страницы этого кластера созданы чтобы заработать, а не для того, чтобы полечить.

Кроме того, в теме “Клиника” мы видим связь терминов “отзыв” и “цена” – первое подтверждение того, что страницы с отзывами, скорее всего, не относятся к теме Здоровья как такового.

Однако лучший способ получить представление о ваших темах – взглянуть на вторую визуализацию BigML для тематических моделей: гистограмму.

Рис.2

На этом графике вы можете просмотреть основные термины по темам. Каждый термин представлен полосой, длина которой обозначает важность термина в этой теме (т. е. вероятность термина).

Модель тем находит термины, которые с большей вероятностью встречаются вместе, и группирует их в разные темы. Этот вероятностный метод дает довольно точные группировки терминов, которые тесно связаны между собой.

Как видно на гистограмме (Рис.2), в моем наборе данных есть две темы об отзывах – “Отзывы фото” и “Отзывы пациентов”. И как раз во второй теме есть третий по важности термин – “цена”, а сама тема в модели расположена на гистограмме рядом с темами о цене. На мой взгляд, это еще одно подтверждение того, что слово “отзывы” может указывать нейронной сети на коммерческую (не направленную на здоровье и лечение) тематику таких страниц.

Я решил копнуть глубже и на основе тематической модели создал модель для темы “Отзывы пациентов”.

Рис.3

Используя машинное обучение я получил довольно интересный результат.

Многие YMYL страницы медицинской тематики занимают в поисковой выдаче позиции на галёрке (с двадцатой и ниже), если:
* Описание для поисковых систем содержит слово “пациентов”;
* Title или заголовок Н1 содержит слово “отзывы”.

Следовательно, основываясь исключительно на данных моей выборки (моего набора данных) и моего предыдущего исследования, рискну предположить:
* страницы об отзывах пациентов о медицинских товарах и услугах, скорее всего исключены нейронной сетью Google из тематики “Здоровье”;
* страницы об отзывах пациентов могут попасть в результаты поисковой выдачи на позиции выше двадцатой только в двух случаях – контент на странице не содержит коммерческой составляющей (пользователю не предлагают что-то купить) и пользователь ищет именно отзывы.

Всё написанное выше исключительно моё мнение и может не совпадать с вашим.

Надеюсь на дальнейшее конструктивное обсуждение в комментариях к статье.

Если статья вам понравилась, не забудьте поделится ей с вашими друзьями и знакомыми.

BERT — это двунаправленный трансформер, который включает в себя два отдельных механизма -— кодер, читающий ввод текста, и декодер, выдающий прогноз для задачи.

Модели обрабатывают слова по отношению ко всем другим словам в предложении, а не по порядку. Таким образом, модели BERT могут учитывать полный контекст слова, рассматривая слова, которые идут до и после него, что особенно полезно для понимания цели поисковых запросов.
— Pandu Nayak, Google Fellow and Vice President, Search

История создания метода BERT

Информация о первоначальном выпуске BERT размещена на GitHub 31 октября 2018 года.
Google очень серьёзно относится к разработке программного обеспечения такого масштаба, поэтому прежде, чем выложить модель BERT в свободный доступ прошли годы разработки и тестирования.

Это просто моя гипотеза, но я думаю, что модель BERT тестировалась в рамках нескольких медицинских апдейтов Google 2018 года, а возможно и ранее — в 2017 году, когда появилась информация о некоем алгоритме “Fred” и о медицинском апдейте в рунете (сентябрь 2017 года).

В процессе обучения BERT с 31 мая 2019 года начали использовать “Модель маскировки всего слова” (Whole Word Masking). Я не буду усложнять описание техническими терминами типа токены и так далее, кому интересно, почитает по ссылкам на GitHub.

В процессе обучения BERT с 31 мая 2019 года начали использовать “Модель маскировки всего слова” (Whole Word Masking).

Буквально через месяц после внедрения в BERT модели Whole Word Masking, в июне 2019 года Google провёл широкое обновление ядра алгоритма (так называемое июньское обновление 2019 года). Весьма вероятно, что частью этого обновления был эксперимент по тестированию того, насколько точно BERT может анализировать текст, логику его изложения, естественность языка и взаимосвязи между словами.

Косвенно мою гипотезу подтверждает Pandu Nayak, Google:

Чтобы запустить эти улучшения, мы провели много тестов, чтобы убедиться, что изменения на самом деле более полезны. 

И лишь 25 октября 2019 года Google официально сообщил о начале использования BERT в поиске.

Я думаю, что через две недели (с 6 – 7 ноября 2019 года) после завершения этого обновления многие вебмастера заметили значительные изменения в трафике. По моим наблюдения, это, в основном, коснулось информационных сайтов (тематики “Новости”, “Медицина”, “Эссе”).

На 19 ноября 2019 года был запланирован запуск нового Центра для издателей Google News, но что-то пошло не так и это обновление появилось в начале декабря 2019 года.

Вот что известно об этом обновлении Google News:

Google будет использовать программный подход для идентификации издателей новостей. Аналогично тому, как Google определяет и оценивает другие типы контента в Поиске, издателям не нужно будет «подавать заявку на включение», чтобы они рассматривались в Новостях Google.

Предполагаю, что одной из задач BERT является распознавание сути написанного и классификация текста по категориям, например, “Новости”, “Прогнозы”, “Советы” и так далее.

Google — это в первую очередь коммерческая компания и все новшества имеют конечную цель — максимально увеличить прибыль, в том числе путём снижения расходов. Те из вас, которые подавали заявки в Google News знают, что качество сайтов проверяли так называемые ревьюверы. Это сотрудники сторонних агентств, чьи услуги стояли для Google очень дорого. Внедрение BERT поможет Google полностью или частично отказаться от этих услуг.

Как повлияет Google BERT на SEO?

Думаю, именно это в первую очередь интересует вебмастеров и интернет-маркетологов.

BERT даст возможность Google лучше понимать смысл текста. При этом акцент делается на естественность языка.

Внедрение BERT повлияет на оценку релевантности, ранжирование, трафик, отображение сниппетов и на показ страниц сайта в Google News, Google Discover.

По логике вещей, если с помощью BERT Google будет лучше понимать смысл написанного (контекст), то это значит, что Google Panda будет получать более точную информацию.

BERT также учится моделировать отношения между предложениями, выполняя предварительную подготовку по очень простой задаче, которая может быть сгенерирована из любого текстового корпуса: если даны два предложения A и B , является ли B фактическим следующим предложением, которое следует после A в корпусе, или просто случайное предложение.– Jacob Devlin and Ming-Wei Chang, Research Scientists, Google AI Language

Рассмотрим простой пример. Открываем страницу сайта, на которой основной текст — информация о жизни Достоевского, а внизу традиционный “постовой” — “…смотрите что-то там онлайн…”

BERT даст сигнал Google Panda и, возможно, алгоритму Пингвин, и, в итоге, пострадают оба сайта.

SEO рекомендации в условиях применения BERT

Текст должен быть написан максимально просто, кратко, грамотно и естественно. Этого требуют Федеральные руководящие принципы простого языка. Это закон США и Google его беспрекословно выполняет и учитывает в работе своих алгоритмов, особенно это касается текстов на английском языке.

Избегайте жаргона, минимизируйте сокращения и определения. Используйте одни и те же термины последовательно. Будьте лаконичны.

Текст должен быть оригинальным, слова и фразы в нём должны логически дополнять друг друга и нести полезную смысловую нагрузку.

Для того чтобы BERT лучше понимал вашу логику изложения (контекст) и не воспринял какие-то предложения как случайные, используйте слова – соединители: “Как сказано выше”, “Поэтому” и так далее. Вы должны показать, что каждое следующее предложение логически уместно.

Откажитесь от устаревшей практики размещения “постовых” (внизу статьи) в нетематических по содержанию текстах.

Если вы занимаетесь покупкой (размещением) ссылок, старайтесь размещать их внутри текстов, которые релевантны вашей ссылке и в которых ваша ссылка выглядит логично и естественно.

В завершение, если вы хотите протестировать, как работает “Модель маскировки всего слова”, попробуйте бесплатный инструмент Института Аллена (The Allen Institute for Artificial Intelligence). Инструмент поддерживает только английский язык.

Рекомендую прочитать:
Машинное обучение для анализа тем YMYL страниц
Как Google классифицирует YMYL сайты

P.S. Если вам понравилась эта статья, оставьте отзыв и не забудьте поделиться ей с друзьями.

Сегодня мы рассмотрим, как использовать Orange для целей text mining (интеллектуального анализа текста).

Text mining — это особый случай интеллектуального анализа данных.

Чем это может быть полезно для вебмастера и интернет-маркетолога?
Вы можете проанализировать текст из любого источника (социальные сети, SERP, проекты статей и т.п.) по разным критериям.

Например, вы можете спаристь результаты поисковой выдачи по нужному запросу и при помощи сформированного “Облака слов” понять о чём в основном пишут в Title и Description. Это будет полезно для оптимизации существующего и создания нового контента.

Интеллектуальный анализ текстов

Сегодня мы проведём интеллектуальный анализ текстов твитов.

Условия:
Информационный повод: 28 июня 2019 г. в Осаке встречались президенты России и США — Путин и Трамп.

Сопоставим аудиторию по языковому принципу, содержанию и эмоциональному наполнению.

Для каждой из двух газет будет проанализировано по 100 твитов.

Text-mining твитов Washington Post и New York Times

Давайте посмотрим, как в Twitter обсуждали публикации Washington Post и New York Times, посвящённые этому событию.

Аудитория, которая в Twitter обсуждала New York Times, в основном писала о Трампе.

Text Mining показывает, что в отличие от New York Times, аудитория Washington Post писала в Twitter о трёх президентах — Трампе, Путине и, что неожиданно, об Обаме. Другими словами, аудитории New York Times президент России вовсе не интересен (Рис.1).

Рис.1

Интеллектуальный анализ текста твитов показал, что аудитории газет Washington Post и New York Times имеют разный интерес к одному и тому же событию.

Основная аудитория Washington Post в Twitter англоязычная (в незначительной доле присутствует Хинди).

Новости New York Times в твитере тоже комментируют, в основном, на английском языке, но тут также значительную долю имеет испанский язык, а также индонезийский и португальский.

Маркетологам New York Times нужно периодической изучать свою аудиторию в Twitter, чтобы понять нужно ли им создавать для своей аудитории больше контента на испанском, индонезийском и португальском языках (Рис.2).

Если есть люди, говорящие на этих языках и интересующиеся новостями New York Times, маркетологи тоже должны заинтересоваться этой аудиторией.

Рис.2

При помощи Text Mining можно провести эмоциональный анализ сообщений в Твиттер (Рис.3).

Видно, что аудитория Washington Post публикует больше твитов, связанных со страхом и удивлением, чем аудитория New York Times.

Рис.3

Вы тоже можете проанализировать аудиторию и контент в вашем твитер аккаунте и сравнить их с результатами конкурентов.

Text Mining с помощью Orange

Откройте Orange. Перейдите в раздел Options главного меню, раздел Add-on и инсталлируете Add-on под названием Text. Перегрузите программу.

Создайте новый шаблон (File — New) для интеллектуального анализа текста.

Перетащите на рабочую поверхность виджеты:
*Twitter — источник данных. Нужно ввести Twitter API key, ввести список ключевых слов и указать количество твитов.
*Preprocess Text — этот виджет позволит вам избавится от стоп-слов.
*Bag of Words  — создает корпус с количеством слов для каждого экземпляра данных (документа) и может использоваться для прогнозного моделирования. Количество может быть абсолютным, двоичным (содержит или не содержит) или сублинейным (логарифм частоты термина).
*Word Cloud — визуализация данных. Виджет показывает “Облако слов” в зависимости от их частоты в корпусе слов.

Соедините эти виджеты между собой так, как показано на Рис.4.

Рис.4

Интеллектуальный анализ текста, на мой взгляд, одно из самых перспективных направлений в поисковой оптимизации и интернет-маркетинге.

Если вы уже пользуетесь Orange или другими программами для Text Mining, напишите об этом в комментариях к статье.

Очередной релиз нового Netpeak Checker это не фиксинг багов, а новые интересные “плюшки”.

Netpeak Checker теперь интегрирован с SimilarWeb, несколькими сервисами Google, Linkpad. Кроме того, реализован парсинг телефонных номеров.

Для получения данных из сервисов Google нужно подключить API.

Используя Netpeak Checker я собрал данные для тренировки (разработки) модели по предсказанию возможности попадания страницы сайта в ТОП Google.

Пока это выглядит так:

Если, кому-то это интересно, рекомендую для разработки моделей и интеллектуального анализа данных использовать бесплатный софт Orange.