Роль алгоритма BERT в Google

В Search Engine Land появился материал, призванный помочь пользователям разобраться в принципах работы алгоритма BERT в Google.

Начало

Впервые выкатился алгоритм в середине октября нынешнего года для запросов англоязычных пользователей, а также отдельных фрагментов. Планируется, что BERT будет действовать на всех языках, для которых работает поисковая система Google. Но когда охват осуществиться полностью, еще информации нет.

Пока в 25 странах используются возможности модели BERT для оптимизации избранных элементов.

Сущность BERT

Bidirectional Encoder Representations from Transformers – таково полное наименование технологии, больше известной как BERT, служащей для распознавания и обработки естественного языка. Построена она на базе нейросетей. При помощи BERT поисковая система лучше может определить контекст в запросах. Другими словами, она очень полезна в тех случаях, когда фраза содержит слова, имеющие несколько значений, и для получения реленвантного ответа на запрос нужно понять контекст, с чем поисковики справляются не всегда.

Исходный код BERT доступен для всех, т.е. применять ее может любой пользователь для решения каких-либо задач или обучения языковой обработке собственной языковой системы.

Принципы работы

Отличие нового алгоритма в том, что обучение происходит на основе всех слов, которые присутствуют в запросе или предложении. Раньше обучение нейросетей проходило по строгой схеме (слева направо, справа налево и пр.). С новой технологией в расчет принимаются все слова, окружающие контекстное слово. Пример - «math practice books for adults», что в контексте означает «учебники по математике для взрослых», что как раз и позволил выявить алгоритм BERT. Раньше в выдаче попадали пособия для 6-8 класса. Таким образом, результаты стали более точными.

Какой процент запросов Google обрабатывает посредством BERT

Сейчас только часть англоязычных запросов в Америке (а это 10%), проходит через BERT. Со временем возможности последнего позволят его использовать для более разговорных, длинных фраз или запросов, где предлоги играют не последнюю роль. Для коротких предложений или таких, где содержится название компании, BERT применяться не будет.

Сравниваем BERT и RankBrain

Прежде всего, это два разных алгоритма. RankBrain совмещается с обычными алгоритмами и позволяет подправить их результаты. По запросу находит похожие, которые были сделаны ранее, сравнивает их с текущими поисковыми результатами и производит корректировку.

Кроме этого, в поисковой системе RankBrain участвует в трактовке запросов таким образом, чтобы показать результаты, не содержащие прямых ключевых слов.

У BERT принцип действия другой. Он полностью охватывает контент до и после ключевого слова, чтобы определить его точный смысл. Он может использоваться как отдельная функция, совместно с RankBrain или другими элементами, либо в зависимости от условий поиска не появляться вообще.

Влияние BERT на продукты Google

Алгоритм хотя и направлен на поиск, но при демонстрации результатов он может затронуть голосового помощника Assistant. Для рекламы пока новинку не используют, но в перспективе ее возможности могут повысить релевантность объявлений.

Особенности оптимизации сайта для  BERT

Как считают разработчики Google, того, что можно было бы оптимизировать для BERT, просто нет. В данной ситуации важнее уделить внимание созданию качественного наполнения сайта в соответствии с запросами и ожиданиями аудитории.

В частности, можно привлечь экспертов  в качестве авторов статей. Контент на многих сайтах безликий, что существенно снижает его ценность. Особенно важно, чтобы фамилии авторов стояли под статьями на такие экспертные темы, как медицина, юриспруденция и т.д.