BERT - Новият алгоритъм за търсене на Google: какво представлява и как работи

Google обяви пускането на нов алгоритъм за търсене - BERT. Ние разбираме какво се знае за него и как ще работи.

Накратко, според разработчиците, новият алгоритъм ще помогне на търсачката да разбере по-добре какво всъщност е търсил потребителят.

Какво е BERT и как ще работи

С помощта на технологията BERT (Bidirectional Encoder Representations from Transformers - NLP базирана на невронни мрежи) резултатите от търсенето ще станат по-смислени, по-близо до това, което потребителят наистина иска да знае.Сега думите и фразите в заявката на потребителя ще се обработват, като се вземе предвид контекстът, а не в ред, както преди. Вече днес нов алгоритъм за търсене помага за по-доброто разбиране на всяка десета заявка в САЩ на английски. По-късно BERT ще бъде локализиран и ще работи на други езици.

Ако говорим за англоезичния сегмент за търсене, тогава няма да е необходимо да избирате специално заявка - алгоритъмът ще разбере значението на заявката дори в дълга фраза с много предлози като и , понякога радикално променяйки значението на фразата.

Например, потърсете ("2019 бразилски пътник в САЩ се нуждае от виза"). Тук и връзката му с други думи в заявката са особено важни за разбирането на значението. Говорим за пътуването на бразилеца до САЩ, а не обратното. Преди това алгоритъмът не виждаше тази връзка и резултатите включваха материали за американски граждани, пътуващи до Бразилия. С BERT търсенето ще предостави по-подходящ резултат за тази заявка.

Нека разгледаме друга заявка: . Преди това терминът "автономен" се възприемаше като думата "щанд" (стойка). BERT ще се оправи:

Ето още няколко примера, при които BERT улавя нюансите на езика, където компютрите не възприемат текст като хора.

Само с появата на BERT той стана важна семантична част от тази заявка:

По-рано, когато търсеха, те обикновено пренебрегваха думата, без да осъзнават колко е важна за верния отговор:

BERT избира по-полезен резултат специално за категорията възрастни потребители:

Разбирането на езика ще остане вечен проблем, което означава, че търсенето ще трябва да се подобрява за неопределено време. Разбира се, по-добре е да не тествате BERT със заявката ("кой щат е на юг от Небраска") - най-вероятно ще се върне ("Южна Небраска"). Въпреки че е очевидно, че това е Канзас :–) Въпреки това, модели, обучени на английски, вече се прилагат на други езици. И дори успя да постигне осезаем ефект на езици като корейски, хинди и португалски.

Прочетете също:

• Поведенчески фактори за класиране на сайта
• Атрибути Alt и Title за снимки
• H1 и заглавие - правят еднакви или различни