Новый алгоритм Яндекса «Королев»

Новая версия поиска Яндекса основана на алгоритме со звучным названием «Королев». Он является более удобным и точным, быстрее генерирует ответы на самые сложные запросы. А все потому, что алгоритм работает при помощи нейронной сети.

королев

Для максимально продуктивного сравнения смысла запросов с веб-страницами, в ее обучении применяется статистика поиска, а также оценки многочисленных пользователей.

Предыстория возникновения алгоритма

Главная задача поисковых систем – помочь в нахождении нужной информации. Со времени их появления в середине 90-х гг. прошлого столетия многое изменилось. Если раньше в упорядочивании страниц по мере соответствия введенному запросу не было необходимости, то с ростом интернета появилась потребность в добавлении факторов отбора.

Постепенно поисковики стали брать во внимание ссылки на документы, поведение пользователей и место поступления каждого введенного запроса. И вот однажды количество факторов ранжирования возросло так, что лучшим решением оказалось обучить компьютер самостоятельно анализировать различные признаки соответствия запросу, составлять комбинации и решать, какие использовать. Команда Яндекса разработала метод обучения машины Матрикснет. Именно он определяет формулу ранжирования данного поисковика.

Все же главное на, что ориентируется поиск, это слова из запроса. Прежде чем начать сложный процесс ранжирования, машина по словам определяет список веб-страниц, предварительно соответствующих запросу. И вот тут возникает загвоздка. Мы с вами понимаем, что различные слова могут нести одинаковую смысловую нагрузку и если на странице нет всех, использованных в запросе, слов, она, возможно, очень даже неплохо на него отвечает. Но как объяснить это компьютеру?

Поэтому Яндекс принял решение запустить поиск по смыслу. В 2016 г. был запущен поисковый алгоритм с красивым названием «Палех» в честь городка, знаменитого уникальной техникой росписи. В его основу положена нейронная сеть. При запуске алгоритма в нейросеть была заложена задача преобразования поисковых запросов и заголовков страниц в так называемые семантические векторы. Здесь работает принцип сравнения векторов между собой, в результате чего определяется максимальное сходство заголовка и запроса, соответственно их близкий смысл.

Принцип работы алгоритма «Королев»

В чем же особенность «Королева»? Что делает его таким удобным в нахождении самых сложных запросов? В чем его основные отличия от предшественника?

  1. Данный алгоритм в отличие от «Палеха» проводит сравнение семантических векторов поисковых запросов и веб-страниц полностью: не только заголовков, но и контента. В этом его уникальность. Так же как по названию книги нельзя предугадать ее сюжет в целом, по одному лишь заголовку невозможно досконально узнать о содержании веб-страницы.
  2. Специально обученная нейросеть конвертирует тексты, находящиеся на веб-страницах, в семантические векторы. Данный процесс захватывает большое количество вычислительных ресурсов, требующих времени. «Королев» создан так, что вычисления векторов производятся на стадии индексирования. Это позволяет при поступлении запроса сравнить его вектор с уже знакомыми алгоритму векторами страниц и выдать релевантный, максимально соответствующий запросу, результат.
  3. «Королев» уже на ранних этапах ранжирования начинает подбирать страницы, подходящие по смыслу запроса. В этом еще одно его отличие от «Палеха», делающего смысловой анализ в последнюю очередь, и анализирующего при этом лишь 150 документов. Через алгоритм «Королев» их проходит во много раз больше – 200 000. Его особенностью является возможность провести сопутствующие смысловые связи путем анализа иных запросов, приводящих пользователей на конкретную страницу.

По словам создателей «Королева» нововведения более всего заметны на сложных и довольно редких запросах, где важно правильно понять смысл и провести аналогию.

яндекс королев

Иногда у людей не получается дать четкую формулировку необходимого объекта и они пытаются объяснить своими словами, что они ищут. Такие необычные «длиннохвостые» поисковые запросы с успехом решает новый алгоритм Яндекса.

 

Роль людей в обучении машин

Сегодня Яндекс внедрил полностью машинный поиск, который за доли секунды генерирует ответ на любой запрос. Но чтобы досконально обучить машину смысловой составляющей, необходима помощь человека. Обучение проходит на огромном числе положительных и отрицательных примеров, которые даются пользователями Яндекса.

Алгоритм «Королев» основан на нейросети, обучение которой проходит при помощи обезличенной пользовательской статистики. Когда человек получает правильный ответ на свой запрос, он заходит на веб-страницу и остается там некоторое время. Данное действие используется, как положительный пример, говорящий, что описание запроса и содержимого документа семантически совпадает.

Для развития поиска необходимо регулярно оценивать его функциональность. Это задача специальных сотрудников – асессоров, а также пользователей, зарегистрированных на сервисе Яндекс. Толока, так называемых толокеров. Они дают оценку качеству поиска и принимают участие в усовершенствовании других существующих сервисов Яндекса.

Новый поиск Яндекса разработан с целью быстрее и точнее помочь в решении задач пользователей. Хорошо проработанный сайт с качественным контентом и навигацией, профессионально выполненной оптимизацией в области UX (взаимодействия с пользователем) будет оказываться на первых позициях выдачи нового поиска.

С видеозаписью презентации нового алгоритма можете ознакомиться ниже.

Комментарии закрыты.