Оценка качества поиска системы Яндекс

Цель нашей компании - сделать каждого клиента лучшим в своей отрасли!
Оценка качества поиска системы Яндекс
О проекте


О том, каким образом поисковая система Яндекс производит оценку качества поиска рассказывает Александр Селиванов – руководитель разработки сервисов оффлайн-измерений Яндекса.

Яндекс ежедневно получает и обрабатывает более 250 миллионов запросов пользователей. Получил ли пользователь ответ или нет – решает оценка качества поиска.

Насколько важно оценить качество?

Эта задача крайне важна в разрезе понимания, насколько поиск полезен пользователю. Мир склонен меняться, а в условиях постоянной изменчивости появляются новые выражения и понятия, что приводит и изменению системы поиска. К тому же меняются алгоритмы осуществления поиска ответов на вопросы людей.

Немаловажно оценить не только весь механизм поиска, но и его численную составляющую. Условно это можно представить, как одно большое изменение несет свои последствия. Но если разложить его на составляющие А и Б – одно может давать бОльшие выгоды, а другое – меньшие. Для утверждения нововведений необходимо представить это в цифрах.

Беспрерывное изменение поисковой системы необходимо в связи с тем, что пользователь с легкостью переходит в другую ПС, если не найдет ответа на свой вопрос. А также, если ответ будет неподходящим. Отследить такие потери весьма сложно, поэтому постоянный контроль за качеством поиска – задача наиважнейшая.

Способы измерения качества.

1.      Маркетинговые опросы. Наиболее простой способ узнать, как пользователь относится к тем ответам, которые получает от ПС.

2.      Эксперименты в режиме онлайн. Обычно используется метод А/В-тестирования. Двум группам пользователей выдаются разные версии поиска и отслеживается модель поведения в различных условиях. Получаемые обратные сигналы дают довольно полную информацию, однако такой способ имеет и свои недостатки. Во-первых, он довольно сложен для аналитики, во-вторых, одна из групп может быть настолько неудовлетворена результатами поиска, что с легкостью предпочтет для работы другую ПС.

3.       Проектирование офлайн-модели. Такой способ подразумевает моделирование пользователя, его поведение в поиске и составление прогноза его удовлетворенности результатами. Такая модель отличается скоростью проведения эксперимента, а также находит применение в ситуациях, когда экспериментировать онлайн нельзя.

Оценка метрики

Метрику уровня удовлетворенности ответом поисковой системы иначе называют метрикой «счастья пользователя». В это емкое понятие включают огромное количество факторов. Например, скорость ответа поисковой системы, ответы на странице результатов поиска, достоверные ресурсы, вариативность поисковой выдачи, регионы показа и реклама. Итоговая метрика счастья будет зависеть от комплекса указанных факторов.

Инструментарий для оценки качества.

Log Miner – инструмент, который собирает очень большую выборку поисковых запросов и учиться ее обновлять. Так происходит контрольная выборка. Итоговые результаты выборки могут быть несколько некорректны ввиду, например, сезонности или временных событий. Поэтому учитываются логи пользователей за значительное время.

Scraper – инструмент, который работает с текущей и бета-версией поисковой системы. Он одновременно прокачивает их и получает поисковые ответы по обеим.

Assessment – следит за качеством получаемых от асессоров сигналов.

Metrics – инструмент-посредник. Суммирует оценки качества ассесоров, передает запросы в Scraper, высчитывает метрики и преподносит пользователю интерфейс для взаимодействия и аналитики происходящего в обеих версиях поисковой системы.

В таком виде оценка качества существовала продолжительное время, но с течением времени в ее архитектуру были внесены новые сервисы.

Nirvana – дает возможность аналитикам производить собственные процессы по получению новых сигналов и внедрять в них свою логику.

Такая система оценки качества применяется для каждого из существующих сервисов поисковой системы – органический и мобильный поиск, Яндекс.Картинки, геопоиск, Яндекс.маркет. Эта система работает с Большими данными, поскольку ей приходится иметь дело с грандиозными объемами элементов, сигналов, производить тысячи вычислительных процессов ежедневно. Прогресс ее устремлен к созданию единой оффлайн-платформы, которая позволила бы проводить тестирования и экспериментировать, дала бы возможность специалистам дорабатывать систему своими сигналами и метриками, вносить изменения в поисковую систему. Тогда пользователь увидит исключительно лучшие нововведения.


Читайте новости и статьи когда это удобно для Вас - подписывайтесь на рассылку. И еженедельная порция самого актуального будет приходить на вашу электронную почту.


Хочу также

Менеджеры компании с радостью ответят на ваши вопросы и произведут расчет стоимости услуг и подготовят индивидуальное коммерческое предложение.

Сообщение отправлено!