А если немного подробнее, план доклада следующий: История и эволюция понятия релевантности. Оценки экспертов:   - Метрики, которые по ним можно построить   - Интересные факты о том, как работают эксперты   - Задачи, которые не решаются экспертными оценками Пользовательские эксперименты:   - Известные проблемы при проведении пользовательских экспериментов   - Классические (позапросные) метрики   - Измерения, основанные на смешивании выдач   - Метрики, где единицей является не запрос, а сессия или пользователь и другие аспекты, освещённые с разных сторон, взглядов и методов.   Участие бесплатное, необходима регистрация.   О докладчике ​Роман Поборчий – руководитель отдела оценки качества поиска в компании "Яндекс". Сотрудники этого отдела занимаются и пользовательскими экспериментами, и экспертной оценкой, придумывают новые методы сами и внимательно следят за достижениями индустрии. До поиска Роман занимался разработкой платформы Java в Sun Microsystems, и опять разработкой Java в рамках проекта Apache Harmony в Intel Corp.       Как добраться На автомобиле: парковка разрешена на Пискаревском проспекте после пересечения с Шоссе Революции, если ехать от набережной. Или непосредственно у фасада БЦ: гостевая парковка. На развозке "Бенуа" от станции метро "Площадь Ленина": ходит каждые 8-15 минут и идет примерно 10-15 минут. На общественном транспорте от станции метро "Площадь Ленина": автобусами 106 и 37 Бизнес-центр «Бенуа». Офис компании «Яндекс», 5 этаж. На охране 1-го этажа б/ц сказать, что вы на мероприятие в «Яндекс». Просьба захватить с собой паспорт - его могут попросить показать на охране.