W-gent and ObBot / Архив / Архив публикаций / О рейтингах

О рейтингах


Страница:  1 2 3
Быстро, дёшево и качественно
Правильный генератор паролей
Language hack для любой CMS
Сложный парсер даты и времени начала и окончания мероприятия, написанных человеком
Простое решение парадокса Ферми
Thank God For The Bomb
Неверные загадки
Распахивание больших картинок на jQuery
Защита пароля от подбора брутфорсом

В современном интернете одним из лучших фильтров контента является рейтинг. И зачастую его работа эффективнее при однобитных оценках.


Рассмотрим, к примеру, сайт www.demotivation.ru. Этот проект стартовал сравнительно недавно и уже обрёл популярность благодаря новизне и качеству заложенной в нём идеи. Посетители загружают "демотиваторы" - фотографии, снабжённые позитивными заголовками и контр-позитивными подзаголовками, а затем оценивают творчество друг друга. Наиболее высоко оцененные демотиваторы вывешиваются на главной странице и со временем списываются в архив. Отмечу, что новой здесь является только идея самого демотиватора, как творческой формы народного протеста против социальной рекламы вообще и её производственной разновидности, мотиваторов, в частности. Идея же "общественной фильтрации" отнюдь не нова и достаточно хорошо обкатана Интернетом. Она позволяет не только экономить время владельцев и модераторов веб-ресурса, но и напрямую, чисто технически, держать ресурс в русле коньюнктуры потребительского спроса.
Однако, как мне кажется, эта идея работает не на полную мощность в случае, когда оценка допускает несколько градаций. Казалось бы, возможность оценить произведение по шкале "плохо - так себе - хорошо - отлично" позволяет более точно выяснить мнение оценщиков, чем более простая в технической реализации оценка "понравилось - не понравилось". Но давайте посмотрим, что происходит при подсчёте.
Обычно соотношение "вменяемых" оценщиков, к оценкам которых стОит прислушаться, к "невменяемым", которые склонны давать оценки в соответствии со своим сиюминутным настроением и (эффект сериала!) тематической привязкой данного произведения к ранее просмотренным*, намного меньше единицы. Обозначим это, как K(N)<<1**. Тем фактом, что далеко не все посетители вообще склонны ставить оценки, пока пренебрежём, хотя и заметим в скобках, что в силу этого эффекта большинство оценок являются положительными, т.к. не понравившиеся произведения посетители склонны попросту игнорировать, без выставления какой бы то ни было оценки.
Итак, в единицу времени на сайт зашло N оценщиков, в том числе n из них просмотрели раздел "Новые поступления" и произвели первичную оценку новых фотографий. При этом N>>n, а K(N)<<K(n). Далее, по результатам первооценки часть фотографий попадёт на главную страницу и будет просмотрена оставшимися (N-n) оценщиками. Однако, именно на этапе первичной оценки наиболее ярко проявляется следующий эффект (собственно, и являющийся центральным утверждением этой заметки):

 

Thesis: "Вменяемое меньшинство" оценщиков более склонно давать градуированную оценку, чем "Невменяемое большинство", тяготеющее к однобитности.***

 

То есть, n*K(n) "вменяемых первооценщиков" дадут оценки, более адекватно отражающие ценность фотографии, но варьирующиеся вокруг оценки "средне" со сдвигом в сторону реальной ценности фото, а большинство n*(1-K(n)) "невменяемых первооценщиков" даст оценку менее адекватную, зато безаппеляционную: либо "плохо", либо "отлично". В грубом приближении оценка произведения, которое "вменяемое большинство" оценило бы, скажем, на k от максимального балла (Это число k, 0<k<1, и примем за реальную ценность фотографии), будет равна K(n)*k + (1-K(n))*Rand(0,1).
Эта оценка отличается от оценки по однобитной (двухбалльной) шкале, равной K(n)*Round(k)+(1-K(n))*Rand(0,1), на величину K(n)*(k-Round(k)), и при любом (не столь уж и малом для n первооценщиков по сравнению со всеми N оценщиками) значении K(n) именно она будет определять независимость попадания фотографии на главную страницу от случайности.
Для "плохих" и "так себе" фотографий (k<0.5) разница между двух- и много-балльной итоговыми первооценками составит K(n)*k, а для "хороших" и "отличных" (k>0.5) она будет равна K(n)*(k-1), причём как в случае "плохих" (k<<0.5), так и в случае "отличных" (k>>0.5) фотографий эта разница стремится к нулю.
Если теперь учесть ранее нами проигнорированный эффект игнорирования (сорри за каламбур), смещающий оценку в плюс, то мы увидим, что разница между  "многобалльной" и "однобитной" оценками будет максимальна даже не для "так себе", а именно для "хороших" произведений - то есть, для тех, которые должны, по идее, попадать на главную страницу вместе с "отличными", попадающими туда почти гарантированно. И эта разница, разумеется, будет отрицательной, снижающей шансы.

Далее, после попадания фотографии на главную страницу, влиянием "Вменяемого меньшинства" можно вообще пренебречь в силу малости K(N)<<K(n)<1 с одной стороны и влияния модперсонала с другой. При этом следует учесть, что оценка "Невменяемого большинства" среди второоценщиков смещена в плюс ещё сильнее, чем среди первооценщиков, а модперсонал со временем становится совершенно не склонен тратить своё время на участие в первооценке.

Итого получается, что хорошие (не отличные, но тоже достойные) произведения при однобитной оценке имеют больше шансов попасть на главную страницу и далее в анналы, чем при градуированной, q.e.d.

В заключение позвольте обратить ваше внимание на утверждения, отмеченные звёздочками:
*Эффект сериала. Мне кажется, именно он виновен в произошедшей на Демотивации "эпидемии манулов", выродившейся к настоящему времени в тотальное окошачивание ресурса. В краткосрочной перспективе это даже хорошо, что у посетителей начинает вызывать улыбку фотография любого представителя этого, и без того симпатичного, семейства. Однако в перспективе долгосрочной окошачивание неизбежно приведёт к оттоку "Вменяемых" оценщиков, способному закончиться для ресурса неиллюзорной кОтОстрофой, поскольку и так
**K(N)<<1. А под влиянием вовремя не отмодерённых откровенно кровавых и копротематических фотографий - станет ещё меньше!

***Кстати, однобитная оценка более устойчива к чуме Интернета2.0 - флэшмобному (флудильному) продвижению, поскольку все флудеры поголовно ставят максимальные оценки продвигаемым произведениям и минимальные - конкурирующим с ними, получая тем самым дополнительное преимущество над обычными оценщиками.

 

UPD: Как заметил мне OCR Aldebaran, однобитные оценки эффективнее только в простейших рейтинговых системах, вычисляющих рейтинг "в лоб", т.е., как арифметическую сумму оценок, делённую на количество оценщиков. Он привёл мне пример: "Если по пятибалльной шкале из тысячи человек 500 оценили книгу на 5 баллов и 500 - на 1 балл, хорошая это книга или плохая?". Возразить нечего - скорее всего, книга, получившая такие полярные оценки, действительно стОит того, чтобы её прочесть, несмотря на среднюю оценку в 3 балла. Дисперсия оценок (а именно её "срезает" однобитная система) для сложных рейтинговых систем - столь же необходимый параметр, сколь и нежелательный для простых. Вплоть до построения диаграмм, по которым намётанный глаз искушённого читателя (либо реально очень хорошая математика рейтингующей системы) может заметить яркий, но спорный шедевр среди серой, но раскрученной литпопсы. Впрочем, это уже совершенно другая история...