#12. Как устроены разного рода рейтинги и рэнкинги?
Для рейтинга умных мало, все нужны. (Михаил Жванецкий)
Как устроены разного рода рейтинги и рэнкинги?
В последнее время меня спрашивали о том как устроены те или иные рейтинги. Я, в первую очередь, могу немало рассказать о том что касается разного рода рейтингов открытости, но не только. Рейтинги, часто, по разному, имеют значимые отличия в причинах происхождения и по разному к ним стоит относится. К рейтингам по разному относятся и те кого рейтингуют/ранжируют или косвенно затрагивают этим ранжированием.
Здесь надо оговориться что рейтингование - это выставление оценки, а рэнкинг - это ранжирование объектов по этим оценкам. В России это обычно путают и называют рейтингами результаты рэнкинга, поэтому я буду использовать тут тоже слово “рейтинг” как основное, но держать в голове неоднозначность определения.
Итак зачем вообще делают рейтинги и рэнкинги?
1. Реклама и маркетинг
Рейтинги/рэнкинги - это одна из немногих тем которые хорошо заходят в не самые щепетильные СМИ. Для организаций продающих что-либо это становится инструментом маркетинга. Например, продаёте услуги консалтинга организации документооборота - делаете рейтинг систем документооборота или продаёте услуги уклонения от налогов и составляете рейтинг лучших способов уклонения от налогов. Главная проблема всех рейтингов ориентированных на маркетинг в том что делают их, как правило, организации находящиеся в рынке и их сразу же подозревают в наличии коммерческого интереса в манипуляции рейтингом, подбору популистской методологии ради рекламы с выбрасыванием смысла. Для таких рейтингов нужна качественная методология и чуть ли не безупречная репутация, в противном случае цена им невелика. Главное их отличие от других рейтингов в том что объекты рейтинга, те кого рейтингуют, не являются потенциальными клиентами продукта/услуг.
2. Рейтинг в целях продажи услуг
Это вторые по популярности рейтинги характерные тем что объектами рейтингования являются потенциальные клиенты рейтингующей организации. Например, предположим что есть консалтинговая компания в области экологической политики. Чтобы привлечь внимание к собственным услугам компания выпускает рейтинг качества экологической политики в регионах или муниципалитетах, например, моногородах. Достаточно очевидно что этот продукт создаётся чтобы руководители в объектах рейтингования прочитали о себе в нём и обратились за их услугами. Такие рейтинги ещё более сложны в репутационном позиционировании, потому что всем достаточно очевидно чего ради он создается. При этом, при качественной методологии, они могут быть даже неплохими, но всегда искажёнными под пул услуг той компании которая его составляет. Такие рейтинги, часто, сильно злят объекты рейтингования и составляют их, как правило, компании без серьёзной репутации и серьёзные СМИ стараются их не упоминать.
3. Рейтинги на заказ
Это, можно сказать, особая категория рейтингов довольно распространённая не только в России, но и в мире. Чаще всего составляют их консультанты которые вначале помогают какому-нибудь органу власти или крупной корпорации с формированием госполитики или корп политики в какой-то области, а потом, как часть этого договора, или отдельным договором, составляют рейтинг где их клиенты выходят если не на первое место, то на одно из первых. Абстрактный пример - какой-нибудь Мухобойск нанимает консультантов типа "Водкин, Водник и Бочар" на разработку городской стратегии ловли мух и кроме стратегии консультанты создают рейтинг в котором сравнивают Мухобойск с Нью-Йорком, Токио, Сиднеем и ещё парой десятков городов и оказывается если не на первом месте, то точно не хуже. Такие рейтинги - это PR продукт, как правило основанный только на репутации составителей, методология там придумывается/адаптируется под конкретного заказчика. Немалое число рейтингов в мире и в России устроены именно так, многие составители умеют ловко это скрывать и, иногда, требуется немало внимания чтобы разобраться в подобном. Для этого требуется посмотреть на клиентов составителя рейтинга и тогда всё встаёт на свои места. Я специально не буду приводить конкретных примеров, думаю что многие и так их знают.
4. Рейтинги как инструменты прямого влияния и управления (госполитика/международная политика и тд.)
Одни из наиболее важных рейтингов составляемых в мире - это рейтинги составляемые организациями не имеющими права приказать объектам регулирования, но желающим повлиять на их политику.
Как правило, такие рейтинги составляются не для того чтобы прорекламировать себя, хотя у них и есть элементы медиа продукта. И они создаются не с целью продать свои услуги, чаще их делают те кто услуги не предлагает. Они создаются теми у кого нет других рычагов влияния на объекты рейтингования кроме воздействия на их репутацию и, иногда, на их публичное позиционирование, выделяемые ресурсы и тд.
К таким рейтингам можно относить разного рода рейтинги ООН, ОЭСР, Мирового банка. Те же рейтинги открытости ФОИВов которые публикует Счетная палата - это тоже рейтинги влияния. Ни у ООН, ни у Мирового Банка, ни у Счетной палаты и других нет возможности приказать объектам рейтингования, но есть возможность указать на направления своего особого внимания и в дальнейшем использовать для коммуникаций, организации экспертной работы и иногда ранжирование оргработы и лучших практик и приоритетных направлений работы.
Как и во всех других случаях в таких рейтингах большую роль играет методология.
5. Рейтинги как инструмент косвенного влияния
Большое число в мире - это рейтинги сделанные как инструмент влияния, но влияния косвенного. Чаще всего эти рейтинги делаются некоммерческими или исследовательскими организациями или центрами компетенций в рамках своих предметных областей/знаний и монетизируются они не через объектов рейтингования, а тех кто заинтересован во влиянии на этих объектов или же в определенном ранжировании объектов рейтинга.
Например, рейтинг Democracy Index от EIU и Global Right to Information Rating от RTI используются Open Government Partnership, междгосударственной организацией по открытости, как критерии для вступления стран в OGP.
И подобных рейтингов довольно много, они часто используются международными фондами для определения своей политики раздачи грантов, приоритетных направлений деятельности, международными организациями вместо разработки собственных рейтингов и тд. Чаще всего такие рейтинги хорошо спроектированы, могут иметь методологию спорную идеологически, но продуманную технически.
Иногда они имеют гибридную природу. Например, подвед Минфина НИФИ делает ежегодный рейтинг открытости финансов в субъектах федерации, а Минфин России использует его уже в проведении собственной политики выдачи субсидий властям субъектам федерации.
6. Рейтинги как медиапродукт
Особый тип рейтингов создаваемый медиакомпаниями, как правило, повторяемые ежегодно. Пример, список миллиардеров в Forbes. Создаются изначально под медийную монетизацию и/или торговлю включением/не включением в них. Могут быть, часто, и в форме анти рейтингов и ещё много как, но суть их всегда одинакова - максимальное распространение и происхождение из медиа рынка. Для профессионалов большей ценности не несут, ориентация на массовую аудиторию.
7. Рейтинги аналитический продукт
Это тип рейтингов которые на самом деле являются анализом ситуации на рынке, а рейтинг не более чем небольшая его часть опять же в целях медиа и управления вниманием. Примеры таких продуктов - это продукты Gartner по многочисленным ИТ инструментам или же Space Competitiveness Index (Индекс космической конкурентности) который консалтинговая компания Futron распространяла до 2012 года в виде краткого изложения, а за полное надо было заплатить немало денег.
—
Вполне возможно, я мог упустить здесь какие-то типы рейтингов, но скорее всего отразил самые основные. За кадром остались формализованные процедуры рейтингования ценных бумаг, сертификации по качеству управления и тд., но это продукты другой природы, о них отдельно.
Некоторые рейтинги являются гибридами и имеют сразу несколько форм, но таких не так много, на самом деле.
Критерии качества
В итоге, как понять стоит ли доверять рейтингу/рэнкингу? Как их читать? Что делать?
Знать кто составляет рейтинг и с какой целью. У хорошего рейтинга это всегда чётко указано, и организация, и ФИО составителей и их опыт. Если этого нет - это первая причина напрячься при прочтении рейтинга.
Определить тип рейтинга и зачем его делают: реклама, маркетинг, по заказу, прямое или косвенное влияние или же медиапродукт.
Убедиться что авторы рейтинга чётко артикулируют цели его составления, для кого, почему и как они его делают
Убедиться что у рейтинга опубликована методология, четко изложенная, методически воспроизводимая и полностью рейтинг охватывающая.
Убедиться что объекты рассмотрения в рейтинге пригодны для сравнения (например, то что страны не сравниваются с городами или то что компании 5-го эшелона не сравниваются с лидерами).
Убедиться что есть декомпозиция критериев рейтинга и возможность независимой проверки.
Убедиться что данные рейтинга легко скачать в Excel/CSV и авторы не препятствуют возможности его анализа автоматически/вручную.
Примеры профессиональных рейтингов (специально не буду приводить те к которым я имею отношение):
OurData Index, ОЭСР - https://www.oecd.org/digital/digital-government/policy-paper-ourdata-index-2019.htm - хорошо проработанная методология, всё можно скачать
Atlas of Economic Compexity - https://atlas.cid.harvard.edu/ - детальная методология, много публикаций и научных статей, специальный инструмент для получения данных
Примеры плохих рейтингов:
Рейтинг школ Москвы https://www.mos.ru/donm/documents/normativnye-pravovye-akty/view/242666220/ - нет методологии, рейтинг публикуется сканами/pdf, авторы не указаны
Рейтинг управляющих организаций Москвы за 2019 год https://data.mos.ru/opendata/7702051094-reyting-upravlyayushchih-organizatsiy-goroda-moskvy-za-2019-god/description?versionNumber=1&releaseNumber=1 - нет методологии, авторы не указаны, цели не указаны
Итого
Несколько завершающих тезисов:
Относиться к большинству рейтингов необходимо исходя из их природы, целей создания и доверительности методологии.
Отсутствие методологии - это сразу же блокирующий фактор для любого дальнейшего содержательного обсуждения.
Рейтинги не должны составляться теми у кого есть прямая власть над рейтингуемыми, например, органами власти к подведомственным учреждениям. Такие рейтинги - это показатель их собственной плохой работы и далеки от независимой оценки.