Как считается рейтинг Yookey
Позицию в рейтинге рассчитывает система по проектам агентства. Здесь — как рассчитывается балл проекта и позиция агентства в каждом рейтинге.
Что это за рейтинг и как в него попадают
Yookey — рейтинг digital-агентств. Заказчик приходит с задачей «нужен интернет-магазин» или «нужна реклама» и видит список агентств, подходящих именно под неё.
Позицию рассчитывает система по проектам, которые агентство прислало и подтвердило документами. Редакция проверяет достоверность и в порядок агентств не вмешивается.
Рейтинг показывает силу подтверждённого портфеля, а не среднее качество работы агентства.
Заказчику это отвечает на вопрос «умеет ли агентство делать такие проекты».
- Участие бесплатное
Ни за подачу, ни за позицию платить не нужно. Рекламные размещения на сайте есть, они помечены и стоят над рейтингом — но на сам рейтинг не влияют.
- Оценивается работа, а не размер компании
Ни оборот, ни число сотрудников, ни известность бренда в расчёт не входят.
- Одно агентство попадает сразу в несколько списков
Общий рейтинг направления и рейтинги под конкретные задачи заказчика. В каждом считаются только подходящие проекты, поэтому позиции различаются.
Кто попадает в рейтинг
Чтобы участвовать, нужно набрать минимум проектов по направлению, уложиться в период приёма и подтвердить каждый проект документом или скриншотом.
Минимумы, сроки и чек-лист подтверждений — в условиях участия. Там же порядок подачи и шаблон таблицы.
Здесь — что происходит с проектами после проверки: как рассчитывается балл проекта и позиция агентства.
Из чего складывается позиция в рейтинге
Каждый проверенный проект получает балл. Позиция агентства считается по тем проектам, которые подходят под конкретный рейтинг.
Балл проекта состоит из 3 компонентов.
- Результат (50%). Насколько изменились показатели клиента: заявки, продажи, трафик, репутация в выдаче.
- Сложность (30%). Насколько трудной была задача: масштаб объекта работ, охват, число площадок или систем, состояние на старте.
- Длительность (20%). Сколько месяцев шла работа. Клиент продолжает платить, пока доволен, поэтому долгое сотрудничество идёт в плюс.
Полученный балл умножается на степень ответственности: отвечали за проект целиком — балл полный, за одно направление внутри чужой стратегии — меньше.
Как формируется высокая позиция
Высокая позиция в рейтинге формируется за счёт стабильно качественных проектов. Один сильный кейс может быть случайностью, а серия подтверждённых результатов говорит о системной экспертизе.
При этом количество не должно перевешивать качество: 8 сильных проектов обеспечат более высокую позицию, чем 20 средних.
Поэтому качество считается типичным баллом проекта, а количество входит в расчёт отдельным коэффициентом.
Как количество влияет на позицию
Первые проекты дают наибольший прирост к позиции, дальше всё меньше.
| Проектов | Коэффициент | Если средние (0,30) | Если сильные (0,60) |
|---|---|---|---|
| 8 | 0,83 | 0,25 | 0,50 |
| 10 | 0,91 | 0,27 | 0,55 |
| 13 | 1,00 | 0,30 | 0,60 |
| 17 | 1,10 | 0,33 | 0,66 |
| 20 | 1,15 | 0,35 | 0,69 |
Точка насыщения не назначена, а выведена из границ допуска: это середина между минимумом и максимумом направления.
После насыщения каждый дополнительный проект даёт около 2% прироста — досылать их имеет смысл, но решает уже качество.
В расчёт качества идут все поданные проекты — каждый вносит в итоговый балл ровно столько, сколько показывает по результатам.
Почему в разных рейтингах разные позиции
Кроме общего рейтинга направления есть рейтинги под конкретные задачи: по типу проекта, отрасли клиента, региону, технологии и бюджету.
В каждом считаются только те проекты, которые под него подходят. Поэтому позиции различаются.
9 проектов агентства → позиция в общем рейтинге направления
4 из них — для интернет-магазинов → позиция в рейтинге магазинов
Студия, первая в рейтинге лендингов, в общем рейтинге разработки может быть двадцатой: там выше стоят те, кто делает более сложные и масштабные проекты. И это не ошибка — заказчику лендинга нужна именно первая.
- В сегмент попадают с 3 подходящими проектами
С двумя агентство в сегменте не показывается, но проекты остаются в профиле.
- Сегмент открывается, когда в нём 3 агентства
Рейтинг из одного участника — не рейтинг.
- Есть сегменты по услуге
Рейтинги отдельных услуг — для тех, кто специализируется, а не ведёт полный цикл.
- Проект участвует во всех сегментах, под которые подходит.
Например, магазин на Битриксе для медицины в Екатеринбурге одновременно считается в четырёх рейтингах: по типу сайта (магазины); по технологии (Битрикс); по отрасли (медицина); по региону (Екатеринбург).
Что на позицию не влияет
- Реклама и партнёрство. Позиции не продаются. Рекламные размещения помечены и стоят над рейтингом.
- Размер компании и известность. Оборот, число сотрудников и возраст агентства в расчёт не входят.
- Отзывы, публикации, награды. Позиции в других рейтингах тоже не учитываются.
- Данные анкеты. Специализация, состав команды и стоимость услуг заполняют карточку и фильтры подбора. На позицию влияют только проекты.
- Кто клиент. Размер бизнеса заказчика и его известность в балл не идут. Работа для небольшой компании оценивается по тем же правилам.
Почему рейтингу можно доверять
Каждый элемент системы проверяем, и каждый можно проверить со стороны.
- Проекты подтверждаются документами
Скриншот статистики с датами или акт выполненных работ. Цифрам на слово не верим.
- Каждый проект проходит проверку
Сверяем подтверждение, даты и соответствие цифр описанию. Часть проектов разбираем вручную.
- Позицию рассчитывает система
Редакция проверяет достоверность и не выбирает, кто будет выше.
- Позицию нельзя купить
Рекламные размещения на сайте помечены и стоят над рейтингом.
- Расчёт прозрачен
Формулы компонентов открыты: по ним можно пересчитать свой проект.
- Ошибку исправляем без ожидания
Если данные учтены неверно, пересчитаем и обновим позицию до следующего приёма.
Из этого следует практическая польза участия: раз позиции не продаются, заказчики доверяют рейтингу при выборе подрядчика. Высокая позиция привлекает целевые обращения именно благодаря этой объективности.
Как долго проект работает на позицию
Проекты принимаются 2 раза в год. После каждого приёма рейтинги пересчитываются и фиксируются до следующего приёма.
1-й и 2-й приём после подачи — проект считается целиком
3-й и 4-й приём — на 50%
далее — не участвует, но остаётся в профиле агентства
Если проект ещё идёт, подавать его заново не нужно: в следующем приёме достаточно обновить результаты и срок, и он снова считается целиком.
Расчёт каждого приёма сохраняется: любую прошлую позицию можно воспроизвести и увидеть, какие проекты в неё вошли.
Как система рассчитывает балл
Ниже — весь расчёт на живом примере: от строки в таблице подачи до позиции в рейтинге.
контекст = 0,30 × сложность + 0,20 × длительность
балл проекта = (0,50 × результат + контекст)
× степень ответственности
Сложность и длительность считаются вместе и дальше называются контекстом проекта. Они засчитываются целиком, если у проекта есть результат, и частично, если результата нет.
Иначе опыт перевешивал бы динамику: сложный трёхлетний проект с падением давал бы больше, чем простой годовой с ростом.
Насколько полно засчитывается контекст — зависит от того, чего добился проект: от роста показателей, а если роста не было — от того, удержались ли они.
Каждый компонент — число от 0 до 1. Компоненты измеряются по-разному, поэтому каждый сначала приводится к общей шкале.
Пример. Главный показатель проекта — обращения клиентов: было 120 в месяц, стало 260. Работали 14 активных месяцев, вели проект целиком. Стартовый уровень показателей — обычный для направления.
Направление здесь неважно: механика одинакова для SEO, рекламы, SMM, инфлюенса и SERM. Различаются только справочники, они на страницах направлений.
Компонент 1: результат
Шаг 1. Какие периоды сравниваем. «Стало» — среднее за 3 последних месяца периода. «Было» — среднее за те же 3 календарных месяца годом раньше.
Сравнивать нужно сопоставимые месяцы, иначе сезонный бизнес покажет движение на ровном месте.
Шаг 2. Во сколько раз стало лучше.
260 ÷ 120 = 2,17 раза
Шаг 3. Переводим в оценку от 0 до 1. Для этого нужен ориентир — рост, который считается верхом шкалы. Сейчас это рост в 3 раза.
ln(2,17) ÷ ln(3) = 0,775 ÷ 1,099 = 0,70
Логарифм нужен, чтобы одинаковые относительные приросты стоили одинаково: рост со 100 до 150 заявок и со 150 до 225 добавляют к оценке поровну.
| Рост показателя | Оценка |
|---|---|
| на 20% | 0,17 |
| в 1,5 раза | 0,37 |
| в 2 раза | 0,63 |
| в 2,5 раза | 0,83 |
| в 3 раза и больше | 1,00 |
Шаг 4. Учитываем пользу для клиента. У каждой метрики есть верхняя граница оценки: она тем выше, чем ощутимее результат для бизнеса клиента.
У нашего проекта оценка 0,70 не упирается в предел, поэтому идёт в расчёт как есть.
Шаг 5. Поправка на базу. Вырасти в 2 раза с 50 обращений проще, чем с 5000, поэтому рост с низкого старта засчитывается не полностью.
Чем ниже был стартовый уровень, тем меньшая часть роста идёт в зачёт. Ступеней три, значения и границы между ними не публикуются. Каждое направление считает поправку по своему базовому показателю.
У нашего проекта стартовый уровень обычный, поэтому рост засчитывается полностью. Результат — 0,70.
Особые случаи результата
- Роста нет, но показатели держатся. Удержание засчитывается как результат, хотя и меньший, чем рост.
- Показатели упали. Балл снижается соразмерно падению: при −10% от него остаётся 80%, при −25% половина, при падении в 2 раза и глубже — ноль.
- Проект запущен с нуля. Рост считается максимальным, но засчитывается не полностью — как у проектов, выросших с почти нулевых показателей.
- Метрик несколько. Считается основная — та, ради которой вёлся проект.
- Метрика ограничена сверху. Считается доля закрытого запаса: рост рейтинга с 3,4 до 4,5 при максимуме 5 даёт (4,5 − 3,4) ÷ (5 − 3,4) = 0,69.
Спорные ситуации
- Подрядчик сменился внутри периода. «Было» берётся на дату начала ваших работ: чужой результат не засчитывается ни в плюс, ни в минус.
- Клиента ведут несколько агентств. Каждое подаёт проект со своей ролью. Если вклад разделить нельзя, проект принимается у обоих с ролью «значительная часть работ».
- Сменилась система аналитики или сайт переезжал. Если данные разорваны, проект считается как запуск с нуля.
- Цель проекта менялась. Считается показатель, по которому работали дольше.
Если рост оплачен бюджетом
В платных каналах считается не рост результата, а рост эффективности.
заявки выросли в 2 раза, бюджет — в 1,3 раза
2 ÷ 1,3 = 1,54 — эффективность выросла в 1,54 раза
оценка = ln(1,54) ÷ ln(3) = 0,39
Если бюджет урезали, деления не происходит — иначе сокращение расхода выглядело бы улучшением. Стоимость заявки и ДРР на бюджет не делятся.
Компонент 2: сложность
У каждого направления свой набор из 5 характеристик. Каждая оценивается от 0 до 1 и умножается на свой вес. Веса в сумме дают единицу. Точные значения весов не публикуются.
Пять характеристик нашего проекта дали в сумме 0,61 — задача выше средней сложности.
Компонент 3: длительность
Считаются месяцы, когда работа действительно шла, а не срок от договора до акта.
Оценка длительности растёт плавно, без резких скачков: каждый дополнительный месяц сотрудничества даёт всё меньшую прибавку к баллу. У нашего проекта 14 активных месяцев — это 0,30.
Степень ответственности
Агентство не всегда отвечает за проект целиком.
- Вели проект и отвечали за результат.
- Делали значительную часть работ.
- Отвечали за отдельное направление внутри проекта.
- Взяли проект и передали его другому исполнителю.
Чем меньше проект зависел от агентства, тем меньше его вес в рейтинге.
В разработке сайтов вместо этого считается состав работ: там доли означают объём сделанного. В сегментах по услуге множитель не применяется.
Собираем балл проекта
Сложность и длительность складывают с весами.
(0,30 × 0,61) + (0,20 × 0,30) = 0,24
Результат у проекта хороший, поэтому контекст засчитывается почти целиком: из 0,24 идёт 0,21.
балл проекта = 0,50 × 0,70 + 0,21 = 0,56
Результат дал 0,35 из 0,50 возможных, сложность и срок добавили 0,21. Если бы агентство отвечало не за весь проект, балл умножился бы на степень ответственности.
От проектов к позиции агентства
Берётся типичный балл подходящих проектов и умножается на коэффициент объёма. Точка насыщения выводится из границ допуска направления. После насыщения каждый дополнительный проект добавляет около 2%.
Дальше применяется коэффициент клиентской базы — единственная поправка на уровне агентства. 20 проектов для 3 заказчиков — это опыт работы с тремя компаниями, а не с двадцатью.
9 проектов, типичный балл 0,49, 7 заказчиков
коэффициент объёма = 0,87
коэффициент клиентской базы = 0,95
позиция = 0,49 × 0,87 × 0,95 = 0,41
Каждый проект засчитывается полностью, даже если это повторная работа с тем же клиентом. Поправка на клиентскую базу лишь корректирует общий балл, чтобы опыт работы с 20 разными компаниями оценивался выше, чем 20 проектов для одного заказчика.
Шкалы по направлениям
Механика расчёта одинаковая везде, а таблицы значений у каждого направления свои: какие метрики считаются, из чего собирается сложность, какие услуги входят в полный цикл.
Разработка сайтов — единственное направление, где результат не оценивается: продажи клиента зависят не от оказанной услуги, а от последующего продвижения и других факторов. Балл собирается из сложности и объёма работ.
Что делать, если позиция кажется ошибочной
- Проверьте свои данные
Сверьте цифры в подаче с подтверждениями: чаще всего расхождение видно сразу.
- Напишите нам
Опишите, что именно кажется неверным, и приложите документы.
- Мы перепроверим вручную
Пересчитаем позицию вне очереди и сверим данные с подтверждениями.
- Ошибку исправим
Если данные учтены неверно, пересчитаем и обновим позицию, не дожидаясь следующего приёма.
Если данные верны, позиция останется. Она зависит и от других агентств: пришли новые с сильными проектами — порядок сдвинулся.
Частые вопросы
У нас мало проектов. Есть смысл подавать?
Если проектов меньше минимума по направлению, в рейтинг этого направления попасть не получится. Проверьте другие направления: минимумы там могут быть ниже.
У нас с клиентом NDA. Можно подать проект?
Да. Модераторам нужно видеть, кто клиент и чем подтверждён результат, но в публичном доступе название и цифры скрываются. На балл это не влияет.
Мы работали субподрядчиком. Проект засчитается?
Да, с указанием роли. Такой проект засчитывается не полностью — с понижающим коэффициентом.
Показатели за период не выросли. Проект пропадёт?
Нет. Если показатели держатся, результат считается по нижней ступени, а сложность и длительность идут полностью. При падении балл снижается соразмерно: полностью результат обнуляется только при падении в 2 раза и глубже.
Мы вели только часть работ. Как это учитывается?
Балл проекта умножается на степень ответственности за выполненную работу.
Почему наша позиция изменилась, хотя мы ничего не меняли?
Позиция зависит от всех агентств в рейтинге. Пришли новые с сильными проектами — порядок сдвинулся.
Публикуете ли вы точные шкалы?
Формулы и веса компонентов — результат, сложность, длительность — открыты. Точные значения весов характеристик внутри сложности и границы ступеней не публикуются.
Остались вопросы?
Если что-то непонятно или не сходится — напишите, разберём ваш случай на ваших данных. Обычно отвечаем в течение рабочего дня.