Метрики для оценки эффективности продуктовой разработки. Исследование TeamStorm

Весной 2023 года TeamStorm провел исследование, чтобы узнать, как в российских компаниях оценивают эффективность разработки ПО. Мы провели опрос своих клиентов, получилось около трех десятков респондентов. Это и IT-компании, и группы разработки в компаниях других отраслей: банках, страховых, ритейлерах и в медтехе. Кратко рассказываем о результатах.

Подходы к использованию метрик

Оказалось, что общепринятых стандартов по сбору метрик, которые позволяют оценить процесс разработки, в нашей стране нет. Причина — слишком разные подходы к менеджменту и разнообразие используемых методологий.

Общепринятые методологии иногда вообще не применяются, из-за неконсистентности данных. При этом такие компании считают, что менять свои бизнес-процессы только ради унификации данных нецелесообразно. В целом стандарты по сбору и оценке метрик применяют только 30% респондентов. Интересно, что это как раз небольшие компании.

Несмотря на отсутствие общего стандарта по сбору метрик, есть показатели, которые рассматривают все без исключения участники опроса — это метрики тестирования и выполнения планов.

Еще один интересный факт: регулярно оценивают метрики только 30% компаний. А остальные 70% делают это только в тех случаях, когда становятся очевидными острые проблемы в разработке.

Какие именно метрики используются для оценки эффективности разработки

Метрика динамики рабочего процесса обязательна к применению во всех опрошенных компаниях. Всегда отслеживается время выполнения задач, причем одни просто учитывают среднее время на задачу, а некоторые компании даже детализируют метрику времени, потому что это полезно для анализа общей тенденции.

Но только 20% респондентов отслеживают полный жизненный цикл продукта — время, которое проходит между появлением идеи или выставлением бизнес-требований и запуском в продуктив. А подавляющее большинство, 80%, не включают в метрику динамики рабочего процесса этапы, которые предшествуют разработке.

Еще одна обязательная группа метрик – метрики качества. Их очень много. Наиболее распространенные:

• общее количество ошибок в разрезе прогресса, регресса и продуктива;
• прирост дефектов (отслеживание динамики обнаружения дефектов и их исправления);
• количество переоткрытий дефектов;
• среднее время исправления дефекта;
• покрытие функционала тестами;
• коэффициент пройденных тестов и успешно пройденных тестов.

Гораздо реже используются метрики процесса разработки. Компании анализируют их, чтобы сформировать понимание, насколько результаты разработки соответствуют ожиданиям в сравнении с предыдущими периодами и текущими приоритетами. Наиболее распространенные из них:

• время на ревью;
• время цикла;
• метрики активности на основе кода;
• отток и эффективность кода;
• метрики DORA (DevOps Research and Assessment).

К каким выводам мы пришли

В целом респонденты согласились, что серьезный подход к сбору и анализу метрик может значительно повысить эффективность работы компании. Однако важно не перегружать систему их излишним количеством, чтобы не запутаться в данных. Вместо этого следует тщательно отбирать значимые показатели, которые могут предоставить действительно ценную информацию.

Если вы работаете в области разработки ПО или управляете продуктовыми командами, наше исследование поможет вам определить эффективные метрики для оценки работы вашей команды. Оставьте свои данные, и мы пришлем полный текст исследования вам на почту.