[Перевод] Как IT-компании измеряют реальную пользу от ИИ в разработке?

Искусственный интеллект активно внедряется в сферу IT: согласно исследованию The Pragmatic Engineer за 2025 год, 85% разработчиков применяют ИИ-инструменты в своей работе. Однако использование таких технологий требует значительных финансовых вложений, и возникает вопрос об их целесообразности. Для получения экспертного мнения по этому вопросу обратимся к Лоре Тачо, техническому директору компании DX, специализирующейся на оценке эффективности разработки. Несколько лет назад Лора уже проводила исследование на эту тему. В статье мы рассмотрим: * как 18 технологических компаний оценивают влияние ИИ; * актуальные метрики Google, GitHub, Microsoft, Dropbox, Monzo и других компаний; * почему традиционные методы оценки эффективности разработки остаются актуальными в эпоху ИИ и как их сочетать с новыми показателями, такими как индекс удовлетворённости пользователей (CSAT); * как разумно работать с метриками, зачем разделять показатели по уровню использования ИИ, как отслеживать их изменения и почему важно рассматривать измерения как эксперимент; * какие метрики помогают сохранить баланс между качеством, поддерживаемостью и опытом разработчиков, а также почему важно учитывать процент неудачных изменений и пропускную способность по PR; * необычные метрики и интересные находки, такие как «плохие дни разработчика» у Microsoft, оценка результатов экспериментов с ИИ на Glassdoor и будущее отслеживания эффективности автономных ИИ-агентов; * как измерять влияние ИИ на практике с помощью фреймворка DX AI и трёх способов получения данных: системной телеметрии, регулярных и точечных опросов в моменте работы. Также мы рассмотрим опыт Monzo и узнаем, что делать, когда вендоры скрывают данные, почему сложно получить качественные данные и как ИИ-инструменты помогают в привлечении талантов. Открыв LinkedIn, можно быстро наткнуться на публикации о том, как ИИ трансформирует разработку программного обеспечения в компаниях. Американские технологические гиганты заявляют о значительном использовании кода, сгенерированного ИИ: 25% у Google, 30% у Microsoft. Основатели стартапов утверждают, что ИИ может заменить младших разработчиков. Однако исследование METR о влиянии ИИ на задачи в проектах с открытым исходным кодом показывает, что ИИ может искажать восприятие времени и замедлять работу, даже если кажется, что прогресс ускорился. Несмотря на разнообразие эффектов, вызванных внедрением ИИ, в заголовках часто акцентируется внимание только на одном аспекте: ИИ генерирует много кода и экономит время или не экономит. При этом индустрия снова сосредотачивается на количестве строк кода (lines of code, LOC), хотя существуют и другие важные показатели.