Как считать ROI команды

Мы не очень хорошо справлялись с подсчетом окупаемости команды и раньше, а с появлением в картине дополнительных бюджетов на AI все стало еще сложнее.

После разных сумасшедших попыток считать ROI на потраченный токен сегодняшняя статья прямо золото. Основная идея в следующем:

👉Считаем стоимость команды как единого целого с учетом заралат и токенов
👉Привязываем команду к каузальной модели того, как бизнес приносит ценность, при необходимости через прокси-метрики

Самое сложное, конечно, это построить такую модель, и понять, а действительно ли ваша команда в ней существует – но это как раз очень полезное упражнение.

Новые выпуски тимлидских подкастов

Мне вообще не верится, что Подлодку я пишу уже почти ДЕСЯТЬ ЛЕТ. За это время подкасты в России успели набрать популярность, достичь своего пика в период ковида, а потом постепенно откатиться к адекватной норме. Сейчас люди продолжают слушать подкасты, но мало кто доходит больше, чем до 1-2 выпусков в неделю. Поэтому держите подборку, которую сможете слушать еще месяц вперед!

👉Бреслав и Ложечкин про типологии личности, и то, можно ли извлечь из них пользу, даже несмотря на их антинаучность.
👉"Три тимлида заходят в бар" про политические игры в корпорациях и то, как научиться в них не проигрывать.
👉"Едим слона целиком" про стратегическое мышление – из каких элементов состоит этот навык, и как его развивать.
👉Weekend Talk с Иваном Поддубным про то, как рабоатть всю карьеру в одной компании, и должен ли СТО писать код

У нас больше нет оправданий делать медленный софт

Оптимизации перфоманса, которые раньше требовали большого количества времени очень узких специалистов, сейчас стали доступны значительно шире – был бы бенчмарк, а дальше достаточно долго работающий агент найдет кучу точек для улучшения.

Про такой метод оптимизации важно понимать, что большая часть буста, который вы получите, будет заточенной именно под кейсы из бенча, и, скорее всего, не улучшать перфоманс в общем случае. Но в куче ситуаций нам это и не нужно. Не все продукты используются миллионами пользователей. Например, если у нас есть данные о том, как конкретные крупные кастомеры используют наш продукт, мы можем оптимизироваться чисто под них.

Раньше такая точечная оптимизация перфоманса почти никогда не была экономически выгодной. Сейчас провести несколько десятков экспериментов не стоит почти ничего – поэтому, правда, нет причин делать медленный софт и дальше.

Не успеваете за ИИ-гонкой? Обучите команду ИИ-навыкам быстро и прозрачно на платформе Грейд от Яндекс Практикума

Половина сотрудников в России уже использует ИИ в работе. Но реальный эффект от автоматизации видят те компании, которые внедряют ИИ системно: обучают, отрабатывают реальные сценарии, делятся опытом экспертов.

Попробуйте готовое решение для быстрого обучения команд ИИ-навыкам — Грейд от Яндекс Практикума:

— Оцените 1200+ навыков сотрудников
— Выявите разрыв навыков по ролям и создайте персональные ИПР
— Обучите сотрудников в формате микрокурсов, которые не отвлекают от работы
— Измерьте прогресс до и после обучения

В Грейде 450 курсов по 11 направлениям: от ИИ и разработки до аналитики и маркетинга.

Получить бесплатный доступ к Грейду на 7 дней

Реклама, ООО Яндекс, ИНН 7736207543, erid: 2VtzqvCpdWU

Что такое ответственность за фичу

Держите хороший чек-лист, по которому можно пройтись с вашим разработчиком, который готов брать на себя больше ответственности:

👉Отделять решение от проблемы, и отвечать на вопросы вроде "надо ли вообще решать эту проблему", или "по каким критериям нужно выбирать решение"
👉Думать про эдж-кейсы – какие надо учесть, а какие можно проигнорировать
👉Думать про точки отказа, например про то, как должна вести себя фича, когда сеть недоступна
👉Думать про данные и их флоу – что надо мигрировать, что почистить, какие есть инварианты
👉Думать, как проверить корректность работы фичи
👉Понимать, как про фичу узнают ее потенциальные пользователи, и что для этого должно быть сделано
👉Понимать, как фича вписывается в общий роадмап
👉Разработать фичу и заполишить ее до такого состояния, которым вы будете гордиться
👉Протестировать фичу самому вручную, при этом думать не только про поиск багов, но и про вопросы более высокого порядка – решает ли эта фича исходную проблему или нет
👉Проконтролировать, что фича задеплоена и работает
👉Думать о том, кому из ваших коллег надо знать про существование фичи и особенности ее работы – и доносить эту информацию до них
👉Следить за фидбэком подьзователей и багами
👉Вернуться к фиче через какое-то время и проверить, что все идет согласно ожиданиям

Ирония автоматизации

В 1970х годах когнитивный психолог Лизанна Бейнбридж проводила дни, наблюдая за операторами больших индустриальных печей. Она просила их проговаривать вслух, что именно они делают и почему, и разбирала, как устроено их знание о производственном процессе, управляемом автоматикой.

Из этой серии интервью в 1983 родилась статья "Ironies of Automation", которая ну до боли напоминает сегодняшние разговоры о нашей индустрии.

Ирония автоматизации состоит в том, что человеку достаются задачи, которые не удалось автоматизировать, то есть по определению самые трудные и плохо формализуемые. Плюс к ним – надзор за автоматикой, которую внедрили как раз потому, что она работает лучше человека. И эта система концептуально сломана:

👉Человек физиологически неспособен удерживать внимание на источнике, где почти ничего не происходит.
👉Умения оператора деградируют без практики. Если ты годами только наблюдаешь за системой, то в момент аварии, когда нужно перехватить управление и проявить мастерство, его уже не осталось.
👉Знания в долгосрочной памяти остаются доступными, только когда к ним регулярно обращаются. Оператор, не пользующийся этими знаниями, теряет способность быстро их извлечь. Кроме этого, протухает ментальная модель того, как работает система, и в каком состоянии прямо сейчас она находится.

Все эти проблемы стали ярко видны в произошедшей примерно в то время аварии на АЭС в Пенсильвании. Скакнуло давление, один из клапанов не закрылся, и пошло-поехало. При этом все части автоматики сработали как надо, но итоговый сценарий был не знаком операторам, а из-за показаний приборов их ментальная модель разошлась с реальностью. В итоге они совершили кучу ошибок, произошел выброс радиации, а блок теперь законсервирован навсегда.

Короче говоря, убирая легкие части задачи, автоматизация делает трудные части еще труднее, при этом возможностей получать релевантный опыт и поддерживать актуальные знания у операторов становится меньше. Здравствуй, чудесный 2026 год!

Надо ли ревьюить код

Вообще, все споры про то, надо ли ревьюить весь AI-generated код, на мой взгляд, довольно бессмысленны. Разговор стоит вести на другом уровне абстракции – нужен ли в целом процесс code review, вне зависимости от того, кто этот код написал.

И вот об этот вопрос копий сломано уже бесконечность, в том числе в нашем канале. Я придерживаюсь того же самого взгляда, что и автор статьи:

👉Чтобы уменьшить фидбэк луп о том, что в техническом решении что-то не так, процесс ревью надо уводить налево, сильно до того, как написана хоть одна строчка продакшн кода, и заменять на дизайн-ревью.
👉Если надо обеспечить передачу знаний о какой-то подсистеме, то лучше сработает сеанс парного программирования, или хотя бы разбора кода вместе.
👉Для обучения джунов есть гораздо более рабочие механизмы – то же парное программирование, или коллективные брейнштормы у доски.
👉Аналогично и для выращивания командного овнершипа, и для выравнивания по архитектуре – чтение кода на PR для этого тоже очень плохой инструмент.

При этом ревьюить часть кода точно нужно продолжать – например, в случае фундаментального изменения архитектуры. Сначала его надо проработать вместе с командой на уровне дизайн-ревью, но затем имеет смысл посмотреть и в код, чтобы убедиться, что и к решению ни у кого не будет вопросов. Другие примеры – изменение в незнакомой человеку критической части системы, либо что-то, что несет в себе любые другие риски.

Если суммировать, то нам важно, чтобы инженеры понимали не сырые диффы, а то, как устроена вся система. Code review это простой ответ на сложные вопросы, связанные с этой задачей – но, как и многие другие простые ответы, абсолютно не оптимальный.

Как в Uber управляют экономикой AI

Uber выпустил интереснейший разбор всех деталей того, как AI используется во всех этапах их SDLC, как они выросли в нагрузке в 7 раз с февраля, при этом существенно сократив затраты на каждую отдельную сессию. Вот некоторые интересные инсайты:

👉Основные рычаги влияния на экономику AI: цена за токен, количество шагов в сессии, количество запросов к модели на каждый шаг, и количество токенов на каждый запрос.
👉Дефолтную модель меняют чуть ли не каждую неделю, постоянно гоняя их на собственных бенчмарках, и выбирая оптимальную по цене/качеству.
👉У всех инженеров форсится максимальный размер контекста в 400к токенов и medium reasoning – это помогает контролировать количество токенов в запросе.
👉Все MCP тулы находятся за единым гейтвеем, что и экономит токены, и позволяет навесить единые политики авторизации.
👉Собственный графовый движок помогает существенно ускорить поиск агентом нужного контекста (с 20 минут до 40 секунд для довольно типичной задачи).
👉Внутренний дэшборд подсвечивает каждому человеку антипаттерны в том, как он работает с AI.

Как измерить слоп

Даже если все автотесты и проверки линтера проходят, это еще не гарантирует того, что код получился хорошим. LLM неплохо справляются с поиском функциональных багов, но вот наличие лишних абстракций и другие признаки слопа они оценить не способны.

Есть несколько альтернативных количественных методов:

👉Просто смотреть на количество строк кода, но есть нюанс – если сделать эту метрику целевой и оптимизироваться под нее, то смысл она быстро потеряет.
👉Verbosity – количество продублированных или бесполезных строк (реализовано через ast-grep)
👉Erosion – насколько значимая часть кода сосредоточена в небольшом количестве больших и сложных функций. Считается через цикломатическую сложность.

Verbosity и Erosion довольно заметно отличаются между завайбкоженными проектами и просто старым добрым человеческим легаси – для AI кода в среднем они в два раза выше.

Как дать фидбэк по итогам собеседования

В чем суть статьи – автор предлагает давать фидбэк по итогам проваленного собеседования не безличным письмом, а на отдельном звонке. У меня к этому довольно двоякое отношение.

С одной стороны, такой звонок, будучи проведен правильно, скорее всего будет воспринят кандидатом очень хорошо, смягчит разочарование от провала и поможет в будущем стать лучше. А оставлять кандидата в таком состоянии, конечно, хорошая идея – кто знает, будет ли он в будущем собеседоваться к вам повторно, или где еще во время своей карьеры вы с ним столкнетесь.

С другой стороны, при хоть сколько-то здоровом потоке кандидатов такие звонки – непозволительная роскошь, отдающая золотыми 2019-2021 годами. Речь даже не про сам звонок, а про подготовку – ведь, чтобы дать действительно полезную обратную связь, нужно вложить кучу сил.

Короче говоря, я бы в такие фоллоу-апы вкладывал время только для исключительных кандидатов.

Как быстрее проверять маркетинговые гипотезы с помощью ИИ

Например, в Greeneration почти 3 месяца вручную искали рабочий оффер для нового продукта — мини-цуккини и specialty-картофеля.

Делали разные лендинги, переписывали рассылки, собирали креативы, запускали и сравнивали результаты.

Сейчас тот же цикл, по оценке команды, можно было бы пройти за 1–2 недели, если встроить ИИ не только в генерацию текстов, а в сам процесс тестирования гипотез.

И это, кажется, гораздо более интересный сценарий применения ИИ в маркетинге, чем очередное «напишите 20 вариантов заголовка».

ИИ здесь можно использовать на разных этапах: исследовать аудиторию и собирать гипотезы, быстро собирать варианты креативов, тестировать разные офферы и сравнивать каналы по стоимости заявки или продажи.

21 сентября AI Mindset запускает трёхнедельный практический спринт про маркетинг + ИИ

Участники приходят со своим действующим продуктом и конкретной маркетинговой задачей и вместе с командой выстраивают тот самый цикл:

идея → креатив → канал → сигнал → решение

То есть результатом должна стать не презентация про возможности AI, а реально запущенный тест + данные для решения, что проверять следующим.

Спринт идёт онлайн с 21 сентября по 10 октября.

Вся программа и детали — на сайте: marketing.aimindset.org

Регистрация — через бота: https://t.me/aimindset_lab_bot?start=874


Реклама. ООО «ВИНКАМ», ИНН 5408306756, erid:2SDnjcdN5qu

Универсальные отказы на интервью

У отказов на интервью есть и другая крайность – универсальные, ничего не значащие ответы, которые вообще не отвечают на вопрос кандидата "почему меня не взяли".

Пара примеров из статьи:

👉У кандидата пустой GitHub? Скажите, что вам не нужен человек, который не увлечен программированием.
👉GitHub с проектами, но звезд нет? Вам не нужен кандидат, который не может писать полезные и востребованные вещи.
👉GitHub со звездами? Вам не нужен человек, который вместо работы будет своими пет-проектами заниматься.

Вот такой тип отказов по надуманным причинам встречается, конечно, в бесконечность раз чаще, чем индивидуальный подробный фидбэк. Поэтому нормальный менеджер должен нащупать свой подход, в котором кандидат не получает бесполезную отписку, но и времени и сил на индивидуальный созвон тратить не придется.

Как агенты следуют разным техникам верификации

Несмотря на то, что модели становятся умнее, недостаточно просто назвать любимую вами технику верификации, чтобы поднять качество. Часто агенты начинают просто имитировать процесс. Это хорошо видно из результатов бенчмарков:

👉Результат, полученный без дополнительных инструкций, оказался выше, чем с любой из добавленных техник верификации.
👉Инструкция использовать TDD дала вдвое больше тестов, но результаты оказались хуже.
👉Формальные доказательства касались тривиальностей вместо корректности реализации.
👉Фаззинг активировался не всегда, инпуты генерировались бессмысленные, многократно проверялись ветки отказа.
👉Лучше всего работали очень конкретные инструкции – искать вероятные ошибки, выбирать граничные и асимметричные примеры, генерировать содержательные инпуты при фаззинге, но даже тогда следование инструкциям было не полным.

Короче говоря, вывод такой – если вы хотите, чтобы агент следовал каким-то техникам верификации, недостаточно просто упомянуть их в промпте. Надо выстраивать осмысленную стратегию вызова нужных механик и тулов, смотреть в агентские трейсы, а затем корректировать.

Стать резидентом Дубая теперь легче, чем когда-либо

Как вы знаете, иметь внж надежной страны - это сегодня мастхэв. А с апреля 2026 стать резидентом Дубая стало легче: отменили минимальный порог стоимости жилья для получения статуса резидента.

Оформить визу на 2 года могут и те, кто приобрел жилье до вступления поправок в силу. Единственное ограничение — нельзя отсутствовать в стране более 180 дней подряд.

👉Если хотите познакомиться с рынком Эмиратов, забирайте уже готовую бесплатную подборку 5 самых ожидаемых стартов осени 2026

В каталоге — проекты от 199 тыс. $, условия рассрочек, особенности локации и ориентиры по потенциальному росту стоимости.

Важно: подбор и сопровождение сделки на первичном рынке бесплатны, их оплачивает застройщик.

Больше новостей и горячих предложений — в канале агентства.