Система доказательного управления инновационным портфелем проектов и принятия решений в условиях неопределенности

!!: фактические данные проекта конфиденциальны, поэтому количественные показатели в кейсе изменены. Логика исследования, примененные методы и подход к решению задачи сохранены

Система помогает решить какие проекты продолжать, менять, приостанавливать, закрывать или масштабировать. Вместо стадий и процентов готовности она оценивает доказательства по ключевым гипотезам: существует ли проблема, кому требуется решение, создает ли оно ценность, можно ли его реализовать, вывести к пользователям и устойчиво развивать

Краткий обзор

ТИП

Концепция системы и математическая модель портфеля

Роль

Стратегический аналитик инновационного портфеля

МЕТОДЫ

Многокритериальный анализ, байесовское моделирование, Monte Carlo, портфельная оптимизация

ПРОБЛЕМА ОЦЕНКИ НОВЫХ ПРОЕКТОВ

На ранних стадиях развития проекта значительная часть его ключевых параметров остается неопределенной. Наличие проблемы, характеристики целевой группы, востребованность решения, техническая реализуемость, доступ к пользователям, экономическая устойчивость и потенциал масштабирования первоначально существуют в форме предположений и требуют последовательной эмпирической проверки.

Возникает задача построения системы принятия решений,
в которой развитие проекта определяется не фактом завершения очередного этапа, а достаточностью доказательств для перехода
к следующему уровню затрат и необратимости решения

СТРУКТУРА ДОКАЗАТЕЛЬНОСТИ ПРОЕКТА

Подтверждено

Требует проверки

Не подтверждено

Значимость проблемы

13%

32%

55%

Потребность целевой группы

15%

68%

17%

Ценность предлагаемого решения

57%

41%

Техническая реализуемость

74%

11%

15%

Экономическая устойчивость

63%

25%

12%

РОЛИ В СИСТЕМЕ ОЦЕНКИ НОВЫХ ПРОЕКТОВ

Роль

задачи

Цели

проблемы

инструменты

ключевая мысль

01/ Сопоставить проекты по состоянию доказательств 02/ Определить объем следующего вложения 03/ Принять решение о продолжении, изменении, остановке или масштабировании

• Распределить ограниченные ресурсы между проектами • Не допустить крупных вложений при критической неопределенности

• Проекты находятся на разных стадиях и плохо сопоставимы • Итоговая оценка может скрывать критически слабую область

«Нужно понимать, какой проект
обоснованно получает следующий
объем ресурсов»

Матрица портфеля, карта
критических гипотез, сценарная
модель, пороги решений

Руководитель
портфеля
проектов

• Снижать неопределенность до увеличения затрат • Проверять наиболее значимые предположения раньше остальных

• Выполнение плана не означает подтверждение жизнеспособности • Доказательства распределены между исследованиями, пилотами и данными

Граф гипотез, карточки
доказательств, конструктор
экспериментов, журнал
решений

«Нужно понимать, что в проекте уже подтверждено, а что еще способно изменить решение»

01/ Разложить проект на проверяемые гипотезы
02/ Определить критические предположения
03/ Спланировать последовательность проверок

Руководитель
проекта

01/ Оценить качество, независимость
и актуальность данных
02/ Обновить состояние гипотез после новых результатов

• Несколько источников могут фактически содержать одно доказательство • Средняя оценка проекта скрывает критические ограничения

Реестр доказательств, байесовское обновление, анализ зависимостей, оценка информационной ценности

• Обеспечить воспроизводимость оценки • Найти проверку с наибольшим влиянием на решение

«Нужно не присвоить проекту балл, а установить, достаточно ли имеющихся данных для следующего решения»

Аналитик

РОЛИ В СИСТЕМЕ ОЦЕНКИ НОВЫХ ПРОЕКТОВ

Руководитель портфеля проектов

задачи

01/ Сопоставить проекты по состоянию доказательств
02/ Определить объем следующего вложения
03/ Принять решение о продолжении, изменении, остановке или масштабировании

Цели

• Распределить ограниченные ресурсы между проектами
• Не допустить крупных вложений при критической неопределенности

проблемы

• Проекты находятся на разных стадиях и плохо сопоставимы
• Итоговая оценка может скрывать критически слабую область

инструменты

Матрица портфеля, карта критических гипотез, сценарная модель, пороги решений

ключевая мысль

«Нужно понимать, какой проект обоснованно получает следующий объем ресурсов»

Руководитель проекта

задачи

Цели

• Снижать неопределенность до увеличения затрат
• Проверять наиболее значимые предположения раньше остальных

проблемы

• Выполнение плана не означает подтверждение жизнеспособности
• Доказательства распределены между исследованиями, пилотами и данными

инструменты

Граф гипотез, карточки доказательств, конструктор экспериментов, журнал решений

ключевая мысль

«Нужно понимать, что в проекте уже подтверждено, а что еще способно изменить решение»

Аналитик

задачи

Цели

• Обеспечить воспроизводимость оценки
• Найти проверку с наибольшим влиянием на решение

проблемы

• Несколько источников могут фактически содержать одно доказательство
• Средняя оценка проекта скрывает критические ограничения

инструменты

Реестр доказательств, байесовское обновление, анализ зависимостей, оценка информационной ценности

ключевая мысль

«Нужно не присвоить проекту балл,
а установить, достаточно ли имеющихся данных для следующего решения»

Логика снижения проектной неопределенности

От общей структуры проекта к критическому допущению и проверке, достаточной для следующего решения

максимальная неопределенность

ПРОЕКТ КАК СИСТЕМА

КРИТИЧЕСКИЕ ГИПОТЕЗЫ

ДОКАЗАТЕЛЬНАЯ ОСНОВА

ПРОВЕРКА

РЕШЕНИЕ

обоснованное решение

СТРУКТУРА КРИТИЧНОСТИ ГИПОТЕЗЫ

Влияние на
жизнеспособность проекта

Неопределенность

18%

22%

36%

24%

Последствия
ошибки

Необратимость
следующего шага

ПРИНЦИП ДОСТАТОЧНОСТИ ДОКАЗАТЕЛЬСТВ

Сильные доказательства по другим параметрам не компенсируют отсутствие оснований по предположению, от которого зависит жизнеспособность проекта

Механизм доказательного принятия решения

Переход от исходной неопределенности проекта к обоснованному решению о следующем уровне ресурсов и риска

Декомпозиция проектной неопределенности

Проект представляется как система взаимосвязанных гипотез о существовании проблемы, характеристиках целевой группы, поведении пользователей, ценности решения, технической и организационной реализуемости, доступе к рынку, экономической устойчивости и возможности масштабирования.

Для каждой гипотезы определяется ее критичность и место в структуре зависимостей. Это позволяет выявить предположения, ошибочность которых способна сделать дальнейшее развитие проекта нецелесообразным независимо
от подтвержденности остальных параметров.

Итоговая оценка проекта не сводится к среднему баллу: состояние критической гипотезы может ограничивать жизнеспособность всей инициативы.

Обновление доказательной основы

Каждый результат исследования, эксперимента или наблюдения связывается с конкретной гипотезой и оценивается
по качеству источника, независимости, актуальности и способности различать альтернативные объяснения.

Новые данные изменяют степень обоснованности гипотезы, однако противоречащие результаты не исключаются из модели. Взаимозависимые источники учитываются с поправкой на общность происхождения, поэтому многократное воспроизведение одного факта не создает искусственного увеличения уверенности.

В результате для проекта формируется структура подтвержденных положений, сохраняющихся неопределенностей
и критических пробелов в доказательствах.

Выбор следующей проверки и решения

Для наиболее критичных неопределенностей формируется набор возможных проверок. Эксперименты сопоставляются по ожидаемому снижению неопределенности, стоимости, продолжительности, обратимости и потенциальному влиянию результата на дальнейшее решение.

Приоритет получает не наиболее масштабная проверка, а проверка с наибольшей информационной ценностью относительно требуемых ресурсов.

По результатам обновленной доказательной основы определяется следующее состояние проекта:
продолжить → изменить → провести дополнительную проверку → приостановить → закрыть → масштабировать

Объем ресурсов и степень необратимости следующего шага увеличиваются только после достижения достаточного уровня доказательной обоснованности.

математическая модель доказательной гипотезы

Задача блока: формализовать переход от исходного предположения к количественно обновляемой оценке после каждого нового доказательства

Для каждой гипотезы Hi задается исходная степень обоснованности. После получения нового доказательства Ej состояние гипотезы пересчитывается. То есть, система не присваивает проекту неизменный экспертный балл. Каждое новое наблюдение изменяет оценку конкретного предположения

учет силы доказательства

Вклад доказательства в обновление гипотезы определяется не только его направлением, но и качеством

Доказательность рассматривается как изменяющееся состояние гипотезы, а не как статический балл проекта. Сила изменения зависит одновременно от содержания нового результата и качества доказательства

УСЛОВИЕ ДОКАЗАТЕЛЬНОЙ ДОСТАТОЧНОСТИ

Достаточность доказательств определяется относительно конкретного управленческого решения, а не относительно проекта в целом.

Порог продолжения устанавливается с учетом критичности проверяемой гипотезы, ожидаемых потерь при ошибочном решении и степени необратимости следующего шага. Рост потенциальных последствий ошибки повышает требования
к апостериорной обоснованности гипотезы

система доказательного управления портфелем

64%

подтвержденные
гипотезы

решений изменены
новыми данными

РАСПРЕДЕЛЕНИЕ ОСТАТОЧНОЙ
КРИТИЧЕСКОЙ НЕОПРЕДЕЛЕННОСТИ

42%

27%

18%

13%

Экономическая
устойчивость

Доступ к пользователям

Поведенческая
ценность

Масштабируемость
результата

Доля каждого типа в совокупности гипотез, определяющих невозможность перехода проекта к следующему решению

Относительный прирост доказательной
обеспеченности между двумя циклами оценки

Изменение состояния гипотез

Между циклами оценки изменяется не степень завершенности проекта, а состав гипотез с достаточной доказательной основой. Новые исследования, эксперименты и наблюдения могут подтвердить исходные предположения, ослабить их либо привести к пересмотру ранее принятой интерпретации.

Поэтому прирост доказательной обеспеченности отражает расширение области проекта, в пределах которой неопределенность снижена до уровня, допустимого для конкретного управленческого решения. Одновременно часть гипотез может сохранять неопределенное или противоречивое состояние.

Информационный результат цикла

Ценность цикла определяется не количеством проведенных исследований и выполненных экспериментов, а изменением знания о жизнеспособности проекта. Проверка имеет управленческую ценность только в том случае, если ее результат способен изменить состояние критической гипотезы или выбор дальнейшего действия.

Таким образом, одинаковый объем выполненной работы может приводить к различному приросту доказательной обеспеченности. Приоритет получают проверки с высокой информационной ценностью, способные устранить неопределенность, имеющую наибольшее влияние на последующее решение.

ИНФОРМАЦИОННАЯ ЦЕННОСТЬ СЛЕДУЮЩЕЙ ПРОВЕРКИ

Для каждой критической гипотезы формируется множество допустимых проверок. Их сравнительная ценность определяется не объемом получаемых данных,
а ожидаемой способностью различить конкурирующие объяснения и изменить решение о дальнейшем развитии проекта.

Приоритет получает проверка, после результата которой наиболее вероятно изменение множества допустимых действий. Проверки с высокой стоимостью, длительностью или необратимостью не становятся приоритетными, если ожидаемое снижение критической неопределенности остается незначительным

Информационная ценность проверки определяется ожидаемым улучшением решения за вычетом ресурсов, необходимых для получения нового доказательства

ПЕРЕХОД ОТ ПРОЕКТНОГО РЕШЕНИЯ К ПОРТФЕЛЬНОМУ

После обновления доказательной основы для каждого проекта определяется не место в рейтинге, а множество допустимых управленческих действий. Проект может продолжить проверку, изменить конфигурацию, перейти к следующему уровню ресурсов, быть временно приостановлен, закрыт либо подготовлен к масштабированию.

Портфельное решение учитывает взаимозависимости инициатив, конкуренцию за ограниченные ресурсы, дублирование проверяемых предположений
и переносимость полученного знания между проектами. В результате оценивается не сумма индивидуальных баллов, а конфигурация портфеля, сохраняющая наиболее ценные возможности при допустимом уровне совокупной неопределенности

18 проектов → 46 критических гипотез → 12 приоритетных проверок → 5 типов решений

РЕТРОСПЕКТИВНАЯ ПРОВЕРКА РАБОТОСПОСОБНОСТИ МОДЕЛИ

Для завершенных проектов определяется момент принятия ключевого исторического решения. В модель передаются исключительно данные, существовавшие до соответствующей даты. Последующие события, результаты экспериментов и фактический исход проекта исключаются из исходного информационного множества.

Полученная рекомендация сопоставляется с дальнейшим развитием проекта, позднее обнаруженными ограничениями и результатами последующих проверок.

Дополнительно оцениваются устойчивость решения к изменению параметров модели, чувствительность к исключению отдельных источников, калибровка вероятностных оценок и частота пересмотра рекомендаций после поступления новых доказательств.

точность выявления критического ограничения

устойчивость рекомендации

калибровка вероятности

частота обоснованного пересмотра решения

РЕТРОСПЕКТИВНАЯ ПРОВЕРКА РАБОТОСПОСОБНОСТИ МОДЕЛИ

Проверка способности модели формировать решение только на основании информации, доступной в момент исторической оценки

доступные
данные

решение
модели

историческая
граница

фактическое
развитие проекта

РЕЗУЛЬТАТ МОДЕЛИ

Для каждого проекта формируется воспроизводимое основание следующего управленческого решения

Единицей прогресса становится не завершенный этап проекта, а изменение доказательной основы, достаточное для расширения множества обоснованных управленческих решений

состояние
гипотез

информационная
ценность проверки

проектное
решение

портфельное
решение

ретроспективная
проверка

результат
модели

доказательства