Понкин И.В. Школа прикладной аналитики: Поиск, обнаружение, идентификация и оценка аномалий в прикладной аналитике

22-07-2024

5К

Понкин Игорь Владиславович – доктор юридических наук, профессор кафедры государственного и муниципального управления Института государственной службы и управления РАНХиГС при Президенте РФ, профессор, член Общественного совета при ГУ МВД России по Московской области.

Военная эффективность отдельного бойца и подразделения зависит от способности бойца мыслить ясно, точно, быстро и с инициативой, мотивации, физической силы и выносливости.

Инструктивный документ оборонного ведомства США 2021 [1].

Исследование вызывается насущной потребностью.

Старый девиз Общества немецких инженеров [2]

Поиск, обнаружение (вскрытие), идентификация и оценка («взвешивание») аномалий, оперирование ими является неотъемлемой частью девиантологической [3] (диагностической, дефектологической) аналитики (одного из сложнейших направлений в прикладной аналитике [4]) и одним из сложнейших комплексов задач.

Отслеживаемые в девиантологической аналитике аномалии – это не откровенный бред, абсурд, нелепица, небылица или фантастическое явление (или какие ещё там слова можно подобрать – см. рис. 1).

Рис. 1. Свеча, дающая не пламя, но исторгающая турбулентную струю воды, – образное отражение неадекватности и фантастичности, явной аномальности фиксируемых данных или полученного дефектного аналитического результата (идея почерпнута из нескольких источников, реплика воплощена автором).

Как правило, такие искомые и аналитически оперируемые аномалии – имплицитные (скрытые), сложно выявляемые, требующие для их вскрытия и оперирования ими, как правило, высокой профессиональной квалификации практика-аналитика, приложения им своих весьма серьёзных интеллектуальных усилий (рис. 2).

Рис. 2. Образное отображение интеллектуального процесса (идея почерпнута из нескольких источников, реплика воплощена автором).

Аналитические мониторинг (поиск), обнаружение (вскрытие), идентификация и оценка аномалий являются важной интегральной, комплексной задачей во многих областях: обнаружение уязвимостей для кибератак и дефектов программного обеспечения кибербезопасности в IT-сфере, обнаружение условий, предпосылок и сигнатур попыток совершения мошенничеств в финансовой сфере, вскрытие дефектов в своих документах военного планирования и в своей операционной картине ви́дения военных замыслов и действий противника [5], вскрытие несанкционированных доступов к информации и её утечек в рамках контрразведывательной работы, вскрытие причин неработоспособности нормативного-правового акта или документа стратегического либо иного планирования в рамках государственного управления.

Именно в этих и многих других случаях речь идёт об оперировании имплицитными, сложно выявляемыми и трудно фиксируемыми аномалиями.

По большей части, именно к девиантологической аналитике относимы слова Джорджа (Дьёрдя) Пойи: «Нам не известны какие бы то ни было “regulae cogitandi” (правила мышления), которые точно предписывали бы мышлению наиболее целесообразные пути. Если бы подобные правила и были возможны, вряд ли они были бы очень полезны. Наилучшие правила мышления нельзя получить как-то извне, их нужно выработать так, чтобы они вошли в плоть и в кровь и действовали с силой инстинкта. Поэтому для развития мышления действительно полезным является только его упражнение» [6].

Вместе с тем, определённые базовые навыки вполне формируемы, а приёмы и инструменты – артикулируемы и применимы.

Обнаружение аномалий с высоким уровнем точности (тем более, если выраженно мало ложных срабатываний и мало промахов) является весьма сложной и нетривиальной задачей (рис. 3), предполагающей оперирование определёнными признаками и критериальными параметрами (значениями). Признак – это мера свойства, существующего в выборке наблюдений данных для одной или нескольких переменных данных. Одномерные признаки – это признаки выборки данных по одной переменной [7].

Рис. 3. Образное отображение сложности поля онтологии представляющих для практика-аналитика интерес аномалий.

Для обнаружения аномалий, как правило, используются наборы (линейки) из нескольких признаков.

Идеальное соответствие отслеживаемого параметра определённому критериальному значению – нормали (базовой линии) – редко может встречаться на практике; как правило – в динамике развития постоянно имеют место определённые девиации (отклонения) от нормали, но таковые позиционируются как вполне допустимые до тех пор, пока они не достигают определённых уровней существенности, критичности отклонения («верхний» и «нижний» пределы допустимых отклонений по тому или иному критерию, которых может быть несколько) (см. рис. 4). И вот уход отклонений за такие пределы позиционируется как критический – как аномалия. И уже при значительном приближении изменяющегося параметра к этим пределам осуществляется тем или иным образом артикулирование этого (сигнализирование о том).

Рис. 4. Условная нормаль (базовая линия) и пределы допустимых отклонений.

Поиск, обнаружение (вскрытие), идентификация и оценка аномалий, оперирование ими особенно присущи инженерной аналитике и промышленной (производственной) аналитике (и связанной с нею бизнес-аналитике) – для выявления ошибок и других дефектов, дисбалансов, дисфункций, хронических неработоспособностей и частых сбоев в функционировании систем и производственных процессах, связанных с ними процессах оборота имущественных объектов, товаров, в экономических циклах.

В основе практической схемы лежит работа с так называемыми аномалиями – некими отклонениями от рассчитанных бизнес-процессов. Например, это может быть резкое падение продаж какого-то конкретного товара в сети магазинов или появление виртуального остатка товара на складах. Необходимо прогнозировать такие аномалии, фиксировать их и предлагать пути решения возникшей проблемы [8].

Понимание ситуации с аномалиями – это результат реализации аналитических операций и основанных на них суждений к соответствующей информации для определения взаимосвязей в ситуации. Поток этой аналитически проработанной информации улучшает общее понимание внутри и между организациями и облегчает принятие решений; более глубокое понимание позволяет принимать более эффективные решения [9].

И тогда для контроля сложных и сверхсложных систем (а к ним относится любой сколь-нибудь крупный промышленно-производственный или энергетический комплекс, транспортный узел и т.д.) понадобится множество критериальных линеек, по десяткам критериев каждая, что можно образно визуализировать в форме сложного пространственного дашборда для мониторинга десятков или даже сотен аномалий в контролируемой по сотням критериев сложной системе (рис. 5).

Рис. 5. Образное отображение сложного пространственного дашборда для мониторинга десятков или сотен аномалий в контролируемой по сотням критериев сложной системе (идея почерпнута из нескольких источников, реплика воплощена автором).

Осведомлённость в аномалиях – их природе, значении, размерностях, онтологии и динамике изменений – находится на пересечении доменной осведомлённости [10] и ситуационной осведомлённости [11], составляют важную часть общей операционной картины.

Осведомлённость («awareness») – это состояние, когда человек сознательно сконцентрированно фокусируется в своём внимании на конкретном факте, конкретной ситуации, состоянии конкретной системы или процесса, имея необходимые актуальные данные об этом, ви́дение этого и понимание этого в необходимой и достаточной мере, оперативно актуализирующиеся в режиме текущего реального времени.

По Генри Хэзлитту, концентрироваться означает – удерживать и возвращать внимание к цели или проблеме всякий раз, когда оно рассеивается [12].

Перманентное удержание осведомлённостей в природе, значении, размерностях, онтологии и динамике аномалий, обеспечение своего превосходства в таких осведомлённостях являются важным условием устойчивой конкурентоспособности в производственном бизнесе. Но далеко не только в этой сфере…

Согласно инструктивному документу оборонного ведомства США 2021 года, выявление аномалии инициирует процесс принятия решения. У каждой среды есть базовая линия, отправная точка, на которой акторы основывают свои наблюдения и сравнивают нормальные условия окружающей среды (базовая линия) с существенными изменениями окружающей среды (аномалиями). Аномалии – это изменения, которые происходят выше или ниже установленного базового уровня. Каждая аномалия должна быть проанализирована. Выявив аномалии, следует принимать решение о том, как действовать. Чаще всего обнаружение трёх или более аномалий считается достаточным доказательством для принятия рационального решения. Использование цикла «наблюдай, ориентируйся, решай, действуй» (известного как OODA) – одного из многих процессов принятия решений – для принятия решений на основе аналитической обработки аномалий позволяет акторам изменять ситуацию быстрее, чем это может сделать угроза [13].

Именно оперированием аномалиями занимаются профессиональные аналитики-профайлеры (иначе – профилировщики; англ. – «profilers»).

Формирование навыков расширенной осведомлённости – ситуационной, доменной, в аномалиях готовит аналитиков к тому, чтобы они стали эффективными предиктивными профилировщиками (профайлерами; англ. – «predictive profilers»), способными отличать друг от друга различные релевантные аудитории и действующие лица, что называется прогностической проницательностью. Предиктивное профилирование (англ. – «predictive profiling») – это метод упреждающего выявления и анализа моделей поведения различных аудиторий и субъектов. Предиктивное профилирование даёт практикам-аналитикам более глубокое понимание человеческого поведения и способность читать человеческие знаки и сигналы в окружающей среде [14]. И основа здесь – вскрытие и оценивание аномалий.

Поиск, обнаружение (вскрытие), идентификация и оценка аномалий, оперирование ими в прикладной аналитике не сводимы только к оперированию вовне, это может быть также и поиск аномалий в аналитическом процессе и результирующем его аналитическом продукте. Значимы и аномалии профессионального языка (речи).

Аналитическая аномалия – это критическое отклонение проистечения аналитического процесса от нормального хода действий, событий и процессов, критическое отклонение промежуточных и финализирующих результатов аналитической обработки данных от створа не просто прогнозируемых, ожидаемых, но даже и маловероятных, но всё же реалистичных значений, совсем уж явные исключения из правил. Предиктивно-аналитическая аномалия – это аномальное, явно необычное и неадекватное, критически маловероятное значение, событие, состояние, процесс или паттерн, не соответствующие обоснованно предсказанным и ожидаемым параметрам.

Аналитическая аномалия – не столько даже разновидность дефекта аналитики, сколько «лакмусовая бумажка», сигнализатор дефекта аналитики и прикладного аналитического продукта. И в этом состоит важность, значение оперирования аномалиями в прикладной аналитике.

Аналитическая аномалия может быть детерминирована множеством факторов, в их числе – когнитивные предубеждения и когнитивные уязвимости практика-аналитика [15] и даже банальная некомпетентность практика-аналитика, неудовлетворительная аналитическая слаженность аналитического подразделения [16], критические недостатки временны́х и иных ресурсов под решение аналитической задачи; это могут быть и объективно не подлежавшие предвидению непредвиденные факторы или события. Как говорится, всяко бывает…

Например, без скрепляющей прошивки (по вине практика-аналитика) или при произвольном устранении такой прошивки (по вине вмешивающегося начальника) «стальными штифтами» связывающей логической трассировки частей аналитического продукта таковые части не смогут интегративно оставаться в составе единого целого, обеспечивать единство и целостность аналитического продукта (рис. 6).

Рис. 6. Образное отображение двух ситуаций относительно целостности и устойчивости двух конструкций – без указанной «прошивки» (слева) и с указанной «прошивкой» (справа).

Аномалии – это не всегда «инфернальное зло». Далеко не всегда аномалия в аналитике вскрывает сбой или недостатки аналитического процесса, иногда она показывает резкое и нетипичное изменение или поведение исследуемой предметно-объектной области, помогая обрести и удержать нужные актуальные осведомлённости.

Феликс Шайнбергер неслучайно писал: «Что ещё интересно в ошибках – они полны творческого потенциала… Ошибки иногда помогают нам двигаться вперёд» [17].

При оперировании аномалиями в прикладной аналитике мониторятся не все из них, аналитики оперируют не всеми из них. Речь идёт только о тех, которые относимы к рабочим исследовательским проекциям (точкам и углам или секторам зрения, сфокусированного внимания).

Невозможно аналитически исследовать (тем более – постоянно интенсивно) предметно-объектную область абсолютно во всём и вся, реально в совершенно полном объёме, абсолютно во всех проявлениях, аспектах, чертах и деталях, состояниях и взаимодействиях. Всегда работает принцип селективности (избирательности) – по аспектам, по отдельным элементам и т.д. Иначе рассеяние внимания будет критически негативным, аналитически-дефектогенным.

Приведём такой образный пример.

Положим, если мы – психологи-профпатологи (специалисты, занимающиеся в своей профессиональной работе выявлением причин профессиональный заболеваний, их лечением и соответствующими профилактическими мероприятиями, включая профосмотры) и нам надлежит психологически исследовать некую молодую женщину (см. рис. 7 – основной портрет), создав и отработав её комплексный детализированный психологический портрет-образ, то мы не сможем её исследовать сразу «в лоб», во всей её полноте и сложности. – Нам просто неминуемо придётся экстрактировать (мысленно извлекать) в интересах и целях нашего исследования её множественные инструментальные суб-образы (на рис. 7 – множественные её партикулярные (отражающие какую-то часть её личности) цифровые модели-двойники):

первый её суб-образ – она как женщина, жена (исключается, поскольку это не входит в наши задачи и она сама возражает и пресекает);

второй её суб-образ – она как дочь своих родителей (исключается, поскольку это не входит в наши задачи и она сама возражает и пресекает);

третий её суб-образ – она как мать её детей (исключается, поскольку это не входит в наши задачи и она сама возражает и пресекает);

четвёртый её суб-образ – она как внучка своих бабушек и дедушек, она как сестра своих братьев и сестёр, она как тётушка своих племянников и племянниц, она как племянница своих дядюшек и тётушек (исключается, поскольку это не входит в наши задачи и она сама возражает и пресекает);

пятый её суб-образ – она как кулинар, насколько хорошо она готовит пищу и как сама к этому относится (исключается, поскольку это не входит в наши задачи);

шестой её суб-образ – она как спортсмен в каком-то определённом виде или видах спорта (исключается, поскольку это не входит в наши задачи);

седьмой её суб-образ – она как музыкант / поэт / художник / литератор (исключается, поскольку это не входит в наши задачи);

восьмой её суб-образ – она как подчинённая, как сотрудник компании в горизонтали сопоставимых с ней других сотрудников (государственного органа, службы, подразделения) – принимается в работу;

девятый её суб-образ – она как руководитель подразделения компании (государственного органа, службы) в горизонтали сопоставимых с ней других руководящих сотрудников данного уровня (государственного органа службы, подразделения), включая – каковы её способности к решению сложных организационных задач – принимается в работу;

десятый её суб-образ – она как практик-аналитик, включая – каковы её способности к решению сложных аналитических задач и выработке аналитических и основанных на них управленческих решений в сложных условиях, – принимается в работу;

одиннадцатый её суб-образ – она как оперативный мыслитель и актор, включая – каковы её способности оперативно-необходимо быстро ориентироваться и перестраиваться в быстро изменяющихся условиях и ситуациях, – принимается в работу;

двенадцатый её суб-образ – она как умелый и эффективный переговорщик, включая – каковы её навыки дипломатии и психологии общения, способности к конфликтологии, к превенции, разрешению и улаживанию конфликтов) – принимается в работу;

тринадцатый её образ – насколько она способна выдерживать существенные перегрузки в работе, кризисные условия опасностей и угроз, рисков, насколько она физически, психически и психологически резистентна (устойчива) и резильентна к ним, – принимается в работу;

четырнадцатый, пятнадцатый, шестнадцатый и т.д. другие её суб-образы…

В действительности, для понимания и отображения этой женщины совершенно все до единого эти её суб-образы интегративно составляют и образуют её настоящую целостную личность, её целостное «Я», но аналитики-исследователи вправе отобрать для своих целей и задач нужные и, немаловажно, доступные инструментальные суб-образы и работать только с ними, даже понимая, что работа ведётся не с полнотой данных.

Рис. 7. Образное отображение молодой женщины, исследуемой (в приводимом примере) психологами-профпатологами, и её экстрактируемые ими цифровые модели-двойники её образа – суб-образы.

Аналогично происходит аналитическая отработка любой иной предметно-объектной области. В работу берутся только те аспекты, элементы и проекции, в отношении которых есть возможности, интересы и ресурсы аналитической отработки и которые соответствуют поставленным цели и задачам проведения аналитических работ.

И именно к таким оперируемым суб-образам относимы и привязываются отслеживаемые и оперируемые аномалии.

В прикладной аналитике комбинируемо задействуется целый ряд способов выявления аномалий, в их числе – статистические методы, методы обеспечительной визуализации, экспертное оценивание, сравнение (в т.ч. с «историческими» данными) и др.

Источники, ссылки

1. Advanced situational awareness [Продвинутая ситуационная осведомлённость] / Training Circular № 3-22.69, 2 April 2021 / Headquarters, Department of the Army. – Washington (D.C., USA), 2021. – ix; 302 p. – P. 2-3 (с. 23 по внутреннему счётчику).

2. Цит. по: Планк М. Избранные труды. Термодинамика. Теория излучения и квантовая теория. Теория относительности. Статьи и речи. – М.: Наука, 1975. – 788 с. – С. 602.

3. См.: Понкин И.В. Девиантология государственного управления: Учебник. 2-е изд., дополн. и перераб. – М.: ИНФРА-М, 2024. – 324 с.

4. См.: Понкин И.В. Методология научных исследований и прикладной аналитики: Учебник. Изд. 4-е, дополн. и перераб. В 2 т. Т. 1: Прикладная аналитика (Правовая аналитика, государственно-управленческая аналитика, военная аналитика, развед-аналитика, инженерная аналитика, политическая аналитика, бизнес-аналитика) / Консорциум «Аналитика. Право. Цифра». – М.: Буки Веди, 2023. – 500 с. <https://moscou-ecole.ru/methodology4-1-2023/>. Понкин И.В., Лаптева А.И. Методология научных исследований и прикладной аналитики: Учебник. Изд. 4-е, дополн. и перераб. В 2 т. Т. 2: Научные исследования / Консорциум «Аналитика. Право. Цифра». – М.: Буки Веди, 2023. – 640 с. <https://moscou-ecole.ru/2023/06/29/methodology_4-2_2023/>. Понкин И.В., Лаптева А.И. Методология научных исследований и прикладной аналитики: Учебник. Изд. 4-е, дополн. и перераб. В 2 т. Т. 2: Научные исследования / Консорциум «Аналитика. Право. Цифра». – М.: Буки Веди, 2023. – 640 с. <https://moscou-ecole.ru/2023/06/29/methodology_4-2_2023/>. Понкин И.В. Иллюстрированное введение в прикладную аналитику. Приложение к учебнику «Методология научных исследований и прикладной аналитики» / Консорциум «Аналитика. Право. Цифра». – М.: Буки Веди, 2024. – 88 с. <https://moscou-ecole.ru/2024/04/02/analyst-training/>. Понкин И.В. Краткое субстратное изложение методологии прикладной аналитики // Ветеранские вести. – 26.06.2024. <https://vvesti.com/obshchestvo/ponkin-iv-kratkoe-substratnoe-izlozenie-metodologii-prikladnoj-analitiki>.

5. См.: Понкин И.В. Военная аналитика. Военное применение искусственного интеллекта и цифры / Консорциум «Аналитика. Право. Цифра». – М.: Буки Веди, 2022. – 106 с. <https://moscou-ecole.ru/ponkin_milit_ai/>. Понкин И.В. Военная аналитика: доктринальный подход // Ветеранские вести. – 16.06.2024. <https://vvesti.com/obshchestvo/ponkin-iv-voennaa-analitika-doktrinalnyj-podhod>.

6. Пойа Д. Математическое открытие: Решение задач: основные понятия, изучение и преподавание: Пер. с англ. В.С. Бермана; под ред. И.М. Яглома. 2-е изд. – М.: Наука, 1976. – 452 с. – С. 441.

7. Ye N. Analytical Techniques for Anomaly Detection Through Features, Signal-Noise Separation and Partial-Value Association [Аналитические методы обнаружения аномалий с помощью признаков, разделения сигналов и шумов и ассоциации частичных значений] // Proceedings of Machine Learning Research. – 2017. – Vol. 71. – P. 20–32. – P. 20.

8. Практическая аналитика – какой она должна быть? // <https://www.retail.ru/articles/prakticheskaya-analitika-kakoy-ona-dolzhna-byt/?erid=LjN8Jx1DX>. – 24.10.2023.

9. Advanced situational awareness [Продвинутая ситуационная осведомлённость] / Training Circular № 3-22.69, 2 April 2021 / Headquarters, Department of the Army. – Washington (D.C., USA), 2021. – ix; 302 p. – P. 1-3 (с. 15 по внутреннему счётчику).

10. См.: Понкин И.В. Превосходство в осведомлённости в предметно-объектной области: значение в прикладной аналитике // Ветеранские вести. – 07.01.2023. <https://vvesti.com/security/prevoshodstvo-v-osvedomlennosti-v-predmetno-obektnoj-oblasti-znacenie-v-prikladnoj-analitike-igor-ponkin>.

11. См.: Понкин И.В. Ситуационно-аналитическая осведомлённость // Администратор образования. – 2024. – № 14. – С. 67–71. Понкин И.В. Ситуационная аналитика и ситуационно-аналитические центры в государственном управлении // Государственная служба. – 2023. – Т. 25. – № 6. – С. 16–22. Понкин И.В. Школа прикладной аналитики: ситуационная осведомлённость в прикладной аналитике // Ветеранские вести. – 20.05.2024. <https://vvesti.com/obshchestvo/ponkin-iv-skola-prikladnoj-analitiki-situacionnaa-osvedomlennost-v-prikladnoj-analitike-lekcia-procitannaa-v-mae-2024-goda>.

12. Цит. по: Ruggiero V.R. The Art of Thinking: A Guide to Critical and Creative Thought [Искусство мыслить: Руководство по критическому и творческому мышлению]. Eighth edition. – New York: Pearson, 2007. – xviii; 281 p. – P. 11.

13. Advanced situational awareness [Продвинутая ситуационная осведомлённость] / Training Circular № 3-22.69, 2 April 2021 / Headquarters, Department of the Army. – Washington (D.C., USA), 2021. – ix; 302 p. – P. 1-3 – 1-5 (с. 15–17 по внутреннему счётчику).

14. Advanced situational awareness [Продвинутая ситуационная осведомлённость] / Training Circular № 3-22.69, 2 April 2021 / Headquarters, Department of the Army. – Washington (D.C., USA), 2021. – ix; 302 p. – P. 2-1 (с. 21 по внутреннему счётчику).

15. См.: Девиантология прикладной аналитики // Понкин И.В. Методология научных исследований и прикладной аналитики: Учебник. Изд. 4-е, дополн. и перераб. В 2 т. Т. 1: Прикладная аналитика (Правовая аналитика, государственно-управленческая аналитика, военная аналитика, развед-аналитика, инженерная аналитика, политическая аналитика, бизнес-аналитика) / Консорциум «Аналитика. Право. Цифра». – М.: Буки Веди, 2023. – 500 с. – С. 462–491. <https://moscou-ecole.ru/methodology4-1-2023/>.

16. Понкин И.В. Аналитическая слаженность аналитического подразделения // Администратор образования. – 2023. – № 23. – С. 67–71.

17. Шайнбергер Ф. Рождение иллюстратора. Про творчество, выгорание, совместные проекты, продвижение, гонорары и авторские права: Пер. с англ. Юлии Змеевой. – М.: Манн, Иванов и Фербер, 2020. – 224 c. – С. 11.