Работа с большим объемом данных о поведении человека становится базовой задачей специалистов во всех отраслях, в том числе и в культурно-развлекательной сфере. Чтобы создать действительно востребованную выставку, концерт, спектакль или другое мероприятие, безусловно, нужен отличный продукт. Но кроме этого важно грамотно его подать, и здесь на сцену выходят данные и их аналитика. И сегодня важно их собирать и использовать в режиме реального времени.
Владимир Розин, генеральный директор компании ОТКРЫТИЕ, рассказывает, как эти данные помогают менять сценарии — от отслеживания взгляда в музее до изменения сюжета иммерсивного спектакля на основе реакции зала.
«Смотри сюда» — как аналитика взгляда пишет новую экскурсию в музеях
Музеи и музейно-выставочные пространства — зоны с большим количеством информации для посетителя. Особенно крупные, с десятками залов, например, Эрмитаж. Нередко в них располагается несколько экспозиций, для посещения которых приобретается комплексный билет. Но и в одной экспозиции может присутствовать огромное количество зон.
Это большой объем информации, и ее человек должен как-то упорядочить и отфильтровать. Если он посещает музей не с экскурсоводом, а самостоятельно, нужно определить план движения по залам, последовательность и детальность знакомства с разными экспонатами или зонами и количество необходимого для этого времени.
Упрощают ситуацию мини-экскурсии и маршруты, подготовленные заранее под разные потребности, которые культурное учреждение может опубликовать в своем мобильном приложении или других источиках. Например, если посетитель краеведческого музея хочет погрузиться в быт коренных народов, он может выбрать одну программу (аудиогид с офлайн-навигацией по объекту), если хочет исследовать природу — другую.
Более индивидуальный подход обеспечивают экскурсии, которые формируются «на ходу». Реализовать его помогут технологии отслеживания взгляда. Они позволяют понять, на что посетитель обращает внимание, а на что нет.
Музеи применяют eye-tracking, чтобы проанализировать расстановку экспонатов или создать более интересную экспозицию, как, например, это делал Дарвиновский музей в Москве. Но также на основе этих данных можно сформировать динамичные маршруты, которые будут меняться в зависимости от реакции аудитории. Настроенная система «читает» зрителя (собирает данные), понимает, что его интересует больше всего (обрабатывает полученную информацию) и предлагает дополнительные темы или экспонаты, соответствующие его интересам (прогнозирует дальнейшее поведение на основе имеющихся данных).
Например, посетитель прошел два зала в картинной галерее, система проанализировала, на какие экспонаты он обращал внимание, как долго задерживался около них и предлагает дальше пройти в зал, где выставлены картины близких по стилю или идеям художников.
Так музей выстраивает новую форму диалога. В ней экспонаты «подстраиваются» под посетителя, делая экспозицию максимально личной и релевантной.
Какие технологии позволяют это делать?
Речь идет о двух взаимодополняющих группах технологий. Во-первых, это компьютерное зрение и датчики (камеры, тепловые сенсоры, LiDAR), в режиме реального времени фиксирующие поведение: движение людей в пространстве, направление взгляда, позы, мимику и жесты. Во-вторых, это алгоритмы машинного обучения и искусственный интеллект, которые анализируют поступающий поток данных, распознают шаблоны поведения, классифицируют эмоции и вовлеченность.
Именно эта связка из сенсоров и ИИ превращает сырую информацию о движениях и взглядах в осмысленные сигналы, и на основе их переписывается сценарий, будь то маршрут в музее или развитие сюжета в театре.
Самый живой спектакль: когда зал управляет кульминацией
В театре или на иммерсивнных спектаклях есть несколько констант — сценарий, режиссерские решения, актеры, декорации. Однако даже так представление может в небольшой степени меняться в зависимости от того, как реагирует зритель.
С помощью датчиков и камер цифровые системы могут отслеживать поведение посетителей во время спектакля: мимику, жесты, внимание. Собранные данные обрабатываются алгоритмами машинного обучения, которые классифицируют реакции и определяют текущий эмоциональный настрой или уровень вовлеченности. Здесь важна предварительная подготовка моделей на базе обучающих датасетов.
Простой пример: изменение мультимедийных декораций, светового или звукового сопровождения в зависимости от настроения аудитории. Например, зритель в напряженной сцене показывает сильную реакцию, алгоритмы ее обрабатывают и отправляют команду в систему автоматизации сценического декора, чтобы повысить интенсивность света и звука или, наоборот, расслабить аудиторию.
Но возможно и управление сюжетом, действиями отдельных участников сцены. Скажем, в иммерсивном проекте Frankenstein AI: a monster made by many динамика движений танцовщицы менялась в зависимости от того, как люди реагировали и взаимодействовали с нейросетью. Для этого искусственный интеллект анализировал набор ответов на заданные вопросы, и танцовщица получала информацию о «настроении» аудитории через наушник.
Потенциально зритель может даже управлять развитием событий (сценическими ситуациями), влиять на кульминацию. Так он превращается из пассивного наблюдателя в активного участника, а каждый спектакль становится уникальным, потому что меняется в зависимости от реакции людей. Но для того, чтобы реализовать такую идею, важна не только качественная техническая составляющая, но и высокая подготовка актеров, ведь им нужно в режиме реального времени менять свою линию поведения или спектр эмоций.
Больше, чем технологии: этика нового сторителлинга
Расширяющийся пул возможностей тянет за собой и увеличивающийся объем ответственности: в стремлении обеспечить индивидуальный подход к посетителю или к их группе важно не переступить границу конфиденциальности и этических норм. Использование данных о реакции зрителя предполагает сбор и обработку чувствительных данных, что требует строгой ответственности. Для этого необходимо придерживаться как минимум двух базовых правил, которые формируют этику нового сторителлинга.
Первое — принцип прозрачности. Присутствующий должен знать, что его поведение анализируют и используют для формирования сценария. Об этом важно уведомить на сайте при покупке билета или в приложении, если результат будет выводиться, например, на экране смартфона во время запуска онлайн-гида. Диалог с пользователем перед началом взаимодействия — обязательное условие. И важно не только проинформировать его о сборе информации, целях и способах обработки, но и дать право на отказ.
Второе — обеспечить безопасное использование собранных данных. Это подразумевает, что они не попадут в чужие руки, а также будут применяться исключительно по запланированному сценарию. Проще говоря, если музей собрал информацию о том, как посетитель изучает экспозицию и вывел на основании этого маршрут экскурсии, то не допустимо, чтобы он спустя сутки внезапно увидел в стороннем приложении, у которого не должно быть доступа к данным о проведенной экскурсии, рекламу, связанную с недавно отсмотренной картиной.
Какую бы технологию ни использовали, какой бы невероятный, вовлекающий и эффектный продукт ни задумывали, в центре внимания должны быть права человека и уважение к его личной жизни. Поиск баланса между инновациями и этикой — главный вызов технологического развития во многих отраслях. Именно от того, сможет ли бизнес уловить этот баланс, зависит отношение аудитории к применяемым решениям.
Взгляд в будущее: движение от адаптации к предвосхищению
Развивающиеся технологии позволяют перейти культурно-развлекательным пространствам от адаптивного сторителлинга к предиктивной революции. По мере обучения алгоритмов на миллионах реакций системы смогут не просто реагировать на текущие действия зрителя, а мягко предлагать тому, кто колеблется, наиболее подходящие для его типа восприятия сценария, причем еще до того, как он их полностью осознает.
В этом заключается следующий уровень взаимодействия, находящийся на стыке с машинным обучением в сочетании с искусственным интеллектом. Такая технологичная связка позволит создавать живые, «дышащие» цифровые экосистемы, в которых каждый участник получает уникальный опыт. Например, во время музейной экскурсии система «читает» настроение посетителя и сразу предлагает другие экспонаты, дополнения или даже меняет маршрут, чтобы восстановить интерес. В театрах сценарий может мягко измениться, тем самым усилить эффект или снизить напряжение, подстроившись под зал.
Так формируется новый подход к сторителлингу, где главное чудо — уникальность опыта каждого человека. Творят эту магию собранные в режиме реального времени данные, благодаря которым можно не просто погрузить каждого посетителя или зрителя в историю, а позволить ей меняться под него.
