身心交互——元宇宙新型人机交互发展趋势

无奈的剑侠站

纵观整个数字经济创新发展史，每一次颠覆式创新往往伴随着人机交互革新。在人工智能、XR等产业的高速发展下，人机交互正在发生前所未有的变化，这种变革并非渐进式进化，而是一种重构。它重构了人类与机器的互动方式、交互场景和交互体验。



图1 数字经济三大颠覆式创新

一、交互方式呈现解放式特征，贴近人体自然习惯

新型人机交互最显而易见的表现便是交互方式与交互设备的变革，人机交互方式演变历史大致可分为“PC互联网时代—移动互联网时代—元宇宙时代”三个阶段，随着科技的演进发展，人机交互方式在内容和场景上不断进行丰富和升维。
PC互联网时代，人机交互主要是通过手指操作鼠标、键盘以及眼睛查看显示屏内容完成；移动互联网时代，人机交互主要通过手指操纵触控屏、语音识别等方式完成；元宇宙时代，人机交互方式将产生颠覆式的创新，交互设备、交互内容、交互体验都将被带到新高度。在元宇宙发展初期，现实世界中的人可以通过VR/AR等虚拟显示设备完全沉浸在一个虚拟世界里，人机交互方式不止局限于手和眼睛，还可以通过肢体动作捕捉与虚拟世界互动，不仅视觉和听觉的体验更加逼真，甚至可以获得触觉、嗅觉、味觉等多维度感官体验。同时，交互方式呈现出由孤立到融合的趋势，根据不同交互通道的特点和场景适用性，人们广泛探索触控、语音、手势、人脸等多种交互方式的融合应用，以适应不同情景需要。



百度输入法AI探索版：默认全语音输入，并调动表情、肢体等进行全感官输入



BMW X5搭载iDrive 7车载系统：构建手势、触控、语音、旋钮、按键“五维人机交互”，覆盖所有用车交互场景

随着AI、脑机接口等技术的进步，到元宇宙发展的高级阶段，脑机交互技术可以准确读取人脑信息，人类通过脑机接口直接将意念传递给智能体完成交互，即人类将自己的指令通过脑电波输入至虚拟世界，同时虚拟世界也将反馈传送和呈现在人的大脑中，人机交互的终极方式将从时间和空间上完全解放用户。



图2 人机交互方式演变图

二、交互对象数量增加、关系趋向复杂

元宇宙时代的新型人机交互还呈现出交互对象数量增加、交互关系更加复杂的趋势。在人机交互初级阶段，人与机器之间只存在简单交互。当迈入人机交互中级阶段，人与虚拟人间出现了简单交互，与机器间交互开始变得复杂。进入元宇宙囊括现实物理世界的交互高级阶段，虚拟人呈现量产化、拟人化、交互主动化的特点，可交互机器也被规模量产。人借助数字分身将虚拟人作为自己的交互载体，与其他角色发生交互活动。虚拟人与机器甚至可能更进一步发生更高阶的虚拟与实体融合。此时将建立起“自然人-虚拟人-机器”共五种交互关系的“三位一体”复杂格局。虚拟人与机器交互、虚拟人与虚拟人交互、机器与机器交互成为主流交互模式。                    



图3 人机交互关系演变图

机器与机器之间互通互联，打破了单品孤岛，形成设备互通、场景融合的智能化交互场景。如智能冰箱可以与烤箱、油烟机、燃气灶等电器联动，实现智能化烹饪。通过智能冰箱选择食谱，烤箱接收到食谱后自动进行烘焙。与电视、手机多屏互动，能够将客厅电视和手机上播放的视频实时传送到冰箱屏幕上，人机交互关系得到了自动延伸。



智能家电联动案例：智能冰箱发送食谱给智能烤箱，实现一键烘焙

三、交互场景拓展到虚实结合的场域

元宇宙时代，现实世界和虚拟世界的大门将被打开，人机交互场景将由现实世界二维平面信息交互拓展到虚拟世界，甚至现实空间和虚拟空间合为一体的场域。无论是从虚到实，还是由实入虚，人机交互的广度和深度都将超越目前的人机交互水平。



图4 人机交互场景发展趋势

从广度来看，在PC互联网和移动互联网时代，人机交互只能通过特定设备如电脑、手机并在使用这些设备的特定场景下进行人机交互；而在元宇宙时代，任意器件、工具等都可以变成智能系统，在人工智能和虚拟触控的加持下，人类甚至可以用自然语言、动作跟任何器件交互，大大拓展了人机交互场景的广度，即任意生活场景。基于人脸细节识别和空中手势识别的种类和自由度提升，也将打开更多的交互空间和虚实融合应用场景。



Apollo首发AR-HUD：将挡风玻璃变成智能大屏，给驾驶员呈现实时路况、车况信息，实现车路协同



智能冰箱案例：通过人感、触控、语音进行交互，可以完成食材录入、饮食分析、食材购买、食谱推荐、影音娱乐等交互场景

从深度来看，长久以来“输入-反馈”循环是人机交互的基本模式，在这个循环中通常为“人类表达问题-机器反馈结果”的问答式信息获取与展示，且一般为单轮对话结束问答，人始终是主动的而机器是被动的。在元宇宙时代，人工智能赋予了机器情境感知和自主认知能力，构建起机器主动服务于人的智能化交互模型，增强人机交互的体验深度。
伴随计算机视觉技术、深度学习算法发展，机器可以准确识别人的细节信息，人体的各种生理信号作为信息被智能体感知、分析、理解，从而自主识别人的需求，更好的应对和服务，在情感互动、疲劳驾驶、专注力监测与应对等场景发挥作用。



百度疲劳驾驶监测系统：通过驾驶者的面部、眼部、嘴部细节特征判断驾驶者的疲劳程度，并通过播放音乐等方式提醒驾驶者

另一方面，智能系统可以通过环境感知与学习，由被动服务变为主动服务，如家庭智能硬件将基于深度学习的人工智能服务家庭中枢，能够快速辨别用户需求、提供以用户为中心的全方位智能服务。智能家居融入视觉感知、语音交互、AI云大脑等技术，被赋予像人一样的“眼睛、嘴巴甚至思想”，自主抓取分析外界的数据，比如温度、湿度，用户生活习惯和状态等，并持续学习用户的使用习惯，将天气、行为、时节、人体等数据作为参数输入智能决策系统，进行自主运行和精准调节，人机交互场景的智能化大大增加。
元宇宙时代，VR、AR作为重要的感知技术，通过改变环境和物体的显示方式，重新定义人类看到和体验的世界，而光场交互技术让VR内容和交互发生革命性改变，通过“轻眼镜 + 光标签”的场景交互解决方案，佩戴轻眼镜的用户只需看一眼现实场景中部署的光标签，就可以开启连接现实与虚拟世界的大门，并获得与场景相关的各种信息与服务，从而体验“增强”的现实世界。同时，用户可以通过轻眼镜提供的交互技术，快速、便捷地与场景进行各种交互，实现“所见皆可交互”。





外号科技场景交互解决方案

目前场景交互解决方案已经实现在商业、文旅、会展、建筑等多种场景的落地应用，通过VR打造全新的虚拟空间、AR技术增强现实，人机交互场景将实现线上和线下、虚拟与现实的联结，并逐步渗透到更多的场景应用中，现实与虚拟将从简单叠加到有机融合。
四、交互体验在AI加持下融入新型情感体验

在未来的元宇宙空间中，新型人机交互将在AI加持下无限模拟人与人之间的多感知自然交互，从传统的工具型转化为情感型与服务型相结合的新型模式，人机交互体验被重构。
一方面，经原始设定的智能体已具备人口学信息、爱好特长等打造“人设”必需的元素；后续，人机互动产生的大量数据反馈和机器自我迭代使得智能体的“人设”更加鲜活多元。智能体被赋予情感自主认知等能力，通过表露自己的情感自动发起情感交互，一步步由非人、拟人到类人转化。这使得人机之间的情感连接加深，情感体验更加真实可感。
另一方面，智能体能够根据行为表现和神经生理信号迅速感知人类内在的复杂情感，及时做出后续的情感反馈和陪伴。智能体向情感型的转化将为人类提供新的情绪出口和交流途径，进一步在虚实结合空间形成一个情感温室，极大提高人的亲社会性和主观幸福感。在情感识别方面，人在与市面上的一些智能产品交互时，机器已经可以通过面部表情、语音语调、肢体动作识别人类基本情绪。例如，KODA机器狗在AI和仿生引擎技术的帮助下，在主人开心、愤怒或悲伤时记录主人的情绪波动，并作出基本回应。未来会在识别效率、识别精度、反应时间等方面进一步提升。



图5 情感交互智能产品示例

元宇宙时代，在智能交互的支持下，人的行为都能够被准确理解和把握，访问信息世界的界面被移动到人的身心，信息系统所具有的深度意图理解和情境感知能力为我们的生活、工作、娱乐构造出轻松高效的环境。人机交互范式无限接近人类在现实生活中获取信息的自然方式，全世界变成可以点击的桌面和信息展示的面板，人和机器的交互变成人和世界的交互。虚拟人和智能体对人体功能无限延伸，人机交互的优化将极大地提升社会生产效率，人类的文明迈上新的台阶。