简单百科
MR

MR

MR（全称：Mixed Reality；中文名：混合现实），是一种将虚拟世界与现实环境深度整合的技术。它结合虚拟现实（VR）与增强现实（AR），通过计算机生成的虚拟对象与现实世界进行实时互动，能够将虚拟元素叠加到现实环境中，还能让这些虚拟对象具备现实世界的物理特性。通过MR显示设备，用户可以同时看到真实环境和虚拟全息影像，加之手势、语音、视觉等方式的加持实现两者互动，真正搭建了虚拟世界和现实世界沟通的桥梁。

1965年，计算机图形学之父Ivan Sutherland发表了一篇名为《The Ultimate Display》（终极显示）的论文，这篇论文被认为是虚拟现实（VR）和增强现实（AR）技术的起源。1968年，计算机科学家伊万·萨瑟兰发明了名为“达摩克利斯之剑”的头戴式显示设备，这是与现代设备相仿的第一个原型机。1980年，史蒂夫·曼对EyeTap AR系统进行了测试，为后续的MR技术奠定了基础。1989年，Reflection Technology开发出Private Eye头戴式显示屏。此后，随着传感器、光学设备和计算机技术的不断发展，MR技术逐渐成熟。1994年，Paul Milgram 和 Fumio Kishino 在其发表的论文“A Taxonomy of Mixed Reality Visual Displays”（混合现实视频显示的分类法）中首次引入“混合现实（MR）”一词。该论文中探讨了“虚拟连续体”的概念以及视觉显示的分类法。2015年，微软宣布开发HoloLens，标志着增强现实与虚拟现实技术的融合。2016年，Magic Leap介绍了混合现实的概念，强调其与增强现实的区别。2018年8月8日，Magic Leap公司正式发布了其首款混合现实设备Magic Leap One创造者版本。2024年，头戴式显示器实现了革命性突破，传感器精度、分辨率、实时渲染能力以及佩戴舒适度显著提升。2025年，“混合现实”入选2024年度十大科技名词。

MR通常具备虚实融合、实时交互、三维注册三个主要特点。MR技术的应用领域包括教育、医疗、体育、军事、艺术、文化、娱乐等各个领域，同时在运营、物流、营销、服务等很多环节中得到应用，又在接近人类生活的人工智能、图形仿真、虚拟通信、娱乐互动、产品演示、模拟训练等更多领域带来了革命性的变化。

历史沿革

应用探索

混合现实是在增强现实和虚拟现实基础上发展而来的更先进技术，其历史可追溯至1862年。当时，L.Frank Baum（1856-1919）提出了佩珀尔幻象（Pepper's ghost），这是一种应用于舞台表演以及部分魔术表演中，能够制造出幻觉效果的技术。

1941年，头戴式电子显示屏在“第二次世界大战”期间问世。出于战争需求，MR技术和增强现实技术的雏形开始萌芽。此后，从20世纪50年代起，越来越多以头戴式电子显示和交互设备为代表的早期增强现实、混合现实设备陆续出现。1965年，计算机图形学之父Ivan Sutherland发表了一篇名为《The Ultimate Display》（终极显示）的论文，这篇论文被认为是虚拟现实（VR）和增强现实（AR）技术的起源。1980年，史蒂夫・曼对Eye Tap AR系统进行了测试，为后续的MR技术产品奠定了基础。

科学家随后将几种不同的类型的技术，包括传感器的使用、更先进的光学设备和最先进的计算机结合到一起，所有这些技术被整合成一个单一的设备，为用户提供增强全息实时数字内容，并且增加到虚拟空间中，带来一种让人难以置信的现实和虚拟场景。与当代设备相仿的第一个原型机是著名计算机科学家、图灵奖获得者伊万·萨瑟兰（Ivan Sutherland）发明的头戴式显示器。1968年，作为哈佛大学电机工程学副教授的萨瑟兰发明了名为“达摩克利斯之剑”的头戴式显示设备。整套系统将显示设备放置在用户的头顶，并通过连接杆和头戴设备相连，能够将简单线框图转换为3D效果的图像。

然而，总部位于美国费城的一家公司Philco却认为它才是第一个头戴式显示器的发明者。Philco公司称，它们于1961年开发了第一个头戴式显示系统，其中相机被放置于一个房间，而用户头戴显示设备坐在另一个房间。当用户头转动时，系统通过磁铁相应调整相机的位置和角度。这是第一个实现远程监控的例子。从结构上来说，这种头戴式显示器（HMD）和现在的各种增强现实及虚拟现实产品也是惊人地相似。与现在索尼的增强现实设备Wonderbook或者诺基亚的移动应用HERE City Lens相比，当时的头戴式显示器除了无法实现娱乐功能外，其技术原理与增强现实没有什么两样。

在1961年的美国空军阿姆斯特朗实验室中，路易斯·罗森伯格（Louis Rosenberg）开发出了Virtual Fixtures，其功能是实现对机器的远程操作。罗森伯格其后研究方向转至增强现实，也包括如何以虚拟图像叠加至用户的真实世界画面中—一这也是当代虚拟现实技术讨论的热点。增强现实与虚拟现实的发展道路便分离开来。

技术推进

第一次将这种技术成功应用于实时直播是在1998年，当时体育转播图文包装和运动数据追踪领域的领先公司Sportvision开发了lst&.Ten系统。在实况橄榄球直播中，其首次实现了“第一次进攻”黄色线在电视屏幕上的可视化。这项技术是针对冰球运动开发的，其中的蓝色光晕被用以标记冰球处于的位置，但这个应用并没有被普通观众所接受。

仅仅一年以后，增强现实开发工具ARToolKit便问世了。这个开源工具由奈良先端科学技术学院的加藤弘开发，可以说是消费级增强现实的第一个实例。2005年，ARToolKit与软件开发工具包（SDK）相结合，可以为早期的塞班手机操作系统智能手机提供服务。开发者通过SDK启用ARToolKit的视频跟踪功能，可以实时计算出手机摄像头与真实环境中特定标志之间的相对方位。这种技术被看作是增强现实技术的一场革命，目前在Andriod以及iOS设备中，ARTool Kit仍有应用。

1989年，Reflection Technology开发出Private Eye头戴式显示屏。20世纪90年代，虚拟现实设备公司OculusVR创始人帕尔默·拉奇不满足市面上低端的虚拟现实设备，开发了几个头戴式设备的原型机，这引起了视频游戏开发行业的关注，其中包括业界著名公司id Software的约翰·卡马克（John Car-mack），以及Scaleform前首席执行官布兰登·艾莱博（Brendan Iribe），这些都是让头戴式显示器OculusRift吸引公众视线的关键人物。1994年，Paul Milgram和Fumio Kishino在其论文《A Taxonomy of Mixed Reality Visual Displays》（混合现实视频显示的分类法）中首次引入了“混合现实”（Mixed Reality，MR）这一术语。该论文提出了“虚拟连续体”（Virtuality Continuum）的概念，用于描述从完全真实环境到完全虚拟环境之间的过渡。

2012年，在多位业界知名人士的帮助下，Oculus于发起了关于Rift的众筹活动，最终募得资金243万美元，这是其众筹目标的974%。这让OculusRift从一个头戴式显示器的原型转化为消费级产品。2014年3月，Faccbook宣布以20亿美元收购OculusVR，这使得公司有能力建立高水平的软硬件研发团队，为用户带来更高水准的虚拟现实体验。

当OculusVR通过虚拟现实设备发展虚拟现实技术时，谷歌向着不同的方向发展虚拟现实。2013年4月，谷歌发布了谷歌眼镜。这种增强现实的头戴式现实设备将智能手机的信息投射到用户眼前，通过该设备也可直接进行通信，其重燃了公众对增强现实的兴趣。

快速发展

2015年，微软于宣布开发了增强现实眼镜HoloLens，从而进入该领域。微软的头戴式显示设备正是增强现实与虚拟现实两种技术融合的起点。通过HoloLens，有机会将增强现实技术发展至目前消费级虚拟实现设备的技术水准。

2016年6月，Magic Leap首席创新官格雷姆·德文（GraemeDevine）在Games ofChange Festival活动上介绍了该公司在技术方面的长期目标。关于如何让计算机图像看起来像是真实世界，Magic Leap一直都是一家备受关注的公司。格雷姆·德文在演讲中谈到了第三种概念：混合现实。混合现实和现实增强之间的主要区别似乎在于：现实增强存在缺陷，而混合现实更酷。在德语的演讲过程中，一些图片显示了当用户通过谷歌搜索关键词“现实增强”时会得到什么。其中包括没什么意思的IPhone游戏，以及商店里的购物者通过手机应用去搜索的信息。而用格雷姆·德文的话来说，混合现实才是未来的梦想。2018年8月8日，Magic Leap公司正式发布了其首款混合现实设备Magic Leap One创造者版本。

2024年，头戴式显示器实现了革命性的突破，传感器精度、分辨率、实时渲染能力以及佩戴舒适度均有了显著的提升。同时，手势识别、眼球追踪等前沿技术不断优化，使用户的交互体验更加自然、沉浸。在软件和内容创作方面，开发者利用生成式人工智能等新兴技术创造了更加丰富和多元的虚拟世界。2025年1月，“混合现实”入选2024年度十大科技名词。

主要特点

MR通常有以下3个主要特点：

基本构成

MR由于是在虚拟现实与增强现实的基础上发展而来，故在硬件结构上混合现实系统同虚拟现实系统、增强现实系统的硬件具有一定继承性和一致性。如图（典型混合现实系统的构成）所示，一个典型混合现实系统由虚拟场景生成器、头盔式显示器、实现用户观察视线跟踪的头部姿态跟踪设备、虚拟场景与真实场景对准的定位设备和交互设备构成。

技术原理

MR的实现需要在一个能与现实世界各事物相互交互的环境中。如当用户在真实场景中国移动通信集团时，虚拟物体也随之位移而做出相应变化，使虚拟展示物体与真实展示环境之间能有一个完美结合。MR由现实与虚拟两部分构成，其中虚拟部分关心用户与虚拟世界的联结，因此涉及两方面的内容，即虚拟世界的构建与呈现，以及人与虚拟世界的交互。由于呈现的虚拟世界是与人类感官直接联结的，完美的虚拟世界的营造是通过建立与人类感官匹配的自然通道来实现的，通过真实感渲染呈现虚拟世界，营造声音效果，提供触觉、力觉等各种知觉感知和反馈。因此，用户与虚拟世界的交互必须要建立相同的知觉通道，通过对用户的自然行为分析，形成感知、理解、响应、呈现的环路，这是虚拟现实技术的核心内容。图1-17显示为全息摄影混合现实的场景。

MR省却了对复杂多变的现实世界进行实时模拟，因为对现实世界的模拟本身是非常困难的，取而代之的是需要建立虚拟世界与现实世界的联结并模拟二者的相互影响。然而，要使虚拟世界与现实世界融为一体，在技术上形成了诸多挑战，不仅要感知用户的主体行为，还需要感知一切现实世界中有关联的人、环境甚至事件语义，才能提供恰当的交互和反馈。因此，MR涉及广泛的学科，从计算机视觉、计算机图形学、模式识别，到光学、电子、材料等多个学科领域。然而，正是由于混合现实与现实世界的紧密联系，才使其具备强大且广泛的实用价值。MR技术是虚拟世界与现实世界无缝融合的技术，虚拟现实代表了计算机营造的世界，使人类的知觉感知延展到计算机中；而MR技术则是在保持对现实世界正常感知的基础之上，通过建立虚拟世界与现实世界之间的联系，再将人类感官延伸到虚拟世界。MR技术中所关注的虚拟世界可以有丰富的内容，从早期的虚拟现实世界的局部场景，与现实世界无缝融合，使得人们可以看到匪夷所思的场景，典型的是电影《阿凡达》呈现的世界。然而，计算机的强大能力不仅在于对场景的营造能力，还在于对信息搜集、数据整理和分析呈现的能力。在信息爆炸的时代，信息容量和复杂度远远超过人类所能够掌控的范围，在宏观上把握信息的内涵，提供对数据蕴含的语义分析，才有可能使人类理解数据。混合现实技术可以在数据分析的基础上建立用户与数据的联结，从而使得用户可以直接感知数据分析的结果，将人类感知延展到数据语义层面。

MR技术由于涵盖了虚拟世界与现实世界，既需要虚拟现实技术的支持，也需要增强现实技术的支持。虚拟现实技术的第一个核心问题是对虚拟世界的建模，一般包括模拟现实世界的模型或者人工设计的模型，对现实世界模型的模拟，即场景重建技术；第二个核心问题是将观察者知觉与虚拟世界的空间配准，满足视觉沉浸感的呈现技术；第三个核心问题是提供与人类感知通道一致的交互技术，即感知和反馈技术。增强现实技术在虚拟现实技术的基础上，还需要将现实世界与虚拟世界进行注册，并且感知真实世界发生的状况、动态，搜集真实世界的数据，进行数据分析和语义分析，并对其进行响应。

因此，可以将MR的虚实融合分为3个层面：①虚实空间产生视觉上的交互影响，例如遮挡、光照、运动等；②虚实世界产生社会学意义上的交互融合，例如行人互相避让的行为；③虚实世界产生智能上的交互融合。迄今为止，现实世界是人类活动的空间和世界，而虚拟世界是由计算机生成的世界，这两个空间是分离的。如前所述，MR技术是这两个空间的自然接口和界面，使得现实世界的人类了解和驱动虚拟世界的动态。从这个意义上说，机器人可以是具备二者属性的载体，机器人可以与计算机一体化从而通过数据共享了解虚拟世界的一切，同时通过其配置的各种传感器获得对周围世界的感知，这种感知信息也可以通过共享数据与虚拟世界交流。并且机器人可以具备与人类相同的一个重要特征，具备可移动的行为能力，从这个意义上说，机器人是介于虚拟世界与现实人类的载体，其与虚拟世界和现实世界的交互既具备人类的自然属性，又具备虚拟人的属性，成为第三类交互方式。采用机器人作为替身，在遥感、远程手术等领域都已有应用，只是由于技术的限制而难以广泛应用。通过机器人来联结虚拟世界和现实世界，实现跨越时空的关联，将成为一种重要的技术手段。

技术难题

混合现实所面临的那些技术难题分为几个方面：显示技术、延迟、3D软件渲染、空间感知。因为大多数混合现实平台同时也是移动计算平台，所以在解决混合现实所面临的那些难题时还要受到体积、功耗散热、电池续航等的限制。

显示技术

制造混合现实显示设备面临诸多挑战，这些设备需要具备一系列特性才能提供优质的用户体验。首先，它们需要高分辨率，以清晰地显示文字和物体细节，减少图形边缘的锯齿感。其次，显示图像的广视场角（FOV）是必不可少的，这有助于增强虚拟物体的存在感，让用户感觉更加身临其境。此外，设备还需要有高亮度范围，以适应不同环境下的使用，无论是室内还是户外。人眼看到的虚拟物体的晶状体聚焦程度也必须与物体距离人眼的实际距离相匹配，以确保视觉的自然和舒适。同时，设备应能有效遮挡外界光线，以便更好地显示阴影、黑色，并使虚拟物体看起来更加不透明和真实。最后，为了确保用户能够长时间舒适地使用，设备必须体积小且轻便。然而，市面上的显示设备能够实现这些特性中的一到两项就已经相当罕见，要制造出同时具备所有这些特性的显示设备是一项极具挑战性的任务。

延迟

对于虚拟现实（VR）、增强现实（AR）和MR技术而言，延迟是一个关键指标。延迟，也称为motion-to-photon延迟，指的是从用户进行输入操作到显示图像发生变化并传达到用户眼睛的整个时间过程。以头部运动为例，当用户转动头部时，显示设备需要迅速更新画面以匹配新的视角。主流的VR设备如Oculus Rift CV1的延迟已降低到略小于20毫秒（ms）的水平。

然而，对于MR技术来说，延迟的控制更为关键。这是因为MR设备通常采用透明镜片，用户可以直接看到现实世界的景物，而现实世界的视觉是无延迟的。如果虚拟物体的显示存在哪怕是很小的延迟，都会导致虚拟物体在现实世界中的位置出现漂移，从而破坏用户对虚拟物体的沉浸感和真实感。

此外，降低MR设备的延迟比VR设备更具挑战性。大多数MR设备是移动设备，由于体积和功耗的限制，其计算能力远低于桌面电脑。因此，要在这些设备上通过提高计算速度来降低延迟是非常困难的。这要求开发者在硬件设计和软件优化上进行更多的创新和努力，以实现更低的延迟，提升用户体验。

空间感知

视觉SLAM算法属于空间感知功能。此外，空间感知还涵盖物体识别、手势识别输入及基于深度摄像头的场景三维重建。随着计算机视觉和深度学习发展，这些功能算法趋于实用。但应用于混合现实眼镜时，因计算量大面临困难。好在面向移动平台的专用处理器陆续出现，如HoloLens的HPU、被英特尔收购的Movidius产品，以及IBM和国内公司设计的人工神经网络处理器，它们功耗极低，正逐步解决移动平台复杂空间感知任务的难题。尽管混合现实技术难题有望近期基本解决，满足日常使用，但移动计算平台受计算能力和功耗限制，短期内难以突破。因此，将部分计算移至云端很有必要。

云计算

MR技术的画面渲染和空间感知是计算量需求最大的两个部分。尽管可以通过优化算法和使用专用处理器来辅助计算，但受限于设备的体积和功耗，MR设备的计算能力仍然无法与桌面平台或云端服务器相比。要想用便携的混合现实眼镜来玩特效绚丽的大型三维游戏或者运行极耗资源的专业软件是不太现实的。所以就需要讨论一下把这些功能搬到云端的可能性了。关于3D软件的渲染部分，因为混合现实对延迟有着极高的要求，所以要实现画面的云端渲染就面临着很大的挑战。

有了云计算的支持，空间感知部分就能实现一些高级的功能了。比如把混合现实眼镜拍到的视频和深度图像上传到云平台，云平台将来就有可能通过这些信息推算出你周围空间包含所有光源的光照信息。利用这个信息就能对虚拟物体进行模拟现实光照的渲染，从而使虚拟物体看起来就像是真的存在于真实世界一样。利用云平台还可以帮助识别周围的景物进行精确的室内和室外导航，识别建筑和物品来搜索查询信息等。

应用领域

随着人机交互、计算机视觉、人工智能等相关软硬件技术的成熟，诸多混合现实设备涌现出来，如Magic Leap、微软Hololens一代和二代等，在移动端结合ARkit和ARcore技术，也可以实现混合现实效果的数字应用。混合现实技术已经在学科教学、在线虚拟课堂创设、医疗、建筑与电机工程学等领域初步应用。

具体学科教学

MR具有许多优点，如模拟性强、显示质量优、采用自然方式交互等，能够为学习者提供真实的学习体验，有效改善传统的教学形式和学习方式。

在线虚拟课堂创设

MR技术创造出一个完美结合的虚拟和现实世界，再通过网络技术将各个地域学习者的虚拟化个体连接在同一个线上虚拟课堂中。

医疗

MR技术可以将CT、MRI等二维医学图像在与现实环境相融合的情况下转化成直观的三维虚拟模型，这使得MR技术对于形态结构精细、功能复杂的口腔颌面外科具有重要意义。MR技术在口腔颌面外科的实际应用能提高手术精确性、减少手术时间，降低复杂手术的难度。

电气工程领域

由于建筑行业的工人需要在很多高风险的环境中工作，所以新入行的工人需要在正式工作前具备一定的技能水平和安全意识。而MR技术可以为受训者提供真实的模拟训练，有利于提高安全意识和降低工作的风险。

应用前景

作为新型的人机接口和仿真工具，MR技术的应用领域极广，包括教育、医疗、体育、军事、艺术、文化、娱乐等各个领域，同时，在运营、物流、营销、服务等很多环节中得到应用。又在接近人类生活的人工智能、图形仿真、虚拟通信、娱乐互动、产品演示、模拟训练等更多领域带来了革命性的变化。混合现实已经进入了许多应用领域，在艺术和娱乐行业中显而易见。

MR是一个快速发展的领域，混合现实技术涵盖了增强现实技术的范围，与人工智能和量子计算一同被认为是未来三大显著提高生产效率和体验的科技。随着通信技术，尤其是5G网络的发展应用，未来将会有更多的行业会应用到混合现实技术。随着硬件设备逐步轻量化、产品价格逐渐亲民，混合现实正在加速走向实际应用，并不断改变人们的工作和生活方式。