远程呈现(telepresence)是一种虚拟实在,能够使人实时地以远程的方式于某处出场,即虚拟出场。此时,出场相当于"在场",即你能够在现场之外实时地感知现场,并有效地进行某种操作。

远程呈现定义

正如Telepresence定义的那样,它具有自身鲜明的特点。它能提供面对面的视频体验,使得与会者感觉犹如身处同一物理空间,而不是传统视频交流的设备感。它提供的图像拼接虚拟融合,能达到虚拟会议室的效果。它的声位同向则保证了真实的声场体验。高清的辅视频和实物投影使得与会者可以发送电脑屏幕上的内容或者现场实物与其他与会者进行共享。另外,简单易用,强大的会议控制功能,支持多方会议,良好兼容/互通能力等都是它的特性。

远程呈现相关技术

在视频编解码技术方面,Telepresence支持当前主流的H.264编解码算法,并且能够支持高清、较高带宽的编码能力;并支持一体化固定的摄像设计,及视频相应的前后处理,如方位信息、同步信息、图像增强等;同时在编解码处理上,Telepresence支持和传统视讯系统、以及其他现有系统的兼容性。
在音频编解码技术方面,Telepresence支持舒适的音频处理能力,支持人耳能分辩频段范围的适音和编解码,频宽支持20KHz以上;支持声音的方位信息的获取,并支持在编解码信息中同时携带范围信息;支持高质量的3A处理,以及声音增强和容错处理等;同时支持对传统视讯系统、以及其他现有系统声音的兼容处理。
与此同时,良好的会议室部署、 QoS保证、互通/开放性也十分重要,可以说Telepresence是众多技术保证后呈现的效果。随着Telepresence的交流体验越来越被人们认可,它在越来越多的应用场景中得以应用,包括远程会议、远程教育、家庭视频交流等。

远程呈现发展趋势

随着Telepresence应用场景的细分化发展,其发展也呈现出三个不同的方向:一是满足更高的体验追求,比如3D;二是,成为普及型Telepresence,进入家庭市场;最后是横向发展,主要针对行业应用进行定制。同时,在技术上,Telepresence总体的发展趋势仍然是音视频技术的进一步提升,主要集中在三方面:无缝的超宽景视频采集和呈现、3D视频采集和呈现以及更精准的多方位立体声采集。
目前,业界Telepresence系统还无法实现真正意义上的无缝全景呈现。因此,需要一个更优摄像机模型的全景摄像机,拍摄多路图像,然后运用图像拼接算法进行对拍摄后的多个图像进行拼接得到无缝全景图像。另外,得到高分辨率的全景无缝图像,如何显示也是一个问题,可以采用大尺寸微缝拼接大屏、无缝投影幕和弧形投影幕等多种方式。
3D视频也是Telepresence技术发展的一个重要方向。目前商用的Telepresence系统呈现的图像都还是2D图像,但在目前要实现真正的3D视频还具有相当大的难度,因此2D+视频技术被提出来,被看作是从2D视频到3D视频中的一个过渡阶段。
然而真正能够带给用户深度体验,符合人类观看世界方式的是3D视频呈现技术。目前的3D呈现技术主要包括了3D眼镜、单视点自动3D显示器、多视点3D显示器和3D投影这几项技术。3D眼镜虽然技术成熟,但实际应用中用户很难接受戴着3D眼镜进行交流;单视点自动3D显示器虽然允许用户不戴眼镜就看观看到3D图像,但用户的视角被局限在一个较小的范围内,实用性不够;多视点3D显示器是目前最有前途,也是最适合Telepresence场景的3D呈现方式;3D投影则有两种方式,一种采用普通投影幕,需要3D眼镜配合,实用性不强。另一种采用了特殊的投影屏幕,技术上也不是很成熟。
此外,由于Telepresence是多区域图像拼接呈现,因此对于不同用户区域摄像机拍摄的3D图像的同步处理,当前的技术也还不成熟。因此,对3D视频在Telepresence系统中应用,更多的是考虑局部的功能应用,如:支持3D辅流。
除了无缝的超宽景视频采集和呈现、3D视频采集和呈现外,更精准的多方位立体声采集也不容忽视。除了建筑声学,真实的音频体验主要还依赖于:低延迟和唇音同步、高保真音频质量、空间定位等三个方面。前两个方面,目前各厂家都基本可以实现,但是对于空间定位的呈现各厂家实现良莠不齐。目前Telepresence的主要方案包括了单声道宽频语音、双声道宽屏语音、以及三声道宽屏语音。同时,随着人们对体验的极致追捧,3D音频技术也在研究中。