诺瓦XR解决方案
诺瓦XR解决方案
一、项目背景
XR,即Extended Reality, 扩展现实技术。它允许用户在实时生产环境中使用AR(增强现实)和MR(混合现实)将虚拟和物理世界混合在一起,以创建完全沉浸式的体验。
目前该技术已在电影制作、广告拍摄、大型活动中呈井喷之势。典型如好莱坞热剧《曼达洛人》、《西部世界》,“美国偶像”综艺节目中Katty Perry的表演,国内双十一晚会李荣浩现场演唱的《耳朵》,2021春晚周杰伦的《Mojito》表演等,其中均运用了大量xR元素。
该解决方案前端需要对应的动作捕捉设备去配合相机完成拍摄,辅以特殊的媒体服务器配合游戏引擎完成内容实时渲染及节目编辑,后端通过显示屏控制系统完成节目传送,实现屏体内容的显示。
这是XR拍摄时的整个系统构成图:
整个XR系统看起来组成复杂,用的设备很多;但LED显示屏是其中不可或缺的重要设备;因为所有的虚拟画面都要通过LED屏显示出来,再通过摄像机拍摄,才能最终完成XR场景。
总体上可以说:是XR发现了LED显示屏新的方向和价值。
二、项目优势
以往传统的影片是以绿幕的方式进行拍摄的。步骤是这样的:
1. 先用绿幕进行拍摄;
2. 进行大量的后期制作,最终完成影片;
这种绿幕影片拍摄的劣势非常明显:
1. 演员演戏全靠想象,导致拍摄难度极大;
2. 导演无法在现场看到效果,导致如果后期制作遇到难题时,只能重新拍摄,比较麻烦;
3. 要花费大量的人力和时间在后期制作上,相信大家都有听说过好莱坞的百万调色师的传说;
而XR能有效解决上述痛点,提升整个影视制作效率与水准。基于XR的影片拍摄越来越火爆;其拍摄步骤是这样的:
1. 将制作好的场景在LED屏上播放;
2. 演员直接在一个由LED屏组成的虚拟拍摄场地进行表演;
3. 使用摄像机直接进行拍摄,导演可以同步在监视器上看到拍摄效果。
这种拍摄方式的优势非常明显:
1. 演员不用凭空想象着完成表演;
2. 拍摄过程中导演就可以看到拍摄效果,如果有问题,当场就可以重拍,节约拍摄时间,减少后期的重复投入;
3. 后期制作简单,时间短,出片周期大大缩短;
XR还具有广泛的应用场景和前景:
1. 影视制作:一般电影约有 10%-15%的内容,需要在摄影棚制作。XR 营造了逼真的摄制空间,演员、导演可以实时看到拍摄和表演效果。这对于影视行业有着极大的吸引力。现在,国内很多地方都重视文娱、文化、文旅产业,争相落地电影制造基地、影棚等。
2. 产品发布会:疫情的影响,让更多的厂商把发布会转移到线上。线上发布会,成本急剧下降,受众极大扩充。加上 XR 的加持,发布会的播出效果将会超出人们的想象。发布会是实时播出,效果对 XR 的依赖很重。
3. 广电类节目制作:各种录播节目,可以依靠 XR 影棚,低成本达到更好的效果。
4. 科教:教育将是 XR 的一个典型应用场景。无论是大型现场还是线上教育,抑或是博物馆等科普场所,XR 将提供直观的、身临其境、逼真的实时效果。
5. 演唱会、电视节目。比如以后请嘉宾,请到的可能是虚拟的,或者是异地表演的。一方面是档期,如果嘉宾档期有限,来录制要几天,可能就请不到了。一方面是,一个嘉宾背后有着一堆经纪人、后勤等人员,吃喝拉撒费用极高。如果是虚拟的,可以解决很多问题。
6. 游戏及相关活动:游戏本身就是虚拟的,无论是游戏本身,还是游戏竞赛和游戏
活动相关,最适合虚拟和现实结合。
对于LED显示来说,XR应用场景是一块待挖掘的新市场。
新思界产业研究中心出具的《2020年全球及中国扩展现实(XR)产业深度研究报告》显示,2019年全球扩展现实市场规模为186亿美元,在预测期(2020- 2030年)以48.3%的复合年增长率增长。
三、项目问题
当前,国内大多的XR应用均是以租赁或者固装来做的,所用的LED屏也只是常规屏。这表明,大家对XR的认知不足。
LED显示在XR应用中的乱象:
1. 用三块租赁P3.9的屏,放墙角一搭,跟配套的其他租用视频媒体服务器设备接在一起,然后就成了XR;
2. 用固装P2.5屏,搭上几块,再搞些媒体服务器,成了XR ;
由于RGB排列导致不同视角时接收到的RGB光强度不一样,从而出现不同角度看到的颜色不一致,出现细节丢失,出现轮廓线和色带的问题;显示的颜色不精准,存在偏色,如显示的人脸偏红等,导致后期制作投入大;显示画面的对比度不足,导致拍摄景深不足等问题。
那XR应用需要什么样的LED屏?
在现在,要有效地提升画质,拍摄的内容的质量也是很关键的。不得不聊聊HDR了。因为HDR就是为了还原真实世界而存在的。
Nova是行业内第一家支持HDR显示的公司,并且我们不仅支持了HDR10,还支持了广泛应用于广电领域的HLG,得到许多欧美客户的青睐。像欧洲的LONG公司就是使用的我们的HDR解决方案。
XR对LED屏的基础要求:
1. 拍摄无扫描线;
保证屏体的视觉刷新率要高,以保证摄像机拍不到扫描线;
屏体设计:低扫数,静态显示最佳,诺瓦建议不要超过8S;
控制系统:配合IC保证低灰刷新率够高;支持genlock,能使显示屏与视频源和摄像机保持同步;
2. 保证屏体灰度级数要够高,色彩控制更精准;
屏体设计:选用的RGB灯珠能覆盖客户使用的色域范围;设计的屏体没有耦合(屏体设计和IC选用),白对黑的耦合,黑对白的耦合以及跨板耦合等。
控制系统:配合IC保证提升屏体的灰度级数; 能对屏体进行标定:校准屏体0~255的亮度符合EOTF曲线;校准屏体的色彩准确度,保证δE<4 。
3. 任意视角显示色彩一致
保证RGB芯片间距足小。屏体设计:选用更小尺寸的LED芯片;面罩进行特殊设计.
控制系统: 在出现问题时,能快速调节RGB的配比保证,一些机位显示色彩正常。
XR对LED屏更高的需求:
8K、HDR、HFR 120Hz/144Hz/240Hz、精准色彩、10bit/12bit、超低延迟
三、解决方案
在控制系统端,诺瓦可提供如下解决方案:
1.方案架构
VMP+MX40 Pro+A10s Pro
诺瓦科技xR沉浸式解决方案
xR沉浸式解决方案,聚焦xR显示应用场景,精准还原画面真实色彩、保留图像细节,搭载高帧频、相位调节,倍频等处理技术,解决xR拍摄动态过程中,由于显示屏刷新不足,由之而来的扫描线、黑场问题。同时搭载画质引擎技术,进一步增强显示画质,让LED显示屏重获新生,打造至臻xR解决方案。
2.方案特点
小间距技术发展的突飞猛进,LED显示画质被寄予了越来越高的期待,尤其在影视拍摄、xR等高端显示应用领域。
画质引擎&动态引擎
全新MX系列控制系统搭载诺瓦全新一代画质引擎和动态引擎,全方位提升LED屏显示画质,打造身临其境的沉浸式观感,为xR场景拍摄提供充分保障。
VMP
Vision、Management,、Platform ——诺瓦全新LED显示操控平台,集设计,调试,监控,管理于一身。全流程工作平台,工作质量和效率兼顾,解放想象力限制,每个人都可以是显示屏的设计师。
多视角实时颜色调节
为了彻底解决由于摄像视角变化,产生的偏色问题。在VMP + MX40 Pro + A10s Pro的基础上,给出了实时颜色调节的解决方案。
VMP操作平台,先将摄像机固定视角的屏体颜色信息进行调节预存,Genlock 信号连接摄像机或 Genlock信号发生器;当摄像机运动到此固定视角后,实时调取预存的信息,数据实时下发,保证从该视角捕捉到的画面颜色信息准确。另外,实时颜色调节可以满足多机位同一时间,同时拍摄,解决多机位不同角度画面颜色偏色问题。
倍频 + 插帧
倍频,可让LED显示屏适配更多的摄像机快门角度,使得显示屏刷新时间与摄像机快门时间保持一致,去除黑场,扫描线,从而为摄像机拍摄显示屏提供更灵活地选择。
插帧,原理和倍频一致。只不过倍入的帧频为不同视频源画面。可使得多台摄像机,和控制器通过Genlock连接后,与其分别对应要拍摄的视频素材帧频率,进行相位偏移后同步。以保证每个摄像机可以完美捕捉到各自对应的视频素材 背景,从而在同一时间线上,同一场景,对不同内容的素材进行输出。成本节省,一劳永逸。
相位调节
当摄像机曝光时间和LED刷新时间通过倍频功能调节一致后,开启相位调节,调整使摄像机
拍摄频率和显示屏刷新频率保持同步,从而有效解决丢灰、增色,扫描线、黑线的问题。
Shutter sync
MX40 Pro 可通过Shutter Sync同步摄像机快门速度,使显示屏自动调节适配摄像机曝光时间和频率,再结合相位偏移,有效解决扫描线,黑场问题。
支持高帧频输入
控制器最高支持达144HZ输入帧频,保证拍摄高速运动物体时,能减少画面残影、拖影等问题;
HDR高动态范围显示
支持HDR高动态显示,屏体颜色、亮暗部细节得到精确还原,为拍摄现场创建生动场景;
超低延迟
系统延迟最低可达1帧,现场拍摄衔接更流畅。
五、 项目案例
加拿大影视技术制作公司JOEL LAW MEDIA与Promosa联合打造,使用NovaStar专业XR显示控制解决方案。
相关资讯
- 公司大厅通常会用哪些LED显示屏?2024-09-06
- 2024年Min LED电视将超OLED,距离真正成为主流电2024-05-30
- 数字人与LED显示屏高效协同,塑造未来互动体2024-05-30
- LED显示屏防潮指南2024-04-30
- 以品质树标杆,视爵光旭荣获深圳标准认证2024-04-30