在今年北京冬奥会上,“看什么”可以交给观众自己决定,这套技术的名字叫做“自由视角观赛”。
2021年4月份,在国家体育馆冰球比赛的测试赛中,我们做了自由视点的测试。以这样一种技术向全球观众转播这个赛事的时候,观众可以自由地改变他的视点。他只要拿一个手机,用手指在屏幕上轻轻地滑动,就可以改变他观看的视角。
他可以随意地在这个场地“飞跃”,他可以拉近了看,可以换一个不同的角度看,也可以把时间凝固,在某一个瞬间的时候从不同的视角去观看。这样就能够给观众带来一个完全身临其境的观看体验。
由于全球疫情影响,2022年的北京冬奥会不面向境外观众售票,所以我们作为东道主不仅有责任让全世界观众“看得清”,更要“看得真”。
那世界各地的观众是如何坐在家、拿着手机就能沉浸在赛场中进行无死角观赛的呢?首先,我们要把精彩的比赛拍摄下来,而拍摄赛事的方法与科幻电影中子弹时间的拍摄方法类似。
比如这个场景:通过一个360度的慢镜头全方位展示侧身躲过子弹,这样的瞬间可以给观众带来非常震撼的体验。它拍摄的方式就是从多个角度同步来拍摄这样的一个画面,然后在后期制作的时候来切换镜头。
这种电影制作技术,实际上是需要后期大量的计算制作的。不仅是计算的成本非常高,同时制作的时间也相当长。一个10秒、20秒的画面,可能需要一个月甚至一年的时间来进行计算。
那么如何让这样的一个技术,从一个科幻电影的拍摄,也就是一个离线的长时间制作,来进入到我们一个需要实时计算、实时传输的体育赛事转播?这里面是有很多挑战。
首先是需要大量的相机来拍摄。举个例子,在一个舞台上,如果只有左边、右边两路信号来拍摄我,那这两个视频信号之间的转换是非常跳跃的,根本无法形成画面变换之间丝般顺滑的观看体验。
实现一个360度特别平滑的视觉效果,那几十台摄像机是不够的,这可能得上千台、甚至2000台摄像机来拍摄。怎么才能控制现场摄像机的数量呢?我们通过计算出1000多台摄像机拍摄的效果,发现2个机位之间插入30台摄像机机位视点即可,这些视点我们管它叫做虚拟摄像机,最后传到用户的画面,实际上是由实际的摄像机和虚拟的摄像机的画面整合得到的。
但同时又带来一个问题,如此巨大的视频阵列,如此多路的传输量,可能要调用大概1000台应急通讯车,才能把视频信号转播出去。
那怎么办?我们把视频的信号经过压缩,保留它最有价值的信息,再发送出去。另外,自由视点的信号最终要传送到我们的个人手机上,这需要拥有非常强的传输能力。恰好5G就提供了这样的能力。目前北京、延庆赛区的17处冬奥场馆及京张高铁、京礼高速沿线建成了上百个5G基站,这样覆盖度高、便捷性强的5G信号网,将有力保障赛事自由视角直播画面的传输速度和效率。
(作者系北京大学教授、前沿计算研究中心执行主任)