压缩与非压缩 ——8K 电视制作构架的思考

超高清巨大的数据对传统的电视制作系统形成挑战,新 一代的超高清电视制播系统构架建设需要为未来电视制 作奠定基础。本文对超高清电视制播系统需求进行了分 析,介绍了标准、接口的演进以及质量评测,对JPEG XS 的功能特点和灵活性进行了说明,并结合实例对系 统应用进行了介绍

摘要

2018 年10 月1 日,中央广播电视总台开启了中国首个4K 超高清电视频道,2018 年12 月1 日,日本HNK 开通了首个8K 超高清电视频道。应对电视及平板终端拉动市场需求,提供更多超高清4K、8K的节目内容,是催生电视技术发展的源动力,超高清特别是8K 超高清巨大的数据对传统的电视制作系统形成挑战,新一代的超高清电视制播系统构架建设需要为这一切奠定基础。

一 需求

1. 数据量的挑战

随着4K/8K、高帧速率和HDR 等新的成像技术的发展,对于任何应用程序,如:AV over IP、生产工作流、双向广播、远程协作、KVM、IP 视频路由或其他时间精确广播,我们需要管理、存储和传输更多像素。SMPTE ST2110 同时支持未压缩和压缩视频。对于非压缩的视频要素,需要10GbE 的高清工作流、25GbE 的4K 工作流,以及未来100GbE 以上的8K 工作流。目前,许多用户都在努力以3Gbps 的速度将基础设施从1080i 升级到1080p;以50fps、4:2:2和10bit 的速度处理4K 视频更具挑战性。在8K 即将到来之际,必须找到一个经得起未来考验的解决方案。

图片.png

图片.png

图片.png

图片.png

图片.png

2. IP 接口的期望和问题

将IP 接口引入生产系统正成为当下潮流,具有以下潜力:

◆使用高速IP 设备减少电缆数量;

◆使用网络集线器简化系统设置;

◆利用交互式通信功能实现同步和中央系统管理;

◆与远程生产系统具有良好的亲和力;

◆降低系统成本。

其中,大多数广播公司所期待的似乎是通过引入最初为消费者开发的设备来降低成本。由于在非屏蔽双绞线(UTP)中十分实用的10GbE 已经变得流行,因此4K UHD 接口的一些解决方案采用轻量级压缩技术的单根电缆。然而,在考虑8K UHD 时,即使使用轻压缩技术,我们也必须捆绑其中的四根电缆或引入更高速的接口,或者使用100G 甚至400G 的接口。如上所述,引入单电缆每流传输是有效的,但如果高速IP 接口的每比特率成本不低于SDI,则反而有些得不偿失。这使得压缩更加重要。另一方面,对于处理各种设备以适应各种程序的广播者来说,重要的是不同的制造商能够允许设备之间的通信。在SMPTE,他们讨论了统一的可互操作IP 接口(SMPTEST 2110),最终的结果也将成为未来向IP 接口全面过渡的先决条件。

二 标准与接口的演进

1. 关于浅压缩的历史

首先,介绍一些关于夹层压缩的背景知识。浅压缩又称夹层压缩,被定义为一种视频压缩级别,它可以降低视频比特率(带宽),以便在不太激进的情况下适合专业的录像带或存储设备,从而保持视频的整体质量。通常,夹层压缩比为2:1 到8:1。各种数字录像带格式采用夹层压缩:D5-HD(4:1)、HD CAM(2:1)、DVC Pro(5:1)、HD CAM SR(3:1)、DigiBetacam(8:1)。

夹层压缩的关键参数是:

◆支持10 位深度(或更高);

◆ 4:2:0/4:2:2/4:4:4 色度分辨率;

◆帧内编码;

◆多通道的最小退化;

◆ HD 和UHDTV 格式支持。

目前IP 互连的传输带宽为10Gbps,可承载多达3 个未压缩的HD 信号,但不足以承载一个UHDTV信号。IP 上的夹层压缩有多种实现:来自Evertz 的JPEG 2K、来自INtoPX XS、索尼LLVC、苹果的ProRes,还有NDI。

前三种是基于小波的,而ProRes 和NDI 基于DCT。Evertz EXE-VSR 路由系统中使用的JPEG2000基于ISO 标准,支持多种分辨率和格式,包括HD和4K。索尼公司的低延迟视频压缩(LLVC)已经在SMPTE RDD34 中得到了证明。利用小波压缩和基于行的熵编码,LLVC 通过基于行的封装来实现低延迟。JPEG-XS 是TICO 编解码器(SMPTE RDD35)的一个演变,它本身基于JPEG2000,现在广泛接受使用SMPTE 2110 在IP 工作流上传输视频。JPEG-XS 是开源的,它违背了历史上编解码器发展的脉络,它的压缩比为6:1,实际上低于标准的JPEG(10:1)。

TICO 背后的比利时公司IntoPix 帮助设计了JPEG XS。旨在解决需要低复杂度和低延迟的应用,但可以使用相当高的带宽,例如,UHD 大约为2Gbps,而未压缩为12Gbps。

JPEG-XS 是一种帧内编码技术。也就是说,不执行时间预测。这导致比特率效率比压缩标准(如AVC 和HEVC)低得多,但反过来又提供了极低的延迟。潜在的专业应用可对应延迟很关键但仍有高带宽连接的实例,包括演播室、远程制作和其他。它适用于4K 和8K,特别是用于生产和编辑(包括实时和基于文件的),当高图像质量的数据必须通过有限的带宽传输或必须用有限的计算资源进行处理时,该编解码器经过优化,可用于夹层(非常轻量)压缩。一般来说帧内编码、超低延时、CBR 是夹层压缩的典型特点。而用于分发的CODEC 则更强调高压缩比,如HEVC。

图片.png

伴随着UHDTV 的发展,新的国际标准不断涌现。不论是以太网还是SDI,接口速度一直在突飞猛进。如图3 所列SDI 已经达到12G 即ST 2082。据悉ST2083-24G SDI 也在制定当中,还有目前尚未形成标准的USDI。以太网方面从正在从10G 迈向100G。虽然上述标准是必要的,但关键问题是互操作性。是否会使用多个夹层方法,从而需要多个许可证和实现?或者这些方法中的一种会成为主导方法并成为事实上的标准?此外,这些压缩标准是否适用于存储和NLE 应用?

2. 标准的演进

网络媒体联合工作组(The Joint Taskforce onNetworked Media,JT- NM)在IP 技术标准化发展的过程中起到了关键性的作用。JT-NM 由四个组织构成:电影和电视工程师协会(SMPTE),高级媒体工作流协会(AMWA),视频服务论坛(VSF)和欧洲广播联盟(EBU)。

图片.png

从2007 年SMPTE ST-2022 系列标准发布,SMTE ST-2110 的标准推出也有一段时间了。2017 年11 月27 日发布ST-2110-10“同步和定义”,ST-2110-20,ST-2110-30 非压缩视频和音频,ST-2110-21《视频的流量整形和传输定时》,可以说20-21 是对SMPTE-2022-6 的改进。

2018年发布ST-2110-31《AES3音频的无缝传输》,ST-2110-40 元数据传输规定了IETF RFC 8331 标准中引用的SMPTE ST-291-1 元数据传输要求。

2019 年NAB IP showcase 介绍了标准中增加的新元素ST-2110-22,压缩视频,ST-2110-23,单个视频精华拆分到多流传输。

ST 2110-20 的非压缩标准在4KUHD 应用较多,为简化不同系统设备间的互联互通起到了一定的作用。新的压缩技术也是没有停歇,在有限的带宽上轻松管理更多像素,保护延迟并保证所有的像素完美品质。从SMPTE 标准ST 2022-1、2、3、4, 到新的SMPTE ST2110-22。压缩codec 与ST2110-22 部分结合用于压缩视频,也有助于准确地解决这些问题。

图片.png

下面着重看介绍一下标准的演进ST2110-22 要求:

ST-2110-22 文件结构:恒定比特率压缩视频-定义CBR 压缩视频的有效载荷格式以及各种有效载荷格式(编解码器)的SMPTE 注册表。

指定恒定比特率压缩视频格式的有效负载格式:

◆独立于光栅大小:>32K×32K 像素;

◆颜色采样:4:1:1 到4:4:4+;

◆取样深度:8 位~16 位+;

◆帧速率:23.98 fps~120 fps+;

◆支持HDR 4 PQ 和HLG;

◆恒定比特率:未定义特定的编解码器/ 压缩技术。

在SMPTE 注册表中注册/ 可枚举的编解码器,有VC2、J2K、LLVC、TICO 等。

经呼吁制定新的国际标准,JPEG XS(XS=XtraSmall Xtra Speed)作为提案出现在标委会评估行列。其主要进程如下:

◆ 2016:征集建议书,结合AIMS、SMPTE 和VSF 的一种新的低延迟轻量级图像编码系统;

◆ 2017:TICO 在6 个国际提案中被选为基线;

◆ 2018:协作工作。标准进入投票和发布阶段;

◆ 2019:JPEG-XS 开始使用! IBC 首次采用/交付的产品。

其主要指标如下:

◆视觉无损;

◆开放规范和互操作性;

◆无延迟;

◆恒定质量;

◆可扩展性;

◆支持多平台;

◆低复杂性;

◆严格的ISO 质量评估。

图片.png

三 质量评测

1. NHK 组织的TICO 视频质量评估

2016 年8 月1 日UHDTV-2 测试广播在日本开始使用,而NHK 则从里约奥运会开始制作和播放各种节目,也生产开发了许多设备,如摄像机,转播车,编辑系统等。但是,由于有大量UHDTV-2 视频数据,必须增加电缆数量,以实时连接所有设备。该因素也增加了设备尺寸和设施设置的复杂性。NHK 认为数据压缩技术是减少电缆数量的有效方法,

为了定量评估UHDTV-2 TICO 编解码器的质量,NHK 使用可用的图像评估设备测量原始图像的恢复图像的PSNR。对于原始图像,使用了日本图像信息和电视工程师协会/ 无线电工业和商业协会(ARIB)标准运动图像序列。通常,如果原始图像的恢复图像的PSNR 超过40dB,则将其分类为视觉无损,这是人眼无法区分的损失。UHDTV-2 TICO的性能在所有序列中都超过了这一值,其中大多数序列的质量大约为50 dB。

NHK 还检查了使用UHDTV-2 TICO 进行多次编码的性能。确认第二次编码的PSNR 几乎与第一次的PSNR 相同,如表3。

图片.png

Vico8 是日本公司与TICO 联合开发的编解码厂家,2020 年7 月,Village Island 宣布将联合INtoPix 升级原有TICO 到新的符合ST-2110 规范的JEPAG XS。

2. IntoPIX 的评测

IntoPIX 使用CGI、桌面和自然内容对其JPEGXS 以及其他公司的CODEC 进行了主、客观质量评价,评测结果显示JPEG XS 的PSNR 值普遍高于40dB,满足视觉无损压缩的要求。

图片.png

图片.png

图片.png

图片.png

四 JPEG XS 功能特点

1. 最小延迟

◆低至几微秒(低至1/10 毫秒)= 只有几条视频线;

◆最大响应能力(几微秒)- 非常适合任何延迟关键型应用;

◆ CBR(恒定比特率),可实现可靠的IP 视频传输。

2. 所有平台上的复杂性最小

◆为优化的CPU、GPU、FPGA 和ASIC 实现提供多个并行度;

◆低功耗、低逻辑的多个配置文件,硬件中无外部内存(FPGA、ASIC),以这种效率实现FPGA 的最小编解码器;

◆软件和速度优化(CPU、GPU)的最佳语法,比JPEG2000 ISO 标准快5 倍或以上;◆在成本、功耗和质量之间取得最佳平衡。

3. 灵活性

灵活性1:

◆支持多种视频格式,兼容未来的延展;◆支持多分辨率、多色度格式、多种颜色格式、多比特深度、HDR;

◆支持- 高清、4K、8K……以及16K×16K-4:4:4、4:2:2、4:2:0, 灰度-RGB,YUV,- 从8、10、12、14 到16 位。

灵活性2:

◆工作流程内的HD/4K/8K 下取样(即用于监控目的);

◆更低的CPU/GPU 解码要求(解码HD 的消耗比4K 和8K 更少);

◆部分提取以加快分析和检测;

◆可以内置1 至2 级缩小器和部分抽样HD。

4. 开放技术参数

JPEG XS 技术参数如表4。

图片.png

JPEG XS 可构建经济高效的ST2110 基础设施,如图8。

图片.png

五 系统应用举例

1. NHK 研制夹层压缩8K IP 传输远程制作

传统的直播节目制作过程如图10(a)所示。在现场节目制作中,大量的制作设备安装在移动到场馆场地的室外转播(OB)车上。现场操作人员进行视频和音频切换和混音来制作节目。然后将产生的节目元素作为SDI 信号发送到电视台,然后播出。

图片.png

图片.png

图10(b)是远程生产过程。对于远程制作,现场设置了一个小型车辆,其中仅包含传送节目材料的设备,在广播演播室进行制作。通过IP 网络传输节目素材,在远程进行节目制作,提高了制作效率。此工作流有两个要求:场馆现场的节目视频资料必须与广播演播室几乎实时、高质量地共享;节目制作所需的其他信号,如除视频和音频外的控制和通信,也必须在两个方向上交换。

压缩后的8K 发射机使用压缩率非常高的技术,例如高效视频编码(HEVC),它可以将8K 节目素材压缩到几百Mbps,并通过1 千兆以太网(1GbE)传输。可以弥补专用线路的高成本。但高压缩会导致图像质量下降和几秒钟的延迟,因此在场馆和演播室之间难以近实时地共享高质量的8K 视频材料。

图片.png

如图11 所示,夹层压缩8K IP 传输使得8K 节目素材能够在相对便宜的10GbE 线路上以高质量和低延迟传输,而不管传输距离如何。使用IP 线路还可以灵活地向两个方向发送信号。满足上述工作流的两个要求,使电视台的8K 直播制作比以前容易得多。

2. 非线性编辑测试应用

某国内非编厂家通过对于JPEG XS 的评测研究,基本认定其可以满足编辑制作要求,在相对带宽和存储占用较低的基础上,对于全幅8K 编辑的实时性能可以达到4 层。

◆ JPEG XS 的编码画面质量完全满足后期制作;

◆同等码率条件下与XAVC 编码画面质量基本相当;

◆平均PSNR,JPEG XS 略好于XAVC;

◆ PSNR 稳定性,XAVC 略好于JPEG XS。


3. 演播现场制作应用

以小规模的生产系统(三个摄像机讯道)为例。可以看到使用12G-SDI 和TICO 可以将电缆数量减少到1/6,矩阵切换器的交叉点减少到1/256。由于传统的视频制作切换器往往在其输入块处具有矩阵切换器,因此减少物理接口的数量对于最小化电缆的数量也是有效的。如果将来在外围设备(如摄像机,录像机播放器或监视器)中实施TICO 编解码器,则电缆数量将进一步减少。生产规模越大,紧凑型设计的优点越高,效果就越好,尤其是安装在尺寸或设备重量有限的系统中,例如安装在转播车内。

图片.png

2018 年,总台开办了首个国内4K 超高清电视频道,为了保证4K UHD 的品质,同时兼容原有主控3G 传输通道,央视首个4K 超高清演播室E16 采用了IP+TICO 压缩编码,完成了主系统的集成应用。

图片.png

六 小结

综合考量JPEG XS 的特性,可得出如下结论:

◆ XS 满足ST2110 的质量要求:CBR、延迟、质量、复杂性;

◆保留了迁移到IP 的现有优势:灵活性、可扩展性、无限制的可访问性;

◆减少带宽可以通过ST2110 实现:更高的像素速率、更多的流、更便宜的电缆。降低成本,减少存储,减少IP 数据包;

◆升级功能:简化远程生产和云迁移;

◆使其用户能够通过标准10Gb 以太网系统或单个12G 传输8K60P 视频-SDI 电缆。对于SDI,可以将UHD8K 压缩到12G 中传输;

◆完全标准化;

◆非常低的硬件复杂度,FPGA、CPU、GPU,总体上比较适合开发应用。

图片.png

当今超高清电视特别是8K 超高清带给观众超级享受的同时,也给电视制作系统数据的承载能力带来了巨大的压力和挑战。直接处理成非压缩固然直接,但便是采用进步很快的IP 构架, 非压缩8K、120P 数据可能需要400G的下一代交换机才能传得动,如果在技术进步同时考虑成本因素,采用浅压缩不失为一个办法。其实从标准上SMPTE ST2022-1,2,3,4 到ST-2110-22,非压缩选项也非一统天下,如前所述,RDD34-LLVC( 索尼)、RDD35-TICO、VC-2 到如今的ISO-2111 JPEG XS,当然前提是质量、性能和功能保证,开放、低成本,以及有待众多厂家和用户的支持,否则反会成为互联互通的障碍。对于JPEG XS 或许应该进一步提升其压缩质量,这或许会引申出一个新的话题“压缩格式之争”?

转载请注明来源:《现代电视技术》 作者:中央广播电视总台 崔建伟