5G+AI 技术在融媒体生产中的应用实践

本文通过分析5G 和AI 的技术特点,在广东广 播电视台全媒体新闻生产平台的基础上,提出 融合5G 和AI 技术优势,进行融媒体生产方面 的应用尝试与实践,搭建基于5G+AI 技术的 智能管理平台,开展5G+AI 媒体生产域与传 播域实践,探讨新技术提升新闻融合生产能力。

摘要

随着5G、AI、大数据和云计算等新技术的迅猛发展,各行业将自身业务与新技术进行深度结合的探索,逐渐发展成为行业信息化的新趋势。近期国家广电总局按照科技部关于开展国家重点研发计划“十四五”重大研发需求征集工作要求,会同相关专家制订了10 项广播电视和网络视听“十四五”重点研发需求,AI、大数据赫然在列。按照广电总局关于促进智慧广电发展的指导意见,加快智慧广电内容生产体系建设,加快大数据、云计算和人工智能等新技术在广播电视内容生产中的创新应用,进一步增强广播电视内容核心竞争力。广电突破传统业务惯性思维,升级业务架构,实现技术栈迭代更新,主动迎接融媒体时代的新浪潮,将是广电发展未来方向。目前,广东广播电视台在融媒体生产的基础上,积极尝试利用新技术辅助新闻生产、新媒体制作的应用实践,搭建了基于5G+AI 技术的智能管理平台,利用5G 相关技术进行超高清及高清节目信号直播和文件回传,同时结合AI 智能技术实时处理视音频内容,将人脸分析、语音识别、智能标签化等应用落地到实际生产服务中,为广东台融媒体业务赋能,实现快速内容生产和输出,大幅提升新闻生产效率,提高融媒体节目内容产能与质量等核心价值。

一 背景分析

5G 作为新一代的移动通信技术,不仅在速度,而且还在时延、可靠、功耗等多个方面有了全新的提升。国际标准化组织3GPP 定义了5G 的三大场景:增强型移动宽带(eMBB)、大连接物联网(mMTC)、低时延高可靠通信(uRLLC)。其中,eMBB 适用于VR/AR、超高清4K/8K 视频等大流量移动宽带业务,mMTC 适用于大规模物联网业务,URLLC 适用于如无人驾驶、工业自动化等需要低时延、高可靠连接的业务。相对于4G,5G 具有传输速率更快、连接数密度更大、时延更低等优势,还支持网络切片技术,提供VPN 专网服务保证带宽稳定。基于5G 的技术特点,必将带动信息产业进入高速发展阶段,整个产业链上下游的各个环节都将随之重构,对时效性要求极高的新闻生产业务来说,将起到革命性的推动作用。

人工智能是一门综合型学科,利用计算机模拟人的思维模式,近几年来出现井喷式发展,已经成为各行业炙手可热的话题,各行业对人工智能技术的落地应用需求也在不断扩大。就媒体行业而言,与人工智能的结合还处于探索阶段,随着人工智能产业在媒体行业的逐步推进,媒体行业将是为数不多的可以将人工智能成熟应用并落地的行业,让整个行业步入更智能化的时代。

当前,智慧广电和融合媒体,是行业发展的两大核心主题,随着相关新技术的成熟和规模化应用,“5G+AI”理念的应用趋势越来越明显,融媒体对5G+AI 技术有着强烈的需求,融合、智能、大数据正成为融媒体新时代的典型特征,广电媒体应该考虑如何将5G+AI 与融媒体技术结合起来,应用于融媒体生产和传播,利用5G+AI 技术完善融媒体生产业务流程、关键生产环节,提高媒体生产制作效率,提高节目内容质量,提升新闻融合生产力和传播力。

二 5G+AI 技术在融媒体生产方面的业务分析

1. 5G技术提供大带宽确保节目传输的流畅性、稳定性,实现高质量、不间断直播

4G 网络由于其带宽的限制,一直以来直播终端不得不采用多卡聚合绑定,才能勉强保证稳定的直播,但仍受环境干扰会出现画面卡顿的情况,一般仅用于短时间的视音频连线。5G 技术在NSA 阶段,首先实现的能力就是传输速度的大幅提升,峰值速率理论上最高要达到20Gbps,按现有商业运营5G 网络应用测速,速率上行能够稳定保持在50Mbps ~ 80Mbps,下行稳定在600Mbps ~900Mbps。因此,利用5G 技术,在单卡的情况下,就能够满足高清、4K 超高清的直播带宽需求,保障传输画面的流畅和稳定,并实现长时间高质量移动状态下的现场直播。

2. AI 技术融入媒体常态化业务流程,全面提升生产效率

在新闻采集、生产、分发等业务中,基于机器学习、深度学习等AI 技术,构建智能生产和分发流程。实现准确的语音识别、图像识别、语义识别,创新媒体制作、发布和传播,大幅度提升媒体生产力和传播力。对于5G 直播现场的实时视音频,应用AI 关键技术,实现实时收录智能标签、语音识别结合前场制作、关键词库结合内容管理等核心应用,为视频编辑快速提供智能辅助制作服务,大幅度提高新闻生产效率。

3. AI 技术助力融媒体内容管理,打造智能化资源库

随着电视媒体融合发展的大趋势,传统媒体资产管理的编目模式已经不能适应融媒体的海量数据检索的需要,开展AI 技术应用的研究,利用人工智能技术实现新闻媒体数据结构化,建设AI 智能化服务,提供智能标签、智能编目、智能拆条、智能检索与推荐、敏感人物识别等智能服务能力。利用AI 技术智能媒资平台实现新闻资料的结构化、标签化流程,为融媒体内容生产提供快速定位素材资料。

三 基于5G+AI 技术的融媒体生产平台系统设计

1. 系统架构设计

本系统设计主要是在现有全媒体新闻生产平台的基础上,增加基于5G+AI 技术的智能管理平台,提供5G 回传和直播新业务形态,应用AI 的视频结构化(对视频数据的识别和提取)和生物识别技术(语音识别、人脸识别等),实现对视频进行智能化处理,并与原来融媒体生产无缝链接,实现素材入库的智能收录拆条、智能标签化处理以及SRT 文本分析,快速提供融合多屏内容生产与发布。基于安全等保方面的考虑,整个系统部署在网络安全隔离区,确保内网系统的安全性。同时,根据业务需要,可以实现公有云服务调用,基于5G+AI 技术的智能管理平台采用分布式微服务(MSA)架构,如图1 所示。


image.png


image.png

平台由三层云架构组成:

IaaS 基础资源层:主要提供存储资源、计算资源、网络资源、5G 传输资源,为上层应用提供基础支撑服务,智能节点由高配插双GPU 的工作站组成。PaaS 层媒体服务层:主要提供分布式框架、负载均衡及高可用、数据库等基础后台服务,以及流程、数据管理引擎等,为上层SaaS 工具提供安全的后台环境;数据智能AI 引擎:主要由人脸识别、语音识别、字幕识别等相关引擎组成,结合机器学习技术,实现视频的综合识别和学习,智能语音识别引擎及字幕识别引擎,采用科大讯飞和百度公有云服务。

SaaS 应用工具层:主要提供转码、迁移等基础工具(依托PaaS 后台服务,在SaaS 层呈现使用),5G直播回传收录工具、资源出入库管理工具、内容管理工具等组成,为平台迁移、转码、收录、出入库和内容管理等综合应用提供操作工具。

2. 网络拓扑设计

由于系统需要调用公有云服务,基于安全考虑,整个系统部署在网络安全隔离区(DMZ 区),确保内网系统的安全性,如图2。

3. 业务流程设计

如图3 所示,上半部分为现有全媒体新闻生产平台,提供大小屏融合内容生产、播出和分发,下半部分为基于5G+AI 技术的智能管理平台,接入5G 系统进行直播和回传,为全媒体新闻生产平台提供智能化引擎和智能化内容管理。

5G 信号提供演播室直播和信号回传,可以同步进行收录采集,收录素材实时进行智能分析处理,通过智能语音识别引擎将语音转化为SRT 文件或TXT文件,融媒体生产用户根据大小屏生产需要,选择SRT 文件导入非编时间线编辑,以及利用TXT 文件进行文稿处理;对于记者外采上载的素材,可以将素材、纯音频或者低码视音频人工挑选后同时支持智能分析处理。同时,平台实现机器学习流程,实时直播录制素材自动入库到智能管理平台进行存储和后续分析,结合历史资料、人脸库资料、关键词库和敏感词库等,统一融入管理平台进行反复训练学习,智能引擎根据不同的业务场景,利用不同的算法,对素材进行结构化和标签化处理。

image.png

四 5G+AI 技术在融媒体生产中的媒体应用实践

广东广播电视台在全媒体新闻生产平台的基础上,搭建基于5G+AI 技术的智能管理平台,利用5G+AI 技术对融媒体新闻生产流程进行重构,打破传统先上载、再编辑的制作流程,5G 技术实现高质量边拍边传,前后方记者与编辑联动生产,改变了新闻生产流程,确保长时间高质量现场直播;AI 技术辅助文稿和视频编辑处理,大幅提升新闻生产时效性和生产效率;提供融媒体大小屏直播报道,后场同步进行融媒体内容碎片化生产,快捷生产出高质量的内容产品。

下面结合几个典型应用案例,介绍广东广播电视台在5G 直播回传、人脸分析、语音识别、智能标签化等方面开展的5G+AI 媒体应用实践。

1. 利用5G 进行大小屏联动直播、信源采集智能化处理、碎片化制作发布

此应用案例主要用于现场新闻直播报道,提供突发新闻、两会报道和重大新闻发布会等融媒体全网直播,同时需要在新媒体端同步进行碎片化制作发布。在2020 年广东省两会上,应用5G+AI 智能管理平台先后进行开幕式、委员通道、代表通道和记者会等5G 现场直播,同时进行智能收录、智能识别处理,同步进行融媒体内容的碎片化生产分发,丰富融媒体产品内容,大幅提高短视频生产效率。

自从打响疫情防控新闻报道以来,应用5G+AI智能管理平台,满足每天省市疫情防控新闻发布会、湖北前线记者直播报道,以及多次钟南山院士采访的实时直播共100 多场(至2020 年3 月18 日),最长直播时间达到150 分钟不间断,实现全程大小屏同步直播和信号回传,为触电新闻、各栏目公众号等新媒体提供碎片分发服务,最快能够在2 至5分钟完成短视频制作发布,据统计2 月份为疫情报道总计完成近2600 条碎片化短视频,为全方位报道抗击疫情动态、准确传递党和政府的声音、及时回应社会关切的新闻宣传工作提供了强有力的技术支持和安全保障。如图4 和图5。


image.png

image.png

2. 利用5G 实现外场高清视频边拍边传边采边编业务能力,全面提高新闻生产的时效性

传统新闻采编流程包括:由记者外采,返回台内送介质,介质上载,节目编辑制作、配字幕等环节。新闻报道具有时效性要求高的特点,特别是对时政类新闻报道,需要确保当天及时、安全和高质量播出。目前,对时效性要求高的新闻节目,都是采用移动制作设备,将高码素材快速简单编辑后合成低码文件,通过互联网进行文件回传,或者新闻外采完成立即赶回台上载编辑,这样时效性难以保证,画质也是有损的。

对于时效性要求较高、特别是针对时政节目要求外采新闻快速高质量回传,打破传统新闻外采流程方式,可以采用5G 网络具有高速度传输手段,实现高清视频素材边拍边回传,台内新闻生产平台同步进行现场视频信号采集,台内编辑人员可以实时进行新闻编辑制作,确保新闻生产的时效性。

在疫情报道期间(截至2020 年4 月1 日),先后完成120 多次此类新闻的实时回传制作播出。例如3 月20 日广东省援鄂医疗队返回专列到达广州南站时间为下午五点,南站离台距离远,记者无法回台制作,为了赶上六点半《广东新闻联播》播出,记者采用现场边拍边传,台内同步编辑完成,确保节目及时高质量的播出。

3. 记者利用智能语音分析引擎,实现智能文稿编辑,精确定位采访片段,大幅提高新闻生产效率

日常记者进行新闻采访报道,通常都有大量现场采访,传统业务流程一直是记者回台将素材上载之后,从头到尾播放,边听边进行采访稿件记录,导致新闻制作效率非常低。

目前广东广播电视台电视新闻中心应用5G+AI智能管理平台,记者上载的素材可以通过语音分析引擎,自动完成语音识别转文本流程,将采访语音智能分析生成TXT 文本,记者可以快速完成文稿编辑,同时为视频编辑提供SRT 文件进行图文字幕处理,快速准确进行采访片段定位,辅助记者全面提升新闻采访制作效率,工作效率比原来提高了5~10 倍。例如疫情期间的大量新闻发布会或专家访谈,以前要反复听取采访声音才能找到重点内容,采用智能语音识别后,能够快速找到所需使用的采访内容,如图6。


image.png

4. 通过智能引擎、融合推理引擎,对新闻内容资源进行智能化分析,实现智能编目及结构化

传统新闻资料管理以人工进行编目,编目质量差,工作效率低。应用5G+AI 智能管理平台对新闻素材进行智能化处理,通过调用融合推理引擎以及智能引擎,将一段完整的新闻进行结构化拆分(即将片头、每段故事进行结构化拆分),按照人脸、场景、地点等对节目进行智能化标引,采用人脸识别比对现有人脸库,将符合匹配的人脸进行标记,用户可在内容库中通过检索需要的标签,选中相关人脸片段、地点片段、时间片段等打点出库,完全实现无人工参与,全自动化智能处理。同时,应用智能化机器学习训练,在机器训练流程中形成独有的敏感词库和关键词库,能够有效应用于新闻内容管理,用户可按照片段、分类、关键词等方式进行精确检索,能够将敏感信息库和关键信息库中进行标签匹配,则在界面上显示出“敏感”“关键”字样,以作提示,提高新闻内容再利用的管理,如图7。


image.png

5. 应用智能分析处理流程,形成独有模型的新闻内容主题包,为融媒体生产提供快速检索相关资料集

传统资料只能通过标题或关键词进行检索,返回结果中混杂众多不需要内容素材,难以准确搜索相关内容素材。基于5G+AI 智能管理平台按照人脸、场景、地点进行识别标签化,生成相关新闻内容的主题包,可供后续传统专题编辑、新媒体生产快速检索使用。平台应用智能学习能力,将全国两会相关资料、历年两会资料、人脸库资料、关键词库等,导入智能平台进行分析,形成省两会和全国两会资料不同主题内容包,为两会新闻视频制作提供丰富的内容支撑服务,如图8。

image.png

五 总结与展望

在全媒体新闻生产平台的基础上,广东广播电视台搭建了基于5G+AI 技术的智能管理平台,在融媒体生产中进行了应用方面的初步尝试,经历过省两会、疫情等重大报道的实际考验,在新闻节目生产智能化改造方面积累了一定经验。实际应用中验证了通过5G 技术进行高质量的直播回传,同时实现智能分析技术对视频进行高效的标引,提高生产内容的编目检索效率。利用平台的先进性及开放性特点,为融媒体业务提供快速内容输出,并打造一个便捷、高效的内容生产管理支撑平台,提高工作效率和管理水平。基于5G+AI 技术的智能管理平台的应用还只是初步探索,需要进一步研究探讨5G、人工智能、大数据和云计算等新技术,以技术创新驱动业务创新,加快新技术在内容生产中的创新应用,早日实现智慧广电内容生产体系建设的目标。

转载请注明来源:《现代电视技术》 作者:广东广播电视台 李文伟