“视频+ABCD”技术战略应用实践 ——访索贝数码技术副总裁、媒体智能实验室总经理温序铭

在BIRTV2020 线上展举办期 间,BIRTV 官网和央视频同步播 出了本刊在中央广播电视总台的 采访直播间对成都索贝数码科技 股份有限公司技术副总裁、媒体 智能实验室总经理温序铭进行的 连线采访,本文将对采访内容进 行介绍。

摘要

杨斌:成都索贝数码科技股份有限公司作为广播电视设备行业国产化设备制造厂商,近一年整体技术发展战略是怎样的?

温序铭:索贝公司始终坚持以视频+A(AI)B(Blockchain)C(Cloud)D(Data)的技术战略,我们以AI智能平台助力“新基建”,以区块链赋能融合媒体运营,以索贝凌云搭建专业视频云平台,以大数据管理平台和自研融合数据库打造数字化中台。

图片.png

索贝公司视频技术重点应用在超高清领域,一直处于国内的领先地位,目前已经服务国内所有开展超高清建设的广电单位,包括中央广播电视总台、广东广播电视台、上海东方传媒集团有限公司(SMG) 等等。本次BIRTV 线上展期间,索贝公司将展示在超高清领域的全面领跑实力,超高清收录、超高清非编制作、专业转换器、在线制作、超高清频道播出等超高清产品家族悉数亮相。值得注意的是,今年索贝Editmax11 超高清非编全面革新高级颜色校正功能模块,能够独立完成超高清HDR 以及高/ 标清SDR 节目制作的校色工作,校色效果比肩业内一流校色软件水准。

杨斌:请您介绍一下索贝公司在云原生技术发展方面的重点应用。

温序铭:索贝公司从2015 年开始就一直对云原生技术方向跟进,2015 年我们在行业内推出了第一个具备云原生特性的媒体PaaS 平台, 该平台成功应用于央视新闻云、路透社,以及浙江蓝云为代表的部分省级融媒云平台。为了更好地为广电、媒体用户提供可运维、运营的媒体平台,索贝公司在实践中保持对云原生技术发展的持续跟踪。今年索贝公司深化云原生技术站的改造,在研发体系内部强化技术规范,优化微服务划分逻辑,推出了索贝公司在视频云战略以及在媒体云服务积累下形成的平台——凌云商城。通过深化专业媒体云服务能力,将云服务理念贯穿到媒体产品的每一个角落,专注于为网络媒体电台、电视台、自媒体等新媒体行业服务,致力于打造集视频采集、制作、发布、互动于一体的一站式SaaS 服务平台,实现专业媒体云服务即开即用,充分发挥云的集约化、高效、稳定、便捷等特点,目标是为媒体用户提供一个全方位、一体化的云服务平台,包括媒体的采集、制作、发布、互动等一系列应用场景。凌云商城的推出,验证了索贝公司在云原生技术上关键技术点的突破,特别是为融合媒体一省一平台这类用户提供更好的、高效的、稳定的技术基础。在BIRTV 前夕,凌云平台首期发布在线开通即用云服务,包含互动连线、云剪辑、直播拆条、智能服务、大数据处理、直播等服务,更多即开即用的视频云服务将陆续上线。

图片.png

杨斌:作为索贝公司媒体智能实验室的负责人,温总可否介绍一下索贝公司在AI 人工智能和大数据方面,技术发展动向和技术团队组建的过程?

温序铭:索贝公司媒体智能实验室主要覆盖了人工智能和大数据两个方面。大数据技术方面,索贝公司从行业数据治理需求出发,结合国家对自主可控软硬件设备的鼓励政策,自主研发了Vernox 融合型数据库和Ficus 大数据处理平台,依托这两种技术,构建了以自主研发的数据库和数据平台支撑的一个数据中台。这个产品不仅成功应用于智能媒资等广电行业产品和项目中,还借此跨出广电,涉足教育和医疗数据治理等领域。今年索贝公司还参与了广电总局区块链应用技术白皮书的编写,索贝公司同时也是最早把区块链技术应用到媒体业务场景中的广电公司。

AI 人工智能是索贝公司长期投入和关注度非常高的一个技术领域,也是媒体智能实验室最主要的技术方向。索贝公司坚持认为只有建立起面向用户价值场景的AI 应用实际能力,才能实现AI与媒体行业深层次的融合。事实上AI 有很多细分领域,媒体用户AI 应用的场景也非常多,而用户对每个环节AI 应用的效果期望也比较高,目前AI 应用的效果与用户的期望还有一定的差距。一开始索贝公司做AI 应用也是和其他厂商类似的想法,就是把一些通用的成熟的AI 能力,类似于人脸识别、语音识别等应用做一个集成,这个是不是就完成了AI 在媒体行业的应用落地呢?实际上,经过数年的实践、积累和学习,我们发现这种比较简单的拿来主义思想,在媒体行业应用中还是有比较大的局限性,通用的算法和我们的业务场景是有差距的,而且算法的训练数据和我们场景中遇到的一些数据也是有差距的,这样在算法能力上就产生了比较大的局限性。所以索贝公司在实际AI 应用方面,是要面向特定业务场景的AI 智能算法,这个过程不是一个简单的过程,我们通过对业务有一个充分的理解,通过业务模型的建立,才能提炼出哪些算法适合我们媒体的应用场景。我们再根据特定的算法要求来准备一些特定的数据,最后完成一个算法的训练、上线以及调优的过程。这个过程中,需要充分和用户进行沟通,才能充分发挥AI的作用,真正提高效率,满足用户的实际需求。

团队建设方面, 索贝公司2016 年创建了媒体智能实验室,并与上海交大、四川大学、鹏城实验室、科大讯飞等机构进行深入算法研究合作,开展AI 计算框架研发、面向应用场景的AI 算法、行业数据集积累等工作科研合作。实验室有超过30 名的算法工程师,包含了5 名博士、20 多个研究生,主要的开发方向是以计算机视觉、自然语言处理、语义支持、数据平台等。目前,媒体智能实验室和与合作伙伴一起共发表了超过10 篇SCI 论文,专利有10 多项。只有自建团队才有自主研发算法的可能,这也符合国家核心技术全面国产化、核心设备国产化的发展要求。

杨斌:请您分享一下过去一年中,索贝公司在体育节目中的AI 人工智能成功应用案例。

温序铭:索贝公司首次把AI人工智能技术投入使用,是和中央广播电视总台合作,在体育节目领域的应用。AI 技术首先应用于CBA 篮球比赛节目后期制作,我们首先希望获得的是领域的知识,就是怎么完成篮球比赛精彩集锦制作,通过与篮球赛事编辑大量的沟通,理解编辑制作思路,这是AI 人工智能要学习的,这个学习过程会变成最终AI 应用中整体逻辑的串联。充分对业务场景分析以后,就开始梳理需要的技术点,比如说在CBA 篮球比赛过程中有一些场地的数据,我们需要利用一些大数据技术来清洗和整理这些数据,形成我们需要的一些辅助编辑关键点。同时,在计算机视觉领域还需要一些AI 的算法,例如拿到一场比赛的时候,有很多比分的变化,各式各样的字幕标题板,这些是需要AI 智能识别,应用了OCR 文字识别技术。

图片.png

这不是一个通用的OCR 文字识别技术,因为它必须能够匹配现在CBA 篮球比赛的信息,做一些适配才能得到更好的应用效果,在这个过程中,通用的算法拿过来如果不做任何调优,实际上准确率是不高的。另一个计算机视觉技术就是行为识别,如果要知道在每一个24 秒以内到底什么时刻发生了我们关心的行为,比如说三分球、比如说扣篮、比如说抢断,可以用一些行为识别的技术来定位到这些时间点。有了这些时间点后,AI 人工智能应用结合篮球领域的知识,比如说是一支夺冠的球队、还是一支降级的球队,球员是一个普通的球员、还是一个外援或是一个国内知名的球员,AI 人工智能应用会选择一些知名度高的球员、精彩的比赛片段,编辑在制作完成的小片里,这些元素会支撑最后输出精彩集锦的内容。所以,AI 人工智能应用是把大数据技术、人工智能计算机视觉技术、具体领域知识图谱技术相结合的一个案例应用。体育赛事AI 人工智能的应用能够实现大幅提升体育赛事缩编效率、快速互联网发布的功能。索贝公司还在为东京奥运会上的应用做准备,力争更多AI 技术点的突破。

国庆阅兵盛典和2020 春晚进行时的应用,也是通过学习多机位的快速剪辑,以计算机视觉和直播制作领域知识的融合,加上节目的制作语言,最后输出我们需要的一个集锦短片,以此来完成AI 的应用场景落地。

转载请注明来源:《现代电视技术》 作者:中央广播电视总台 杨斌