20世纪六七十年代,随着无线电技术的发展,收音机实现量产,它像一个有魔力的小匣子,传出各种新闻、相声、戏曲,是当时人们娱乐的主要方式;20世纪八十年代,从电子管、晶体管到集成电路,随着技术的成熟,电视机成为那个时代的奢侈品;20世纪九十年代,随着互联网浪潮的爆发,电脑逐步进入大众视野,这个可以搜索任何你想看的机器,直到21世纪初期,变成了不可缺少的家庭工作标配;随着移动互联网的兴起,人类生活节奏的加快,观看短视频成了人类娱乐的一大爱好。从听到看,从黑白到彩色,从PC到手机,科技改变着人类的生活,推动着时代的进步。


2016年3月,AlphaGo与围棋世界冠军、职业九段棋手李世石的这场人机大战,以4:1 的比分震惊行业内外,随即人工智能的话题再次被推向高潮。在5G技术的加持下,5G+AI应用场景亟需深度挖掘,中国移动咪咕公司抓住机遇,创新AI技术,引领体育赛事直播进入“秒剪”、“秒看”时代。


独树一帜:这群“有趣”的疯子


咪咕用四年的时间践行誓言,用亮眼成绩证明了自己。爱拼的灵魂相遇,上至领导以创业者的心态做事,下至员工结伴相看凌晨夜空的浪漫;创新的灵魂相遇,咪咕衍生品的不断拓展,得到业界肯定;死磕的灵魂相遇,产品要做就要精品至上,技术要用就要精益求精。是的,有趣的灵魂终将相遇。


咪咕依托本公司自有业务,将5G+真4K、AI技术进行深入专研,已实现数场商业化应用。5G+真4K应用在各大体育赛事直播,刷新用户视听体验;AI直播剪辑官则秒剪更多精彩瞬间。


就是这样一群人,将技术创新与运营工作深度融合,在互联网的大潮中独树一帜。


每一帧都是艺术:AI剪辑惊艳亮相


2018年世界杯,AI直播剪辑官第一次出现在公众视野,就以成功秒剪“C罗进球”闪亮出击。随后它在中超、五大联赛、CBA、2019中国排球超级联赛的直播中多次经受考验。凭借着一双“3D 卷积神经网络眼睛”,AI直播剪辑官准确识别出赛场球员的进球、射门、角球、红牌、黄牌、庆祝等多种动作,剪辑一段时长1分钟以内的短视频只需要短短10秒。


在第十二届音乐盛典咪咕汇和咪咕次元盛典两场活动中,AI直播剪辑官用自己的“ResNet残差网络耳朵”和“VGG超深度网络情绪感知能力”,第一时间识别出歌曲与歌手,完成“秒剪”并实时感应、捕捉舞台上歌手互动的小表情,敏锐度堪比铁杆粉丝,两场活动剪辑短视频超过500条,并在网上广泛传播。


AI直播剪辑官创造了巨大便利,让观众更及时地看到各类精彩场景剪辑。


效率极致提升, AI剪辑完胜


传统的视频剪辑方式,针对每一场视频直播,最少需要配一个有经验的视频剪辑师进行实时监控,这不仅要求剪辑师投入非常高的专注度,还需要其能根据经验精准识别热点场景,稍不留神错过一个重要的镜头,就需要观看回放,这无形中增加了素材获取的时间。随后剪辑师还需要借助视频编辑工具,将视频素材与背景素材进行拼接,然后进行发布。


AI识别某个场景,比如进球等仅仅需要不到2s的时间,只是一眨眼的功夫,咪咕AI剪辑官却能精准识别,识别完成后,即可自动追踪到场景的起点,并随视频直播追踪到场景的终点,然后剪辑出来。


这意味这什么呢?假设从00:00:30发生了一次射门,整个场景持续时间为00:00:00 —— 00:01:00,如果是专业的人工剪辑师,需要在00:01:00后才能对视频进行回看、确认起始点、剪辑等工作,整个过程大概需要60s,也就是00:02:00这个短视频才会生成,而AI剪辑师,通过强大的识别、追踪能力,仅在00:01:02秒就会把视频剪辑完成。


咪咕还可以并发监控多场视频直播,秒剪输出视频成品,人工审核后便可一键发布。这意味着一人可以通过监控多场直播比赛,既大大减少了人员投入,又能精准输出精彩内容。


探秘,AI剪辑如何高效运转


所以究竟是什么样的技术能捕捉如此多样而复杂的场景,什么样的技术能够实现惊天秒剪?我们一起来揭秘。


1.png


第一OCR识别建模以及场景识别建模。首先是OCR球赛建模,为了让AI能够识别不同种类的比赛,比如足球、篮球、排球,首先需要对不同的球类比赛建立不同的球赛模型;其次是OCR赛事建模,同类比赛会有不同的赛事,比如足球的世界杯、欧洲杯、西甲等,对同种球类的比赛要建立不同的赛事模型;最后是场景建模,各类球赛会有不同的关键场景,比如足球的射门、进球、红牌,篮球的进球、扣篮等,对于不同球类的场景还需要建立不同的场景模型。当球赛、赛事、场景的模型建立完成后,机器就看得懂各类比赛了。同时,在比赛前将球赛的队员名称、球员号等人物关键信息同步给机器,这样机器就可以在比赛直播中自动实时识别各类球赛、球赛的关键场景以及关键人物。


第二AI监控和实时自动剪切。当机器“自己观看”比赛时,识别到关键场景,比如梅西射门了,它怎么找到进球这段影片的起始点并自动裁剪的呢?这时AI剪辑师的追踪功能就派上用场了。在直播过程中,每个场景的开始和结束,比如发生一次射门最开始直播的球队控球的广角长镜头,射门完成后的射门多角度回播,AI剪辑师会根据不同类型的场景扫描视频追踪到场景的开头和结尾,随后将这个场景的视频自动截取出来。


第三人工审核。此时,AI把成片剪辑完成并呈递给人类剪辑师了。剪辑师只要对AI呈递的视频进行审核,在有需要的情况下,增加水印、BGM背景音乐、对视频进行战术编辑等,就可以直接在互联网上发布资源了。


看似简单的流程,需要强大的AI大脑实时运转。它仍然在进行不同场景的深度学习,不断的自我训练,以期提供更高的精准度和视频输出效率。


结语


改变是内心的呐喊,创新是一群人的疯癫。从世界杯到中超、CBA、排超全明星赛,从体育赛事到音乐盛典,随着互联网体育垂直领域的深入,咪咕正在不断完善体育赛事版图。科技赋能,让娱乐更轻松,使运营更简单,中国移动咪咕初心不变,定能拥抱美好技术未来。

*专家文章为作者独立观点,不代表移动Labs立场. 转载此文章须经作者同意,并请附上出处(移动Labs)及本页链接。

0