阿里云AI新品“通义听悟”开放公测:自动提取PPT和做笔记,已嵌入多个应用

作者 | 邓咏仪
编辑 | 苏建勋
随着AI大模型技术落地,AI应用正如雨后春笋般不断出现 。
6月1日 , 阿里云宣布通义大模型新进展 , AI音视频新品“通义听悟”正式上线 , 并且正式开启公测 。
通义听悟是基于阿里云通义千问大模型开发的AI应用,主要针对音视频内容进行转写、检索、摘要和整理,比如用大模型自动做笔记、整理访谈、提取PPT等 。
事实上,通义听悟的前身是阿里云内部一个名为“听悟”的产品,主要功能包括实时会议、音频转写功能,“听悟”自2022年年底就开始小范围内测 。

阿里云AI新品“通义听悟”开放公测:自动提取PPT和做笔记,已嵌入多个应用

【阿里云AI新品“通义听悟”开放公测:自动提取PPT和做笔记,已嵌入多个应用】通义听悟
不同于传统的实时会议速记转写,如今面向C端提供视频转写服务的应用尚在少数 。而如今的通义听悟,则从纯粹的音频转写,延伸到了音视频领域,融合了十多项AI新功能 。
阿里云智能CTO周靖人表示,听悟集成了阿里最先进的语音和语言技术,比如 , 阿里新一代工业级语音识别模型——其识别准确率在多个权威中文数据集上名列第一 。融合自研语音语义多模态说话人算法后,听悟能对10人以上说话场景进行角色区分 。如今有了通义千问大模型的能力,听悟也能够对上万字的音视频内容进行摘要总结 。
在听悟中,用户可以将视频/音频上传 , 完成录音转写 。根据36氪的体验,在音频转写速度上 , 听悟的处理速度不错——对1-2小时的音频,听悟一般在数分钟内就能转写完毕 。
音频转写完毕后 , 听悟还能够做到中英对照翻译,还能够一键总结会议要点,划分章节、区分不同发言人的观点、整理待办事项等等 。
根据阿里云,通义听悟未来还有更多基于大模型的功能上线 。比如,对视频中出现的PPT , AI能够基于通义千问大模型做到一键提取,而用户也能向AI助手针对多个音视频内容进行提问、让听悟概括特定段落等等 。
值得注意的是,听悟目前针对一些细分场景中提供了不同的部署形态,如浏览器插件 。在Chrome安装听悟插件后,听悟在无字幕视频中就可以实时生成双语悬浮字幕 。二转写结果可下载为字幕文件,方便新媒体从业者视频后期制作 。
阿里云AI新品“通义听悟”开放公测:自动提取PPT和做笔记,已嵌入多个应用

通义千问Chrome插件示意图 , 近期该功能将上线
在会上,阿里云也介绍了几个已经落地的应用场景 。
比如,在阿里云盘中,用户可以一键转写云盘中的文件 , 在云盘内在线播放视频时,能够实时生成字幕 。
而钉钉的在线会议模块“钉闪记”,同样集成了听悟 。在会议结束后 , 钉闪记所能够输出的也不再是纯粹的速记,而是包含重点摘要的完整文档 , 可以有效地提升公司内部工作效率 。甚至,在开会时,AI可以代为记录会议、整理要点 。
听悟会以个人版和企业版两种形式提供服务 , 未来一段时间就将在夸克APP、阿里云盘等端口提供服务 。据阿里云,听悟企业版当前已在阿里集团内部被广泛使用 , 帮助减少了大量会议记录和整理的工作 。
在定价上 , 听悟也跟随阿里云近期的大降价策略 。在公测期间,用户可领取100小时以上听悟免费转写时长 。听悟用户可通过每日登陆、官方微博、微信及各大平台社区领取口令码 , 用户的福利权益可累积,一年内有效 。
从通义听悟的发布可以看出,国内大模型厂商除了在底层大模型上快马加鞭外 , 应用层也不能落下——AI对音视频转写、内容理解等功能“加buff”,某种程度上也是AI将各种通用能力“再做一遍” 。通过这些能力,厂商们覆盖开会、上课、培训、面试等场景 , 嵌入到不同的软件当中,才能挖掘更大的商业机遇 。

相关经验推荐