谷歌研究团队宣布 AudioPaLM:一个能说能听的大型语言模型
站长之家(ChinaZ.com) 6月25日消息:大型语言模型(LLMs)近几个月一直备受关注。作为人工智能领域最重要的进展之一,这些模型正在改变人机交互的方式。随着各行各业纷纷采用这些模型,它们成为人工智能在全球蔓延的最佳例证。
LLMs 在处理复杂交互和知识检索任务时表现出色,其中最著名的例子是由 OpenAI 开发的 ChatGPT 聊天机器人,它基于 GPT 3.5 和 GPT 4 的 Transformer 架构。除了文本生成外,还开发了像 CLIP(对比性语言图像预训练)这样的模型,用于图像生成,使得可以根据图像的内容生成文本。
(相关资料图)
为了在音频生成和理解方面取得进展,Google 的研究团队推出了 AudioPaLM,这是一个大型语言模型,可以处理语音理解和生成任务。AudioPaLM 结合了两个现有模型的优势,即 PaLM-2 模型和 AudioLM 模型,以产生一个统一的多模态架构,能够处理和生成文本和语音。这使得 AudioPaLM 可以处理各种应用,从语音识别到语音转文字。
虽然 AudioLM 在保持诸如说话者身份和语气信息方面表现出色,而以文本为基础的语言模型 PaLM-2 则专注于特定于文本的语言知识。通过结合这两个模型,AudioPaLM 利用了 PaLM-2 的语言专业知识和 AudioLM 的附加语言信息保存能力,从而更全面地理解和生成文本和语音。
AudioPaLM 使用一个联合词汇表,可以使用有限数量的离散标记表示语音和文本。将这个联合词汇表与标记化的任务描述相结合,可以在各种声音和基于文本的任务上训练单个解码器模型。传统上需要单独模型来处理的语音识别、文本转语音合成和语音到语音翻译等任务现在可以统一到一个架构和训练过程中。
经过评估,AudioPaLM 在语音翻译方面的表现明显优于现有系统。它展示了对语言组合执行零样本语音到文本翻译的能力,也就是说,它可以准确地将从未遇到过的语言的语音翻译成文本,为更广泛的语言支持开辟了可能性。
AudioPaLM 还可以基于简短的口语提示在语言之间进行声音转换,并能捕捉并重现不同语言中的独特声音,实现语音转换和适应。
团队提到的 AudioPaLM 主要贡献包括:
AudioPaLM 利用了文本预训练模型 PaLM 和 PaLM-2 的功能。
在自动语音翻译和语音到语音翻译基准测试中取得了最先进的结果,并在自动语音识别基准测试中具有竞争力的表现。
该模型通过语音转换来进行声音转换,超越了现有方法在语音质量和声音保留方面的表现。
AudioPaLM 通过使用未见过的语言组合进行自动语音翻译,展示了零样本功能。
总而言之,AudioPaLM 是一个统一的大型语言模型,通过利用基于文本的语言模型的能力和整合音频提示技术,可以同时处理语音和文本,成为 LLM 列表中强有力的补充。
AudioPaLM Hugging Face 页面:https://huggingface.co/papers/2306.12925
标签:
-
2023-01-28 15:09:18
生活知识 tvb破案的电视剧<
tvb破案的电视剧有以下(不完全统计):《刑事侦缉档案》系列、《鉴证实录》系列、《施公奇案》系列、《洗冤录》系列、《状王宋世杰》系列、
-
2022-10-14 15:31:34
让普惠金融回归“民生”,民生小微“四通”助力小微企业健康发展<
众所周知,小微企业融资难、融资贵一直以来都是一个世界性难题,发展壮大普惠金融市场也是一个全球性挑战。尽管我国已成为了数字普惠金融发
-
2022-02-07 14:57:45
奇迹!绝杀!女足亚洲杯逆转夺冠!<
刚刚,中国女足上演逆转绝杀奇迹!她们在亚洲杯决赛中3:2力克韩国队,时隔16年再夺亚洲杯冠军!
-
2022-02-07 14:57:45
中国政府与阿根廷共和国政府签署共建“一带一路”谅解备忘录<
新华社北京2月6日电(记者安蓓)国家发展改革委6日称,国家发展改革委主任何立峰与阿根廷外交、国际贸易和宗教事
-
2022-02-07 14:57:43
中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明(全文)<
新华社北京2月6日电中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明一、应中方邀请,阿根廷
-
2023-06-25 15:28:59
谷歌研究团队宣布 AudioPaLM:一个能说能听的大型语言模型
大型语言模型近几个月一直备受关注。作为人工智能领域最重要的进展之一
-
2023-06-25 14:56:22
端午节期间我国日均132.1万人次出入境
记者25日从国家移民管理局获悉,今年端午节期间全国边检机关共查验出入
-
2023-06-25 14:22:35
2023年台州玉环中学一共录取多少人?附表格|当前快讯
2023台州玉环中学录取人数玉环中学共录取456人,统一招生录取182人,按
-
2023-06-25 14:02:13
口服补液盐的功效与作用和不良反应_口服补液盐的功效与作用
1、条件分析:补液盐含有45mmol L钠、20mmol L钾、35mmol L氯、30mmol
-
2023-06-25 13:02:07
关于美好的文案|世界新视野
好的文案1、有的路,是脚去走。有的路,要心去走。绊住脚的,通常不是
-
2023-06-25 12:42:16
今日最新!广东高考专科录取分数线多少2023
广东高考专科录取分数线多少2023普通类(历史):总分180分。普通类(
-
2023-06-25 11:59:13
京东白条一次性还款免息吗?白条分期必须在额度内吗?
1 京东白条一次性还款免息吗?目前京东白条的一次性还款不享受免息优惠
-
2023-06-25 11:20:49
时隔一年券商“白名单”更新 5家公司新进4家被调出-快播报
时隔一年,券商“白名单”迎来更新。6月21日晚间,证监会发布2023年6月
-
2023-06-25 10:59:59
波罗的海货运指数跌破1300美元/FEU,创2019年11月以来新低
钛媒体App6月25日消息,波罗的海货运指数(FBX)本周下降7%至1,297美元 F
-
2023-06-25 10:50:52
世界热讯:成都各区民办小学补录计划汇总2023(学校名单+人数)
成都各区民办小学补录计划汇总2023温江区:迪恩捷小学、王府学校、温江
-
2023-06-25 10:14:32
端午假期 国内旅游出游1.06亿人次
本报北京6月24日电 (记者王珂、郑海鸥、韩鑫)记者24日从文化和旅
-
2023-06-25 09:48:15
360手机卫士存电话号码_360手机卫士使用说明书:6手机充值话费 世界微动态
想必现在有很多小伙伴对于360手机卫士使用说明书:[6]手机充值话费方面
-
2023-06-25 09:17:44
每日观察!热门车讯售价或超20万 哈弗H8将于10月份上市
在我们的日常生活中,汽车的普及率是相当的高了。它已成为生活中必备的
-
2023-06-25 08:41:19
环球快报:普里戈任接受白俄缓和局势建议 其刑事立案将获撤销
新华社莫斯科6月24日电俄罗斯媒体当地时间24日晚报道,瓦格纳组织创始
-
2023-06-25 07:53:20
百度贴吧如何删帖_百度贴吧删帖的方式相关介绍简介
删除自己发布的帖子首先我们可以到百度贴吧--我的i贴吧--我的贴子下面
-
2023-06-25 06:37:05
佩斯科夫:将撤销对普里戈任的刑事立案-天天新视野
每经AI快讯,当地时间24日,俄罗斯总统新闻秘书佩斯科夫表示,针对瓦格
-
2023-06-25 05:44:01
世界最资讯丨俄媒:普里戈任与瓦格纳集团武装人员已全部从俄南部军区司令部撤离
来源:央视新闻客户端俄新社当地时间24日报道称,普里戈任与瓦格纳集团
-
2023-06-25 02:45:46
英雄联盟窗口化游戏崩溃-英雄联盟怎么窗口化游戏
1、英雄联盟可以在游戏的“设置“中解除窗口化等选项,具体步骤如下:
-
2023-06-25 00:51:43
m16螺栓重量计算公式_m16螺栓重量
1、M16六角头螺栓的外径为16mm,重量是0 1218kg 个。2、其具体尺寸如下
-
2023-06-24 22:13:27
端午假期,江苏接待国内游客超1880万人,实现旅游总收入突破190亿元 每日热讯
交汇点讯6月24日晚,记者从江苏省文化和旅游厅获悉,综合各方数据测算
-
2023-06-24 21:02:43
房屋居住权的法律问题 热资讯
房屋居住权的法律问题:房屋居住权的含义居住权,指居住权人对于他人所
-
2023-06-24 19:58:40
欠了还呗两天没还会不会上征信 每日视讯
网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信
-
2023-06-24 18:35:12
普京发表电视讲话说将采取果断行动稳定局势 世界独家
原标题:普京发表电视讲话说将采取果断行动稳定局势俄罗斯总统普京24日
-
2023-06-24 17:33:35
有机橘子_对于有机橘子简单介绍
1、有机橘子果实外皮肥厚,内藏瓤瓣,由汁泡和种子构成。2、有机橘子色
-
2023-06-24 16:45:42
打棉鞋教程视频全过程视频_打棉鞋|天天播资讯
1、38-39码的鞋子从10针开始,每种颜色加5针,直到35针结束。这是我加
-
2023-06-24 15:55:05
两轮平衡车控制原理(两轮平衡车怎么调平衡)
大家好,最近小红发现有诸多的小伙伴们对于两轮平衡车控制原理,两轮平
-
2023-06-24 14:41:23
环球信息:100的20%是多少怎么算(怎么算百分之多少)
1、55-15=40(55-40)÷40=37 5%。本文就为大家分享到这里,希望看了会喜欢。
-
2023-06-24 13:43:54
新房到手后一共几个证_收房时哪些证件都必须拿到手
导读:如果购房者购买的期房,那么在开发商达到交房条件后需要按照流程
-
2023-06-24 12:36:36
印度 Jio正洽谈筹集16亿美元购买诺基亚设备,为推出5G作准备 全球要闻
据彭博社6月23日报道,据知情人士透露,印度RelianceJio公司正在洽谈筹
-
2023-06-24 11:48:40
江苏省有几个机场_江苏9个机场分别是哪几个城市-环球即时看
江苏省面积约10万平方公里,有9个民航机场,平均约1万平方公里有一个机