内容详情
围绕文章主旨、阅读节奏与信息层次进行优化,让读者进入正文前就能快速理解主题重心与阅读价值。
又又又又是中国模型:Hugging Face语音识别和翻译,两个榜一
Hugging Face今年3月出的报告里,过去一年的模型下载,中国占了41%,美国是36.5%;Artificial Analysis的开源权重模型榜,前六名全是中国实验室;OpenRouter上按token量排,前五名里有四个是中国模型。 AI时代,中国大模型公司的开源文化整得风生水起,跟海对面以闭源为主的生态形成了典型的对比。 这几组数是我前几天做开源模型研究的时候查的,然后呢,查着查着,发现个意料之外的发现。前几天Hugging Face上语言相关模型分类下的两个趋势榜第一:Confucius4-R2T2在自动语音识别,Confucius4-T3PO在翻译。 Hugging Face上现在挂着300多万个模型,光自动语音识别这一个分类就有3.6万多个,翻译也有1.7万多个,趋势榜排的是最近这段时间谁最热。R2T2做实时语音识别,放上去才两个礼拜左右,算是最近被追得最热的实时语音模型了。 另一个T3PO是做实时翻译的,在翻译分类也还挂在第一。 我前几天做研究的时候,盯的几乎全是通用大模型,比谁更聪明、谁被调用得更多。这回两个第一落在语音识别和翻译上,写稿的时候,翻译分类趋势榜的前十里有一半是中国公司放出来的模型。中国的开源模型,已经从通用大模型一路铺到了语音、翻译这些更细的方向上了。 说实话,我对网易有道的印象,大概还停在有道词典、词典笔那儿。然后呢,我点进它在Hugging Face上的主页往前翻了翻,才发现它往上放模型已经放了两年多,前年是检索用的embedding和rerank模型,去年是推理和数学模型,今年5月、6月是多模态和语音合成,这个月是这两个,后面这几个名字里都带着Confucius,也就是有道2023年就发了的教育大模型「子曰」。没想到它做模型已经做了这么久。 这两个模型,一个管实时转写的时候哪几个字可以先定下来,一个管同传的时候哪半句话可以先开口翻译。我这两天把它俩的模型卡和源码翻了一遍,又拿自己的口播、苹果发布会、英伟达财报电话会的录音实际跑了一轮。 一、R2T2:出了的字,就不再改 你只要开过实时字幕,大概都见过这个画面:一句话还没说完,字幕先冒出几个字,过半秒被改掉,改完又变,一整行字在那跳。其实呢,模型是边听边猜的,猜错了就回头改,这种做法一般叫伪流式;不想让字跳,就只能等一句话说完再上屏,字是稳了,但慢了好几秒。 R2T2是Real Real-Time Transcription的缩写,是个真流式模型:每来一小段音频(80毫秒到2秒可调,默认160毫秒)就出字,没把握的字先不出,出了的字就是最终结果,之后不再改。拿我口播里的一句话来画,两种做法在屏幕上大概是这样的: 「有没有把握」这个判断是训出来的。有道自己设计了一套训练数据,有稳定前缀数据、强制时间对齐数据和词元级音频切分数据,再配合最长稳定前缀(Longest Stable Prefix,LSP)的学习范式,让模型自己判断什么时候可以把一段字定下来、什么时候还得再听一会儿,定下来的字再作为上下文喂回去,帮它判断后面的字。每来一段音频,它都会走一遍这个循环: 模型卡里有一组数:把基座模型直接按160毫秒一段、出了不许改的方式来跑,英文LibriSpeech clean的错误率是22.30%,中文会议场景是20.38%;R2T2在同样的条件下分别是2.13%和7.27%。有道在GitHub上还放了两张汇总图,是在一堆测试集上取的平均,上面一组是出了字就不改的真流式,下面一组是允许回改的伪流式,左边是错误率,右边是延迟: 中文这张,R2T2在160毫秒一段的设置下,质量优先档的错误率是6.42%,延迟优先档把平均延迟压到了0.32秒;英文那张分别是6.13%和0.21秒: 模型卡对这组结果的说法是,准确率接近离线识别,平均延迟在200到600毫秒之间。 二、T3PO:什么时候开口翻译 T3PO是个140亿参数级的纯文本模型,接在R2T2这种流式ASR后面,ASR每吐出一点英文,它就判断这时候要不要翻。 它的推理协议是这样的(我是让agent帮我读了半天推理代码才搞明白的):每次请求,把已经翻过的「原文¦译文」历史和当前还没翻的那截原文一起塞进去,模型输出空,就是WAIT,接着等;输出了文字就是TRANS,这一段定下来进历史,以后不再改。和R2T2一样,出去的字不收回。 我拿苹果9月发布会iPhone Duo那一段试了一下,按苹果官方的英文字幕一个词一个词往里喂: 「C2 also delivers faster」之后,它连着等了5次,一直等到「in the US」出来才开口,可能是因为中文得把「在美国」放到「增加了5G毫米波支持」前面,没听到地点这句话说不顺。然后它把「all while」先翻成「同时」丢了出去,没等后半句。这一段里的续航小时
推荐阅读
Search
热点新闻
王思雨领衔:3中锋5前锋4后卫!中国女篮12人名单,亚运三连冠稳了
3中锋5前锋4后卫!中国女篮12人名单有变,亚运三连冠还稳吗? 北京时间9月17日消息,中国女篮在结束柏林世界杯征程后,马不停蹄转入亚运会备战。刚刚,球队官宣了日本爱知名古屋亚运会12人名单,对比世界杯有2处调整:刘禹彤顶替韩旭,邓雨婷顶替受伤的李缘。最终12人构成为:中锋3人——张子宇、刘禹彤、陈明伶;前锋5人——贾赛琪、罗欣棫、孙宇、邓雨婷、唐子婷;后卫4人——陈玉婕、王思雨、张曼曼、杨舒予。
男篮输伊朗。赛后媒体:主教练失去了掌控。崔永熙:我不知说什么
9月20日,名古屋亚运会男篮铜牌争夺战,中国男篮以70比79不敌伊朗男篮,以第四名的成绩结束了本届亚运会的全部征程。这个排名创下了中国男篮亚运会历史第二差成绩,仅次于2014年仁川亚运会的第五名。 说实话,看完这场比赛,我坐在屏幕前沉默了很久。不是愤怒,是一种很深的无力感。 先看数据,因为这组数据本身就说明了很多问题。中国队全场三分球21投7中,命中率只有33%;而伊朗队三分球33投15中,命中率
明日秋分,这4种菜再贵也要买,隔天吃一次,润燥清肺,增免疫!
“ 春分秋分,阴阳均分 ”,秋分节气是秋季里的第四个节气,秋分这天是平分秋季,以及昼夜相等的一天,而秋分节气自从2018年以来,也被定为中国农民的丰收节,这个时节正是瓜果飘香,农民忙着秋收和庆祝丰收的时候。 秋分节气来临,早晚天气也会变得越来越凉,这个时节也到了人们需要好好养护身体,缓解秋燥和润肺的时节,而且秋分时节也正是各种秋季农副产品大量上市,大家也需要好好滋补身体,增强体质为深秋和初冬打基础
印度要在藏南修水坝,阿迪族人直接跟警察干起来了!真相让人愤怒
你敢信吗,印度占着咱们中国的藏南,还在那儿修大水电站捞好处,结果当地人直接掀桌子跟警察干起来了。这事闹得不藏南的水电潜力确实大,按印度自己估算超过5万兆瓦。印度政府还把2025到2035年定为“水电十年”,目标建33个项目,总装机容量接近2万兆瓦。现在印度非法行政当局已经在藏南修了好几座一千到几千兆瓦级的水电站,这次闹出事的上桑朗多用途工程,还被吹成“印度最大水电站”。 小,烧车砸议员住所都出来了
战友女儿出嫁我随6万,我儿子结婚他转61,5年后快递让我清醒。
那本硬壳纪念册是快递送来的,拆开的时候我还挺高兴,心说老秦这人总算办了件靠谱事。封面印着当年退伍时的合影,照片里他站我旁边,帽檐歪着,还是我伸手给他扶正的。可翻到中间某一页,我的手就停住了,茶杯搁在桌沿上,凉透了都没顾上喝一口。 这事得从头说。我跟 老秦是当兵时候的交情,我当班长,他新兵蛋子一个,被子叠得跟花卷似的,没少挨训。后来退伍各回各家,隔了几小时车程,但谁家有个难处都愿意跟对方念叨念叨。五