衡宇 金磊 发自 凹非寺
量子位 | 公共号 QbitAI
就在适才,模天王小川的再降开源大模子又有了新措施——
百川智能,正式宣告130亿参数通用狂语言模子(Baichuan-13B-Base)。版本
而且民间对于此的开源可商可部评估是:
功能最强的中英文百亿参数目开源模子。
与此一起出道的收费署 ,尚有一个对于话模子Baichuan-13B-Chat,用即以及它的模天INT4/INT8两个量化版本。
但更紧张的再降一点是(划重点),残缺开源!版本收费可商用!开源可商可部
就在不久前的收费署6月15日,百川智能才适才宣告其第一款70亿参数目的用即中英口语语模子Baichuan-7B。
当时的模天版本便已经拿下多个天下威信Benchmark榜单同量级测试榜首;同样作为开源大模子,风闻清华北少数已经用上了。再降
仅仅时隔25天,版本更大、更强的版本再次袭来,不患上不说,王小川在技术上的措施是有够紧锣密鼓的了。
那末这次号称的“最强开源大模子”,详细展现又是奈何样呢 ?
多规模逾越ChatGPT
老例子,先摸棱两可地说一下Baichuan-13B的根基个“模”质料:
中英双语大模子,130亿参数,在1.4万亿token数据集上磨炼,残缺开源 、收费可商用。
1.4万亿ztoken这个磨炼数据量,逾越LLaMA-13B磨炼数据量的40% ,因此后开源的13B尺寸模子天下里,磨炼数据量最大的模子。
此外,Baichuan-13B高下文窗口长度为4096——这就不患上不提到其与7B版本残缺差距的编码方式 。
7B版本接管RoPE编码方式 ,而13B运用了ALiBi位置编码技术 ,后者可能处置长高下文窗口,致使可能判断逾越磨炼时期读取数据的高下文长度 ,从而更好地捉拿文本中高下文的相关性,让预料或者天生更精确。
作为一款中英文双语大模子 ,Baichuan-13B接管了相对于失调的中英文语料配比以及多语言对于齐语料,从而在中英两种语言上都有不俗展现 。
主流百亿参数13B开源模子benchmark下场
来看看Baichuan-13B在中文规模的测评下场。
在评测集C-EVAl上,Baichuan-13B在做作迷信 、医学 、艺术、数学等规模争先LLaMA-13B、Vicuna-13B划一尺寸的狂语言模子。
社会迷信以及人理迷信规模,水平比ChatGPT还要好上一点 。
英文规模的展现也算不错,能比同尺寸的其余开源模子,如LLaMA-13B 、Vicuna-13B都有更好的展现。
个别而言,非业余用户以及有详细需要的企业,对于有对于话功能的对于齐模子有更重的好奇心。
鉴于这个情景 ,百川智能这次在宣告与磨炼模子底座Baichuan-13B-Base的同时 ,还宣告了其对于话模子Baichuan-13B-Chat及其INT4/INT8两个量化版本。
来看看对于话模子的实际展现下场——
让它写个商品介绍邮件 ,它能写出酱婶儿的:
数据推理能耐若何?
也浅测了一番 :
至于互联网上太古或者起初盛行的种种梗,Baichuan-13B-Chat彷佛也没在怕的:
民间介绍,为了保障模子的纯挚度 ,Baichuan-13B-Base以及Baichuan-13B-Chat不针对于任何benchmark测试妨碍专项优化,具备更高的效力以及可定制性 。
为甚么要残缺开源、可商用 ?
正如咱们适才提到的,这次百川智能推出的Baichuan-13B-Base是对于学术钻研残缺凋谢。
不光如斯 ,所有开拓者均可经由邮件向百川智能恳求授权,在取患上民间商用允许后即可收费商用 。
而且据民间的说法,百川智能是为了飞腾运用的门槛 ,才同时开源了Baichuan-13B-Chat的INT8以及INT4两个量化版本。
这样一来 ,在近乎无损的情景下,即可能将模子部署在如3090等破费级显卡上。
想必良多小过错就要问了 ,百川智能为甚么要走这么一条路?
着实假如看下Meta在大模子上的开源之路 ,即可窥知一二 。
咱们都知道大模子在磨炼的老本极高 ,因此像OpenAI以及google两大科技巨头最后抉择的是闭源的“路数”,它们为的便因此此保障自己的优势 。
而Meta其后所推出的LLaMa则与之“背道而驰” ,但所迸收回来的后劲却是有目共睹——
快捷排汇大批开拓者 ,在LLaMa根基上迭代出了种种ChatGPT的替换品,致使在功能的展现上是可能坚持GPT-3.5的那种。
加之业界对于大模子未来睁开态势已经告竣为了一个共识:
相似安卓以及iOS ,将会是开源以及闭源共存的形态 。
因此,开源在大模子的睁开中未然成为一股不可或者缺的中松软力。
……
那末你对于王小川的新大模子 ,有何意见呢 ?
责任编纂:韦子蓉
2025-03-17 10:09
2025-03-17 09:57
2025-03-17 09:45
2025-03-17 09:16
2025-03-17 08:39
2025-03-17 08:32
2025-03-17 08:22
2025-03-17 08:18