今日实时汇率

1 美元(USD)=

7.297 人民币(CNY)

反向汇率:1 CNY = 0.1370 USD   更新时间:2025-04-21 08:02:31

大语言模型“百宝书”,一文缕清所有大模型

原文来源:夕小瑶科技说

最近,大型语言模型无疑是AI社区关注的焦点,各大科技公司和研究机构发布的大模型如同过江之鲫,层出不穷又眼花缭乱。

让笔者恍惚间似乎又回到了2020年国内大模型“军备竞赛”的元年,不过那时候大模型海量算力需求限制了这注定只是少数科技公司的赛场,如今用少量资源即可在基础模型上做指令微调、人类反馈以应用到某个垂直领域,LLMs领域当前呈现出‘吊诡’的繁荣,模型和数据集存储库Hugging Face中已经有近16000个文本生成模型,社区每周都会有数百个新的模型发布,Hugging Face从2022/12到2023/6的六个月内就新增了10万个模型,一方面投资者鼓吹落地,似乎新的范式已到,另一方面,各色研究机构生怕赶不上潮流,都试图在大模型领域留下自己的一个身位。

无论如何,舞台的聚光灯早已汇聚到大模型上,在这寸‘你方唱罢,我登场’的舞台上,笔者细捋一下大型语言模型的师承和脉络,略有偏颇,欢迎小伙伴在评论区留言补充~

github地址:https://github.com/WangHuiNEU/llm

大模型可以分为基座模型和在基座模型上进行指令微调、人类反馈对齐等instruction-tuning之后的微调模型。但实际上,正如艾伦研究所的文章‘How Far Can Camels Go?’所指明的:不同的指令微调数据集可以释放或者增强特定的能力,但并没有一个数据集或者组合可以在所有的评估中提供最佳性能,因此,我们需要一个更大强大的基座模型。

实际上,更简单的可以理解为,指令微调并不会为模型增加新的能力,基座模型本身奠定了应用的范畴,指令微调只是用极少量的数据快速激发出某个领域范畴的能力强弱。实际微调过一些大模型的小伙伴可能会对此感触颇深,因此,更加合理的大模型故事线是围绕基座模型。下面将针对Google系、Meta系、OpenAI系和其他科技公司的基座模型,和基于基座的一些微调模型进行详细展开。