华泰证券:开源模型发展达新里程碑 后续需关注国内大模型应用发展

华泰证券发布研报称,北京时间4月19日,Meta发布Llama 3,本次开源参数量为8B和70B的两个版本,未来数个月内还会推出其他版本,升级点包括多模态、多语言能力、更长的上下文窗口和更强的整体功能。Llama 3性能大幅超越前代Llama 2,在同等级模型中效果最优。Meta目前正在训练超过400B的版本,性能比肩GPT-4,但尚未决定是否开源。对于国内大模型,后续需要关注:1)Llama 3中文化促进国内AI垂类模型、大模型应用的性能提升;2)Llama 3中文化与国内闭源模型的竞争。

华泰证券主要观点如下:

模型效果:大幅超越前代Llama 2,同等级效果最优

Llama 3分为大中小三个版本,相比其他模型:小规模的8B模型效果比同类大小的模型Mistral 7B、Gemma 7B略好或基本持平;中等规模的70B模型效果比Gemini Pro 1.5、Claude 3 Sonnet略好或相当,并超过GPT-3.5;最大的400B模型仍在训练过程中,设计目标是多模态、多语言,根据Meta公布的目前训练数据,其性能与GPT-4相当。相比前代Llama 2:对比指令精调模型,Llama 3 8B在多项基准测试中超过Llama 2 70B。在未来几个月中,Meta将发布多个具有新功能的模型,包括多模态、多语言能力、更长的上下文窗口和更强的整体功能,并将发布研究论文。

技术亮点:训练数据量与上下文长度扩充,GQA提升推理效率

华泰证券表示,Llama 3的模型结构相比Llama 2变化不大,都采用decoder-only架构,技术亮点主要在于预训练数据量、上下文长度、分组查询注意力机制:1)训练数据量极大扩充。Llama 3经过超15T token的预训练,训练数据集比Llama 2使用的数据集大七倍,其中代码数据扩充了4倍,使得Llama 3的代码能力和逻辑推理能力大幅度提升。2)上下文长度扩充。Llama3支持8k上下文长度,是Llama 2的2倍,同时大大降低了错误拒绝率,改善了一致性,但相比其他主流模型仍有差距(GPT-4 turbo 128k,Claude 3 100k,GPT-4 32k);3)采用分组查询注意力(GQA)以加速推理。

应用:智能助手Meta AI、雷朋Meta智能眼镜等

Meta同时更新基于Llama 3构建的智能助手Meta AI,无需切换即可在 Instagram、Facebook、WhatsApp和Messenger的搜索框中畅通使用Meta AI。Llama 3很快将在AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM和Snowflake上推出,并得到AMD、AWS、戴尔、英特尔、英伟达、高通提供的硬件平台的支持。此外,雷朋Meta智能眼镜也将支持多模态的Meta AI。

行业观点:利好AI应用,关注Llama 3中文化与国内闭源大模型竞争

华泰证券表示,Llama 3的推出为开源模型注入了新的活力,未来还将新增多模态能力,看好Llama 3促进AI应用繁荣。海外头部厂商中,OpenAI和谷歌闭源模型领先,Meta凭借开源模型独树一帜的竞争格局继续维持。对于国内大模型,后续需要关注:1)Llama 3中文化促进国内AI垂类模型、大模型应用的性能提升;2)Llama 3中文化与国内闭源模型的竞争。

风险提示:AI及技术落地不及预期;本研报中涉及到未上市公司或未覆盖个股内容,均系对其客观公开信息的整理,并不代表本研究团队对该公司、该股票的推荐或覆盖。

滚动至顶部