Llama | search
Click here to view Llama news from 60+ newspapers.
Bookmark or Share- 草泥马是alpaca还是llama，两者的区别主要是什么？ - 知乎大语言模型（Large Language Models）英文缩写LLMs和“llama”这个词看起来很像。 之所以Meta给自家大语言模型取名“llama”，应该是考虑到“LLMs”不太好发音，所以就补上了元音字母，命名为“llama”读起来朗朗上口也便于记忆传播。
- 如何评价深度求索发布的DeepSeek LLM 67B? - 知乎这种独特的学习率调整策略与Llama的传统余弦学习率衰减法截然不同，显示出其独特的训练效率。 开放和可访问性 值得一提的是，DeepSeek提供了70亿和670亿两个参数版本的基础模型和指令微调模型，均已开源并可免费商用。
- Meta AI 为什么会开源 Llama2 呢? - 知乎meta这是卷死openai的阳谋，让openai无利可图. chatGPT的api收费和订阅虽然很贵，但是现阶段他们还是亏钱运营的，唯一指望是利用现阶段抢占市场以及期望未来成本可以降低（技术升级加大用户量摊平成本）来实现盈利
- LLaMa-1 技术详解 - 知乎LLaMa 采用了高效的 causal multi-head attention (基于 xformers)，不存储注意力权重，且不计算 mask 掉的 query 和 key 的值。 为了进一步提高训练效率，LLaMa 通过 checkpointing 技术来减少在反向传播过程中需要重新计算的激活数量。
- 为什么现在的LLM都是Decoder only的架构？ - 知乎实践中的成功. GPT系列模型就是Decoder-only架构的一个成功例证。通过大规模的预训练，这些模型能够在多种NLP任务上实现出色的表现，甚至在某些情况下超越了专门为特定任务训练的模型。
More
