AI 百科 · 共 20 个词条

把 AI 术语说人话

大模型、注意力机制、RAG、LoRA、MoE…… 这些词天天见,但很少有人讲清它们到底在说什么。 这里每一条都用大白话拆开讲:它解决什么问题、怎么工作、为什么重要、常见误区在哪。 不用数学背景也能读懂。

全部 基础概念 训练方法 模型架构 推理优化 应用工程
注意力机制Attention Mechanism 让模型处理信息时能挑重点:给输入的不同部分分配不同权重,需要什么就多看一眼什么,而不是所有内容平均对待。 模型架构 查看详情 ↗ TransformerTransformer 2017 年提出的一种神经网络结构,完全靠注意力机制处理序列,能大规模并行训练,是今天几乎所有大语言模型的基础骨架。 模型架构 查看详情 ↗ 自注意力与多头注意力Self-Attention and Multi-Head Attention 自注意力是让句子里每个词参照其他所有词来更新自己;多头注意力是同时用多组视角做这件事,再合并结果。 模型架构 查看详情 ↗ 位置编码Positional Encoding 因为注意力本身不区分词的先后顺序,需要额外把位置信息告诉模型,这套标记方式就叫位置编码。 模型架构 查看详情 ↗ 混合专家模型(MoE)Mixture of Experts (MoE) 把一个大网络拆成许多专精的小网络,每次只叫其中几个来处理当前内容,于是总参数量很大、实际计算量却不高。 模型架构 查看详情 ↗
本站是免费的副业装备导航站,不售卖任何课程或资料。词条为原创整理,用于科普; 技术细节如有出入,请以论文与官方文档为准。
← 返回首页 · AI 名人堂