| 开本：3开 |
| 纸张：胶版纸 |
| 包装：平装 |
| 是否套装：否 |
| 国际标准书号ISBN：9787115662217 |
| 所属分类：图书>计算机/网络>人工智能>机器学习 |
商品详情
商品参数
内容介绍
本书收录了约百道大模型工程师常见的面试题目和解答，系统、地介绍了与大模型相关的技术，涵盖语义表达、数据预处理、预训练、对齐、垂类微调、组件、评估、架构、检索增强生成（）、智能体、（参数微调），以及训练与理等内容。书中通过丰富的实例、图表及代码讲解，将复杂概念阐释得通俗易懂，是大模型领域的一本的实用指南。本书适合对大模型和等技术感兴趣的学生、研究者和工程师阅读和参考。
目录
第 章 语义表达
词向量与语义信息
稀疏词向量
分布式语义假设
稠密词向量
溢出词表词的处理方法
分词方法的区别与影响
词（）
子词（）
字符（）
词向量与语义相似度
构建句子向量
预训练的位置编码
的不同嵌入类型
大模型语义建模的典型架构
第 章 大模型的数据
大模型训练开源数据集
大模型不同训练环节与数据量
大模型数据预处理
数据的质量
数据的多样性
大模型扩展法则
持续预训练与灾难性遗忘
大模型指令微调的数据筛选
第章 大模型的预训练
预训练与监督微调辨析
大模型的涌现能力
大模型预训练阶段的实验提效方法
大模型开发流程三阶段：预训练、监督微调和强化学习
大模型预训练
大模型的监督微调
大模型的强化学习
大模型训练显存计算与优化
大模型训练通信开销计算
集合通信原语
数据并行的工作原理和通信开销计算
张量并行的工作原理和通信开销计算
流水线并行的工作原理和通信开销计算
使用优化技术时的通信开销计算
第章 大模型的对齐
对齐数据构造
算法
奖励模型训练
稳定训练的方法
设计合理的评估指标对训练过程进行监控
对损失和梯度进行标准化和裁剪
改进损失函数
优化评论家模型和演员模型的初始化方式
算法
与辨析
计算资源方面：所需计算资源比少
训练稳定性方面：的训练稳定性高于
效果方面：的泛化能力优于
其他偏好对齐方法综述
类
类
非强化学习类
数据类
对齐训练稳定性监测
监督微调阶段
强化学习对齐训练阶段
大模型后训练环节辨析
第章 大模型的垂类微调
（垂类）监督微调
后训练的词表扩充
有效的长度外方法
大模型微调的损失函数
（交叉熵损失）
大模型知识注入方法
模型的继续预训练与监督微调
检索增强生成
第章 大模型的组件
的架构
注意力分数计算细节
词元化算法的区别与特点
基于单词的词元化
基于字符的词元化
基于子词的词元化
的工作原理
的外能力实验
的训练理效率实验
的代码实现
多头注意力机制及其优化（、 和）
多头注意力机制的代码实现
解码器在解码过程中的性能瓶颈
多查询注意力和分组查询注意力的工作原理
各种归一化方法
归一化方法的作用
的工作原理
的工作原理
的工作原理
归一化模块位置的影响——和
和的工作原理
和的差异
机制
的实现流程和原理
避免训练和理时的期望偏移
避免训练和理时的方差偏移
模型训练参数初始化方法概述
固定值初始化
预训练初始化
基于固定方差的初始化
基于方差缩放的初始化
第章 大模型的评估
大模型的评测榜单与内容
大模型评测的原则
大模型的修复方法
定义
修复思路
实践解法
生成式模型的评测指标
大模型的自动化评估
大模型的对抗性测试
大模型的备案流程
第章 大模型的架构
因果解码器架构成为主流的原因
大模型的集成融合方法
第章 检索增强生成
的组成与评估
中的召回方法
与重排
的工程化问题
第 章 大模型智能体
智能体的组成
智能体的规划能力
智能体的记忆模块
智能体的工具调用
框架
框架
智能体框架实践
第 章 大模型
的设计思路
的具体实现流程
方法概述
与全参数微调
第 章 大模型的训练与理
大模型解码与采样方法综述
大模型生成参数及其含义
大模型训练与理预填充阶段的加速方法——
大模型并行训练
大模型理加速——
为什么对缓存的内存管理效率是影响理系统吞吐量的关键因素
如何提高对缓存的内存管理效率
大模型量化的细节
大模型多维并行化训练策略
第 章
系列模型架构创新
大数量小尺寸的混合设计
多词元预测
训练流程
参考文献
作者介绍
包梦蛟，北京航空航天大学硕士，美团北斗计划算法，负责大众点评大模型应用落地开发，曾获得 称号、 ，业余时间撰写知乎专栏和“包包算法笔记”，全网关注数万。 刘如日，北京航空航天大学硕士，研究兴趣为机器学习与自然语言处理。曾以作者身份发表顶会论文并多次在顶会竞赛中取得等优异成绩。现于美团从事大模型相关技术研究与产业应用。 朱俊达，北京航空航天大学硕士，研究兴趣为大模型架构优化方向，有多家大厂实习经历，发表了多篇大模型相关论文。
商品参数
内容介绍
本书收录了约百道大模型工程师常见的面试题目和解答，系统、地介绍了与大模型相关的技术，涵盖语义表达、数据预处理、预训练、对齐、垂类微调、组件、评估、架构、检索增强生成（）、智能体、（参数微调），以及训练与理等内容。书中通过丰富的实例、图表及代码讲解，将复杂概念阐释得通俗易懂，是大模型领域的一本的实用指南。本书适合对大模型和等技术感兴趣的学生、研究者和工程师阅读和参考。
目录
第 章 语义表达
词向量与语义信息
稀疏词向量
分布式语义假设
稠密词向量
溢出词表词的处理方法
分词方法的区别与影响
词（）
子词（）
字符（）
词向量与语义相似度
构建句子向量
预训练的位置编码
的不同嵌入类型
大模型语义建模的典型架构
第 章 大模型的数据
大模型训练开源数据集
大模型不同训练环节与数据量
大模型数据预处理
数据的质量
数据的多样性
大模型扩展法则
持续预训练与灾难性遗忘
大模型指令微调的数据筛选
第章 大模型的预训练
预训练与监督微调辨析
大模型的涌现能力
大模型预训练阶段的实验提效方法
大模型开发流程三阶段：预训练、监督微调和强化学习
大模型预训练
大模型的监督微调
大模型的强化学习
大模型训练显存计算与优化
大模型训练通信开销计算
集合通信原语
数据并行的工作原理和通信开销计算
张量并行的工作原理和通信开销计算
流水线并行的工作原理和通信开销计算
使用优化技术时的通信开销计算
第章 大模型的对齐
对齐数据构造
算法
奖励模型训练
稳定训练的方法
设计合理的评估指标对训练过程进行监控
对损失和梯度进行标准化和裁剪
改进损失函数
优化评论家模型和演员模型的初始化方式
算法
与辨析
计算资源方面：所需计算资源比少
训练稳定性方面：的训练稳定性高于
效果方面：的泛化能力优于
其他偏好对齐方法综述
类
类
非强化学习类
数据类
对齐训练稳定性监测
监督微调阶段
强化学习对齐训练阶段
大模型后训练环节辨析
第章 大模型的垂类微调
（垂类）监督微调
后训练的词表扩充
有效的长度外方法
大模型微调的损失函数
（交叉熵损失）
大模型知识注入方法
模型的继续预训练与监督微调
检索增强生成
第章 大模型的组件
的架构
注意力分数计算细节
词元化算法的区别与特点
基于单词的词元化
基于字符的词元化
基于子词的词元化
的工作原理
的外能力实验
的训练理效率实验
的代码实现
多头注意力机制及其优化（、 和）
多头注意力机制的代码实现
解码器在解码过程中的性能瓶颈
多查询注意力和分组查询注意力的工作原理
各种归一化方法
归一化方法的作用
的工作原理
的工作原理
的工作原理
归一化模块位置的影响——和
和的工作原理
和的差异
机制
的实现流程和原理
避免训练和理时的期望偏移
避免训练和理时的方差偏移
模型训练参数初始化方法概述
固定值初始化
预训练初始化
基于固定方差的初始化
基于方差缩放的初始化
第章 大模型的评估
大模型的评测榜单与内容
大模型评测的原则
大模型的修复方法
定义
修复思路
实践解法
生成式模型的评测指标
大模型的自动化评估
大模型的对抗性测试
大模型的备案流程
第章 大模型的架构
因果解码器架构成为主流的原因
大模型的集成融合方法
第章 检索增强生成
的组成与评估
中的召回方法
与重排
的工程化问题
第 章 大模型智能体
智能体的组成
智能体的规划能力
智能体的记忆模块
智能体的工具调用
框架
框架
智能体框架实践
第 章 大模型
的设计思路
的具体实现流程
方法概述
与全参数微调
第 章 大模型的训练与理
大模型解码与采样方法综述
大模型生成参数及其含义
大模型训练与理预填充阶段的加速方法——
大模型并行训练
大模型理加速——
为什么对缓存的内存管理效率是影响理系统吞吐量的关键因素
如何提高对缓存的内存管理效率
大模型量化的细节
大模型多维并行化训练策略
第 章
系列模型架构创新
大数量小尺寸的混合设计
多词元预测
训练流程
参考文献
作者介绍
包梦蛟，北京航空航天大学硕士，美团北斗计划算法，负责大众点评大模型应用落地开发，曾获得 称号、 ，业余时间撰写知乎专栏和“包包算法笔记”，全网关注数万。 刘如日，北京航空航天大学硕士，研究兴趣为机器学习与自然语言处理。曾以作者身份发表顶会论文并多次在顶会竞赛中取得等优异成绩。现于美团从事大模型相关技术研究与产业应用。 朱俊达，北京航空航天大学硕士，研究兴趣为大模型架构优化方向，有多家大厂实习经历，发表了多篇大模型相关论文。