Transformer原理解析及中文项目实践

图书信息

作者：沈志龙编著编

出版社：清华大学出版社

定价：69.00

ISBN：9787302696322

出版时间：2025-08-01

分类：图书,行业职业,计算机,软硬件技术

商品介绍

目录

第1章引言（83min）

1.1深度学习与序列模型的进化

1.1.1RNN原理

1.1.2RNN代码实践

1.1.3RNN的问题与挑战

1.1.4LSTM原理

1.1.5LSTM代码实践

1.1.6LSTM的问题与挑战

1.2Transformer的诞生背景

1.2.1Seq2Seq模型

1.2.2Seq2Seq代码实践

1.2.3注意力机制的崛起

1.2.4 注意力机制代码解读

1.2.5论文“Attention is All You Need”简介

第2章Transformer架构解析（87min）

2.1Transformer总览

2.1.1Transformer的核心思想

2.1.2Transformer的总体架构

2.2Transformer的实现

2.2.1自注意力机制的原理和实现

2.2.2多头注意力的原理和实现

2.2.3位置编码的作用和实现

2.2.4前馈网络层

2.2.5残差连接和层归一化

2.2.6解码器的结构和功能

第3章训练Transformer

3.1自定义Transformer代码

3.1.1词嵌入和位置编码

3.1.2多头注意力层

3.1.3前馈网络层

3.1.4编码器层和解码器层

3.1.5构建Transformer模型

3.1.6训练Transformer模型

3.2实践训练

3.2.1数据准备

3.2.2模型定义及训练

3.2.3模型预测

第4章Transformer变体与进阶（79min）

4.1BERT

4.1.1BERT架构与原理

4.1.2BERT训练过程解析

4.2GPT系列

4.2.1从GPT到GPT4o

4.2.2GPT训练过程解析

4.3其他变体

4.3.1ALBERT

4.3.2RoBERTa

4.3.3T5

4.3.4知识蒸馏原理及实践

第5章利用Hugging Face实践Transformer

5.1Hugging Face简介

5.1.1社区与资源介绍

5.1.2Transformers库概览

5.2快速开始

5.2.1Transformers库

5.2.2Datasets加载数据集

5.2.3Tokenizer文本处理

5.2.4预训练模型的加载

5.2.5Evaluate评估

5.2.6Trainer训练

5.3实际应用案例

5.3.1文本分类

5.3.2情感分类

5.3.3命名实体识别

5.3.4文本相似度

5.3.5机器阅读理解

5.3.6文本摘要

5.3.7生成式对话机器人

5.4模型高效微调

5.4.1微调原理介绍

5.4.2Freeze微调原理及实践

5.4.3PromptTuning微调原理及实践

5.4.4Prefix Tuning微调原理及实践

5.4.5PTuning微调原理及实践

5.4.6LoRA微调原理及实践

5.4.7AdaLoRA微调原理及实践

5.4.8QLoRA微调原理及实践

5.5Transformer的影响

5.6未来展望

内容简介

本书深入浅出地介绍了深度学习中的序列模型及其发展历程，重点讲解了Transformer架构及其变体的原理与实战应用。全书共5章，旨在帮助读者从理论基础到实战应用，全面掌握Transformer技术。

第1章详细介绍RNN和LSTM的原理、代码实战及存在的问题与挑战。第2章全面剖析了Transformer的总体架构、核心思想及各组成部分的实现方法。第3章从自定义代码出发，详细地讲解了词嵌入、多头注意力层、前馈网络层、编码器层和解码器层的构建方法，以及如何训练Transformer模型。第4章介绍Transformer变体与进阶部分。第5章介绍利用HuggingFace实践Transformer，首先介绍了HuggingFace社区和Transformers库，然后通过实际应用案例，如文本分类、情感分类、命名实体识别等，展示了如何使用Transformers库进行项目开发。最后，讲解了模型微调的各种方法，以及Transformer的影响和未来展望。

本书适合对深度学习、序列模型和Transformer感兴趣的读者，无论是初学者还是有一定基础的开发者都能从中获得丰富的理论知识和实践经验。同时，本书也可作为高等院校和培训机构相关专业的教学参考书。

作者简介

沈志龙,统计学硕士、AI算法专家，拥有数学和统计学背景，对自然语言处理、机器学习、深度学习等领域具有深厚的理论知识和实践经验。在数据分析和挖掘领域耕耘多年，对数据分析、机器学习、深度学习和知识图谱等方向有深入的研究和探索。在文本分类、命名实体识别、文本生成等自然语言处理任务上具有丰富的实战经验，对于Transformer技术应该具备的核心专业能力有深入的理解和掌握。