├── 1 课程介绍
├── 2 注意力机制
├── 3 自注意力机制
├── 4 Transformer的架构概述
├── 5 Transformer Encoder的多头注意力
├── 6 Transformer Encoder的位置编码
├── 7 Transformer残差链接、LayerNorm、FFN
├── 8 Transformer Decoder
├── 9 Transformer训练及性能
├── 10 Transformer机器翻译工作流程
├── 11 Transformer的Encoder代码解读
├── 12 Transformer的Decoder代码解读
├── 13 Transformer的超参设置代码解读
├── 14 Transformer的训练示例（人为随机数据）代码解读
├── 15 Transformer的训练示例（德语-英语机器翻译）代码解读
├── 16 结合中文注释代码深入解读1
├── 17 结合中文注释代码深入解读2
├── 18 LLM推理方式
├── 19 文本生成模式
├── 20 文本生成策略
├── 21 Token和分词器
├── 22 文本生成过程
├── 23 Prefill和解码阶段
├── 24 Llama3文本生成过程
├── 25 文本生成时的QKV含义
├── 26 大模型开发阶段划分
├── 27 SFT微调
├── 28 微调方法（全参、冻结参数、LoRA、QLoRA）
├── 29 LoRA微调
├── 30 QLoRA微调
├── 31 Llama模型进化史
├── 32 Llama3模型类型
├── 33 Llama大模型生态
├── 34 Llama3模型架构
├── 35 RMSNorm归一化
├── 36 SwiGLU激活函数
├── 37 RoPE旋转位置编码
├── 38 GQA分组查询注意力
├── 39 KVCache
├── 40 各文件功能
├── 41 Completion和Chat应用脚本代码解析
├── 42 generation.py代码解析
├── 43 model.py代码解析
├── 44 tokenizer.py代码解析
├── 45 RMSNorm代码解析
├── 46 SwiGLU代码解析
├── 47 GQA代码解析
├── 48 RoPE代码解析
├── 49 KVCache代码解析
├── 50 阿里云实例创建
├── 51 Ollama介绍
├── 52 Ollama安装
├── 53 Llama3推理
├── 54 vLLM部署Llama3
├── 55 LlamaFactory介绍
├── 56 LlamaFactory安装及Llama3模型下载
├── 57 LoRA微调训练
├── 58 Llama3中文增强大模型推理
├── 59 Llama3中文增强大模型评估
├── 60 LoRA文件合并
├── 61 数据集准备
├── 62 LoRA微调
├── 63 Llama3医疗问答大模型推理
├── 64 QLoRA微调
└── 65 QLoRA微调的医疗问答大模型推理
