跳转至

大模型底层原理讲座 V1.0 Index

大模型底层原理讲座 V1.0

第一章:大模型简介
第一章:大模型简介
- 1.1 大模型发展历史
- 1.2 大模型底层涉及的关键技术
第二章:分布式通信
第二章:分布式通信
- 2.1 分布式通信基础理论
第三章:分布式并行
第三章:分布式并行
第四章:Gpipe与PipeDream
第四章:Gpipe与PipeDream
- 4.1 原理解析
第五章:ZeRO深度解析
第五章:ZeRO深度解析
- 5.1 ZeRO原理解析
第六章:Megatron-LM
第六章:Megatron-LM
第七章:DeepSpeed-Megatron
第七章:DeepSpeed-Megatron
- 7.1 MoE原理解析
- 7.2 MoE源码解读

Index

¶