课程介绍：
本课程包括大模型基础，大模型指令微调，常用的开源模型微调，大模型对齐，垂直领域大模型应用5个阶段，内容涵盖大模型微调应用场景，大模型基座，LoRA参数微调，模型压缩，QLoRA参数微调，DeepSpeed训练框架解析，Megatron-LM训练框架解析，Flash Attention技术应用，微调模型Benchmark，ChatGLM，LLaMA，Mistral，MoE，大模型对齐，RLHF，DPO，垂直领域大模型应用等前沿技术等全方位知识讲解，并结合8个实战项目，帮助同学们实现学以致用。
课程目录：
├─01 第一周
│ └─01 第一节 2024年1月21日
│ └─01 开营+大模型介绍、Transformer
│ ├─01 开营.mp4 168.87MB
│ ├─02 大模型爆发式发展.mp4 240.49MB
│ ├─03 大模型是如何炼成的.mp4 88.29MB
│ ├─04 Transformer的应用.mp4 183.06MB
│ └─05 Self-Attention.mp4 329.29MB
├─02 第二周
│ └─01 第二节 2024年1月28日
│ └─01 Transformer、Encoder、Advanced
│ ├─01 Transformer Part1.mp4 264.37MB
│ ├─02 Transformer Part2.mp4 289.36MB
│ ├─03 Encoder-based and Decoder Based LLMs.mp4 80.86MB
│ └─04 Advanced Topics.mp4 190.11MB
├─03 第三周
│ └─01 第三节 2024年2月25日
│ └─01 大模型微调概览 Lora微调
│ ├─01 大模型微调概览.mp4 283.11MB
│ ├─02 Lora微调-Lora算法.mp4 302.03MB
│ └─03 Lora微调-从零实现Lora到Roberta.mp4 437.58MB
├─04 第四周
│ └─01 第四节 2024年3月3日
│ └─01 Alpaca、AdaLoRA、QLoRA
│ ├─01 Alpaca.mp4 788.33MB
│ ├─02 AdaLoRA.mp4 464.62MB
│ └─03 QLoRA.mp4 372.41MB
├─05 第五周
│ └─01 第五节 2024年3月17日
│ └─01 Prefix Tuning、Quantization
│ ├─01 Prefix Tuning.mp4 354.09MB
│ ├─02 Quantization01.mp4 194.5MB
│ ├─03 Quantization02.mp4 277.51MB
│ └─04 Quantization Methos for LLM.mp4 83.6MB
├─目录.txt -1.#INDB
└─课件资料
├─课件
│ ├─第一节-拓展资料 20240121.txt 747B
│ ├─第一节-课件 20240121.pdf 20.31MB
│ ├─第三节-课件 20240225.pdf 32.55MB
│ ├─第二节-课件 20240128.pdf 22.5MB
│ └─第四节课-课件 20240303.pdf 23.65MB
└─课程资料
├─第三节-课程资料 20240225
│ ├─Lora代码.ipynb 9.55KB
│ └─课程相关资料.text 970B
└─第四节-课程资料 20240303
└─4bit-normalquantization.ipynb 4.78KB
页:
[1]