19: DDPM 和 Dropout
在本课中，Jeremy 介绍了 Dropout，这是一种提高模型性能的技术；此外，他与特邀嘉宾 Tanishq 和 Johno 讨论了去噪扩散概率模型 (DDPM)，这是扩散模型的基础方法。本课涵盖了 DDPM 中涉及的前向过程和逆向过程，以及使用神经网络实现噪声预测模型。团队还展示了一种替代实现方法，并讨论了提高训练速度的方法。
讨论的概念
- 提高模型性能的 Dropout 技术
- 用于衡量模型置信度的测试时 Dropout 回调
- 用于生成建模的去噪扩散概率模型 (DDPM)
- DDPM 中的前向过程和逆向过程
- 使用神经网络实现噪声预测模型
- DDPM 中的训练循环和损失函数计算
- 可视化不同时间步的噪声图像
- 用于提高 DDPM 性能的替代噪声调度
- 继承 Callback 和 UNet2DModel 实现替代方法
- 实验不同的初始化技术和优化器
- 混合精度以加快训练速度的介绍