20: 混合精度

在本课程中，我们深入探讨混合精度训练并尝试各种技术。我们介绍了 PyTorch 的 MixedPrecision 回调函数，并探索了 HuggingFace 的 Accelerate 库以加速训练循环。我们还学习了一个加速数据加载和增强的巧妙技巧。

接着，Johno 讨论了使用神经网络进行风格迁移，从预训练网络的不同层提取特征，并引入内容损失和格拉姆矩阵。他展示了如何结合内容损失和风格损失来执行风格迁移，从而实现广泛的实验和艺术效果。

最后，Johno 探索了神经元胞自动机，其灵感来源于康威生命游戏和自然界中的自组织系统。他使用硬编码滤波器以及包含密集线性层和卷积层的神经网络来实现胞自动机。他使用风格损失和溢出损失来训练模型，并尝试不同的模型尺寸和损失函数，以获得更复杂和富有创意的结果。