第61章 深度学习框架（2/2）

nn.ReLU,

nn.Lear(128,10)

)

defforward(self,x):

x=self.ftten(x)

logits=self.lear_re_stack(x)

returnlogits

这种面向对象的方式，让模型的每一层、每一个操作都清晰可见。

最让林晨感到舒心的是PyTorch的自动微分（autograd）系统和调试的便捷性。他可以在训练循环的任何地方，插入打印语句查看张量的值、形状，甚至计算梯度。

动态图意味着计算图是在代码运行时动态构建的，这带来了无与伦比的灵活性——你可以用Python原生的控制流（if、for、while）来构建模型结构，这在研究新模型结构时简直是神器。

“这才是编程的感觉”。林晨忍不住感叹。

他尝试修改网络结构，增加一个跳跃连接（Skipe），在TensorFlow中可能需要调整tf.keras的API用法，而在PyTorch里，他几乎像写普通Python类一样自然地在forward方法里实现了。

为了更直观地对比，林晨决定用两个框架分别实现同一个稍复杂的模型——一个简单的卷积神经网络（），再次在MNIST上测试。

结果，在模型性能上两者相差无几（PyTorch版本98.2%，TensorFlow版本98.1%），但在开发体验上，林晨明显感觉PyTorch更符合他的思维习惯。

那种对模型细节的掌控感，对训练过程每一步的透明可见，让他觉得安心。尤其是想到未来他要开发的智能投资系统，必然需要频繁地尝试各种网络结构、损失函数，甚至自定义训练逻辑，PyTorch的动态和灵活显得至关重要。

“TensorFlow像是为大规模部署而生的重型战舰，稳定、强大，但转向稍慢；PyTorch则像是灵巧的突击舰，适合快速迭代和前沿探索”。林晨在对比总结中写下这句话，“对于目前的我，处于技术探索和原型快速开发阶段，PyTorch显然是更合适的武器”。

做出了选择，林晨感觉目标清晰了许多。

他不再满足于仅仅实现教程里的基础模型。接下来的几天，他给自己定下了新的挑战：不依赖高级API的过度封装，尽量从相对底层的角度，用PyTorch重新实现几个深度学习的经典模型，深入理解其机理。

他选择了三个有代表性的模型：Le-5（开山鼻祖之一）、简单循环神经网络（RNN）用于体验时序处理，以及Transforr中最核心的多头自注意力（Multi-HeadAttention）机制。

这不再是跟着教程敲代码，而是需要他仔细阅读原始论文（或权威解读），理解每一层的数学含义，然后用PyTorch的张量操作和自动微分将其“翻译”成代码。

实现Le-5相对顺利，虽然比用现成的nn.v2d和nn.MaxPool2d组合要繁琐，但亲手写出卷积和池化的操作过程，让他对图像特征提取的理解深刻了许多。

RNN的实现则让他对处理序列数据、隐藏状态传递有了直观感受。

而Transforr的自注意力机制，则是最大的挑战。矩阵运算、缩放点积、多头拆分与合并……林晨对着公式，一遍遍推导，一步步用代码实现。

当最后那个小小的自注意力模块能正确计算出一组示例序列的注意力权重时，窗外已是凌晨三点，但他毫无倦意，只有一种攻克难关后纯粹的智力愉悦。

这些重新造轮子的过程，速度很慢，也没有直接带来任何实用价值，但林晨知道，这些深入底层的理解，正在构筑他技术大厦最坚实的地基。

他不再只是一个调用API的“调参侠”，而是开始真正理解这些强大工具背后的原理。

夜深人静，林晨保存好所有代码和笔记。他活动了一下僵硬的脖颈，目光落在屏幕上那些自己亲手实现的模型结构图上。

从静态图到动态图的选择，从使用API到理解原理的深入，他感觉自己正一步步褪去过去十年跨境电商开发中形成的某种“应用层思维”，向着技术更本质的层面靠近。

“这些、RNN、Attention，本质上都是在学习数据中的模式和关联”。他靠在椅背上，若有所思，“数字图片中的边缘、形状是模式，语言序列中的上下文依赖是关联……那么，金融时间序列数据中的趋势、波动、周期，以及不同资产之间的联动，是不是也是一种更深层次、更复杂的模式和关联”？

这个念头让他心跳微微加速。

技术工具的选择和深入掌握，最终都是为了通向那个目标——理解并量化金融市场的不确定性。

他感觉，手中的“武器”正在变得趁手，而那个模糊的目标，也似乎因为技术路径的清晰，而透出了更具体的光亮。