收敛之前:深度神经网络 Loss 轨迹的抽象艺术形式阐释

Compile Error, Segmentation Fault
School of Computer Science
Brain Power University

阅读 PDF 全文

Abstract

深度神经网络的训练过程通常通过 Loss 曲线进行刻画,其动态变化反映了参数空间中的优化路径与收敛状态。传统研究主要从数值优化与泛化能力角度分析 Loss 曲线,而较少关注其形式结构所呈现出的视觉特征与结构张力。本文从抽象艺术的形式主义视角出发,对深度神经网络训练过程中 Loss 轨迹的形态特征进行分析。我们指出,在收敛之前,Loss 曲线呈现出碎片化、非线性震荡、结构断裂与阶段性重组等典型抽象派形式特征。通过对不同训练阶段的轨迹分段分析,本文构建了一个“形式映射框架”,将优化动态中的震荡、平台、突变等现象转译为抽象艺术中的构成元素。实验分析基于典型训练曲线案例,验证了该形式视角对 Loss 动态结构理解的解释力。本文旨在提供一种跨学科的形式分析方法,为理解深度学习训练过程提供新的视觉与结构隐喻。

Keywords:抽象艺术;形式主义

1 引言

深度神经网络的训练过程本质上是一个高维非凸优化问题,其演化轨迹通常以 Loss 随训练步数变化的曲线形式呈现。Loss 曲线被广泛用于评估模型收敛速度、稳定性以及过拟合风险。然而,这种数值工具在视觉层面上同样呈现出丰富的结构特征。这种特征在网络训练不收敛或训练崩溃时体现尤为明显。

如果暂时忽略其数值含义,仅从视觉形态加以观察,Loss 曲线在收敛之前往往呈现出复杂、分裂且充满张力的动态结构。其线条的反复折返、局部密集堆叠与方向突变,使其在形态上更接近一种动态生成的抽象构成,而非单纯的函数图像。这种直观上的相似性,构成了本文展开形式分析的出发点。

在深度神经网络的训练过程中,Loss 曲线的异常结构通常可归纳为三种典型形态。第一类,剧烈震荡。该现象表现为相邻迭代步之间 Loss 值出现大幅度、频繁的上下波动,整体趋势缺乏稳定的下降方向。第二类,平台停滞。该现象表现为 Loss 值在较长时间范围内保持相对稳定,曲线在时间轴上形成水平延展的结构区段。第三类,异常上升。该现象指 Loss 值在整体下降趋势中出现突发性反弹或持续性上升段,打破原有收敛轨迹的连续性。

Loss 曲线这种由震荡、断裂与重组构成的结构过程,与抽象派艺术所强调的形式张力、碎片化构成与非线性表达具有显著的形态相似性。具体而言,Loss 曲线在时间维度上的非平稳波动形成了高度解构化的视觉结构,其局部极值的密集分布与方向频繁反转构成了类似抽象绘画中“结构碎裂”的形式特征;阶段性平台与突变区段则对应于构图中的空间停滞与视觉断裂。

本文不讨论抽象艺术的历史语境与象征意义,而仅关注其形式特征,并将其与 Loss 轨迹的结构动态进行对照。我们采用形式主义分析视角,将抽象艺术中的碎片化构成、非线性结构与张力生成机制作为参照框架,对深度神经网络训练过程中 Loss 曲线的阶段性形态进行结构拆解与映射分析。

为增强论证的具体性与可观察性,本文以一个实际训练案例为研究对象,对其完整训练周期中的 Loss 轨迹进行分段提取与形态标注。在该案例中,我们记录 Loss 值随迭代步数变化的连续动态,并对其在收敛前阶段的震荡区间、平台区间与方向反转区间进行结构划分,从而构建形式层面的对应关系。

2 案例研究

图 1 中展示了我们在一个真实神经网络训练过程中产生的 Loss 曲线,图 2 中展示了经典抽象派画作《格尔尼卡》。从整体结构观察,该 Loss 曲线并未呈现单调下降的平滑形态,而是由多个形态差异显著的结构区段拼接而成,形成高度分段化的动态构成,与抽象派绘画中常见的立体化分解与空间压缩风格形成显著的形式呼应。

图 1:一个实际训练过程中产生的 Loss 曲线,横轴为训练轮数,纵轴为 Loss 值

图 2:经典抽象派画作《格尔尼卡》

(1)初始阶段:碎裂式高频结构(约 0-150 步)

训练初期的 Loss 曲线表现出强烈的高频震荡与方向频繁反转。曲线在垂直方向上剧烈拉伸,在水平方向上形成不规则的折线结构,局部极值密集排列,构成碎片化的视觉节奏。这种形态呈现出明显的结构分裂感与方向冲突感,类似抽象派构图中将连续空间打散为多个相互张力并存的片段。

(2)局部堆叠与块面压缩(约 200-350 步)

在该区间内,Loss 值围绕某一范围进行密集震荡,曲线在二维空间中形成局部厚重的覆盖带。由于数值反复叠加,线条在视觉上产生“块面化”效果,强化了局部结构的体量与压缩感。这种多次叠合与重描式的轨迹组织方式,与抽象绘画中通过线条重叠与空间压缩构建立体结构的形式策略具有高度相似性。

(3)结构断裂与方向重组(约 550-750 步)

该阶段出现多次显著跃迁与突变。Loss 值在短时间内发生大幅跳变,形成尖锐折点与拉伸段落。整体方向在不同区间之间不断重组,破坏原有趋势的连续性。形式上,这种不连续与多方向并置的结构组织,使时间轴呈现出被切割与重新拼接的效果,增强了整体构成的张力与不稳定感。

(4)延展式水平构成(约 900-1200 步)

该区间的长平台结构形成横向延展的稳定段落。与此前的高频震荡相比,这一结构在视觉上更为平缓,但其持续时间较长,使整体构成产生明显的节奏对比。这种横向拉伸的构成方式在抽象派风格中常作为空间稳定面的存在,与周围的断裂结构形成结构对照。

(5)周期性震荡与末端强化(约 1450 步之后)

在训练后期,Loss 曲线呈现规律性重复的小幅震荡,并叠加一次明显的纵向突升。这种“重复—强化”的节奏结构使曲线在收敛前阶段形成最后一次视觉集中。周期性波动带来节奏感,而突变则形成结构强调点,使整体构成呈现出层次化的张力分布。

3 结论

本文从形式主义视角对深度神经网络训练过程中 Loss 轨迹的结构形态进行了分析。通过实例研究,我们指出,在收敛之前,Loss 曲线呈现出碎片化分段、多方向张力与结构重组等特征,其形态组织方式与抽象派绘画的形式逻辑具有显著的相似性。

本文并非赋予优化过程艺术含义,而是在结构层面揭示不同系统之间的形式同构关系。该视角为理解训练动态提供了一种新的描述语言,也为复杂优化过程的结构分析提供了跨学科思路。

致谢

作者感谢《Rubbish》杂志编辑部与审稿人做出的一切努力。