NOTEBOOK

机器学习 Hinge Loss Hinge的叫法来源于其损失函数的图形，为一个折线，通用函数方式为: [公式] Hinge可以解 间距最大化 问题，带有代表性的就是svm,最初的svm优化函数如下: [公式] 将约束项进行变形则为: [公式] 则可以将损失函数进一步写为: [公式] 因此svm的损失函数可以看成L2Norm和Hinge损失误差之和. 交叉熵 从熵来看交叉熵损失 信息量 信息量来衡量一个事件的不确定性，一个事件发生的概率越大，不确定性越小，则其携带的信息量就越小。 设𝑋是一个离散型随机变量，其取值为集合 X=x_0,x_1,…,x_n ，则其概率分布函数为 p(x)=Pr(X=x),x∈X ，则定义事件 𝑋=𝑥_0 的信息量为 [公式] 当 𝑝(𝑥_0)=1 时，该事件必定发生...

AdamW目前是大语言模型训练的默认优化器，而大部分资料对Adam跟AdamW区别的介绍都不是很明确，在此梳理一下Adam与AdamW的计算流程，明确一下二者的区别。 TLDR：AdamW将优化过程中使用的针对网络权重的衰减项（或者叫正则项）从loss中单独拿了出来，不参与Adam中一二阶动量的计算。 下面是二者的详细对比： Adam 首先是Adam，给定在迭代步数 t 时模型的参数 [Math] 与梯度 g_t ，Adam的计算公式如下： [公式] 式(1)用于计算梯度的一阶指数滑动平均 式(2)用于计算梯度的二阶项的指数滑动平均 式(3)与(4)对计算得到的指数滑动平均值进行消偏 式(5)为Adam的更新公式，其可以拆成两部分理解：动量更新与自适应学习率。 AdamW AdamW 相对与...

深度学习领域中，通常将数据标注为hard label，但事实上同一个数据包含不同类别的信息，直接标注为hard label会导致大量信息的损失，进而影响最终模型取得的效果。本文首先探讨一下hard label和soft label之间的关系，然后介绍一下如何用可靠的方法得到蕴含更多信息的soft label，其中主要包含Label Smoothing和Knowledge Distillation两种经典方法。 Hard Label vs Soft Label hard label更容易标注，但是会丢失类内、类间的关联，并且引入噪声。 soft label给模型带来更强的泛化能力，携带更多的信息，对噪声更加鲁棒，但是获取难度大。 Label Smoothing Softmax Cross En...

简短总结 混合专家模型 (MoEs): 与稠密模型相比， 预训练速度更快 与具有相同参数数量的模型相比，具有更快的 推理速度 需要 大量显存，因为所有专家系统都需要加载到内存中 在 微调方面存在诸多挑战，但 近期的研究 表明，对混合专家模型进行 指令调优具有很大的潜力。 什么是混合专家模型？ 模型规模是提升模型性能的关键因素之一。在有限的计算资源预算下，用更少的训练步数训练一个更大的模型，往往比用更多的步数训练一个较小的模型效果更佳。 混合专家模型 (MoE) 的一个显著优势是它们能够在远少于稠密模型所需的计算资源下进行有效的预训练。这意味着在相同的计算预算条件下，您可以显著扩大模型或数据集的...

Batch Normalization 什么是批归一化（Batch Normalization） 以前在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过 [Math] 这样的矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多层运算之后，数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理，是否对网络的训练起到改进作用呢？答案是肯定的。 这种在神经网络中间层也进行归一化处理，使训练效果更好的方法，就是批归一化Batch Normalization（BN）。 其作用在整个minibatch上，沿着C维度对N,H,W三个维度进行归一化。具体来说，就是把第1个样本的第1个通道，加...

Random erasing data augmentation 论文名称：Random erasing data augmentation 论文地址：https://arxiv.org/pdf/1708.04896v2.pdf 随机擦除增强，非常容易理解。作者提出的目的主要是模拟遮挡，从而提高模型泛化能力，这种操作其实非常make sense，因为我把物体遮挡一部分后依然能够分类正确，那么肯定会迫使网络利用局部未遮挡的数据进行识别，加大了训练难度，一定程度会提高泛化能力。其也可以被视为add noise的一种，并且与随机裁剪、随机水平翻转具有一定的互补性，综合应用他们，可以取得更好的模型表现，尤其是对噪声和遮挡具有更好的鲁棒性。具体操作就是：随机选择一个区域，然后采用随机值进行覆盖，模拟遮...

DropBlock 论文题目：DropBlock: A regularization method for convolutional networks 论文地址：https://arxiv.org/abs/1810.12890 由于dropBlock其实是dropout在卷积层上的推广，故很有必须先说明下dropout操作。 dropout，训练阶段在每个minibatch中，依概率P随机屏蔽掉一部分神经元，只训练保留下来的神经元对应的参数，屏蔽掉的神经元梯度为0，参数不参数与更新。而测试阶段则又让所有神经元都参与计算。 dropout操作流程：参数是丢弃率p 1）在训练阶段，每个minibatch中，按照伯努利概率分布(采样得到0或者1的向量，0表示丢弃)随机的丢弃一部分神经元（即神经元...