softmax Softmax归一化
svm和softmax哪个好
在多分类中,CNN的输出层一般都是Softmax。
RBF在接触中如果没有特殊情况应该是“径向基函数”(RadialBasisFunction)。在DNN兴起之前,RBF由于出色的局部近似能力,被广泛应用在SVM的核函数中,当然也有熟悉的RBF神经网络(也就是以RBF函数为激活函数的单隐含层神经网络)。如果说把RBF作为卷积神经网络的输出,觉得如果不是有特殊的应用背景,它并不是一个很好的选择。至少从概率角度上讲,RBF没有Softmax那样拥有良好的概率特性。fmix参数配置
FMix是一种数据增强方法,用于增加模型的鲁棒性。下面是FMix方法的参数配置:1.alpha:控制Fmin和Fmax之间的混合比例,默认为1.。alpha越大,混合的样本越多。2.decay_power:控制混合图像上强度衰减的程度,默认为3.0。decay_power越大,混合的图像越强烈。3.size:混合图像的大小,默认为224。4.alpha_range:控制Fmin和Fmax之间的范围,默认为(0,0.2)。alpha_range可以是一个元组或列表,其中第一个元素为下限,第二个元素为上限。这些参数可以根据具体的需求进行调整,以获得更好的结果。
arcface详解
ArcFaceloss:AdditiveAngularMarginLoss(加性角度间隔损失函数),对特征向量和权重归一化,对θ加上角度间隔m,角度间隔比余弦间隔在对角度的影响更加直接。几何上有恒定的线性角度margen。
●ArcFace中是直接在角度空间θ中最大化分类界限,而CosFace是在余弦空间cos(θ)中最大化分类界限。
●预处理(人脸对齐):人脸关键点由MTCNN检测,再通过相似变换得到了被裁剪的对齐人脸。
●训练(人脸分类器):ResNet50+ArcFaceloss
●测试:从人脸分类器FC1层的输出中提取512维的嵌入特征,对输入的两个特征计算余弦距离,再来进行人脸验证和人脸识别。
●实际代码中训练时分为resnetmodel+archead+softmaxloss。resnetmodel输出特征;archead将特征与权重间加上角度间隔后,再输出预测标签,求ACC是就用这个输出标签;softmaxloss求预测标签和实际的误差。
●LFW上99.83%,YTF上98.02%
优点:
●性能高,易于编程实现,复杂性低,训练效率高
●ArcFace直接优化geodesicdistancemargin(弧度),因为归一化超球体中的角和弧度的对应。
●为了性能的稳定,ArcFace不需要与其他loss函数实现联合监督,可以很容易地收敛于任何训练数据集。
缺点:
●W模型很大





