机器学习

loss分类损失函数

损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中,损失函数通常作为学习准则与优化问题相联系,即通过最小化损失函数求解和评估模型损失函数_百度百科 (baidu.com) 二分类交叉熵损失(sigmoid_cross_entropy) 介绍: 一般被称作sigmoid 公式: 代码: keras :binary_c...

evaluating indicator for nlp

准确率,精确率与召回率 定义符号: 真正例(True Positive, TP):被模型预测为正的正样本;假正例(False Positive, FP):被模型预测为正的负样本;假负例(False Negative, FN):被模型预测为负的正样本;真负例(True Negative, TN):被模型预测为负的负样本; 准确率公式: $ Accuracy = \frac{TP+TN}{TP+TN+FP+FN} $ 准确率公式大致表现为正确值除以总值,缺点在于在...

gradient descent optimization algorithms

梯度下降(gradient descent)? 在讲解梯度下降优化算法时,首先需要了解什么是梯度下降。梯度下降是执行优化的最流行算法之一,也是迄今为止最优化神经网络的最常用方法。 同时,每个最新的深度学习库都包含各种算法的实现 ,但是,这些算法通常用作黑盒优化器,因为很难对它们的优缺点进行实用的解释。梯度下降是一种最小化目标函数的方法 Ĵ(θ),Ĵ(θ) 由模型的参数设置参数 θ通过...

Viterbi(维特比)算法

为了找出S到E之间的最短路径,我们先从S开始从左到右一列一列地来看。 首先起点是S,从S到A列的路径有三种可能:S-A1、S-A2、S-A3,如下图: 我们不能武断地说S-A1、S-A2、S-A3中的哪一段必定是全局最短路径中的一部分,目前为止任何一段都有可能是全局最短路径的备选项。 我们继续往右看,到了B列。按B列的B1、B2、B3逐个分析。 先看B1: 如上图,经过B1的所有路径只有3条: S...