中企动力网站建设合同freenom网站建设
张小明 2026/1/9 13:01:02
中企动力网站建设合同,freenom网站建设,it培训机构网站开发,石家庄哪里可以做网站1、概述逻辑回归是一种用于解决二分类问题的统计方法#xff0c;尽管名称中包含回归#xff0c;但实际上是一种分类算法。它通过将线性回归的输出映射到Sigmoid函数#xff0c;将预测值转换为概率值#xff08;0到1之间#xff09;#xff0c;从而进行分类决…1、概述逻辑回归是一种用于解决二分类问题的统计方法尽管名称中包含回归但实际上是一种分类算法。它通过将线性回归的输出映射到Sigmoid函数将预测值转换为概率值0到1之间从而进行分类决策。逻辑回归的核心目标是预测一个样本属于某个类别的概率。2、数学原理和推导1 假设函数sigmoid 函数逻辑回归通过将线性回归的结果输入一个S型函数将结果映射到 0 到 1 的区间其中hθ(x)是预测结果属于类别1的概率θ是参数向量权重x 是输入特征向量当 hθ(x)≥0.5预测为类别1hθ(x)0.5预测为类别03求解3、梯度下降法1偏导数我们知道一个多变量函数的偏导数就是它关于一个变量的导数而保持其他变量恒定该函数的整个求导2梯度梯度可以定义为一个函数的全部偏导数构成的向量梯度向量的方向即为函数值增长最快的方向3梯度下降法是一个一阶最优化算法通常也称为最陡下降法要使用梯度下降法找到一个函数的局部极小值步长(学习率):梯度可以确定移动的方向。学习率将决定我们采取步长的大小。不易过小和过大4、评价方式混淆矩阵真阴性TN非 0 数字被正确预测的数量真阳性TP0 被正确预测的数量假阴性FN0 被误判为非 0 的数量假阳性FP非 0 被误判为 0 的数量1准确率适用于类别平衡的数据集但对不平衡数据可能产生误导。2精确率适用于需要高置信度正类预测的场景如垃圾邮件分类3召回率适用于漏报成本高的场景如疾病检测4F1值适用于需要平衡精确率和召回率的场景。5、欠拟合和过拟合1欠拟合概念就是模型没有训练好一般训练的数据较少会出现这种情况2过拟合概念模型在训练集表现良好但在测试集上的表现就不行原因1、训练集上为追求好的效果包括损失小、准确率高等2、模型参数过于复杂6、正则化惩罚目的防止过拟合概念Minimize your error while regularizing your parameters.规则化参数的同时最小化误差。【被翻译为正则化】L1正则Lasso鼓励稀疏解L2正则Ridge平滑模型参数# 带正则化项的逻辑回归LogisticRegression(penaltyl2, C1.0max_iter100)参数Penalty正则化方式有l1和l2两种。用于指定惩罚项中使用的规范。参数C正则化强度。为浮点型数据。正则化系数λ的倒数float类型默认为1.0。必须是正浮点型数。像SVM一样越小的数值表示越强的正则化。参数max_iter算法收敛最大迭代次数int类型默认为100。仅在正则化优化算法为newtoncg, sag和lbfgs才有用算法收敛的最大迭代次数。1损失函数逻辑回归使用最大似然估计来求解其对应的损失函数为m表示样本数量y^(i)表示第i个样本的标签2正则化惩罚就是在损失函数的基础上加了7、交叉验证在将数据进行标准化以及改变阈值后得到的召回率不是很高时我们就可以使用交叉验证来得到一个最好的C的值就是将要训练的数据按比例分割成n份第一次训练1到n-1份第二次训练1到n-2份加上第n份一直按规律训练一直到最后一次训练2到n份使用cross_val_score可以进行这个操作例如scorecross_val_score(lr,x_train,y_train,cv10,scoringrecall)代表正则化惩罚的基础上训练将x_train,y_train分割成10份求训练后召回率的平均值