爱吃西瓜笔记一:模型评估与选择

机器学习中的模型评估方法主要包括留出法、交叉验证法和自助法。留出法将数据集划分为互斥的训练集和测试集,测试集的误差可近似看作泛化误差。交叉验证法将数据集划分为k个子集,每次用k-1个子集训练,剩余1个子集测试,重复k次取平均值。自助法通过有放回采样生成训练集,未采样数据作为测试集。通过测试集可计算性能度量如错误率、精度等,用于评估模型的泛化能力。模型的过拟合和欠拟合都会降低泛化能力,需要进行模型选择以获得最佳模型。