《数据预处理与特征工程：课件》

数据预处理与特征工程课件精选欢迎来到数据预处理与特征工程课程！本课程将深入探讨数据科学项目中至关重要的两个阶段通过系统学习，您将掌握如何处理原始数据中的各种问题，并将数据转化为机器学习算法能有效利用的特征无论您是数据科学初学者还是希望提升技能的从业者，本课程都将为您提供实用的技术和方法，帮助您在实际项目中构建更高质量的模型让我们一起开始这段数据转化的精彩旅程！课程概述课程目标学习内容本课程旨在培养学生系统掌握课程涵盖数据清洗、转换、集数据预处理与特征工程的核心成与规约的理论与实践，以及技能，使学生能够独立处理各特征提取、选择与构造的方法类数据问题，并从原始数据中论通过丰富的案例和实操，提取有价值的特征，为后续的学生将掌握从基础到高级的数机器学习模型构建打下坚实基据处理全流程础预期成果完成课程后，学生将能够应对实际工作中的数据问题，熟练运用各种工具进行数据预处理和特征工程，显著提高机器学习模型的性能和可靠性第一部分数据预处理基础1理论基础掌握数据预处理的核心概念和理论框架，理解为什么数据预处理是机器学习项目成功的关键因素2工具掌握学习使用主流数据预处理工具和库，如Pandas、NumPy等，提升数据处理的效率和准确性3实践应用通过解决实际数据问题，将理论知识应用于实践，培养处理复杂数据集的能力和经验什么是数据预处理？定义重要性在机器学习中的作用数据预处理是指对原始数据进行清洗、高质量的数据是构建有效模型的基础数据预处理直接影响机器学习模型的性转换和整理的过程，将原始数据转变为研究表明，数据科学家通常将80%的时能它通过消除数据中的噪声、处理缺可用于分析和建模的格式它是数据挖间用于数据预处理，这凸显了该环节的失值、标准化特征等方式，帮助算法更掘和机器学习流程中不可或缺的环节，关键性良好的预处理可以显著提高模快地收敛并提高泛化能力，从而获得更确保数据的质量和可用性型的准确性和可靠性准确的预测结果数据预处理的主要步骤数据清洗识别并处理数据中的缺失值、异常值和错误记录，确保数据的完整性和准确性这一步通常包括填补缺失值、平滑噪声数据、识别离群点以及解决不一致性问题数据集成将来自不同来源的数据合并到一个一致的数据存储中，解决数据冗余和冲突问题这涉及模式集成、实体识别以及检测和解决数据值冲突的技术数据转换将数据转换为更适合分析和建模的形式，包括规范化、聚合和泛化等操作通过这些转换，数据将更符合特定算法的需求，有助于提高学习效率数据规约在保持数据完整性的前提下减少数据量，提高处理效率方法包括维度规约（如PCA）、数量规约（如采样）和数据压缩等技术，使大型数据集更易于管理和分析数据质量问题不完整性噪声数据中存在缺失值或某些属性缺失，可数据中包含随机错误或变异，扰乱了真1能由于数据收集过程中的问题、人为错实的数据模式，可能来自测量误差、数2误或系统故障导致据传输问题或输入错误重复数据不一致性4相同记录多次出现在数据集中，增加存数据中存在矛盾的记录或值，可能由于3储负担并可能导致分析偏差，影响模型数据集成不当、代码错误或数据更新不训练效果同步导致数据清洗技术缺失值处理1通过删除包含缺失值的记录、填充统计量（如均值、中位数）或使用更复杂的插补方法（如机器学习算法预测）来处理数据中的空白点异常值检测与处理2使用统计方法（如Z-分数、IQR）或机器学习算法（如聚类、孤立森林）识别异常值，并决定是删除、替换还是单独分析这些值重复数据删除识别并移除数据集中的重复记录，确保每个实体只由一条记3录表示，减少数据冗余和存储空间，提高分析的准确性缺失值处理方法删除记录数据插补高级插补技术当缺失值比例较低且使用统计方法填充缺采用机器学习算法（随机分布时，可以直失值，如均值、中位如K近邻、随机森林）接删除包含缺失值的数、众数插补或基于或多重插补方法预测行或列这种方法简相似记录的值进行填缺失值这些方法能单直接，但可能导致充这保留了数据量更好地保留数据分布有价值信息的丢失，，但可能引入偏差或特性，但计算复杂度特别是在数据集规模降低数据变异性较高，实现难度大较小时异常值检测方法异常值检测是数据预处理中的关键步骤统计方法如箱线图和Z分数利用数据分布特性，能快速识别偏离正常范围的值；机器学习方法如孤立森林和基于密度的聚类算法则可以处理多维数据中的复杂异常模式；而可视化技术通过散点图、热图等直观展示数据分布，帮助分析师发现潜在异常点选择合适的异常检测方法需考虑数据特性、异常类型和计算资源等因素，通常建议结合多种方法进行交叉验证，以提高检测准确性数据集成数据集成成果1完整统一的数据视图解决方案2模式匹配、冲突解决、实体识别主要挑战3异构数据源、重复数据、数据不一致集成基础4数据源识别、数据质量评估、元数据分析数据集成是将多个数据源合并成单

一、一致视图的过程在实际应用中，数据通常分布在不同系统、格式和结构中，需要通过精心设计的集成流程整合成统一数据集成功的数据集成需要解决模式/表示差异、冗余数据和数据冲突等问题常见方法包括数据仓库、联邦数据库和中介系统等云计算的发展也为大规模数据集成提供了新的解决方案数据转换标准化归一化离散化将数据调整为均值为

0、标准差为1的分布将数据缩放到[0,1]或[-1,1]区间，保持将连续数值转换为离散类别，如将年龄分，使不同量纲的特征可比较标准化对距原始分布形状不变归一化适用于梯度下为青年中年老年离散化可降低数离计算敏感的算法（如SVM、KNN）尤为重降算法和神经网络，可加速模型收敛并提据复杂度，减少异常值影响，并使某些机要，能防止某些特征因数值较大而主导模高数值稳定性器学习算法更易理解和应用型学习数据规约1维度规约2数量规约通过降低特征空间维度减少在保持数据特性的前提下减数据复杂性，保留数据的主少记录数量主要技术包括要信息常用方法包括主成随机采样、分层采样和聚类分分析PCA、线性判别分采样等适当的采样策略可析LDA和流形学习等维大幅减少计算资源需求，同度规约可有效解决维度灾时保持模型性能，特别适用难问题，加快算法训练速于处理海量数据集度，并有助于数据可视化3数据压缩使用编码技术减少数据存储空间可分为无损压缩（如字典编码、游程编码）和有损压缩（如小波变换）数据压缩不仅节省存储空间，还能提高数据传输效率和处理速度第二部分特征工程概述理解数据深入分析原始数据特性，包括数据类型、分布、相关性和业务含义，为后续特征工程奠定基础探索特征空间通过可视化和统计分析，挖掘潜在的特征模式和关系，发现数据中隐藏的有价值信息创建优质特征运用领域知识和专业技术，设计和构建能够有效表示问题本质的特征集，提高模型性能验证特征效果评估特征对模型性能的影响，通过实验和迭代，筛选出最优特征组合，实现模型的持续优化什么是特征工程？定义目的在机器学习中的重要性特征工程是利用领域知识从原始数据中特征工程旨在创建能够捕捉数据中关键优质的特征往往比复杂的算法更能提升提取、选择和转换特征的过程，目的是信息的特征，提高模型的预测能力和泛模型性能在实际应用中，特征工程通创建一组能够更好地表示潜在问题的特化性能通过消除无关特征、创建新特常是决定项目成功与否的关键因素它征，使机器学习算法能够更有效地工作征和优化特征表示，特征工程可以简化能帮助模型识别数据中的关键模式，减它连接原始数据与机器学习模型，是模型复杂度，降低过拟合风险，并使模少噪声影响，并在有限数据条件下提高将数据转化为知识的关键桥梁型更易解释学习效率特征工程的主要步骤1特征提取从原始数据中抽取有意义的特征，将复杂或非结构化数据转换为结构化特征如从文本中提取关键词频率，从图像中提取边缘特征，从时间序列中提取趋势特征等这一过程依赖于对数据特性和领域知识的深入理解2特征选择从已有特征集中筛选出最相关、最有预测能力的特征子集，去除冗余和无关特征有效的特征选择可以减少过拟合风险，提高计算效率，并增强模型可解释性常用方法包括过滤法、包装法和嵌入法3特征构造基于现有特征创建新的、更具表达力的特征这可能涉及特征组合、交互特征生成、多项式展开或应用数学变换等优质的特征构造能够捕捉变量间的非线性关系，表达复杂模式，大幅提升模型性能特征提取文本特征提取将非结构化文本转换为结构化特征向量，捕捉语义和语法信息从简单的词频统计到复杂的语义嵌入，文本特征提取技术使计算机能理解和分析人类语言，为自然语言处理任务提供基础图像特征提取从图像中提取能够表示视觉内容的数值特征，如颜色分布、纹理模式和形状特征等随着深度学习的发展，卷积神经网络自动提取的图像特征已广泛应用于物体识别、图像分割等视觉任务时间序列特征提取从时序数据中提取能够反映时间动态特性的特征，包括趋势、季节性、周期性和不规则波动等成分这些特征对金融预测、需求分析和传感器数据监测等领域至关重要文本特征提取方法词袋模型TF-IDF WordEmbeddings将文档表示为词汇表中词频-逆文档频率是对各词出现频率的向量，词袋模型的改进，通过将词语映射到低维连续忽略词序和语法尽管给予常见词较低权重、向量空间，捕捉词语间简单，词袋模型在许多给予区分性词汇较高权的语义关系和相似性文本分类和检索任务中重，更好地反映词语对Word2Vec、GloVe和表现良好其变体包括文档的重要性TF-IDF BERT等模型生成的词嵌二元表示和词频统计，在文本挖掘和搜索引擎入能表示复杂的语言结能够捕捉文档的基本语中广泛应用，平衡了词构，在情感分析、命名义信息频与词的独特性实体识别等任务中表现优异图像特征提取方法颜色特征纹理特征形状特征通过分析图像的色彩分布和统计特性捕捉图像表面的视觉模式和结构信息提取图像中物体轮廓和形状信息，包提取特征，如颜色直方图、颜色矩和，常用方法包括灰度共生矩阵、Gabor括边缘特征、矩特征和轮廓描述符等主色调这些特征对内容识别、图像滤波器和局部二值模式LBP纹理特形状特征对物体识别至关重要，特检索和场景分类有重要价值颜色特征能有效区分不同表面材质，广泛应别是在区分具有相似颜色和纹理但形征易于计算，对光照变化和视角变化用于医学图像分析、遥感图像分类等状不同的物体时表现突出具有一定的鲁棒性领域时间序列特征提取统计特征频域特征时频域特征从时间序列数据中提取反映其分布特性的通过傅里叶变换、小波分析等方法，将时同时分析时间和频率维度的特征，如短时统计量，如均值、方差、偏度、峰度以及间序列转换到频率域，提取频谱特征、功傅里叶变换和小波变换系数时频域特征分位数等这些特征简单直观，计算成本率谱密度和主要频率成分频域特征能有能够捕捉非平稳时间序列中的局部频率变低，能够快速捕捉数据的整体特性和异常效捕捉数据的周期性模式和频率变化，在化，对识别复杂的时间模式和瞬态事件具情况，适用于初步分析和异常检测声音识别、振动分析等领域应用广泛有优势特征选择包装法2使用目标学习算法的性能作为特征子集评价准则过滤法1基于统计度量评估每个特征的重要性，独立于学习算法嵌入法3在模型训练过程中自动完成特征选择特征选择是从原始特征集中选出最相关、最有用的特征子集的过程，对提高模型性能、减少计算复杂度和增强模型可解释性具有重要意义过滤法计算快速但可能忽略特征间的相互作用；包装法性能优但计算成本高；嵌入法则在模型训练中自然整合特征选择，如L1正则化选择合适的特征选择方法需要考虑数据规模、特征数量、计算资源和模型需求等因素在实际应用中，通常会结合多种方法进行特征选择，以获得最优的特征子集过滤法特征选择

0.

850.75相关性分析互信息计算特征与目标变量间的统计相关性，选择度量特征与目标变量之间的非线性依赖关系相关系数高的特征常用方法包括皮尔逊相，能捕捉复杂的统计关联互信息在处理分关系数、斯皮尔曼秩相关系数等类问题和非线性关系时表现优异

0.65方差分析通过方差分析ANOVA评估类别型特征与目标变量的相关性，衡量不同组间差异的显著性，特别适用于多分类问题过滤法是特征选择的基础方法，它根据特征的内在特性进行评分和排序，选择得分最高的特征子集这类方法计算效率高，能够快速处理高维数据，且独立于后续使用的机器学习算法，具有良好的通用性包装法特征选择前向选择从空集开始，每次迭代添加一个能使模型性能最大提升的特征，直到性能不再显著提高或达到预设特征数量这种贪婪策略计算效率相对较高，但可能陷入局部最优解，无法捕捉特征间的复杂交互效应后向消除从完整特征集开始，每次迭代删除一个对模型性能影响最小的特征，直到性能开始显著下降或达到目标特征数量后向消除能更好地考虑特征间的相互作用，但对高维数据的初始计算成本较高递归特征消除利用模型的特征重要性评分递归地移除最不重要的特征，反复训练模型并更新评分这种方法特别适合与能提供特征重要性指标的模型（如SVM、随机森林）结合使用，能提供稳定的特征子集嵌入法特征选择Lasso Ridge回归决策树特征重要性Lasso回归通过引入L1正则化项惩罚模型Ridge回归使用L2正则化，虽然不会直接决策树及其集成模型（如随机森林、梯度复杂度，将不重要特征的系数压缩为零，将系数降为零，但会显著减小不重要特征提升树）在训练过程中自然评估特征重要自动实现特征选择这种方法在处理高维的权重相比Lasso，Ridge在特征间高度性，基于信息增益或基尼不纯度减少等指数据时尤为有效，能同时实现特征选择和相关时表现更稳定，可通过分析系数大小标这类方法计算高效，能捕捉非线性关模型训练，产生稀疏解，提高模型的可解间接实现特征重要性排序和选择系，并提供直观的特征重要性排名释性特征构造1特征组合2特征分解将两个或多个已有特征通过数将复杂特征分解为更简单、更学运算（如加减乘除、求平均有表达力的组件，如将日期拆等）组合成新特征，捕捉变量分为年、月、日、星期几，或间的交互关系和非线性模式将地址拆分为国家、省份、城有效的特征组合能表达更复杂市等特征分解使模型能更灵的数据关系，创造出单个特征活地捕捉隐藏在原始特征中的无法提供的预测能力，尤其适模式和趋势用于线性模型3特征编码将分类变量转换为数值形式，使机器学习算法能够处理常用编码方法包括独热编码、标签编码、目标编码等选择合适的编码方式对提高模型性能至关重要，需考虑变量的基数、顺序性和与目标的关系第三部分高级特征工程技术高级特征工程技术超越了传统的人工特征设计，引入了自动化工具、深度学习方法和可解释性技术随着数据规模和复杂性的增加，自动特征工程工具能够高效探索大量特征组合，发现人类可能忽略的模式同时，深度学习通过表示学习自动提取层次化特征，减少了对手工特征的依赖而随着机器学习模型在关键决策中的应用，特征解释和可理解性技术变得日益重要，帮助人们理解模型决策背后的关键因素和逻辑自动特征工程概念方法工具自动特征工程是利用算法自动从原始数常用方法包括基于树的特征生成（利用目前流行的自动特征工程工具有据中发现、构造和选择有效特征的过程决策树提取拆分规则）、深度特征合成Featuretools（基于深度特征合成）、，减少人工干预它结合了机器学习和（层次化构建复杂特征）、元学习（学Auto-Sklearn（自动特征选择与预处理领域专业知识，能够系统地探索特征空习如何为特定问题构造特征）以及进化）、TPOT（基于遗传编程）和H2O间，发现传统方法可能忽略的重要特征算法（使用遗传编程探索特征空间）等AutoML（综合平台）等，这些工具极大和组合提高了特征工程的效率深度学习中的特征工程表示学习迁移学习深度学习模型能自动学习数据的利用预训练模型提取通用特征，层次化表示，从低级特征（如边再针对特定任务进行微调这种缘、纹理）到高级特征（如物体方法允许利用在大规模数据集上部件、语义概念）这种端到端训练的复杂模型（如BERT、学习方式减少了对手工特征工程ResNet）的知识，即使在目标任的依赖，特别适合处理图像、语务数据有限的情况下也能获得强音和文本等复杂数据类型大的特征表示特征可视化通过可视化技术理解深度网络内部学到的特征表示，如激活最大化、注意力图和t-SNE降维等这些方法帮助研究人员分析模型学习到的特征模式，指导模型调优和特征设计特征选择的新趋势基于模型的特征多视角特征选择异构数据特征选选择择综合考虑多个角度的随着集成学习和深度特征评价，如结合过针对包含不同类型数学习模型的发展，利滤法的统计指标和包据（如文本、图像、用复杂模型内置的特装法的模型性能，或数值、时间序列）的征重要性机制进行选融合多种学习算法的复杂数据集，开发专择变得更加普遍这特征重要性评分多门的特征选择策略类方法能自动考虑特视角方法通过整合不这类方法能处理模态征间的交互效应，适同选择策略的优势，间的相互作用，提取应非线性关系，并提提高了特征选择的稳跨模态的信息，为多供鲁棒的特征重要性定性和泛化能力源数据融合提供支持评估，如基于置换重要性的选择方法特征工程中的可解释性1特征重要性分析量化每个特征对模型预测的贡献度，帮助理解哪些因素最影响决策常用方法包括基尼重要性、置换重要性和偏依赖图等特征重要性分析提供了模型决策的全局视角，有助于识别关键变量和优化特征集2SHAP值基于博弈论的Shapley值计算每个特征对特定预测的贡献SHAP（SHapleyAdditive exPlanations）值提供了一致、准确的特征归因，能同时解释个体预测和整体模型行为，是目前最受认可的可解释性方法之一3LIME方法通过在预测点周围拟合局部可解释模型（如线性回归）来解释复杂模型决策LIME（Local InterpretableModel-agnostic Explanations）特别适合解释单个预测，通过生成简化的局部解释帮助用户理解特定决策的原因第四部分数据预处理实践数据理解数据清洗1分析数据特性和质量问题处理缺失值、异常值和不一致数据2数据评估4数据转换3验证处理结果的质量和有效性标准化、归一化和特征编码数据预处理实践是将理论知识应用于实际数据集的过程良好的数据预处理需要遵循系统的方法论，从数据理解开始，通过清洗和转换步骤，最终产生高质量的分析就绪数据集在实践中，数据预处理通常是迭代的过程，需要根据后续分析和建模的反馈不断调整和优化熟练掌握各种预处理技术和工具，结合领域知识，是数据科学家必备的核心技能数据探索性分析（EDA）目的常用技术可视化工具数据探索性分析旨在通过统计方法和可视EDA常用技术包括描述性统计（如均值、现代EDA高度依赖可视化工具，如化技术全面了解数据特性，发现模式、异中位数、方差、分布）、相关性分析、主Matplotlib、Seaborn、Plotly等Python常和关系EDA帮助数据科学家形成对数成分分析和聚类分析等通过这些技术，库，以及Tableau、Power BI等商业平台据的直觉认识，指导后续的预处理策略和可以了解数据集的基本特征、变量间的相这些工具支持创建各种图表，包括散点建模决策，是数据分析的基础环节互关系以及潜在的数据结构图、箱线图、热力图和交互式仪表板，使数据洞察更加直观数据清洗实例均值/中位数填充删除记录模型预测填充常数填充其他方法在实际数据清洗过程中，处理缺失值是最常见的任务之一如图所示，均值/中位数填充是最常用的方法，适用于随机缺失的数值型数据；而对于重要程度较低的特征或缺失比例极高的记录，直接删除也是一种高效的策略对于异常值处理，常用的方法包括基于Z分数或IQR的检测和截断、对数变换以及稳健统计量的使用在数据一致性检查方面，通常需要设置业务规则验证数据逻辑，如年龄不能为负、日期格式统一等，确保数据在语义上的准确性数据转换实例标准化示例归一化示例离散化示例假设我们有收入数据范围为10,000-对于图像像素值（0-255），应用归一连续的年龄数据可以离散化为类别，如100,000元，年龄范围为18-80岁应用化可将其转换到[0,1]区间将0-18划分为未成年，19-35为青年标准化后，这两个特征都将转换为均值`normalized_img=original_img/，36-55为中年，56以上为老年为

0、标准差为1的分布代码示例

255.0`这种简单的线性变换保持了原代码示例`bins=[0,18,35,55,`from sklearn.preprocessing import始数据的分布形状，同时将数值限制在100];labels=[未成年,青年,StandardScaler;scaler=特定范围，有利于神经网络等算法的训中年,老年];df[年龄段]=StandardScaler;X_scaled=练过程pd.cutdf[年龄],bins=bins,scaler.fit_transformX`这使得不labels=labels`同量纲的特征可以被公平比较数据集成实例多源数据融合假设我们需要整合客户交易记录、用户档案和社交媒体活动数据首先确定唯一识别键（如用户ID），然后通过内连接、左连接或全连接等方式合并数据框在Python中，可以使用`pd.mergedf1,df2,on=user_id,how=left`实现这一操作数据冲突解决在合并来自不同系统的客户地址信息时，可能遇到格式不一致或内容冲突的情况可以通过设置优先级（如采用最近更新的记录）或使用加权平均等策略解决冲突对于结构化的地址数据，还可以使用地址规范化工具进行标准化处理数据一致性保证为确保集成后数据的一致性，需要进行全面的数据验证，包括主键完整性检查、引用完整性验证和业务规则验证可以设置自动化测试脚本，计算关键指标（如记录总数、唯一值数量）并与预期值比较，及时发现集成过程中的问题数据规约实例优化模型性能1提升训练速度和预测准确率PCA降维2将50维特征降至10维保留95%信息特征选择3从100个特征中选取30个最相关特征数据采样4从千万级数据中抽取代表性样本在实际项目中，数据规约是处理高维大规模数据的有效策略例如，在一个客户行为分析项目中，原始数据包含数百个特征变量和数百万条记录通过应用主成分分析PCA，我们能够将特征空间降至原来的20%，同时保留了超过95%的信息量对于特征选择，我们可以结合过滤法和包装法，先用相关性分析筛选出候选特征，再通过递归特征消除确定最优子集而在处理大规模数据时，分层抽样能确保各类别数据的代表性，显著减少计算资源需求，同时保持模型性能的稳定性第五部分特征工程实践领域理解结合业务知识，理解数据含义和关键驱动因素，为特征设计提供方向特征设计根据问题性质创建表达力强的特征，捕捉数据中的关键信息和模式特征评估通过统计分析和模型验证，评估特征对模型性能的贡献，筛选最佳特征集特征优化根据评估结果迭代改进特征设计，提升特征质量和模型表现文本数据特征工程1分词2停用词处理3词向量生成中文文本分词是处理中文文本的第一去除文本中常见但对分析意义不大的将词语映射到低维连续向量空间，捕步，将连续的文本切分为有意义的词词语，如的、了、是等根据捉语义信息中文词向量可以使用语单元常用的中文分词工具包括具体任务，可能需要自定义停用词表Word2Vec、GloVe或基于BERT的预训练jieba、THULAC和SnowNLP等与英文，例如在情感分析中可能需要保留某模型生成近年来，中文预训练语言不同，中文分词需要考虑词语的语义些表示情感的副词停用词处理能显模型如哈工大的RoBERTa-wwm-ext、百完整性，处理歧义和新词识别等挑战著减少特征空间维度，提高计算效率度的ERNIE等表现优异，为下游NLP任务提供了强大的特征表示图像数据特征工程1图像预处理在特征提取前对图像进行基础处理，包括调整大小（如统一为224×224像素以适应深度学习模型）、归一化（将像素值缩放到[0,1]区间）、颜色空间转换（如RGB转HSV）以及数据增强（如旋转、翻转、调整亮度等）这些操作提高了模型的鲁棒性和泛化能力2卷积特征提取使用卷积神经网络CNN自动提取图像特征，从低级的边缘和纹理特征到高级的语义特征常用模型如VGG、ResNet和DenseNet等通过多层卷积和池化操作，学习层次化的特征表示，有效捕捉图像中的视觉模式和结构信息3迁移学习特征利用在大规模数据集（如ImageNet）上预训练的CNN模型提取特征，再针对特定任务微调或作为特征提取器这种方法极大减少了训练数据需求，加快了模型开发周期，在医学图像分析、遥感图像处理等领域广泛应用。