数据清洗及有效数据筛选

在进行数据分析前，运营者需要对收集到的数据集进行数据清洗工作，否则数据分析的结果将会因为异常值的存在而产生误差。

以“商品画像”Excel文件中的数据为例，运营者可以通过 Excel的“筛选”功能查看各个维度的数据是否存在异常值。其操作步骤为:打开“商品画像”Excel表格，选择第一行数据，在菜单栏中选择“开始”选项卡，然后单击“排序和筛选”下拉按钮，在弹出的下拉菜单中选择“筛选”选项。

当 Excel操作界面产生“筛选”的功能符号(一个小的向下的箭头)后，运营者可以单击各个维度数据的“筛选”符号，从而查看该维度数据是否存在异常值。以“评分数量”为例，当单击“筛选”符号后，运营者会发现该维度数据存在“-1”的异常值，这类异常值是因为Python爬虫脚本在抓取数据时无法完成抓取导致的。

一般而言，异常值在总数据量的5%以内都不会影响数据分析的精准度，当运营者通过上述步骤筛选“评分数量”的异常值时，可以发现一共有23个异常值(Excel显示有24行，但是因为第一行是数据维度名称，所以总计异常值为24-1=23个)。

运营者可以重复上述步骤，将各个维度的异常值逐一进行删除即可。需要注意的是在对排名维度进行异常值处理时，只需对“Clothing，Shoes & Jewelry”维度进行处理而不需要对“Women's Shops”维度进行处理，这是因为后者相比于前者属于小类排名存在部分商品属于大类而不属小类的情况。因此，在进行前期的数据清洗时，只需关注大类排名的数据即可。

当对“评分数量”“曝光价格”“商品价格范围(最低价 )”“商品价格范围(最高价)”“Clothing，Shoes & Jewelry”这5个维度中的异常数据进行清洗后，可以获得最终数据，将清洗后的数据保存在名为“清洗后的商品画像数据”Excel文件中。

随意单击该数据表格中的一列，可以发现该数据集包含18 660个ASIN的数据，相比于19152的原始数据，一共有492个带有异常值的ASIN被删除了。当完成了一系列数据清洗的步骤后，即可开始进行数据分析。

数据清洗及有效数据筛选 常见问答(FQAS)

数据清洗是指对原始数据进行检查、修正和规范化的过程,以确保数据的准确性、完整性和一致性,为后续的数据分析和建模提供高质量的数据。这包括处理缺失值、异常值、错误编码、格式不统一等问题。

数据清洗可以提高数据的质量,从而提高分析结果的可靠性和准确性。原始数据通常存在各种问题,如缺失值、错误编码、格式不一致等,如果不进行及时的清洗和处理,会严重影响后续的数据分析和建模。

数据清洗的主要步骤包括:1)数据审查,检查数据的完整性和一致性;2)数据转换,对数据格式和编码进行标准化;3)缺失值处理,采用合适的方法填补缺失值;4)异常值检测和处理,剔除或修正离群点;5)数据集成,合并来自不同源的数据。

有效的数据筛选需要遵循以下原则:1)明确分析目标,针对性地选择相关特征;2)检查数据分布,剔除过度偏斜或零方差的特征;3)分析特征之间的相关性,去除冗余和多重共线性的特征;4)根据业务需求和专业知识,选择对目标变量有影响的关键特征;5)采用适当的特征选择算法,如相关性分析、方差分析等。

数据清洗侧重于提高数据的质量,主要解决数据中的错误、缺失和不一致问题;而数据筛选侧重于选择对分析目标最有影响的特征,主要解决特征之间的冗余和噪音问题。两者都是数据分析的重要前处理步骤,缺一不可。

（本文内容根据网络资料整理和来自用户投稿，出于传递更多信息之目的，不代表本站其观点和立场。本站不具备任何原创保护和所有权，也不对其真实性、可靠性承担任何法律责任，特此声明！）