python数据清洗删除异常值（Python数据清洗
私信我或关注猿来如此呀公众号，回复：数据学习，免费领取学习资源包
数据分析过程中最头疼也是工作量最大的部分算是探索和清洗了，探索的目的是了解数据，了解数据背后隐藏的规律，清洗的目的则是为了让干净的数据进入分析或建模的下一个环节。作者将通过三篇文章，详细讲解工作中常规的数据清洗方法，包括数据类型的转换，重复数据的处理，缺失值的处理以及异常数据的识别和处理。这是第一篇文章，主要分享的内容包括，文中涉及到的数据可以至文末查看下载链接：
数据类型的转换
冗余数据的识别和处理
数据类型的判断和转换
如下表所示，为某公司用户的个人信息和交易数据，涉及的字段为用户id、性别、年龄、受教育水平、交易金额和交易日期。从表面上看，似乎没有看出数据背后可能存在的问题，那接下来就将其读入到Python中，并通过探索的方式发现数据中的问题。
# 导入第三方包import pandas as pd# 读入外部数据data3 = pd.read_excel(io=r'C:UsersAdministratorDesktopdatasdata3.xlsx')# 查看数据的规模data3.shapeout:(3000, 6)# 查看表中各变量的数据类型# data3.dtypesout:
表中各变量的数据类型如表下表所示：
上述代码利用shape“方法”返回了数据集的规模，即该数据包含3000行6列；通过dtypes“方法”则返回了数据集中各变量的数据类型——除id变量和age变量为数值型，其余变量均为字符型。直观上能够感受到一点问题，即数据类型不对，例如用户id应该为字符型，消费金额custom_amt为数值型，订单日期为日期型。如果发现数据类型不对，如何借助于Python工具实现数据类型的转换呢？可参照如下代码的实现。
# 数值型转字符型data3['id'] = data3['id'].astype(str)# 字符型转数值型data3['custom_amt'] = data3['custom_amt'].str[1:].astype(float)# 字符型转日期型data3['order_date'] = pd.to_datetime(data3['order_date'], format = '%Y年%m月%d日')# 重新查看数据集的各变量类型data3.dtypesout:
这些数据经过处理后，各个字段的数据类型如下表所示：
如上结果所示，三个变量全都转换成了各自所期望的数据类型。astype“方法”用于数据类型的强制转换，可选择的常用转换类型包括str（表示字符型）、float（表示浮点型）和int（表示整型）。由于消费金额custom_amt变量中的值包含人民币符号“￥”，所以在数据类型转换之前必须将其删除（通过字符串的切片方法删除，[1:]表示从字符串的第二个元素开始截断）。对于字符转日期问题，推荐使用更加灵活的to_datetime函数，因为它在format参数的调节下，可以识别任意格式的字符型日期值。
需要注意的是，Python中的函数有两种表现形式，一种是常规理解下的函数（语法为func(parameters)，如to_datetime函数），另一种则是“方法”（语法为obj.func(parameters)，如dtypes和astype“方法”）。两者的区别在于 “方法”是针对特定对象的函数（即该“方法”只能用在某个固定类型的对象上），而函数并没有这方面的限制。
基于如上类型的转换结果，最后浏览一下数据的展现形式：
# 预览数据的前5行data3.head()
如上过程是对数据中各变量类型的判断和转换，除此还需要监控表中是否存在“脏”数据，如冗余的重复观测和缺失值等。可以通过duplicated“方法”进行 “脏”数据的识别和处理。仍然对上边的data3数据为例进行操作，具体代码如下所示。
# 判断数据中是否存在重复观测data3.duplicated().any()out:False
上一篇
下一篇猜你喜欢
-
数据连接线十大品牌排行榜，数据连接线哪个牌子好？
数据连接线哪个牌子好？连接线在日常生活中都是存在的，他对电流的传输起到了很大的作用，好的连接线的质量一定是好的，也有安全质量的保障，在性能等方面也是也是非常让人放心的，那有哪些拍的连接线是比较好的的，下面我们来了解一下数据连接线十大品牌。数据连接线十大品牌排行榜：以瑟、佰瑞特、坚威、德力西、上德、欧..
2025-11-01 -
2025汽车制造行业零部件精密清洗超声波清洗机排行
2024汽车制造行业零部件精密清洗超声波清洗机排行在汽车制造行业，零部件的精密清洗是保证装配精度和产品质量的关键环节。发动机气门嘴、变速箱齿轮等零件的缝隙中，往往残留着油污、金属碎屑等污染物，传统的喷淋清洗或手工擦拭不仅效率低，还容易损伤零件表面的精密涂层，给后续生产带来隐患。如何选择一台能解决这些痛点..
2025-10-24 
养生百科 草莓怎么清洗比较干净还不烂（草莓是寒性还是热性的
草莓通常4月份会出现在市面上，几乎每个人都喜欢吃草莓，但是草莓是非常脆弱的，在清洗的时候很容易洗坏，所以在购买草莓之前我们要先了解一下草莓还不烂？草莓是寒性还是热性的？草莓如何清洗比较干净还不烂1.先用流水冲洗几分钟，这样可以把草莓表面的病菌、农药及其他污染物除去大部分。需注意的是，不要先浸在水中，以..
2025-10-24
百科大全 单反感光元件怎么清洗？单反感光元件上有灰尘怎么办
温馨提示：这篇文章已超过57天没有更新，请注意相关的内容是否还可用！《你一定不知道“为啥单反镜头用眼睛直接看是看不清的?\"》相信玩过摄影的朋友都会不经意的拿起镜头对着眼睛去看外界。但当你贴着眼睛去看的时候却发现，无论你怎么调焦都是无法看清的。这是为何呢？从一个专业名词来说它叫“法兰距”。我们大家都知道..
2025-10-20
世界最重 美国肥胖率40%，韩国34.4%！中国作为第一人口大国，数据令人意外
4亿人的体重竟然能拖垮国家经济！这听起来像天方夜谭，但数字摆在眼前时，所有人都震惊了。我国超重和肥胖人数已经超过4亿，这个数字意味着什么？平均每3个成年人中就有1个体重超标。更让人意外的是，我们已经超越美国，成为全球肥胖人口最多的国家。最新公布的数据显示，全国肥胖率最高的10个省份，医疗支出占GDP的比重比..
2025-10-15
排行榜 【数据】2025最具价值中国品牌100强发布，大快消品牌占三分之一
（快消品讯）2025年9月16日，2025凯度BrandZ最具价值中国品牌百强榜十五周年庆典以“新智品牌力”为主题在上海举行，现场正式发布《2025凯度BrandZ最具价值中国品牌100强》榜单（下称“品牌百强榜单”）及完整报告，其中大快消品牌34家。1茅台入围最具价值中国品牌年度十强报告显示，2025 年品牌百强榜单总价值高达 1.21 万..
2025-10-14
排行榜 美食TOP10、景点TOP18……全国双节出行消费报告出炉 ，东莞多项数据上榜
2025国庆中秋长假出行消费报告出炉，东莞多项数据上榜，涉及美食、景区等方面，赶紧来了解一下吧↓↓↓2025国庆中秋长假已经结束，从寻找美食到奔赴美景，从亲情热度到社会温度，数亿国人出游、团聚、休闲。这8天里，“高德扫街榜”持续观察和分析各地的出行、消费数据，形成了这份《奔腾的中国——2025国庆中秋长假出行消..
2025-10-11-
2025汽车制造行业零部件精密清洗超声波清洗机品牌排名
2025汽车制造行业零部件精密清洗超声波清洗机品牌排名在汽车制造的核心环节，发动机缸体、变速箱齿轮、燃油喷射器等精密零部件的清洗质量直接决定产品可靠性。这些零件结构复杂，缝隙中残留的油污、金属碎屑若未彻底清除，会导致装配间隙偏差、部件早期磨损，甚至引发发动机异响、变速箱故障等问题。对车企而言，找到一台“..
2025-10-07
微信分享
扫描二维码分享到微信或朋友圈