首页 / 热点百科

python数据清洗删除异常值(Python数据清洗

2024-09-21 08:24热点百科

私信我或关注猿来如此呀公众号,回复:数据学习,免费领取学习资源包

数据分析过程中最头疼也是工作量最大的部分算是探索和清洗了,探索的目的是了解数据,了解数据背后隐藏的规律,清洗的目的则是为了让干净的数据进入分析或建模的下一个环节。作者将通过三篇文章,详细讲解工作中常规的数据清洗方法,包括数据类型的转换,重复数据的处理,缺失值的处理以及异常数据的识别和处理。这是第一篇文章,主要分享的内容包括,文中涉及到的数据可以至文末查看下载链接:

数据类型的转换

冗余数据的识别和处理

数据类型的判断和转换

如下表所示,为某公司用户的个人信息和交易数据,涉及的字段为用户id、性别、年龄、受教育水平、交易金额和交易日期。从表面上看,似乎没有看出数据背后可能存在的问题,那接下来就将其读入到Python中,并通过探索的方式发现数据中的问题。

读取数据,以及查看数据规模、查看数据中各变量的数据类型的代码如下:

# 导入第三方包import pandas as pd# 读入外部数据data3 = pd.read_excel(io=r'C:UsersAdministratorDesktopdatasdata3.xlsx')# 查看数据的规模data3.shapeout:(3000, 6)# 查看表中各变量的数据类型# data3.dtypesout:

表中各变量的数据类型如表下表所示:

上述代码利用shape“方法”返回了数据集的规模,即该数据包含3000行6列;通过dtypes“方法”则返回了数据集中各变量的数据类型——除id变量和age变量为数值型,其余变量均为字符型。直观上能够感受到一点问题,即数据类型不对,例如用户id应该为字符型,消费金额custom_amt为数值型,订单日期为日期型。如果发现数据类型不对,如何借助于Python工具实现数据类型的转换呢?可参照如下代码的实现。

# 数值型转字符型data3['id'] = data3['id'].astype(str)# 字符型转数值型data3['custom_amt'] = data3['custom_amt'].str[1:].astype(float)# 字符型转日期型data3['order_date'] = pd.to_datetime(data3['order_date'], format = '%Y年%m月%d日')# 重新查看数据集的各变量类型data3.dtypesout:

这些数据经过处理后,各个字段的数据类型如下表所示:

如上结果所示,三个变量全都转换成了各自所期望的数据类型。astype“方法”用于数据类型的强制转换,可选择的常用转换类型包括str(表示字符型)、float(表示浮点型)和int(表示整型)。由于消费金额custom_amt变量中的值包含人民币符号“¥”,所以在数据类型转换之前必须将其删除(通过字符串的切片方法删除,[1:]表示从字符串的第二个元素开始截断)。对于字符转日期问题,推荐使用更加灵活的to_datetime函数,因为它在format参数的调节下,可以识别任意格式的字符型日期值。

需要注意的是,Python中的函数有两种表现形式,一种是常规理解下的函数(语法为func(parameters),如to_datetime函数),另一种则是“方法”(语法为obj.func(parameters),如dtypes和astype“方法”)。两者的区别在于 “方法”是针对特定对象的函数(即该“方法”只能用在某个固定类型的对象上),而函数并没有这方面的限制。

基于如上类型的转换结果,最后浏览一下数据的展现形式:

# 预览数据的前5行data3.head()

冗余数据的判断和处理

如上过程是对数据中各变量类型的判断和转换,除此还需要监控表中是否存在“脏”数据,如冗余的重复观测和缺失值等。可以通过duplicated“方法”进行 “脏”数据的识别和处理。仍然对上边的data3数据为例进行操作,具体代码如下所示。

# 判断数据中是否存在重复观测data3.duplicated().any()out:False

猜你喜欢

  • 世界最长

    世界上最大的船能有多大?数据对比航母后才发现,航母就是小儿科

    #头号创作者激励计划#在很多人的印象里,航母是一艘庞然大物了。不过在大型船舶制造领域,航母的体型其实只能算小儿科。世界上最大的航母也就11万吨左右,但在民船领域排水量超过20万吨的船比比皆是。目前世界上最大的航母——福特级人类历史上最大的船人类历史上造过的最大的船,是诺克・耐维斯号(Knock Nevis)。诺克・..

    2025-07-29
  • 宠物百科

    python 写对联

    小朋友们好,大朋友们好!马上要过年了,谢谢大家对猫妹一年来的支持和鼓励!祝大家在新的一年里身体健康、万事如意!春联你知道什么是春联吗?春联儿有很多名字,比如门对,对联等,过年时,自然少不了中国红。不论是鞭炮,还是春联、年画等,还有穿新衣、戴新帽,处处都透着红,透着咱们对新的一年美好生活的憧憬和向往。..

    2025-07-29
  • 百科大全

    坦克世界金币车t27入手咋样(坦克世界7号坦克银币车和7201K金币车数据对照

    哈喽大家好,我是游戏小编绿尘君,今天为大家带来车和7201K金币车数据对比,向你完美诠释什么叫同车不同命!坦克世界原四件套的加强在新版本公测服实装,风头几乎被意大利炮完全掩盖,稍微看了一下tanks.gg,对基础参数和一点不容易留意的参数进行比较,尤其是装甲,非常灵异。以下7号坦克指银币车和7201K指金币车对比,数..

    2025-07-24
  • 排行榜

    电饭煲哪个牌子的好?质量排名前十名真实测评数据公开!

    现在市面上的电饭锅(又名电饭煲)品牌琳琅满目,从传统品牌到新兴网红大牌应有尽有,让消费者眼花缭乱,难以抉择。若购买劣质电饭锅,可能会遇到安全隐患、异味问题甚至有毒有害物质的泄露等问题,这些都严重影响消费者的健康。而且性能也不行,煮出来的米饭口感很不好拿电饭煲哪个牌子的好?这个问题可能是每个家庭在选购..

    2025-07-09
  • 明星秘密

    7天7夜500万!知名女星自爆被潜规则,不同意就删除戏份

    娱乐圈一直以来都是备受人们瞩目的地方,这里聚集了无数的明星,也有无数的作品。但是在这个看似光鲜亮丽的地方背后,却隐藏着太多肮脏的东西。在我们的认知里,或许娱乐圈就是一个非常肮脏的地方,为了利益,什么都可以去做。在这样的环境下,很多的明星,包括导演,都会做出一些让人匪夷所思的事情。而最近,就有一位导演..

    2025-07-06
  • 世界最高

    全球最大具身智能数据工厂落地天津

    中新社天津6月23日电 (记者 周亚强 王君妍)全球规模最大的具身智能数据工厂——帕西尼具身智能超级数据工厂(Super EID Factory)23日在天津空天数字产业园正式启用。该工厂旨在破解行业数据瓶颈,为全球具身智能产业提供核心驱动力。6月23日,全球规模最大的具身智能数据工厂——帕西尼具身智能超级数据工厂(Super EID Facto..

    2025-06-28
  • 排行榜

    电饭煲实测排行榜前十名:核心数据测评教你怎么选才对

    在快节奏的时代下,智能电饭煲凭借多功能、一机多用等便捷功能,成为厨房标配。影响米饭蒸煮表现的主要因素有哪些?①加热方式:底盘和IH加热易衰减致夹生,螺旋焖压加热均匀,米饭香糯。②内胆形状厚度:球形内胆受热面积大、热对流好,平底或半釜较差。③温控精准度:精确控温避免夹生焦糊,让米饭达最佳口感。④腔体密闭..

    2025-06-19
  • 育儿百科

    正确清洗肛门有什么好处 肛门对人体的作用有什么

    很多人会忽视肛门清洗,肛门是一个隐私的部位,上完厕所后,也很容易滋生细菌,那么,正确清洗肛门有什么好处?肛门对人体的作用有什么?下面八宝网小编就带来介绍。正确清洗肛门有什么好处1、预防疾病肛门是身体比较隐私,敏感的地方,但该部位比其他部位要脏许多,本身就容易滋生细菌,如果没有注意卫生问题,可能会引发..

    2025-06-18

微信分享

微信分享二维码

扫描二维码分享到微信或朋友圈

链接已复制