用Python处理数据大家都不陌生了,属于常规操作,但常规之下也还是暗藏技巧的,本篇就来分享6个好玩高效的操作,帮助大家提高效率。
Pandas Profiling 提供数据的一个整体报告,是一个帮助我们理解数据的过程。它可以简单快速地对 Pandas 的数据框数据进行探索性数据分析。
其实, Pandas 中 df.describe 和函数也可以实现数据探索过程第一步。但它们只提供了对数据非常基本的概述。而 Pandas 中的 Profiling 功能简单通过一行代码就能显示大量信息,同时还能生成交互式 HTML 报告。
对于给定的数据集,Pandas中的 profiling 包计算了以下统计信息:
由 Pandas Profiling 包计算出的统计信息包括直方图、众数、相关系数、分位数、描述统计量、其他信息包括类型、单一变量值、缺失值等。
除了导入库之外只需要一行代码,就能显示数据报告的详细信息,包括必要的图表。
pprint 是Python中的内置模块。它能够以格式清晰,可读性强 漂亮 格式打印任意数据结构。一个例子对比下 print 和 pprint 。
交互式调试器也是一个神奇的函数,如果在运行代码单元格时出现报错,可以在新行中键入 %debug 运行它。这将打开一个交互式调试环境,自动转到报错发生的位置,并且还可以检查程序中分配的变量值并执行操作。要退出调试器,按 q 。比如下面这个例子。
大家应该能看出 x+y 肯定会报错,因为二者不是一个类型,无法进行运算操作。然后我们敲入 %debug 。
这个库之前也介绍过,对于数据探索的可视化分析超级好用,低代码量便可生成漂亮的可视化图形。下面举一个例子:
这是一个能让你偷懒的 import 神器,可以提前在配置文件里写好要导入的三方库,这样每次编辑脚本的时候就省去了开头的一大堆 import 各种库 ,对于有常用和固定使用库的朋友来说无疑也是提高效率的工具之一。
此用法对于自己频繁调试很方便,但对于那些频繁跨环境比如和其它人共享脚本调试的时候就不是很好用了,因为别人不一定使用它。
此方法仅适用于 Jupyter notebook 中,当我们想高亮笔记,让笔记变得美观的时候,这个方法非常的香。
笔记的高亮的颜色根据不同情况分为几种,前端的同学一看就明白,区别就是每种颜色代码的 class 类型不一样,其它只要在 div 标签中写内容就好。下面看下用法。
这里有个小提示:如果你直接复制到 jupyter notebook 中可能会报错,因为默认是代码的格式,所以你需要选中单元格按 Esc 变成可切换模式,然后再按 Y 切换成文本模式。这时候再运行 shift+ok 就ok了。看下面这个例子。