准备工作 首先是准备工作,导入需要使用的库,读取并创建数据表取名为loandata。
设置索引字段 在开始提取数据前,先将
按行提取信息 第一步是按行提取数据,例如提取某个用户的信息。下面使用ix函数对
按列提取信息 第二步是按列提取数据,例如提取用户工作年限列的所有信息,下面是具体的代码和提取结果,显示了所有用户的工作年龄信息。
按行与列提取信息 第三步是按行和列提取信息,把前面两部的查询条件放在一起,查询特定用户的特定信息,下面是查询
在前面的基础上继续增加条件,增加一行同时查询两个特定用户的贷款金额信息。具体代码和查询结果如下。结果中分别列出了两个用户的代码金额。
在前面的代码后增加
除了增加行的查询条件以外,还可以增加列的查询条件,下面的代码中查询了一个特定用户的贷款金额和年收入情况,结果中分别显示了这两个字段的结果。
多个列的查询也可以进行求和计算,在前面的代码后增加
提取特定日期的信息 数据提取中还有一种很常见的需求就是按日期维度对数据进行汇总和提取,如按月,季度的汇总数据提取和按特定时间段的数据提取等等。 设置索引字段 首先将索引字段改为数据表中的日期字段,这里将issue_d设置为数据表的索引字段。按日期进行查询和数据提取。
按日期提取信息 下面的代码查询了所有2016年的数据。
在前面代码的基础上增加月份,查询所有2016年3月的数据。
继续在前面代码的基础上增加日期,查询所有2016年6月16日的数据。
除了按单独日期查询以外,还可以按日期段进行数据查询,下面的代码中查询了所有2016年1月至5月的数据。下面显示了具体的查询结果,可以发现数据的日期都是在1-5月的,但是按日期维度显示的,这就需要我们对数据按月进行汇总。
按日期汇总信息 Pandas中的
将W改为M,数据变成了按月聚合的方式。计算方式依然是求和。这里需要说明的是
将前面代码中的M改为Q,则为按季度对数据进行聚合,计算方式依然为求和。从下面的数据表中看,日期显示的都是每个季度的最后一天,如果希望以每个季度的第一天显示,可以改为QS。
将前面代码中的Q改为A,就是按年对数据进行聚合,计算方式依然为求和。
前面的方法都是对整个数据表进行聚合和求和操作,如果只需要对某一个字段的值进行聚合和求和,可以在数据表后增加列的名称。下面是将贷款金额字段按月聚合后求和,并用0填充空值。
在前面代码的基础上再增加一个数值字段,并且在后面的计算方式中增加
有时我们需要只对某一时间段的数据进行聚合和计算,下面的代码中对2016年1月至5月的数据按月进行了聚合,并计算求和。用0填充空值。
或者只对某些符合条件的数据进行聚合和计算。下面的代码中对于贷款金额大于5000的按月进行聚合,并计算求和。空值以0进行填充。
除了按周,月,季度和年以外, 下面给出了具体的对应表和说明。 总结 以上就是利用python按特定的维度或条件对数据进行提取的全部内容,希望本文的内容对大家学习使用Python能有所帮助。 原文链接:http://bluewhale.cc/2016-08-22/data-extraction-using-python.html | ||||||||||||||||||||||||||||||||||||||||||||
|
声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系
[邮箱地址] 删除
|