首页 电脑 电脑学堂 查看内容

如何用python快速读取几G以上的大文件

2016-10-31 10:50 3672 0

摘要: 手头有一个600多兆的csv文件,里面是连续好几年全市场的各只股票的每日市值信息(注意:是全市场所有股票每日的市值混在一起),我需要的处理是将它们按股票代码分开保存。Csv文件内容的格式是这样的:有编程经验的 ...

手头有一个600多兆的csv文件,里面是连续好几年全市场的各只股票的每日市值信息(注意:是全市场所有股票每日的市值混在一起),我需要的处理是将它们按股票代码分开保存。

Csv文件内容的格式是这样的:

有编程经验的读者想必一看就知道该如何做,我使用的语言是python,我是想法是用pandas模块的groupby语句进行分类。

一开始我的语句如下:

运行后发现,读取速度非常慢(我的电脑花了10多20分钟),因为还有后续代码,读取太慢则影响代码调试。

我的想法是用迭代的读取方式,类似标准库里的readline()方法。

几番修改后,我的代码如下:

这样运行后,代码是分多次读取,每次读取50000行数据,速度立马就上来了

声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 [邮箱地址] 删除

路过

雷人

握手

鲜花
1

鸡蛋

刚表态过的朋友 (1 人)

  • 鸡蛋

    匿名

最新评论

返回顶部