首页 编程 软件学院 查看内容

python项目随笔之数据处理

2017-6-10 01:09 |来自: 互联网 1870 1

摘要: 最近在做一个项目,要用到深度学习的东西,所以搭建了个tensorflow框架,但众所周知,即使再强大的机器学习方法,如果在前期没有将数据处理好,那么一切都是白费。本文及以后的文章我都会将自己在项目中的一些想法记 ...

最近在做一个项目,要用到深度学习的东西,所以搭建了个tensorflow框架,但众所周知,即使再强大的机器学习方法,如果在前期没有将数据处理好,那么一切都是白费。本文及以后的文章我都会将自己在项目中的一些想法记录下来,有不对的地方还请大家指正。


言归正传,在我所拿到的数据中,有些数据因为一些不可抗力的原因,出现了些许波动,如下图所示:

从上图中我们可以看出,因为这是在静态环境下搜集的数据,所以正确的波形应该是小幅平滑波动,而不是像上图一样剧烈波动,但因其是在实验环境下的数据,所以要想一些办法去抵消这些波动,而不是放弃这条数据。

因此,通常的做法是选择滑动窗口平均的做法(由numpy包实现),但项目数据是有时序特征的,所以我选择的是指数加权移动平均方法,距离近的权值打,距离远的权值小,这样就能够最大限度的保存原始数据的信息,而不会把数据搞废掉。

具体代码如下:

数据处理后,结果为

本文出处: http://www.toutiao.com/a6429272717351272705/
声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 [邮箱地址] 删除

路过

雷人

握手

鲜花

鸡蛋

返回顶部