Python 30 行代码实现小型多线程任务队列

2016-2-24 11:52 2112 0

摘要: 最近我在用梯度下降算法绘制神经网络的数据时，遇到了一些算法性能的问题。梯度下降算法的代码如下（伪代码）：Python123def gradient_descent():# the gradient descent codeplotly.write(X, Y)一般来说，当网络请 ...

最近我在用梯度下降算法绘制神经网络的数据时，遇到了一些算法性能的问题。梯度下降算法的代码如下（伪代码）：

Python
1
2
3
def gradient_descent():
    # the gradient descent code
    plotly.write(X, Y)

一般来说，当网络请求 plot.ly 绘图时会阻塞等待返回，于是也会影响到其他的梯度下降函数的执行速度。

一种解决办法是每调用一次 plotly.write 函数就开启一个新的线程，但是这种方法感觉不是很好。我不想用一个像 cerely（一种分布式任务队列）一样大而全的任务队列框架，因为框架对于我的这点需求来说太重了，并且我的绘图也并不需要 redis 来持久化数据。

那用什么办法解决呢？我在 python 中写了一个很小的任务队列，它可以在一个单独的线程中调用 plotly.write函数。下面是程序代码。

Python
1
2
3
4
5
from threading import Thread
import Queue 
import time
 
class TaskQueue(Queue.Queue):

首先我们继承 Queue.Queue 类。从 Queue.Queue 类可以继承 get 和 put 方法，以及队列的行为。

Python
1
2
3
4
def __init__(self, num_workers=1):
    Queue.Queue.__init__(self)
    self.num_workers = num_workers
    self.start_workers()

初始化的时候，我们可以不用考虑工作线程的数量。

Python

                      声明：文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 
                      [邮箱地址] 删除
                    				    
路过

雷人

握手

鲜花

鸡蛋

收藏
分享
邀请

上一篇：php实现中文转数字下一篇：java模拟简易Http的get和post请求