博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python 多进程之进程池的操作
阅读量:2160 次
发布时间:2019-05-01

本文共 893 字,大约阅读时间需要 2 分钟。

当需要创建的子进程数量不多时,可以直接利用 multiprocessing 中的 Process 动态生成多个进程, 但是如果是上百甚至上千个目标,手动的去创建的进程的工作量巨大,此时就可以用到 multiprocessing 模块提供的 Pool 方法。也就是进程池。

初始化 Pool 时,需要指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求,但是如果进程池中的进程已经达到指定的最大值,那么该请求 就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。
进程池语法:
from mutiprocessing import Pool
po = Pool(num) #创建一个进程池
po.apply_async() 使用进程池中的进程处理任务
po.close() 关闭进程池,不再接受新的请求
po.join() 令主进程等待子进程的执行
代码实现:

import multiprocessingimport osimport timedef worker(msg):    start_time = time.time()    print(msg,f'开始运行,线程号{os.getpid()}')    time.sleep(2)    stop_time = time.time()    print(msg, f'结束运行,所用时间{stop_time-start_time}')def main():    #新建进程池    pool = multiprocessing.Pool(3)    for i in range(10):        #开始执行任务        pool.apply_async(worker,args=(i,))    #关闭线程池,线程池不接接受新的任务    #主进程阻塞,子进程不会结束    print('主进程开始执行')    pool.close()    pool.join()if __name__ == '__main__':    main()

转载地址:http://ubrwb.baihongyu.com/

你可能感兴趣的文章
强化学习第4课:这些都可以抽象为一个决策过程
查看>>
强化学习第5课:什么是马尔科夫决策过程
查看>>
强化学习第6课:什么是 Crossentropy 方法
查看>>
强化学习第7课:交叉熵方法的一些局限性
查看>>
强化学习 8: approximate reinforcement learning
查看>>
图解什么是 Transformer
查看>>
代码实例:如何使用 TensorFlow 2.0 Preview
查看>>
6 种用 LSTM 做时间序列预测的模型结构 - Keras 实现
查看>>
走进JavaWeb技术世界1:JavaWeb的由来和基础知识
查看>>
走进JavaWeb技术世界2:JSP与Servlet的曾经与现在
查看>>
走进JavaWeb技术世界3:JDBC的进化与连接池技术
查看>>
走进JavaWeb技术世界4:Servlet 工作原理详解
查看>>
走进JavaWeb技术世界5:初探Tomcat的HTTP请求过程
查看>>
走进JavaWeb技术世界6:Tomcat5总体架构剖析
查看>>
走进JavaWeb技术世界7:Tomcat和其他WEB容器的区别
查看>>
走进JavaWeb技术世界9:Java日志系统的诞生与发展
查看>>
走进JavaWeb技术世界10:从JavaBean讲到Spring
查看>>
走进JavaWeb技术世界11:单元测试框架Junit
查看>>
走进JavaWeb技术世界12:从手动编译打包到项目构建工具Maven
查看>>
走进JavaWeb技术世界13:Hibernate入门经典与注解式开发
查看>>