百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

一文看懂Python中异步、进程、线程、队列

off999 2025-04-29 03:19 5 浏览 0 评论

Python异步(资源调度者)

异步是一种计算机多任务的处理方法,与同步相反,异步在多任务处理上,不阻塞当前任务执行,允许后续操作,常用于I/O操作(文件读写、网络请求、上传下载),更像一个高效的资源调度者。

简单理解,产生多种任务时,简单的任务执行时间短,复杂的任务执行时间较长,异步就是去协调线程,简单的任务执行完成以后继续执行其他任务,不用等待复杂任务的完成。

Python异步编程的优势:

  1. 能够处理更多任务
  2. 提高用户体验
  3. 提高程序的性能

什么是进程(部门)

进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元,在传统的操作系统中,进程既是基本的分配单元,也是基本的执行单元。进程是线程的容器,就像部门一样,具有独立性(分配资源和调度的独立单位)动态性(进程是一次执行过程,动态产生,动态消亡,表示当前的活动,并不执行具体的内容。

什么是线程(小组)

线程是操作系统能够进行运算调度的最小单位。线程是进程中实际运行线,一个进程可以并发多个进程,每条线程都允许执行不同的任务流。

什么是队列

队列是一种特殊的线性表,允许队列前端删除,末尾添加(先进先出)。队列是单独申请的连续的存储空间,设置头尾两个指针。

Python异步实现

Python异步的实现通过asynico库来实现异步,下面是简单的异步执行操作:

以上只是一个简单的异步操作函数,I/O阻塞用时间限制了,实际过程中是有其他操作。

假如我们现在要将一个拥有5个元素的列表里面的所有元素*2,每次*2需要耗时1s,同步操作我们需要多长时间呢?

我这边test()执行的时间是1.0011s左右,sync_test执行时间是5.0016s。如果采用异步的方式执行时间会是多长呢?

异步操作只用1.0114s,耗时明显减少。

如果是等待某个I/O操作完成,可以将await asynico.sleep(1)改为asynico.wait(func)。

Python进程实现

Python进程实现主要使用的是multiprocessing包。下面是代码的演示。

调用进程的时候可以看到4个子进程,这个就是我们设置的进程池。

但是你会发现,好像每次执行结果都是不同的,这是为什么呢?下篇文章详细解析。

Python线程实现

Python线程实现主要使用的是threading包。下面是代码的演示。

可以发现线程和进程一样,都是导入包,创建进程/线程对象,执行进程/线程,等待进程/线程的结束。

通过打印线程执行列表可以发现每个线程对象的stopped <数字> 都不一样,表示我们用不同的线程去执行了。

Python队列

Python队列实现主要使用的是queque包。下面是代码的演示。

队列遵循先进先出的规则,q.put()添加队列元素的顺序就是q.get()获取元素的顺序,如果获取完,队列就是空的了(empty)

相关推荐

Python 数据分析——利用Pandas进行分组统计

话说天下大势,分久必合,合久必分。数据分析也是如此,我们经常要对数据进行分组与聚合,以对不同组的数据进行深入解读。本章将介绍如何利用Pandas中的GroupBy操作函数来完成数据的分组、聚合以及统计...

python数据分析:介绍pandas库的数据类型Series和DataFrame

安装pandaspipinstallpandas-ihttps://mirrors.aliyun.com/pypi/simple/使用pandas直接导入即可importpandasas...

使用DataFrame计算两列的总和和最大值_[python]

【如果对您有用,请关注并转发,谢谢~~】最近在处理气象类相关数据的空间计算,在做综合性计算的时候,DataFrame针对每列的统计求和、最大值等较为方便,对某行的两列或多列数据进行求和与最大值等的简便...

8-Python内置函数

Python提供了丰富的内置函数,这些函数可以直接使用而无需导入任何模块。以下是一些常用的内置函数及其示例:1-print()1-1-说明输出指定的信息到控制台。1-2-例子2-len()2-1-说...

Python中函数式编程函数: reduce()函数

Python中的reduce()函数是一个强大的工具,它通过连续地将指定的函数应用于序列(如列表)来对序列(如列表)执行累积操作。它是functools模块的一部分,这意味着您需要在使用它之...

万万没想到,除了香农计划,Python3.11竟还有这么多性能提升

众所周知,Python3.11版本带来了较大的性能提升,但是,它具体在哪些方面上得到了优化呢?除了著名的“香农计划”外,它还包含哪些与性能相关的优化呢?本文将带你一探究竟!作者:BeshrKay...

最全python3.11版12类75个内置函数大全

获取全部内置函数:importbuiltins#导入模块yc=[]#异常属性nc=[]#不可调用fn=[]#内置函数defll(ty=builtins):...

软件测试笔试题

测试工程师岗位,3-5年,10-14k1.我司有一款产品,类似TeamViewer,向日葵,mstsc,QQ远程控制产品,一个PC客户端产品,请设想一下测试要点。并写出2.写出常用的SQL语句8条,l...

备战各大互联网巨头公司招聘会,最全Python面试大全,共300题

前言众所周知,越是顶尖的互联网公司在面试这一part的要求就越高,需要你有很好的技术功底、项目经验、一份漂亮的简历,当然还有避免不了的笔试过关。对于Python的工程师来说,全面掌握好有关Python...

经典 SQL 数据库笔试题及答案整理

马上又是金三银四啦,有蛮多小伙伴在跳槽找工作,但对于年限稍短的软件测试工程师,难免会需要进行笔试,而在笔试中,基本都会碰到一道关于数据库的大题,今天这篇文章呢,就收录了下最近学员反馈上来的一些数据库笔...

用Python开发日常小软件,让生活与工作更高效!附实例代码

引言:Python如何让生活更轻松?在数字化时代,编程早已不是程序员的专属技能。Python凭借其简洁易学的特点,成为普通人提升效率、解决日常问题的得力工具。无论是自动化重复任务、处理数据,还是开发个...

太牛了!102个Python实战项目被我扒到了!建议收藏!

挖到宝了!整整102个Python实战项目合集,从基础语法到高阶应用全覆盖,附完整源码+数据集,手把手带你从代码小白变身实战大神!这波羊毛不薅真的亏到哭!超全项目库,学练一站式搞定这份资...

Python中的并发编程

1.Python对并发编程的支持多线程:threading,利用CPU和IO可以同时执行的原理,让CPU不会干巴巴等待IO完成。多进程:multiprocessing,利用多核CPU...

Python 也有内存泄漏?

1.背景前段时间接手了一个边缘视觉识别的项目,大功能已经开发的差不多了,主要是需要是优化一些性能问题。其中比较突出的内存泄漏的问题,而且不止一处,有些比较有代表性,可以总结一下。为了更好地可视化内存...

python爬虫之多线程threading、多进程、协程aiohttp批量下载图片

一、单线程常规下载常规单线程执行脚本爬取壁纸图片,只爬取一页的图片。importdatetimeimportreimportrequestsfrombs4importBeautifu...

取消回复欢迎 发表评论: