百度360必应搜狗淘宝本站头条
python类型转换python异常python操作mysql数据库python打印九九乘法表python获取列表的长度
当前位置：网站首页 > 技术资源 > 正文

Python中的并发编程

off999 2025-04-29 03:20 4 浏览 0 评论

1.Python对并发编程的支持

  • 多线程：threading，利用 CPU 和 IO 可以同时执行的原理，让 CPU 不会干巴巴等待 IO 完成。
  • 多进程：multiprocessing，利用多核 CPU 的能力，真正地并行执行任务。
  • 异步 IO：asyncio，在单线程利用 CPU 和 IO 同时执行的原理，实现函数异步执行。
  • 使用 Lock 对资源加锁，防止冲突访问。
  • 使用 Queue 实现不同线程 / 进程之间的数据通信，实现生产者-消费者模式。
  • 使用线程池 / 进程池，简化线程 / 进程的任务提交、等待结束、获取结果。
  • 使用 subprocess 启动外部程序的进程，并进行输入输出交互。

2.Python并发编程有三种方式

  • 多线程 Thread (multiprocessing)
  • 多进程 Process (threading)
  • 多协程 Coroutine (asyncio)

CPU 密集型也叫计算密集型，是指 I/O 在很短的时间就可以完成，CPU 需要大量的计算和处理，特点是 CPU 占用率相当高。例如：压缩解压缩、加密解密、正则表达式搜索。

IO 密集型指的是系统运作大部分的状况是 CPU 在等 I/O（硬盘/内存）的读/写操作，CPU占用率仍然较低。例如：文件处理程序、网络爬虫程序、读写数据库程序。

一个进程中可以启动 N 个线程。一个线程中可以启动 N 个协程。

2.1 多线程Thread（threading）

优点：相比进程，更轻量级、占用资源少

缺点：

相比进程：多线程只能并发执行，不能利用多 CPU（GIL）

相比协程：启动数目有限制，占用内存资源，有线程切换开销

2.2 多进程Process（multiprocessing）

优点：可以利用多核 CPU 并行运算

缺点：占用资源最多、可启动数目比线程少

2.3 多协程Coroutine（asyncio）

优点：内存开销最少、启动协程数量最多

缺点：支持的库有限制（alonttp vs requests）、代码实现复杂

适用于：IO 密集型计算、需要超多任务运行、但有现成库支持的场景。

3.全局解释器锁GIL

全局解释器锁（Global Interpreter Lock，GIL），是计算机程序设计语言解释器用于同步线程的一种机制，它使得任何时刻仅有一个线程在执行。即便在多核心处理器上，使用GIL的解释器也只允许同一时间执行一个线程。

为什么要有GIL这个东西？

怎样规避GIL带来的限制

  • 多线程 threading 机制依然是有用的，用于 IO 密集型计算。因为在 IO（read、write、send、recv、etc.）期间，线程会释放 GIL，实现 CPU 和 IO 的并行。因此多线程用于 IO 密集型计算依然可以大幅提升速度。但是多线程用于 CPU 密集型计算时，只会更加拖慢速度。
  • 为了应对 GIL 的问题，Python 提供了 multiprocessing。使用 multiprocessing 的多进程机制实现并行计算、利用多核 CPU 优势。

4.多线程爬虫，速度快10倍

相关推荐

Python 数据分析——利用Pandas进行分组统计

话说天下大势，分久必合，合久必分。数据分析也是如此，我们经常要对数据进行分组与聚合，以对不同组的数据进行深入解读。本章将介绍如何利用Pandas中的GroupBy操作函数来完成数据的分组、聚合以及统计...

python数据分析:介绍pandas库的数据类型Series和DataFrame

安装pandaspipinstallpandas-ihttps://mirrors.aliyun.com/pypi/simple/使用pandas直接导入即可importpandasas...

使用DataFrame计算两列的总和和最大值_[python]

【如果对您有用，请关注并转发，谢谢~~】最近在处理气象类相关数据的空间计算，在做综合性计算的时候，DataFrame针对每列的统计求和、最大值等较为方便，对某行的两列或多列数据进行求和与最大值等的简便...

8-Python内置函数

Python提供了丰富的内置函数，这些函数可以直接使用而无需导入任何模块。以下是一些常用的内置函数及其示例：1-print()1-1-说明输出指定的信息到控制台。1-2-例子2-len()2-1-说...

Python中函数式编程函数: reduce()函数

Python中的reduce（）函数是一个强大的工具，它通过连续地将指定的函数应用于序列（如列表）来对序列（如列表）执行累积操作。它是functools模块的一部分，这意味着您需要在使用它之...

万万没想到，除了香农计划，Python3.11竟还有这么多性能提升

众所周知，Python3.11版本带来了较大的性能提升，但是，它具体在哪些方面上得到了优化呢？除了著名的“香农计划”外，它还包含哪些与性能相关的优化呢？本文将带你一探究竟！作者：BeshrKay...

最全python3.11版12类75个内置函数大全

获取全部内置函数：importbuiltins#导入模块yc=[]#异常属性nc=[]#不可调用fn=[]#内置函数defll(ty=builtins):...

软件测试笔试题

测试工程师岗位，3-5年，10-14k1.我司有一款产品，类似TeamViewer，向日葵，mstsc，QQ远程控制产品，一个PC客户端产品，请设想一下测试要点。并写出2.写出常用的SQL语句8条，l...

备战各大互联网巨头公司招聘会，最全Python面试大全，共300题

前言众所周知，越是顶尖的互联网公司在面试这一part的要求就越高，需要你有很好的技术功底、项目经验、一份漂亮的简历，当然还有避免不了的笔试过关。对于Python的工程师来说，全面掌握好有关Python...

经典 SQL 数据库笔试题及答案整理

马上又是金三银四啦，有蛮多小伙伴在跳槽找工作，但对于年限稍短的软件测试工程师，难免会需要进行笔试，而在笔试中，基本都会碰到一道关于数据库的大题，今天这篇文章呢，就收录了下最近学员反馈上来的一些数据库笔...

用Python开发日常小软件，让生活与工作更高效!附实例代码

引言：Python如何让生活更轻松？在数字化时代，编程早已不是程序员的专属技能。Python凭借其简洁易学的特点，成为普通人提升效率、解决日常问题的得力工具。无论是自动化重复任务、处理数据，还是开发个...

太牛了!102个Python实战项目被我扒到了!建议收藏!

挖到宝了！整整102个Python实战项目合集，从基础语法到高阶应用全覆盖，附完整源码+数据集，手把手带你从代码小白变身实战大神！这波羊毛不薅真的亏到哭！超全项目库，学练一站式搞定这份资...

Python中的并发编程

1.Python对并发编程的支持多线程：threading，利用CPU和IO可以同时执行的原理，让CPU不会干巴巴等待IO完成。多进程：multiprocessing，利用多核CPU...

Python 也有内存泄漏?

1.背景前段时间接手了一个边缘视觉识别的项目，大功能已经开发的差不多了，主要是需要是优化一些性能问题。其中比较突出的内存泄漏的问题，而且不止一处，有些比较有代表性，可以总结一下。为了更好地可视化内存...

python爬虫之多线程threading、多进程、协程aiohttp批量下载图片

一、单线程常规下载常规单线程执行脚本爬取壁纸图片，只爬取一页的图片。importdatetimeimportreimportrequestsfrombs4importBeautifu...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.