Python中I/O密集型任务以等待外部资源为主、CPU利用率低,适合多线程或asyncio;CPU密集型任务持续占用CPU、利用率近100%,应选多进程或C扩展。
Python 中 I/O 密集型和 CPU 密集型任务的核心区别在于:程序执行时的“等待”与“计算”占比不同。I/O 密集型任务大部分时间在等磁盘读写、网络响应或用户输入;CPU 密集型任务则持续占用 CPU 进行数学运算、数据处理或循环计算,几乎不等待外部资源。
I/O 密集型任务的典型特征
这类任务常因等待外部设备而空闲,CPU 利用率低(通常低于 30%),但整体耗时长。常见场景包括:
- 读写文件(尤其是大文件逐块处理)
- 发起 HTTP 请求并等待响应(如调用 API、爬网页)
- 数据库查询(含连接、发送语句、接收结果)
- 用户输入等待(
input())、串口通信、socket 收发
它们适合用多线程(threading)或异步 I/O(asyncio)提升并发效率——因为 GIL 在 I/O 等待时会自动释放,线程可切换执行其他任务。
CPU 密集型任务的典型特征
这类任务持续压榨 CPU,几乎没有等待,CPU 利用率接近 100%,且单线程跑满一个核心。常见场景包括:
- 大量数值计算(如矩阵乘法、科学计算、加密解密)
- 遍历/排序超大数据集(纯内存操作,无磁盘或网络)
- 图像处理
(如 OpenCV 滤波、缩放)、视频帧编码
- 递归求解(如深度搜索、斐波那契暴力实现)
它们不适合多线程(GIL 会限制并发),应优先使用多进程(multiprocessing)或借助 C 扩展(如 NumPy 底层已绕过 GIL)来真正并行。
如何快速判断你的代码属于哪一类?
不用猜,用工具看实际行为:
- 运行时观察
top或任务管理器:CPU 占用高 + 磁盘/网络活动低 → CPU 密集;CPU 占用低 + 频繁磁盘读写或网络收发 → I/O 密集 - 用
psutil在代码中监控:psutil.cpu_percent()和psutil.disk_io_counters()对比变化趋势 - 加日志:在关键 I/O 调用前后打时间戳,若大部分耗时落在
time.sleep、requests.get、open().read()等调用里,就是 I/O 密集
选错并发模型的后果很直接
对 CPU 密集任务用多线程,性能可能不如单线程(线程切换开销白费);对 I/O 密集任务用多进程,反而浪费内存且启动慢。简单记:
- I/O 密集 → 多线程 / asyncio
- CPU 密集 → 多进程 / numba / Cython / Rust 扩展
真实项目往往混合两类操作,可拆分逻辑:用多进程处理计算块,再用线程或协程调度 I/O 部分。









