4、python多进程使用

引言：

之前在学习airflow时发现，airflow中大量使用多进程来实现任务的运行，所以还是比较奇怪为什么它会选择多进程呢？所以查询了很多的资料来学习下关于python多进程。

一、多进程的底层实现与原理

1.1 进程 vs 线程

• 线程：共享内存空间，通过锁（Lock）或信号量（Semaphore）控制并发访问，受GIL限制。
• 进程：独立内存空间，无GIL限制，适合CPU密集型任务，但通信开销大。