python之gunicorn配置详解 python grblpython之gunicorn配置起因:由于cpu利用率低导致我去缩容,虽然缩容之后cpu利用率上升维持在60%左右,然而程序响应耗时增加了。解释:由于cpu干这件活本身不累,但在干这件活的时候不能去干其他事务,导致并发的请求不能及时响应,导致耗时增加。比如,sleep1s,此时cpu利用率为0,然而cpu却做不了其他的处理。其他任务就被阻塞。解法:增加cpu的线程数。但我任务的配置其实是协程,而不是多线程。gunicorn当worker_class = &039;gevent’时,怎样增加程序的并发能力?在 Gunicorn 中使用 worker_class = &039;gevent&039;(基于协程的异步 Worker)时,提升并发能力的关键在于 合理配置协程并发数 和 优化资源分配。下面内容是具体技巧和步骤:一、gevent 的并发原理gevent 通过 协程(Coroutine) 和 事件循环(Event Loop) 实现高并发,每个请求由协程处理而非线程或进程。协程的切换成本极低,因此适用于 I/O 密集型 场景(如 HTTP API、数据库查询、外部服务调用等)。二、提升并发能力的核心参数1. Worker 进程数 (–workers/workers)影响:指定启动的 Worker 进程数量。每个 Worker 一个独立进程,内部通过协程处理并发。建议值:通常设置为 CPU 核心数 × 2 + 1。例如 4 核 CPU 可设 workers = 9。示例:gunicorn –workers=9 –worker-class=gevent app:app2. 每个 Worker 的并发连接数 (–worker-connections/worker_connections)影响:单个 Worker 进程能处理的最大并发连接数。此参数直接影响协程池大致。建议值:默认 1000,可调整为 1000~5000(需根据内存和负载测试调整)。示例:gunicorn –workers=9 –worker-class=gevent –worker-connections=2000 app:app3. 超时时刻 (–timeout/timeout)影响:防止单个请求长时刻阻塞协程。建议值:根据接口响应时刻设定(如 –timeout=30 表示 30 秒超时)。三、完整配置示例1. 通过命令行启动gunicorn –workers=9 Worker 进程数 = CPU核心数 × 2 + 1 –worker-class=gevent 使用 gevent Worker –worker-connections=2000 每个 Worker 的协程并发数 –timeout=30 请求超时时刻 –bind=0.0.0.0:8000 绑定端口 app:app 应用入口2. 通过配置文件 (gunicorn.conf.py)gunicorn.conf.pyworkers = 9worker_class = “gevent”worker_connections = 2000timeout = 30bind = “0.0.0.0:8000″启动命令:gunicorn -c gunicorn.conf.py app:app四、关键优化点1. 内存限制每个 Worker 的协程数 (worker_connections) 受内存限制。协程越多,内存占用越高。监控内存:使用 top 或 htop 观察进程内存,避免触发 OOM(内存不足)。2. I/O 密集型 vs CPU 密集型I/O 密集型(如 HTTP API、数据库查询):优先增加 worker_connections。CPU 密集型(如图像处理、复杂计算):协程无法提升性能,需改用多进程(如 gthread Worker)。3. 数据库连接池协程并发高时,需确保数据库连接池足够大(如 SQLAlchemy 的 pool_size)。4. 依赖库兼容性确保所有代码和第三方库兼容 gevent(可能需要 monkey.patch_all())。5. 启动前添加补丁:app.py 入口文件顶部from gevent import monkeymonkey.patch_all()拓展资料以上为个人经验,希望能给大家一个参考,也希望大家多多支持风君子博客。
