Python文件加锁机制_并发写入说明【指导】

Python文件加锁需用操作系统级锁（如flock）而非threading.Lock，因后者进程间无效；推荐跨平台库portalocker，支持自动适配系统调用、异常安全及高级特性。

Python 文件加锁主要是为了解决多进程或线程并发写入同一文件时出现的数据错乱、覆盖或损坏问题。核心在于使用操作系统级的文件锁（如 flock 或 fcntl），而非 Python 层面的线程锁（threading.Lock），因为后者对多进程无效。

为什么线程锁不能解决多进程写入冲突

Python 的 threading.Lock 只在当前进程内生效，多个独立进程各自拥有自己的内存空间和锁对象，互不感知。即使都用了同一个锁变量名，实际是不同实例，无法协调访问。

• 多线程场景下可考虑 threading.Lock + 共享文件句柄（但需谨慎管理生命周期）
• 多进程场景必须依赖系统级文件锁，如 flock()（Unix/Linux/macOS）或 msvcrt.locking()（Windows）
• 跨平台推荐用第三方库 portalocker，它封装了底层差异，API 简洁可靠

使用 flock 实现简单可靠的进程锁

flock 是 Linux/macOS 常用的建议性文件锁（advisory lock），要求所有参与者主动检查并遵守锁状态。它基于文件描述符，与文件路径无关，适合用于临时文件或日志追加场景。

• 打开文件后调用 fcntl.flock(fd, fcntl.LOCK_EX) 获取独占锁；写完后用 LOCK_UN 释放
• 配合 try/finally 或上下文管理器（如 portalocker.Lock）确保异常时也能解锁
• 注意：仅对 open 返回的文件对象有效，不能对文件路径直接加锁

避免常见陷阱：锁粒度与文件打开模式

锁不是万能的，错误的使用方式反而会引发死锁或失效。

• 不要在每次写入前反复 open/close 文件 —— 锁随文件描述符生命周期存在，频繁关闭会导致锁丢失
• 避免用 'w' 模式打开日志文件，它会清空内容；应使用 'a' 追加模式，并确保锁覆盖整个写入逻辑
• 不同进程若打开的是硬链接或不同路径指向同一 inode，flock 仍有效；但软链接、重定向输出等场景可能绕过锁机制

推荐方案：用 portalocker 简化跨平台锁操作

安装：pip install portalocker。它自动选择合适系统调用，提供统一接口。

import portalocker
with open('log.txt', 'a') as f:
portalocker.lock(f, portalocker.LOCK_EX)
try:
f.write('data from process {}\n'.format(os.getpid()))
f.flush()  # 确保写入磁盘
finally:
portalocker.unlock(f)

该方式简洁、健壮，支持超时等待、非阻塞尝试等高级特性，适合生产环境快速落地。