基于密文指纹的代理流量旁路审计实践
在多跳中转的代理线路上,终止端(代理出口)看到的对端地址是中转机,客户端的真实 IP 在中转这一跳就丢失了。出现异常流量时,只靠终止端的日志无法确定是哪个客户、从哪个入口进来的。
本文记录一套为此搭建的审计系统。它在入口和终止端分别旁路抓包,对同一连接的密文前缀计算哈希并进行比对,从而把客户 IP、入口、访问的网站和流量对应起来,最终写入中心 MySQL,供只读账号查询。下文依次介绍架构、识别方法、数据上传、库表设计、归档、权限配置和日常运维,最后列出上线后遇到的问题和目前的限制。
文中的主机、地址和库名均用占位符代替,示例 IP 使用文档保留地址段。
一、设计限制
系统有以下几条约束,后面的大部分设计都由此而来:
- 只做旁路抓包。审计程序不参与转发,也不修改转发规则。审计进程退出时代理不受影响,只是缺少这段时间的记录。
- 不保存内容。不保存 PCAP,不解密,不记录 Cookie 和 URL 路径。每条 TCP 连接在内存中最多暂存 96 字节密文用于计算哈希,计算后即丢弃。
- 只有证据唯一时才填写客户 IP,否则记为"未识别",不使用中转机地址代替。
- 不做一键安装的 agent,各机器按角色单独部署和配置。
由于第 3 条,统计值只会低于实际值:丢包、极短的连接、连接结束前的最后一段流量都可能漏记。因此这套数据可以用来了解谁在使用、大致用量多少,但不能用于计费。
二、总体架构
系统分为三层。入口机器负责确定客户 IP,终止端负责记录访问的网站和流量,中心负责存储和查询。
一个地区可以有多个终止端,每个终止端有各自的入口探针。部分入口无法直连终止端,需要经过中继主机上的队列转发。部署结构如下:
使用的技术如下:
| 层级 | 选型 | 说明 |
|---|---|---|
| 抓包 | libpcap + ctypes | 直接调用并设置 BPF 过滤,不依赖 scapy |
| 网站与字节数 | Mihomo(Clash.Meta)控制器 REST API | 只读取 /connections |
| 入口到终止端 | 自定义 UDP 报文或 HTTP 批量队列 | HMAC-SHA256 签名,zlib 压缩 |
| 节点本地存储 | SQLite(WAL 模式) | 设有容量上限,定期清理 |
| 中心 | MySQL / MariaDB(InnoDB、触发器、视图) | 驱动为 PyMySQL |
| 运行环境 | systemd 服务与 timer | 限制能力集、只读文件系统、内存与 CPU 配额 |
采集端主要使用 Python 标准库。入口和终止端只需安装 Python 和 libpcap,终止端读取 Mihomo 配置时还需要 PyYAML,上传程序和中心组件需要 PyMySQL。
三、客户 IP 的识别
3.1 原理
代理流量在入口和终止端之间是原样转发的,同一条连接在两端抓到的密文前缀逐字节相同。两端分别对这段前缀计算哈希,得到的值(下文称为指纹)也相同。入口知道客户 IP,终止端知道网站和字节数,通过指纹即可把两端的信息关联起来。流程如下:
3.2 指纹计算
capture.py 按五元组跟踪连接,同一五元组上出现新的 SYN 时视为新连接。
- TCP:按序号重组客户端方向的数据,处理乱序、重传和序号回绕,取前 96 字节计算 SHA-256。
- UDP:取客户端发出的前 3 个完整的非空数据包。
- 数据有缺口、重传内容不一致或出现 IP 分片时,不计算指纹。
数据不完整时不计算指纹,对应的连接记为未识别。这样会多出一些未识别记录,但可以避免把连接归到错误的客户名下,后一种错误在事后很难发现。
匹配时,终止端在时间窗口内只找到一个相同指纹才进行归属,找不到或找到多个都记为未识别。如果某个代理端口只供一个入口使用,可以在配置中声明。这个声明只用于确定入口,客户 IP 仍需通过指纹得到。
3.3 网站与流量
终止端把抓包得到的连接与 Mihomo 的连接列表对应起来。网站取 metadata.host,缺失时使用目标 IP。Mihomo 提供的是每条连接的累计字节数,系统每 0.5 秒读取一次,以前后两次的差值作为这段时间的流量。
系统中有两种流量,口径不同:
| 指标 | 来源 | 含义 |
|---|---|---|
| 入口网卡流量 | 入口 libpcap,按 IP 包总长统计 | 包含包头和重传 |
| 网站流量 | Mihomo 连接字节差值 | 实际内容字节 |
两者不能相加。
3.4 长连接的处理
上线后发现,采集器重启之前已经建立的长连接没有 SYN 和起始密文,无法计算指纹,会一直显示未识别。
为此增加了配置项 tcp_stream_recovery,默认关闭。启用后,双向 TCP 数据按序号对齐成 32 字节的密文块,以方向、序号和内容一起计算 SHA-256,每条流每 10 秒最多发送 3 个,仍通过原有的签名通道传输,并同样要求唯一命中。终止端只为 Mihomo 中当前活动、且完整 TCP 元组一致的连接选用这类指纹。
启用后,部分历史未识别连接重新得到了归属。载荷不足的连接仍为未识别,没有用中转地址补填。
四、数据上传
终止端先把采集结果写入本机 SQLite,再由 central/publish.py 每 60 秒分批写入中心。这一步要求网络中断恢复后,数据既不丢失也不重复。
具体做法如下:
- 每写入一行数据,就把主键记入待上传清单
central_dirty。清单保存在磁盘上,进程重启后继续处理。 - 写入中心时使用 upsert,同一批数据重复提交也不会产生重复行。中心提交成功后,才删除清单中的对应条目。
- 每个采集点有独立的上传账号、批次编号(epoch)和序号。
同步状态视图显示最后上传时间、已确认序号和缺失数量,超过 90 秒未上传即视为滞后。 - 采集机器只保留约 24 小时已上传的数据,完整历史以中心为准。
另外需要区分三个时间间隔:0.5 秒是采集间隔,5 秒是明细视图的显示窗口,60 秒是上传周期,三者没有关系。
五、中心库设计
5.1 表结构与命名空间
每个地区使用一个独立的数据库,表结构相同(内部版本为 schema v2)。新增地区统一使用 central/region.py 创建,不复制其他地区的 SQL,也不重新执行历史建库脚本。
同一个库中有多个采集点时,各采集点使用不同前缀的物理表,例如 <前缀A>_connection_state 和 <前缀B>_connection_state。上传账号的 DML 权限也按表前缀和固定来源 IP 分开授予。各采集点的 ID 独立编号,可能重复,因此跨采集点不能直接用 ID 关联。新增采集点之前,需要先确定它的表前缀。
(ER 图只列出主要字段。每张事实表另有 _seq 列记录上传序号,完整定义见 central/model.py。)
| 表 | 用途 |
|---|---|
connection_state | 每条代理连接的起止时间、中转地址、客户 IP、入口、网站 |
samples | 每 0.5 秒的上下行字节数 |
visits | 访问记录与客户归属依据 |
wire_samples | 入口网卡每分钟的字节数与包数 |
traffic_monthly | 按月累计,由六个触发器在增删改时自动更新 |
traffic_calendar、archive_receipts | 已归档部分的月累计与归档记录 |
sync_state、audit_schema | 上传进度、表结构版本 |
5.2 五个中文视图
对外只提供五个视图,查询时不需要了解底层表:
USE `<地区库名>`;
SELECT * FROM `审计明细` LIMIT 50; -- 时间、客户 IP、入口、网站、近 5 秒速率
SELECT * FROM `流量汇总` LIMIT 50; -- 当月按客户 IP、入口、网站累计
SELECT * FROM `入口流量汇总` LIMIT 50; -- 入口网卡流量与每分钟平均速率
SELECT * FROM `访问记录` LIMIT 50; -- 连接建立记录与归属依据
SELECT * FROM `同步状态`; -- 各采集点上传进度与积压
使用视图时需要注意以下几点:
审计明细按"客户 IP + 入口 + 网站"做 5 秒固定窗口去重,只显示最新一条。去重只在视图中进行,底层数据完整保留。- 明细中的速率是该客户 IP 所有连接近 5 秒的合计,同一时刻的多行不能再相加。不同终止端各自计算的速率也不能直接相加。
流量汇总的第一列格式为YYYY/MM/01–YYYY/MM/DD,从当月 1 日累计到最新样本的日期,月底截止,次月重新计算。- 数据库中存储原始字节数。视图中的速率按大小显示为 KB/s 或 MB/s,累计量显示为 KB、MB 或 GB,按 1000 进位。
月累计不在查询时计算。写入数据时由触发器更新 traffic_monthly,归档时把迁出部分的累计保存到 traffic_calendar,两者相加即为整月数据,不需要读取冷档案。
六、数据分层与归档
6.1 热、温、冷三层
| 分层 | 范围 | 读取方式 |
|---|---|---|
| 热 | 最近 7 天(可调为 3–7 天) | 五个视图默认只查询这一段 |
| 温 | 热数据之前、14 天以内 | 指定时间范围,或直接查询原始表 |
| 冷 | 14 天之前 | 按北京时间月份打包存放在库外,默认不查询、不自动导回 |
热数据和温数据在同一张表中,通过时间索引区分,不重复存储。
6.2 归档流程
central/archive.py 每 5 分钟运行一次,按以下顺序执行:先写文件,再校验,最后在同一个事务中删除库内数据。
原始表上还设置了 BEFORE DELETE 触发器。只有归档程序在会话中设置了校验标记、并使用指定账号执行时,删除才会成功,其他情况直接报错。这样即使误执行了 DELETE,也删不掉未归档的数据:
CREATE TRIGGER `<前缀>samples_cold_bd`
BEFORE DELETE ON `<前缀>samples` FOR EACH ROW
BEGIN
IF COALESCE(@audit_archive_verified, 0) <> 1
OR SUBSTRING_INDEX(USER(), '@', 1) <> 'root' THEN
SIGNAL SQLSTATE '45000'
SET MESSAGE_TEXT = 'cold_archive_required_before_delete';
END IF;
END
月累计相关的表也有类似的触发器(报错信息为 calendar_accounting_required)。归档文件和归档记录属于正式数据,可能是唯一副本,不能当作临时文件清理。归档停止时,应检查挂载、磁盘空间和校验错误,不能关闭触发器后强行删除。
七、权限与端口
采集服务由 systemd 管理,只授予抓包所需的 CAP_NET_RAW 和 CAP_NET_ADMIN,系统目录只读,只允许写入 /var/lib/traffic-audit,并设置了内存和 CPU 上限。
入口到终止端的报文格式为 TA1 | 节点名 | HMAC-SHA256 签名 | zlib 压缩的 JSON,接收方先验证签名再解压。签名密钥不单独分发,而是由组网配置中已有的共享密钥派生:
node_key = HMAC(shared_secret, "traffic-audit/v1/<node>")
传输只签名、不加密。指纹是密文前缀的哈希,无法还原内容;客户 IP 在这条链路上以明文传输。
使用的端口如下:
| 端口 | 方向 | 说明 |
|---|---|---|
| 19091 UDP/TCP | 入口 → 终止端 | 校验签名,入口收到 ACK 后才删除待发数据 |
| 9090 | 终止端本机 | 只读取 Mihomo /connections |
| 3306 TCP | publisher 与客户端 → 中心 | 上传账号按库或表前缀、固定来源 IP 限制 DML;audit_ro 只能读审计表和视图 |
3306 端口对公网开放,这是经过明确同意的例外:audit_ro 可以列出库名并只读查询审计库,root 只允许本机登录,管理权限和 Mihomo 控制器均不对外开放。目前部分 publisher 和队列节点到 3306 的连接已启用 TLS 1.3,但服务端没有强制加密,客户端也不校验证书,只读客户端的连接仍为明文,后续需要补上。
八、日常运维
8.1 发布流程
系统部署在多台配置不同的机器上,仓库中的配置只是示例,不一定与机器上的实际情况一致。因此每次发布前,先登录目标机器确认代码版本、配置、服务名、表结构和监听端口,再决定要更新哪些文件。流程如下:
上线后需要确认以下内容:
- 采集线程正常运行,目标网卡都在抓包;
- 至少经过一个完整的 5 秒窗口,新连接能识别出客户 IP;
- 中心的 ACK 序号在增加,用
audit_ro账号能查到新数据; - 选取固定的一分钟,采集端和中心的行数、字节数一致;
- 代理、隧道等其他服务的 PID 没有变化。
本地校验按改动类型选择,不需要每次都运行全部测试:
python tools/check.py # 文档链接、配置、视图列名
python tools/validate.py --business collector --changed audit.py --run
python tools/validate.py --business views --changed central/views.sql --run
python -m unittest discover -s tests -v # 无法确定影响范围时运行全部测试
8.2 故障排查
在没有新流量的情况下,进程处于 active 并不代表识别正常。检查时至少需要有一条真实的新连接走完整条链路。
8.3 禁止的操作
审计系统出现故障时,不能因此去重启或修改 Mihomo、隧道、转发、防火墙和 SSH。以下操作也不做:
- 为了消除告警而清空队列、重置 epoch,或删除
sync_state、central_dirty; - 用中转地址补填历史上未识别的记录;
- 对已在使用的数据库重新执行一次性的建库或迁移脚本;
- 重新执行历史发布请求(其中可能包含旧代码);
- 关闭删除保护后强行清理数据。
停止、删除或恢复生产数据库,修改权限或端口,重建同步进度,都需要事先确定范围并得到授权。
九、上线后遇到的问题
9.1 中继队列阻塞
某个地区的明细中突然出现大量未识别记录。排查发现,中继队列的队首有两行不是批次格式,接收端每 3 秒重试同一行,后面的入口指纹都无法送达。从写入时间看,这两行来自当晚手工排障时执行的命令。
处理方法:确认后删除了这两行;同时修改接收端,遇到无法投递的行时跳过并继续处理后续数据,但不删除该行;跳过的行超过 16 条时停止消费,以便及时发现问题。
9.2 明细视图查询慢
审计明细 的查询一度需要 2 秒以上,多来源的地区更慢。原因是热数据范围内的全表扫描,加上窗口去重产生了磁盘临时表,而 128 MB 的缓冲池放不下 connection_state。
| 措施 | 效果 |
|---|---|
在线为 connection_state 添加覆盖索引 by_detail | 为后续改写做准备 |
| 把窗口去重改写为等价的反连接 | 同一快照 81,551 行逐行、同顺序一致;LIMIT 50 从 2.15 秒降到 0.003 秒 |
| 多来源视图改为先在各来源内排名再合并 | 全量查询从 4.4 秒降到 1.5 秒 |
| InnoDB 缓冲池调整为 192M | 重启一次约 2 秒,publisher 在 65 秒内自动恢复 |
第一版改写实测反而更慢,没有采用。每次改写前后都用同一份数据快照逐行比对结果,一致后才上线。
9.3 存储与网络开销
- 17 张表在线重建后,表文件从 1,668 MiB 降到 715 MiB,数据和 84 个触发器不变。试过 page compression,没有效果,未启用。
- publisher 改为每张表一条多行 upsert 并复用连接。在一个 3 分钟的窗口内,中心连接数从 95 降到 3,语句数从 1,360 降到 744。这是不同时段的自然流量对比,不是对照实验,数据仅供参考。
- 归档程序原先每 5 分钟都要列出 NFS 上约 1.5 万个小文件,单次归档的 NFS 往返约 2.2 MB,修改后降到约 56 KB。
十、目前的限制
- 统计值偏低。
- 历史上未识别的记录不会补录,已删除的数据也无法恢复。
- 3306 未强制 TLS,只读客户端仍使用明文连接。
- 已启用每日逻辑备份,但备份与冷档案存放在同一地点,也还没有做过恢复测试。
- 首次月度冷档案打包和定时器修复,尚未在真实场景中验证。