5
0

基于密文指纹的代理流量旁路审计实践

2026-11-12
2026-11-12

在多跳中转的代理线路上,终止端(代理出口)看到的对端地址是中转机,客户端的真实 IP 在中转这一跳就丢失了。出现异常流量时,只靠终止端的日志无法确定是哪个客户、从哪个入口进来的。

本文记录一套为此搭建的审计系统。它在入口和终止端分别旁路抓包,对同一连接的密文前缀计算哈希并进行比对,从而把客户 IP、入口、访问的网站和流量对应起来,最终写入中心 MySQL,供只读账号查询。下文依次介绍架构、识别方法、数据上传、库表设计、归档、权限配置和日常运维,最后列出上线后遇到的问题和目前的限制。

文中的主机、地址和库名均用占位符代替,示例 IP 使用文档保留地址段。

一、设计限制

系统有以下几条约束,后面的大部分设计都由此而来:

  1. 只做旁路抓包。审计程序不参与转发,也不修改转发规则。审计进程退出时代理不受影响,只是缺少这段时间的记录。
  2. 不保存内容。不保存 PCAP,不解密,不记录 Cookie 和 URL 路径。每条 TCP 连接在内存中最多暂存 96 字节密文用于计算哈希,计算后即丢弃。
  3. 只有证据唯一时才填写客户 IP,否则记为"未识别",不使用中转机地址代替。
  4. 不做一键安装的 agent,各机器按角色单独部署和配置。

由于第 3 条,统计值只会低于实际值:丢包、极短的连接、连接结束前的最后一段流量都可能漏记。因此这套数据可以用来了解谁在使用、大致用量多少,但不能用于计费。

二、总体架构

系统分为三层。入口机器负责确定客户 IP,终止端负责记录访问的网站和流量,中心负责存储和查询。

代理流量
隧道 / 四层中转
libpcap
签名指纹
UDP / HTTP 19091
libpcap
控制器 /connections
每 0.5 秒
写入
每 60 秒一批
MySQL TCP 3306
audit_ro 只读
客户端
入口机器
终止端 Mihomo
audit.py
edge 模式
audit.py
terminal 模式
本地 SQLite
publish.py
中心 MySQL
每地区一库
MySQL 客户端
五个中文视图

一个地区可以有多个终止端,每个终止端有各自的入口探针。部分入口无法直连终止端,需要经过中继主机上的队列转发。部署结构如下:

中心主机
终止端(代理出口)
中继主机(可选)
入口机器(可多台)
直连 19091
HTTP 批量
转发
/connections
PyMySQL 多行 upsert
MySQL 3306
归档 / 清理 / 备份
systemd timer
库外月度冷档案
Mihomo 控制器
127.0.0.1:9090
audit.py · terminal
SQLite WAL
publish.py
edge_queue.py
先存储再转发
audit.py · edge

使用的技术如下:

层级选型说明
抓包libpcap + ctypes直接调用并设置 BPF 过滤,不依赖 scapy
网站与字节数Mihomo(Clash.Meta)控制器 REST API只读取 /connections
入口到终止端自定义 UDP 报文或 HTTP 批量队列HMAC-SHA256 签名,zlib 压缩
节点本地存储SQLite(WAL 模式)设有容量上限,定期清理
中心MySQL / MariaDB(InnoDB、触发器、视图)驱动为 PyMySQL
运行环境systemd 服务与 timer限制能力集、只读文件系统、内存与 CPU 配额

采集端主要使用 Python 标准库。入口和终止端只需安装 Python 和 libpcap,终止端读取 Mihomo 配置时还需要 PyYAML,上传程序和中心组件需要 PyMySQL。

三、客户 IP 的识别

3.1 原理

代理流量在入口和终止端之间是原样转发的,同一条连接在两端抓到的密文前缀逐字节相同。两端分别对这段前缀计算哈希,得到的值(下文称为指纹)也相同。入口知道客户 IP,终止端知道网站和字节数,通过指纹即可把两端的信息关联起来。流程如下:

Mihomo 控制器终止端 audit.py (terminal)入口 audit.py (edge)客户端Mihomo 控制器终止端 audit.py (terminal)入口 audit.py (edge)客户端按五元组跟踪连接TCP 取前 96 字节,UDP 取前 3 个包计算 SHA-256 指纹对同一连接计算指纹alt[唯一命中][未命中或多个命中]用对端端口与本机代理端口把抓包连接对应到 Mihomo 连接取 metadata.host 与字节差值建立连接,发送加密数据1签名报文:指纹 + 客户 IP + 入口名2ACK(入口收到后才删除本地待发数据)3在时间窗口内查找指纹4归属到该客户 IP 与入口5记为"未识别"6每 0.5 秒读取 /connections7

3.2 指纹计算

capture.py 按五元组跟踪连接,同一五元组上出现新的 SYN 时视为新连接。

  • TCP:按序号重组客户端方向的数据,处理乱序、重传和序号回绕,取前 96 字节计算 SHA-256。
  • UDP:取客户端发出的前 3 个完整的非空数据包。
  • 数据有缺口、重传内容不一致或出现 IP 分片时,不计算指纹。

数据不完整时不计算指纹,对应的连接记为未识别。这样会多出一些未识别记录,但可以避免把连接归到错误的客户名下,后一种错误在事后很难发现。

匹配时,终止端在时间窗口内只找到一个相同指纹才进行归属,找不到或找到多个都记为未识别。如果某个代理端口只供一个入口使用,可以在配置中声明。这个声明只用于确定入口,客户 IP 仍需通过指纹得到。

3.3 网站与流量

终止端把抓包得到的连接与 Mihomo 的连接列表对应起来。网站取 metadata.host,缺失时使用目标 IP。Mihomo 提供的是每条连接的累计字节数,系统每 0.5 秒读取一次,以前后两次的差值作为这段时间的流量。

系统中有两种流量,口径不同:

指标来源含义
入口网卡流量入口 libpcap,按 IP 包总长统计包含包头和重传
网站流量Mihomo 连接字节差值实际内容字节

两者不能相加。

3.4 长连接的处理

上线后发现,采集器重启之前已经建立的长连接没有 SYN 和起始密文,无法计算指纹,会一直显示未识别。

为此增加了配置项 tcp_stream_recovery,默认关闭。启用后,双向 TCP 数据按序号对齐成 32 字节的密文块,以方向、序号和内容一起计算 SHA-256,每条流每 10 秒最多发送 3 个,仍通过原有的签名通道传输,并同样要求唯一命中。终止端只为 Mihomo 中当前活动、且完整 TCP 元组一致的连接选用这类指纹。

启用后,部分历史未识别连接重新得到了归属。载荷不足的连接仍为未识别,没有用中转地址补填。

四、数据上传

终止端先把采集结果写入本机 SQLite,再由 central/publish.py 每 60 秒分批写入中心。这一步要求网络中断恢复后,数据既不丢失也不重复。

中心 MySQLpublish.pySQLiteaudit.py中心 MySQLpublish.pySQLiteaudit.pyloop[每 60 秒]积压时同一轮连续排空新产生的数据留到下一轮写入事实行1主键记入 central_dirty(落盘,重启不丢)2按固定序号边界取出一批3每张表一条多行 upsert(存在则更新)4提交成功5更新 sync_state(epoch、序号)6删除已确认的 central_dirty 条目7

具体做法如下:

  • 每写入一行数据,就把主键记入待上传清单 central_dirty。清单保存在磁盘上,进程重启后继续处理。
  • 写入中心时使用 upsert,同一批数据重复提交也不会产生重复行。中心提交成功后,才删除清单中的对应条目。
  • 每个采集点有独立的上传账号、批次编号(epoch)和序号。同步状态 视图显示最后上传时间、已确认序号和缺失数量,超过 90 秒未上传即视为滞后。
  • 采集机器只保留约 24 小时已上传的数据,完整历史以中心为准。

另外需要区分三个时间间隔:0.5 秒是采集间隔,5 秒是明细视图的显示窗口,60 秒是上传周期,三者没有关系。

五、中心库设计

5.1 表结构与命名空间

每个地区使用一个独立的数据库,表结构相同(内部版本为 schema v2)。新增地区统一使用 central/region.py 创建,不复制其他地区的 SQL,也不重新执行历史建库脚本。

同一个库中有多个采集点时,各采集点使用不同前缀的物理表,例如 <前缀A>_connection_state 和 <前缀B>_connection_state。上传账号的 DML 权限也按表前缀和固定来源 IP 分开授予。各采集点的 ID 独立编号,可能重复,因此跨采集点不能直接用 ID 关联。新增采集点之前,需要先确定它的表前缀。

connection_statevarcharconnection_idPKdoublestart_tsdoublelast_seenvarcharsource_peer中转地址varcharsource_ip唯一命中才填写varcharnode入口varcharsitemetadata.hostvarcharquality归属依据samplesvarcharevent_idPKdoubletsvarcharconnection_idbigintupload_bytesbigintdownload_bytesconnection_ratesvarcharconnection_idPKdoubleobserved_atdoubleupload_bpsdoubledownload_bpstraffic_monthlybigintmonth_startPKvarcharsource_ipPKvarcharnodePKvarcharsitePKdecimalupload_bytesdecimaldownload_bytesconnection_idconnection_id触发器累计

(ER 图只列出主要字段。每张事实表另有 _seq 列记录上传序号,完整定义见 central/model.py。)

表用途
connection_state每条代理连接的起止时间、中转地址、客户 IP、入口、网站
samples每 0.5 秒的上下行字节数
visits访问记录与客户归属依据
wire_samples入口网卡每分钟的字节数与包数
traffic_monthly按月累计,由六个触发器在增删改时自动更新
traffic_calendar、archive_receipts已归档部分的月累计与归档记录
sync_state、audit_schema上传进度、表结构版本

5.2 五个中文视图

对外只提供五个视图,查询时不需要了解底层表:

USE `<地区库名>`;
SELECT * FROM `审计明细` LIMIT 50;     -- 时间、客户 IP、入口、网站、近 5 秒速率
SELECT * FROM `流量汇总` LIMIT 50;     -- 当月按客户 IP、入口、网站累计
SELECT * FROM `入口流量汇总` LIMIT 50; -- 入口网卡流量与每分钟平均速率
SELECT * FROM `访问记录` LIMIT 50;     -- 连接建立记录与归属依据
SELECT * FROM `同步状态`;              -- 各采集点上传进度与积压

使用视图时需要注意以下几点:

  • 审计明细 按"客户 IP + 入口 + 网站"做 5 秒固定窗口去重,只显示最新一条。去重只在视图中进行,底层数据完整保留。
  • 明细中的速率是该客户 IP 所有连接近 5 秒的合计,同一时刻的多行不能再相加。不同终止端各自计算的速率也不能直接相加。
  • 流量汇总 的第一列格式为 YYYY/MM/01–YYYY/MM/DD,从当月 1 日累计到最新样本的日期,月底截止,次月重新计算。
  • 数据库中存储原始字节数。视图中的速率按大小显示为 KB/s 或 MB/s,累计量显示为 KB、MB 或 GB,按 1000 进位。

月累计不在查询时计算。写入数据时由触发器更新 traffic_monthly,归档时把迁出部分的累计保存到 traffic_calendar,两者相加即为整月数据,不需要读取冷档案。

六、数据分层与归档

6.1 热、温、冷三层

分层范围读取方式
热最近 7 天(可调为 3–7 天)五个视图默认只查询这一段
温热数据之前、14 天以内指定时间范围,或直接查询原始表
冷14 天之前按北京时间月份打包存放在库外,默认不查询、不自动导回

热数据和温数据在同一张表中,通过时间索引区分,不重复存储。

publish 写入
时间推移(仅索引区分)
archive.py 校验通过后迁出
仅在明确请求时读取
热数据(0–7 天)
视图默认范围
温数据(7–14 天)
指定范围查询
冷档案(14 天以上)
库外按月打包

6.2 归档流程

central/archive.py 每 5 分钟运行一次,按以下顺序执行:先写文件,再校验,最后在同一个事务中删除库内数据。

失败
通过
失败
成功
选出超过 14 天的行
生成压缩文件并 fsync
重新读取校验
行数 / 内容 / 校验和
中止,库内数据不变
开启事务
写入 traffic_calendar 月累计
写入 archive_receipts 归档记录
设置会话变量后删除库内旧行
提交
完成

原始表上还设置了 BEFORE DELETE 触发器。只有归档程序在会话中设置了校验标记、并使用指定账号执行时,删除才会成功,其他情况直接报错。这样即使误执行了 DELETE,也删不掉未归档的数据:

CREATE TRIGGER `<前缀>samples_cold_bd`
BEFORE DELETE ON `<前缀>samples` FOR EACH ROW
BEGIN
  IF COALESCE(@audit_archive_verified, 0) <> 1
     OR SUBSTRING_INDEX(USER(), '@', 1) <> 'root' THEN
    SIGNAL SQLSTATE '45000'
      SET MESSAGE_TEXT = 'cold_archive_required_before_delete';
  END IF;
END

月累计相关的表也有类似的触发器(报错信息为 calendar_accounting_required)。归档文件和归档记录属于正式数据,可能是唯一副本,不能当作临时文件清理。归档停止时,应检查挂载、磁盘空间和校验错误,不能关闭触发器后强行删除。

七、权限与端口

采集服务由 systemd 管理,只授予抓包所需的 CAP_NET_RAW 和 CAP_NET_ADMIN,系统目录只读,只允许写入 /var/lib/traffic-audit,并设置了内存和 CPU 上限。

入口到终止端的报文格式为 TA1 | 节点名 | HMAC-SHA256 签名 | zlib 压缩的 JSON,接收方先验证签名再解压。签名密钥不单独分发,而是由组网配置中已有的共享密钥派生:

node_key = HMAC(shared_secret, "traffic-audit/v1/<node>")

传输只签名、不加密。指纹是密文前缀的哈希,无法还原内容;客户 IP 在这条链路上以明文传输。

使用的端口如下:

端口方向说明
19091 UDP/TCP入口 → 终止端校验签名,入口收到 ACK 后才删除待发数据
9090终止端本机只读取 Mihomo /connections
3306 TCPpublisher 与客户端 → 中心上传账号按库或表前缀、固定来源 IP 限制 DML;audit_ro 只能读审计表和视图

3306 端口对公网开放,这是经过明确同意的例外:audit_ro 可以列出库名并只读查询审计库,root 只允许本机登录,管理权限和 Mihomo 控制器均不对外开放。目前部分 publisher 和队列节点到 3306 的连接已启用 TLS 1.3,但服务端没有强制加密,客户端也不校验证书,只读客户端的连接仍为明文,后续需要补上。

八、日常运维

8.1 发布流程

系统部署在多台配置不同的机器上,仓库中的配置只是示例,不一定与机器上的实际情况一致。因此每次发布前,先登录目标机器确认代码版本、配置、服务名、表结构和监听端口,再决定要更新哪些文件。流程如下:

否
是
失败
通过
按改动类型运行本地分级校验
登录目标机确认:代码版本、配置、
服务名、表结构、监听端口
与仓库/文档一致?
查明差异原因
不用仓库版本直接覆盖
生成仅含改动文件的发布请求
人工审查
单台试运行:临时目录、编译与配置检查
仅重启相关的审计服务
上线检查
用备份回滚该文件
更新下一台
记录时间与范围
清理本次临时备份

上线后需要确认以下内容:

  • 采集线程正常运行,目标网卡都在抓包;
  • 至少经过一个完整的 5 秒窗口,新连接能识别出客户 IP;
  • 中心的 ACK 序号在增加,用 audit_ro 账号能查到新数据;
  • 选取固定的一分钟,采集端和中心的行数、字节数一致;
  • 代理、隧道等其他服务的 PID 没有变化。

本地校验按改动类型选择,不需要每次都运行全部测试:

python tools/check.py                                     # 文档链接、配置、视图列名
python tools/validate.py --business collector --changed audit.py --run
python tools/validate.py --business views --changed central/views.sql --run
python -m unittest discover -s tests -v                   # 无法确定影响范围时运行全部测试

8.2 故障排查

客户 IP 未识别
上传积压
归档停止
查询缓慢
现象
入口是否有流量
指纹是否送达终止端
(直连或中继队列)
终止端能否唯一命中
是否为采集器重启前的长连接
publisher 是否运行
是否有写入错误
ACK 与 epoch/序号是否前进
systemctl list-timers 下次运行时间
归档目录是否挂载、磁盘空间
校验错误或删除保护拦截
时间范围与采集点过滤
先测量执行时间再改索引

在没有新流量的情况下,进程处于 active 并不代表识别正常。检查时至少需要有一条真实的新连接走完整条链路。

8.3 禁止的操作

审计系统出现故障时,不能因此去重启或修改 Mihomo、隧道、转发、防火墙和 SSH。以下操作也不做:

  • 为了消除告警而清空队列、重置 epoch,或删除 sync_state、central_dirty;
  • 用中转地址补填历史上未识别的记录;
  • 对已在使用的数据库重新执行一次性的建库或迁移脚本;
  • 重新执行历史发布请求(其中可能包含旧代码);
  • 关闭删除保护后强行清理数据。

停止、删除或恢复生产数据库,修改权限或端口,重建同步进度,都需要事先确定范围并得到授权。

九、上线后遇到的问题

9.1 中继队列阻塞

某个地区的明细中突然出现大量未识别记录。排查发现,中继队列的队首有两行不是批次格式,接收端每 3 秒重试同一行,后面的入口指纹都无法送达。从写入时间看,这两行来自当晚手工排障时执行的命令。

处理方法:确认后删除了这两行;同时修改接收端,遇到无法投递的行时跳过并继续处理后续数据,但不删除该行;跳过的行超过 16 条时停止消费,以便及时发现问题。

9.2 明细视图查询慢

审计明细 的查询一度需要 2 秒以上,多来源的地区更慢。原因是热数据范围内的全表扫描,加上窗口去重产生了磁盘临时表,而 128 MB 的缓冲池放不下 connection_state。

措施效果
在线为 connection_state 添加覆盖索引 by_detail为后续改写做准备
把窗口去重改写为等价的反连接同一快照 81,551 行逐行、同顺序一致;LIMIT 50 从 2.15 秒降到 0.003 秒
多来源视图改为先在各来源内排名再合并全量查询从 4.4 秒降到 1.5 秒
InnoDB 缓冲池调整为 192M重启一次约 2 秒,publisher 在 65 秒内自动恢复

第一版改写实测反而更慢,没有采用。每次改写前后都用同一份数据快照逐行比对结果,一致后才上线。

9.3 存储与网络开销

  • 17 张表在线重建后,表文件从 1,668 MiB 降到 715 MiB,数据和 84 个触发器不变。试过 page compression,没有效果,未启用。
  • publisher 改为每张表一条多行 upsert 并复用连接。在一个 3 分钟的窗口内,中心连接数从 95 降到 3,语句数从 1,360 降到 744。这是不同时段的自然流量对比,不是对照实验,数据仅供参考。
  • 归档程序原先每 5 分钟都要列出 NFS 上约 1.5 万个小文件,单次归档的 NFS 往返约 2.2 MB,修改后降到约 56 KB。

十、目前的限制

  • 统计值偏低。
  • 历史上未识别的记录不会补录,已删除的数据也无法恢复。
  • 3306 未强制 TLS,只读客户端仍使用明文连接。
  • 已启用每日逻辑备份,但备份与冷档案存放在同一地点,也还没有做过恢复测试。
  • 首次月度冷档案打包和定时器修复,尚未在真实场景中验证。
基于密文指纹的代理流量旁路审计实践
/archives/nrqyyJLt
作者
yuu
发布于
2026-11-12
许可协议
CC BY-NC-SA 4.0