问题定义
设备的健康状态并不都写在外观上。轴承早期点蚀看不出来，但振动频谱里能找到特征频率；阀门微漏视觉难以发现，超声信号却很明显；接触不良在热成像上表现为局部温升。只依赖单一视觉模态，会漏掉大量早期征兆。
多模态工业感知解决的是"用哪些传感器、以什么方式融合，才能更早、更准地判断状态"。核心问题包括：模态与故障的对应关系、信号特征工程、多模态融合层次、故障样本稀缺条件下的建模、以及工况变化带来的分布漂移。
核心技术
模态与故障的对应关系
不同物理量对不同类型的故障敏感度差异很大。选型的第一步不是算法，而是明确"要检出什么"：旋转设备的机械损伤主要看振动与声发射，电气故障看电流与热像，密封与泄漏看超声与压力，外观缺陷才用视觉。
电流 / 功率 → 负载异常、堵转、电机绕组问题
超声 / 声发射 → 泄漏、局部放电、早期裂纹
热成像 → 接触不良、过载、保温失效
视觉 → 表面缺陷、位置偏差、装配错漏
振动信号特征
时域特征对早期故障不敏感，频域与包络分析更常用。峭度对冲击型故障敏感，是滚动轴承早期的常用指标；包络解调（Hilbert 变换后取包络再做 FFT）能提取被高频载波掩盖的故障特征频率。
轴承外圈故障频率：BPFO = (n/2)·(1 - d/D·cosα)·f_r
包络解调：x_env(t) = |x(t) + j·H[x(t)]| → FFT(x_env)
时频分析与图像化建模
转速波动时频谱会模糊，此时用阶次分析（按转角重采样）或对信号做时频变换。短时傅里叶变换窗长固定，小波变换在时频分辨率上更灵活；把时频图当作图像输入 CNN 是近年常见做法，可复用成熟的视觉模型。
CWT: W(a, b) = ∫ x(t)·(1/√a)·ψ*((t-b)/a) dt
阶次分析：按等角度重采样，把变转速信号转为"阶次域"稳定谱
融合层次
数据级融合要求模态同步且同源，工业现场较难满足；特征级融合先各自提特征再拼接，最常用；决策级融合各模态独立出结论再加权投票，鲁棒性最好且易于增量扩展。跨模态注意力可以学习模态间的重要性权重，但需要足够标注数据。
决策级：p = Σ_m w_m · p_m，Σ w_m = 1（权重可按工况自适应）
样本稀缺下的建模
工业现场最现实的问题是：正常数据一大堆，故障样本几乎没有，且不允许"跑坏为止"去造数据。可行路径是异常检测（只学正常分布）、自监督预训练、仿真/生成数据补充，以及跨设备迁移学习。
阈值：按正常验证集的分数分位数确定，如 P99，再结合业务误报容忍度调整
退化趋势与剩余寿命
二分类（正常/故障）对运维价值有限，更有用的是健康指数与剩余寿命估计。做法是从多模态特征构造单调的退化指标，识别退化起点（FPT），再用相似设备的历史退化曲线匹配外推。
RUL 估计：匹配历史曲线库，取最相似曲线的剩余时长分布
评估：Score = exp(-(d/a₁)) - 1（d = 预测值 - 真值，非对称惩罚）
模态选型对比
| 模态 | 采样率需求 | 主要检出对象 | 部署成本 | 主要局限 |
|---|---|---|---|---|
| 振动 | 高（kHz 级） | 轴承、齿轮、不平衡、不对中 | 中 | 安装位置与耦合方式影响大 |
| 电流 / 功率 | 中（百 Hz 级） | 负载异常、堵转、绕组故障 | 低，可复用现有互感器 | 对机械类故障灵敏度有限 |
| 声学 / 超声 | 高 | 泄漏、放电、早期裂纹 | 中 | 环境噪声干扰明显 |
| 热成像 | 低（帧级） | 过温、接触不良、保温失效 | 中高 | 受环境温度与遮挡影响 |
| 油液 / 磨粒 | 离线或低频 | 磨损状态、润滑劣化 | 高，需取样流程 | 无法在线实时，滞后明显 |
| 视觉 | 中（帧级） | 表面缺陷、位置与装配 | 中 | 只反映外部，看不出内部损伤 |
工程实践指南
传感器与安装
- 安装一致性优先：测点位置、方向、螺栓扭矩、耦合方式一旦变化，历史基线就失效，变更必须留档
- 先做可达性评估：现场是否具备供电、网络与安装空间，往往比算法更能决定项目成败
- 分辨率够用即可：按目标故障特征频率确定采样率，避免盲目高频造成存储与带宽压力
特征与建模
- 带上工况上下文：相同振动幅值在满负荷与空载下意义完全不同，转速、负载、工艺段必须作为条件输入
- 变转速先做阶次对齐：否则频谱拖尾严重，模型会把工况变化误判为故障
- 先基线后异常：用稳定期数据建立分设备、分工况的基线，异常判定按基线分位数而非全局阈值
误报控制
- 连续判定而非单帧：要求连续 N 个采样窗或一定时长内持续超阈才告警，抑制偶发干扰
- 多模态交叉验证：单模态告警作为提示，多模态一致时才升级为工单，可显著降低误报率
- 闭环反馈：把现场确认结果（属实/误报）回流用于阈值与模型迭代，否则系统永远停在初版效果
常见误区
- 堆模态：与故障机理无关的模态只会增加成本与噪声，先做故障模式分析（FMEA）再定传感器
- 只做二分类：运维需要的是"还能用多久"，只报正常/异常难以支撑排修计划
- 忽视数据连续性：断续采集无法形成退化趋势，预测性维护无从谈起
开源项目
TSFEL
时序特征提取库，内置时域、频域、统计与非线性的数百个特征，适合快速构建振动与电流特征集。
librosa
音频与信号分析库，提供 STFT、梅尔谱、包络与谱特征提取，迁移到振动与声学场景成本低。
PyOD
异常检测算法库，集成孤立森林、AutoEncoder、LOF 等模型，适合正常样本充足、故障样本稀缺的场景。
sktime
时序机器学习统一框架，覆盖分类、回归、聚类与预测，接口与 scikit-learn 一致，便于快速试验。
CWRU Bearing Dataset
凯斯西储大学轴承故障数据集，故障类型与损伤程度标注完整，是故障诊断算法的常用公开基准。