一套29层int8卷积网络完整驻留在一片中低容量FPGA上,不挂DDR,实测约19.6次/秒。京微齐力HME-P3的这次部署说明,门禁类常开感知的成本结构可能比峰值算力更值得关注。
系统由PC、FPGA、Jetson三节点组成。相机输出320×240 YUYV,PC只取Y平面、不缩放不做灰度公式,把一帧拆成60个UDP包以20fps发往FPGA。FPGA独立完成96×96预处理、29层int8推理与结果回传,同一帧原样转发给Jetson;只有判定有人时才唤醒Jetson跑YOLOv8-pose,输出17个关键点回传。FPGA常开做低成本检测,Jetson按需启动,PC不参与推理。这套分工的实质是把常开功耗压在FPGA侧,用事件触发换GPU的占空比。
网络为MobileNetV1(α=0.25,96×96灰度),27层卷积加GAP与FC。权重per-channel对称int8、激活per-tensor对称int8,卷积int8乘int8累加到int32,BN折叠进bias。整网约21.4万参数、INT8权重约214KB常驻BRAM,输入RAM为1152×64bit,无需外挂DDR。官方给出的资源占用是BRAM 112/180块(62.2%)、LUT 12.1%、REG 8.4%、DSP 3.9%。瓶颈落在存储而非算力:后续加层、加通道或做全帧双bank缓存,先撞BRAM;算力侧仍有并行度空间。
输入RAM单写口,推理期间禁止写入,帧控因此按整帧工作:收满60包、76800像素才启动,丢包或丢末包整帧丢弃并复位累加器,推理中收到新帧头则置drop_next整帧丢弃。引擎侧1个DSP56V4配成8×10×10乘加阵列,每拍8个int8 MAC,整网约716万次MAC/帧;仿真287万拍@125MHz约23ms,板上ce二分频后约46ms/帧,对应21fps引擎上限。实测检测约19.6次/秒,person与empty两组黄金向量与PC位真引擎板级一致。
对做常开视觉前端的板卡工程师,这套方案的可复用点不在模型本身,而在帧控与存储预算:整帧级门控、单写口输入RAM、权重常驻BRAM,都是可以直接搬到自己链路里的结构。选型上,P3这类中低容量器件适合权重两百KB级、分辨率96×96量级的网络;一旦要加通道或做全帧缓存,BRAM先到顶,得换更大器件或改成分块复用。工具链侧素材未提,评估时需自行确认量化流程与参考模型逐位对齐的支持程度。
每日快报 · 每周精选 · 每月深度刊