第 08 集不再只测一个器件,而是把同一颗 CVE2 能碰到的两层存储摆到同一张表里:片内 32 KiB scratch BRAM 与板载 256 MiB DDR3。CPU 逐字读 BRAM 只有 25.0 MB/s;同样 8 KiB 拷贝,硬件 DMA 做到 199.8 MB/s,约 9 倍;DDR3 经 DMA 读到 1,422 MB/s,写 733 MB/s,单拍读延迟 241 ns。两次独立上板均 EP08 RESULT: PASS。
结论先说:离 CPU 最近的 SRAM 并不“快”。 没有 cache、没有 burst 的 CVE2,用普通 load/store 逐字搬 32 位数据,实际只有 22–25 MB/s;把同一件拷贝交给硬件 DMA,立刻到 199.8 MB/s。DDR3 的 1,422 MB/s 则是另一个量级,但它只能由 DMA 访问,CPU 没有 DDR 窗口。三者不是同一引擎的横比,而是这颗 SoC 真实存储层级的纵向剖面。
整套测试由固件一次跑完:先在 BRAM 上做四项,再在 DDR3 上做写、读比对、CRC 与 ping。下面的串口日志是 uart_ep08_run1.txt 原文,未做二次换算;bytes、cycles、beats、crc_data 全部由 RTL 计数器回读。
EP08 storage hierarchy on ALINX PI-AR035-F1-1
EP08 VERSION ddr=0x45503038 bram=0x45503038 DDR_SIZE=268435456 CPU_HZ=50000000 UI_HZ=100000000
EP08 BRAM CPU_READ bytes=32768 cycles=65541 MBps=24 sum=0x281ffc00
EP08 BRAM LATENCY loads=32768 cycles=81924 cyc_per_load_x100=250
EP08 BRAM CPU_COPY bytes=8192 cycles=18437 MBps=22 bad=0
EP08 BRAM DMA_COPY bytes=8192 cycles=2050 MBps=199 bad=0
EP08 CALIB: PASS
EP08 ROUND 1 BEGIN
EP08 DDR WRITE bytes=67108864 status=0x000000f5 wr_cycles=9148314 wr_MBps=733 beats=0 err=0
EP08 DDR READ bytes=67108864 status=0x000000f5 rd_cycles=4718705 rd_MBps=1422 beats=4194304 err=0
EP08 DDR CRC bytes=67108864 status=0x000000f5 rd_cycles=4718612 rd_MBps=1422 crc_cycles=167772193 crc_MBps=39 crc_data=0x07e96c24 crc_exp=0x07e96c24 beats=4194304 err=0
EP08 DDR PING n=16 min_ui_cycles=23 max_ui_cycles=36 avg_x100=2412 avg_ns=241 last_addr=0x07800000
EP08 ROUND 1 PASS
EP08 ROUND 2 BEGIN
EP08 DDR WRITE bytes=67108864 status=0x000000f5 wr_cycles=9148282 wr_MBps=733 beats=0 err=0
EP08 DDR READ bytes=67108864 status=0x000000f5 rd_cycles=4718749 rd_MBps=1422 beats=4194304 err=0
EP08 DDR CRC bytes=67108864 status=0x000000f5 rd_cycles=4718625 rd_MBps=1422 crc_cycles=167772164 crc_MBps=39 crc_data=0x07e96c24 crc_exp=0x07e96c24 beats=4194304 err=0
EP08 ROUND 2 PASS
EP08 RESULT: PASS| 路径 | 引擎 | 数据量 | 周期 | 带宽 | 延迟 / 备注 |
|---|---|---|---|---|---|
| CPU 读 BRAM | CVE2 load | 32 KiB / 8,192 words | 65,541 CPU | 25.0 MB/s | 8.0 cycles/word |
| CPU 拷贝 BRAM | CVE2 load + store | 8 KiB / 2,048 words | 18,437 CPU | 22.2 MB/s | 9.0 cycles/word,bad=0 |
| DMA 拷贝 BRAM | bram_dma | 8 KiB / 2,048 words | 2,050 CPU | 199.8 MB/s | 1.0 word/cycle,bad=0 |
| BRAM 依赖 load | CVE2 指针链 | 32,768 loads | 81,924 CPU | — | 2.5 cycles/load = 50 ns |
| DDR3 写 | ddr3_dma | 64 MiB | 9,148,314 UI | 733 MB/s | 45.8% 峰值 |
| DDR3 读比对 | ddr3_dma | 64 MiB / 4,194,304 beats | 4,718,705 UI | 1,422 MB/s | 88.9% 峰值,err=0 |
| DDR3 CRC-32 | ddr3_dma | 64 MiB | 167,772,193 UI | 39 MB/s | 逐字节,独立第二重校验 |
| DDR3 单拍 ping | ddr3_dma | 16 beats · 8 MiB 步进 | 24.12 UI 均值 | — | min 23 / max 36 = 241 ns |
MBps 是整数截断:24 / 22 / 199。页面表格用同一组 cycles 反算精确值 25.0 / 22.2 / 199.8,避免“24 除以 22 得 1.09”这类误读。两次独立下载的 19 行稳定字段(bytes、beats、CRC、err、PASS)完全一致,只有 cycles 与 ping 的 min/max 有正常抖动;run2 ping 为 min 23 / max 26 / avg 23.31。这张图有两个关键事实。第一,CPU 只有 BRAM 窗口(0x2002_0000..0x2002_7FFF),没有 DDR3 窗口;DDR3 的地址、数据、CRC 全部由 ddr3_dma 代跑,CPU 只写 CTRL、读 STATUS 和计数器。所以“CPU memcpy 对比 DMA”只能在 BRAM 上做,“DDR3 带宽”只能由 DMA 测,页面没有把两者混成一条曲线。
第二,scratch 是真正的双口 BRAM,但只有一个口给 CPU。Port A 接 CPU 的 load/store,Port B 接 DMA 的读/写;两者不同时访问,dma_active 为高时 CPU 的 scratch 请求被门控。这样做的代价是 DMA 期间 CPU 不能碰 scratch,收益是 32 KiB 稳定推断成 40 块 BRAM,而不是散进 LUTRAM。
CPU 读。 8,192 个 word 顺序读,65,541 个 CPU 周期,折合 8.0 cycles/word。CVE2 没有 cache,循环里每条 load 后面还跟着地址递增、累加、比较和分支;单看 load 的握手是 1 拍,整段循环不是。25.0 MB/s 就是这个“每字 8 拍 × 50 MHz × 4 B”的结果。
CPU 拷贝。 2,048 个 word 从 word 0 搬到 word 2,048,18,437 周期,9.0 cycles/word,22.2 MB/s。比纯读多一拍,因为多了 store。两次跑完 bad=0,说明源和目的都没有地址别名。
DMA 拷贝。 同一个 8 KiB 区间,bram_dma 用 2,050 个 CPU 周期完成,折合 1.0 word/cycle,199.8 MB/s。它不需要取指、不需要算地址、也不需要把数据过 CPU 寄存器;源地址、目的地址、长度写进 CSR 后,状态机每个周期发一对读写。9.0 倍差距不是“DMA 时钟更快”,两者都跑 50 MHz,差的是每个字要不要经过取指与循环开销。
依赖 load。 1,024 节点的指针环,跑 32,768 次依赖 load,81,924 周期,2.5 cycles/load,50 ns。这条测的是“下一次地址依赖上一次数据”时的真实往返,不是顺序流的吞吐。它给后面的 DDR3 ping 提供一个片内基准:同样是一次依赖访问,BRAM 50 ns,DDR3 233–241 ns,差约 4.7 倍。
dma_active 期间 CPU 对 scratch 的访问会被门控,固件因此只轮询 CSR、不碰 scratch。把这段代码拿去当通用内存池之前,先补字节使能或改成分区双口,否则 byte/half-word 写会静默丢数据。DDR3 沿用第 07 集的 MIG native UI 与 128-bit DMA,但把测试窗口固定为 64 MiB,分三次独立启动:只写、只读比对、只读算 CRC。写图案仍然依赖地址(tag={4'hA, addr} 展开成 128-bit),所以地址译错、bank 错位、数据线粘连都会在回读阶段暴露;64 MiB 的 4,194,304 个 beat 全部比完,err=0。
CRC 再读一遍,把每个 128-bit beat 拆成 16 个字节,按 0xEDB88320 逐字节更新,初值与最终异或均为 0xFFFFFFFF。64 MiB 用了 167,772,193 个 UI 周期(约 1.68 s),得到 0x07e96c24,与期望相等。这条路径一次只发一笔读、串行算 CRC,所以只有 39 MB/s;它的价值是独立于图案比对的第二重校验,不是刷 CRC 吞吐。
单拍 ping。 16 次读,地址从基址每次加 8 MiB,跨 bank 与 row;RTL 记录 app_en 被接受的周期到 app_rd_data_valid 的周期差。run1 为 min 23 / max 36 / avg 24.12 个 UI 周期,即 241 ns;run2 为 min 23 / max 26 / avg 23.31。最大值 36 是一次偏长的排队,稳定的下界是 23 个周期、230 ns。
| 模式 | CTRL | 覆盖 | 关键结果 |
|---|---|---|---|
| 只写 | wr=1,crc=0,rd=0 | 64 MiB 线性 | 9,148,314 UI cycles / 733 MB/s |
| 只读比对 | rd=1,wr=0,crc=0 | 64 MiB 线性 | 4,718,705 UI cycles / 1,422 MB/s / 4,194,304 beats / err=0 |
| 读 + CRC | rd=1,crc=1 | 64 MiB 线性 | 167,772,193 UI cycles / 39 MB/s / 0x07e96c24 |
| ping | ping toggle | 16 × 单 beat,8 MiB 步进 | min 23 / max 36 / avg 24.12 UI cycles |
| 比较 | 比值 | 怎么解释 |
|---|---|---|
| DMA 拷贝 ÷ CPU 拷贝(同为 8 KiB) | 199.8 / 22.2 = 9.0× | 同频 50 MHz、同一块 BRAM,差在是否经过取指与循环;这是本集最干净的一条对比 |
| DDR3 读 ÷ DMA 拷贝 BRAM | 1,422 / 199.8 = 7.1× | DDR3 是 100 MHz 128-bit burst,BRAM DMA 是 50 MHz 32-bit 单字,宽度与时钟都不同 |
| DDR3 读 ÷ CPU 读 BRAM | 1,422 / 25.0 = 56.9× | 一端是 DMA 的 128-bit 突发,另一端是 CPU 的逐字 load;只能说明层级差,不能说明“DDR 比 SRAM 快” |
| DDR3 写 ÷ DMA 拷贝 BRAM | 733 / 199.8 = 3.7× | 写路径仍受 data 先一拍、cmd 后一拍的 BL8 节奏限制 |
| DDR3 ping ÷ BRAM 依赖 load | 241 / 50 = 4.8× | ping 含命令传输与跨 bank/row 排队;BRAM 是片内单周期附近往返 |
DDR3 的峰值仍是 16-bit × 800 MT/s = 1.6 GB/s。读 1,422 MB/s 约 88.9%,写 733 MB/s 约 45.8%,CRC 39 MB/s 约 2.4%。读得快,是因为地址与命令可以连续发,32 个 outstanding 足以把延迟藏住;写得慢,是因为这一版保留了厂测自检的 data 先一拍、cmd 后一拍节奏,每个 BL8 占两个 UI 周期,上限锁在峰值一半附近。把 data 与 cmd 同拍发是下一步能推的方向,但不在本集已验证范围内。
| 项目 | 结果 | 说明 |
|---|---|---|
| LUT | 9,581 / 20,800 · 46.06% | 比 EP07 的 9,333 多出 scratch 与 bram_dma 的控制逻辑 |
| FF | 9,212 / 41,600 · 22.14% | 含两条 DMA 状态机与 ping 计时 |
| BRAM | 40 / 50 · 80.00% | 32 KiB scratch(32 块)+ CVE2 RAM + FIFO |
| DSP | 11 / 90 · 12.22% | MIG 内部使用 |
| IOB | 73 / 250 · 29.20% | DDR3 48 个信号 + 板级外设 |
| WNS / WHS | 0.853 / 0.036 ns | TNS / THS 均为 0,26,767 endpoints,0 failing |
| DRC | 0 error / 0 warning | 最终实现报告 |
最终 bit 为 2,192,137 B,SHA-256 f07d96c23ce78ee835b19ea932099f03df99e7d6d25449de5c0600c6de1a868c。BRAM 从 EP07 的 32 块涨到 40 块,正好是 32 KiB scratch 的代价;LUT 只多了 248,因为记忆体没有散成 LUTRAM。
时序不是一次到位:第一版最终实现 WHS −0.040 ns、2 个 hold failing,单独在 impl_cdc_ep08.tcl 里做一次 phys_opt_design -hold_fix 不够。改走 launch_runs impl_1 托管实现,等 run 完成后再做两轮 phys_opt_design -hold_fix 与 route_design,才得到 0.853 / +0.036 / 0 failing。那版 −0.040 的 bit 已丢弃,页面与证据包只保留最终版。
dpram_scratch.sv 带字节使能、按“两读一写”推断,综合出 17,252 个 LUTRAM,place_design 直接报 UTLZ-1。只加 ram_style="block" 无效;改成经典 true-dual-port 模板(Port A 写/读、Port B 读,去掉字节使能,只支持 32-bit 全字写)后才稳定推断 40 块 BRAM,LUT 从 26k 降到 9.5k。cpu_rvalid 只对读有效,store 发出去没有 rvalid 回来,CPU 卡死。改成 cpu_rvalid <= cpu_en,写也回响应。{bram_done,bram_busy} 让 bit1 变成 done、bit0 变成 busy,固件按 bit1 轮询 busy 永远等不到。改成 {bram_busy,bram_done} 后正常。!ping_pulse 条件后,两种启动才能同拍共存。crc_cycles 为 0。把 wait_ddr 的 guard 提到 20 s 后读到完整结果。mbps 公式,DDR 带宽直接减半。后来拆成 mbps_ui(×100)与 mbps(×50)。rd_start。 上一轮的读启动残留会让新一轮多走一次状态,已补 rd_start <= 0。phys_opt_design -hold_fix 后仍有残余;托管 run + 两轮 hold fix + 重 route 才收敛。# 构建机
ssh alinx@192.168.8.237
cd /media/alinx/nvme4t/fpga-love/pi_ar035_f1_1_cve2_ep08
# 1) 综合 + 实现 + 报告;最终时序必须走托管 run + 两轮 hold fix
vivado -mode batch -source build_ep08.tcl
vivado -mode batch -source impl_run_ep08.tcl
# 2) 固件(HEX 被 bit 引用,改 C 必须重综合)
cd sw && make && python3 bin2hex.py && cd ..
# 3) 先起串口,再下载;日志从最后一次 EP08 storage hierarchy 截断
python3 cap_serial.py /dev/ttyUSB1 115200 /tmp/ep08.log &
vivado -mode batch -source program_ep08.tcl两次独立验证的做法是:完整断电/重配一次,重跑 program_ep08.tcl,再抓一份 UART。两次日志逐项比对 bytes、beats、CRC、err 与最终 PASS;cycle 计数与 ping 的 min/max 允许抖动,稳定字段必须一致。只重启 CPU、不复位 FPGA,不算第二次独立下载。
EP08 storage hierarchy 处截断,否则会把旧 bit 的输出混进新证据。RTL、XDC、Tcl、固件源码与预编译产物、最终 bit、三份报告、两次独立串口日志、构建与下载日志、MIG 配置和 DDR3 引脚表全部在下面。校验值见 SHA256SUMS.txt;中英文页的 files/ 目录逐文件一致。
每日快报 · 每周精选 · 每月深度刊