复现案例 · OpenHW on ALINX · 第 08 集

存储层次对比:32 KiB BRAM 与 DDR3,CPU 和 DMA 的带宽与延迟

第 08 集不再只测一个器件,而是把同一颗 CVE2 能碰到的两层存储摆到同一张表里:片内 32 KiB scratch BRAM 与板载 256 MiB DDR3。CPU 逐字读 BRAM 只有 25.0 MB/s;同样 8 KiB 拷贝,硬件 DMA 做到 199.8 MB/s,约 9 倍;DDR3 经 DMA 读到 1,422 MB/s,写 733 MB/s,单拍读延迟 241 ns。两次独立上板均 EP08 RESULT: PASS。

已验证上板 · 2026-11-21 CVE2 / RV32IM · 50 MHz 32 KiB scratch BRAM · 40 / 50 DDR3 256 MiB · native UI 100 MHz 第 08 / 12 集

结论先说:离 CPU 最近的 SRAM 并不“快”。 没有 cache、没有 burst 的 CVE2,用普通 load/store 逐字搬 32 位数据,实际只有 22–25 MB/s;把同一件拷贝交给硬件 DMA,立刻到 199.8 MB/s。DDR3 的 1,422 MB/s 则是另一个量级,但它只能由 DMA 访问,CPU 没有 DDR 窗口。三者不是同一引擎的横比,而是这颗 SoC 真实存储层级的纵向剖面。

板卡ALINX PI-AR035-F1-1工程板,尚未列入开发板选型;型号上线后补链
芯片AMD Artix-7 · XC7A35T看芯片参数与同族板卡 → 项目OpenHW CVE2 / CV32E20上游仓库与 commit →
CPU 读 BRAM
25.0 MB/s · 8 cycles/word
CPU 8 KiB 拷贝
22.2 MB/s · 9 cycles/word
DMA 8 KiB 拷贝
199.8 MB/s · 1 word/cycle
DDR3 读 / 写
1,422 / 733 MB/s
DDR3 单拍延迟
241 ns · 23–36 ui cycles
BRAM 依赖 load
2.5 cycles · 50 ns
时序
WNS 0.853 / WHS 0.036 ns
资源
LUT 9,581 · BRAM 40 / 50

1. 上板结果:七条路径,19 行日志

整套测试由固件一次跑完:先在 BRAM 上做四项,再在 DDR3 上做写、读比对、CRC 与 ping。下面的串口日志是 uart_ep08_run1.txt 原文,未做二次换算;bytes、cycles、beats、crc_data 全部由 RTL 计数器回读。

EP08 storage hierarchy on ALINX PI-AR035-F1-1 EP08 VERSION ddr=0x45503038 bram=0x45503038 DDR_SIZE=268435456 CPU_HZ=50000000 UI_HZ=100000000 EP08 BRAM CPU_READ bytes=32768 cycles=65541 MBps=24 sum=0x281ffc00 EP08 BRAM LATENCY loads=32768 cycles=81924 cyc_per_load_x100=250 EP08 BRAM CPU_COPY bytes=8192 cycles=18437 MBps=22 bad=0 EP08 BRAM DMA_COPY bytes=8192 cycles=2050 MBps=199 bad=0 EP08 CALIB: PASS EP08 ROUND 1 BEGIN EP08 DDR WRITE bytes=67108864 status=0x000000f5 wr_cycles=9148314 wr_MBps=733 beats=0 err=0 EP08 DDR READ bytes=67108864 status=0x000000f5 rd_cycles=4718705 rd_MBps=1422 beats=4194304 err=0 EP08 DDR CRC bytes=67108864 status=0x000000f5 rd_cycles=4718612 rd_MBps=1422 crc_cycles=167772193 crc_MBps=39 crc_data=0x07e96c24 crc_exp=0x07e96c24 beats=4194304 err=0 EP08 DDR PING n=16 min_ui_cycles=23 max_ui_cycles=36 avg_x100=2412 avg_ns=241 last_addr=0x07800000 EP08 ROUND 1 PASS EP08 ROUND 2 BEGIN EP08 DDR WRITE bytes=67108864 status=0x000000f5 wr_cycles=9148282 wr_MBps=733 beats=0 err=0 EP08 DDR READ bytes=67108864 status=0x000000f5 rd_cycles=4718749 rd_MBps=1422 beats=4194304 err=0 EP08 DDR CRC bytes=67108864 status=0x000000f5 rd_cycles=4718625 rd_MBps=1422 crc_cycles=167772164 crc_MBps=39 crc_data=0x07e96c24 crc_exp=0x07e96c24 beats=4194304 err=0 EP08 ROUND 2 PASS EP08 RESULT: PASS
路径引擎数据量周期带宽延迟 / 备注
CPU 读 BRAMCVE2 load32 KiB / 8,192 words65,541 CPU25.0 MB/s8.0 cycles/word
CPU 拷贝 BRAMCVE2 load + store8 KiB / 2,048 words18,437 CPU22.2 MB/s9.0 cycles/word,bad=0
DMA 拷贝 BRAMbram_dma8 KiB / 2,048 words2,050 CPU199.8 MB/s1.0 word/cycle,bad=0
BRAM 依赖 loadCVE2 指针链32,768 loads81,924 CPU—2.5 cycles/load = 50 ns
DDR3 写ddr3_dma64 MiB9,148,314 UI733 MB/s45.8% 峰值
DDR3 读比对ddr3_dma64 MiB / 4,194,304 beats4,718,705 UI1,422 MB/s88.9% 峰值,err=0
DDR3 CRC-32ddr3_dma64 MiB167,772,193 UI39 MB/s逐字节,独立第二重校验
DDR3 单拍 pingddr3_dma16 beats · 8 MiB 步进24.12 UI 均值—min 23 / max 36 = 241 ns
串口里的 MBps 是整数截断:24 / 22 / 199。页面表格用同一组 cycles 反算精确值 25.0 / 22.2 / 199.8,避免“24 除以 22 得 1.09”这类误读。两次独立下载的 19 行稳定字段(bytes、beats、CRC、err、PASS)完全一致,只有 cycles 与 ping 的 min/max 有正常抖动;run2 ping 为 min 23 / max 26 / avg 23.31。

2. 系统结构:两条数据面,一个 CPU,没有 DDR 窗口

CVE2RV32IM · 50 MHz
→
CSR 译码0x2001 / 0x2002 / 0x2003
→
bram_dmaword copy · 50 MHz
↔
32 KiB scratchtrue dual port · 40 BRAM
CVE2只写 CSR、轮询状态
→
ddr3_dma128-bit · native UI
→
MIG 7 Series4:1 · ui_clk 100 MHz
→
DDR3MT41J128M16 · 256 MiB

这张图有两个关键事实。第一,CPU 只有 BRAM 窗口(0x2002_0000..0x2002_7FFF),没有 DDR3 窗口;DDR3 的地址、数据、CRC 全部由 ddr3_dma 代跑,CPU 只写 CTRL、读 STATUS 和计数器。所以“CPU memcpy 对比 DMA”只能在 BRAM 上做,“DDR3 带宽”只能由 DMA 测,页面没有把两者混成一条曲线。

第二,scratch 是真正的双口 BRAM,但只有一个口给 CPU。Port A 接 CPU 的 load/store,Port B 接 DMA 的读/写;两者不同时访问,dma_active 为高时 CPU 的 scratch 请求被门控。这样做的代价是 DMA 期间 CPU 不能碰 scratch,收益是 32 KiB 稳定推断成 40 块 BRAM,而不是散进 LUTRAM。

3. BRAM 四项:25 vs 22 vs 199,差的是“谁来搬”

CPU 读。 8,192 个 word 顺序读,65,541 个 CPU 周期,折合 8.0 cycles/word。CVE2 没有 cache,循环里每条 load 后面还跟着地址递增、累加、比较和分支;单看 load 的握手是 1 拍,整段循环不是。25.0 MB/s 就是这个“每字 8 拍 × 50 MHz × 4 B”的结果。

CPU 拷贝。 2,048 个 word 从 word 0 搬到 word 2,048,18,437 周期,9.0 cycles/word,22.2 MB/s。比纯读多一拍,因为多了 store。两次跑完 bad=0,说明源和目的都没有地址别名。

DMA 拷贝。 同一个 8 KiB 区间,bram_dma 用 2,050 个 CPU 周期完成,折合 1.0 word/cycle,199.8 MB/s。它不需要取指、不需要算地址、也不需要把数据过 CPU 寄存器;源地址、目的地址、长度写进 CSR 后,状态机每个周期发一对读写。9.0 倍差距不是“DMA 时钟更快”,两者都跑 50 MHz,差的是每个字要不要经过取指与循环开销。

依赖 load。 1,024 节点的指针环,跑 32,768 次依赖 load,81,924 周期,2.5 cycles/load,50 ns。这条测的是“下一次地址依赖上一次数据”时的真实往返,不是顺序流的吞吐。它给后面的 DDR3 ping 提供一个片内基准:同样是一次依赖访问,BRAM 50 ns,DDR3 233–241 ns,差约 4.7 倍。

使用限制必须跟着数字一起发。 这一版 scratch 只支持 32-bit 全字写,字节使能没有接;dma_active 期间 CPU 对 scratch 的访问会被门控,固件因此只轮询 CSR、不碰 scratch。把这段代码拿去当通用内存池之前,先补字节使能或改成分区双口,否则 byte/half-word 写会静默丢数据。

4. DDR3 三段:733 写、1,422 读、39 CRC

DDR3 沿用第 07 集的 MIG native UI 与 128-bit DMA,但把测试窗口固定为 64 MiB,分三次独立启动:只写、只读比对、只读算 CRC。写图案仍然依赖地址(tag={4'hA, addr} 展开成 128-bit),所以地址译错、bank 错位、数据线粘连都会在回读阶段暴露;64 MiB 的 4,194,304 个 beat 全部比完,err=0。

CRC 再读一遍,把每个 128-bit beat 拆成 16 个字节,按 0xEDB88320 逐字节更新,初值与最终异或均为 0xFFFFFFFF。64 MiB 用了 167,772,193 个 UI 周期(约 1.68 s),得到 0x07e96c24,与期望相等。这条路径一次只发一笔读、串行算 CRC,所以只有 39 MB/s;它的价值是独立于图案比对的第二重校验,不是刷 CRC 吞吐。

单拍 ping。 16 次读,地址从基址每次加 8 MiB,跨 bank 与 row;RTL 记录 app_en 被接受的周期到 app_rd_data_valid 的周期差。run1 为 min 23 / max 36 / avg 24.12 个 UI 周期,即 241 ns;run2 为 min 23 / max 26 / avg 23.31。最大值 36 是一次偏长的排队,稳定的下界是 23 个周期、230 ns。

模式CTRL覆盖关键结果
只写wr=1,crc=0,rd=064 MiB 线性9,148,314 UI cycles / 733 MB/s
只读比对rd=1,wr=0,crc=064 MiB 线性4,718,705 UI cycles / 1,422 MB/s / 4,194,304 beats / err=0
读 + CRCrd=1,crc=164 MiB 线性167,772,193 UI cycles / 39 MB/s / 0x07e96c24
pingping toggle16 × 单 beat,8 MiB 步进min 23 / max 36 / avg 24.12 UI cycles

5. 数字怎么读:层级差、峰值与不可比的地方

比较比值怎么解释
DMA 拷贝 ÷ CPU 拷贝(同为 8 KiB)199.8 / 22.2 = 9.0×同频 50 MHz、同一块 BRAM,差在是否经过取指与循环;这是本集最干净的一条对比
DDR3 读 ÷ DMA 拷贝 BRAM1,422 / 199.8 = 7.1×DDR3 是 100 MHz 128-bit burst,BRAM DMA 是 50 MHz 32-bit 单字,宽度与时钟都不同
DDR3 读 ÷ CPU 读 BRAM1,422 / 25.0 = 56.9×一端是 DMA 的 128-bit 突发,另一端是 CPU 的逐字 load;只能说明层级差,不能说明“DDR 比 SRAM 快”
DDR3 写 ÷ DMA 拷贝 BRAM733 / 199.8 = 3.7×写路径仍受 data 先一拍、cmd 后一拍的 BL8 节奏限制
DDR3 ping ÷ BRAM 依赖 load241 / 50 = 4.8×ping 含命令传输与跨 bank/row 排队;BRAM 是片内单周期附近往返

DDR3 的峰值仍是 16-bit × 800 MT/s = 1.6 GB/s。读 1,422 MB/s 约 88.9%,写 733 MB/s 约 45.8%,CRC 39 MB/s 约 2.4%。读得快,是因为地址与命令可以连续发,32 个 outstanding 足以把延迟藏住;写得慢,是因为这一版保留了厂测自检的 data 先一拍、cmd 后一拍节奏,每个 BL8 占两个 UI 周期,上限锁在峰值一半附近。把 data 与 cmd 同拍发是下一步能推的方向,但不在本集已验证范围内。

不要把这张表读成“SRAM 慢、DDR 快”。 真实含义是:CPU 用软件逐字搬数据时,连片内 SRAM 都只能跑 22–25 MB/s;一旦交给 DMA,片内 SRAM 到 199.8 MB/s;而 DDR3 因为位宽、突发和 MIG 的调度,能到 1.4 GB/s。层级差是“引擎 + 位宽 + 协议”的合成结果,不是单一存储介质的胜负。

6. 资源、时序与最终 bit

项目结果说明
LUT9,581 / 20,800 · 46.06%比 EP07 的 9,333 多出 scratch 与 bram_dma 的控制逻辑
FF9,212 / 41,600 · 22.14%含两条 DMA 状态机与 ping 计时
BRAM40 / 50 · 80.00%32 KiB scratch(32 块)+ CVE2 RAM + FIFO
DSP11 / 90 · 12.22%MIG 内部使用
IOB73 / 250 · 29.20%DDR3 48 个信号 + 板级外设
WNS / WHS0.853 / 0.036 nsTNS / THS 均为 0,26,767 endpoints,0 failing
DRC0 error / 0 warning最终实现报告

最终 bit 为 2,192,137 B,SHA-256 f07d96c23ce78ee835b19ea932099f03df99e7d6d25449de5c0600c6de1a868c。BRAM 从 EP07 的 32 块涨到 40 块,正好是 32 KiB scratch 的代价;LUT 只多了 248,因为记忆体没有散成 LUTRAM。

时序不是一次到位:第一版最终实现 WHS −0.040 ns、2 个 hold failing,单独在 impl_cdc_ep08.tcl 里做一次 phys_opt_design -hold_fix 不够。改走 launch_runs impl_1 托管实现,等 run 完成后再做两轮 phys_opt_design -hold_fix 与 route_design,才得到 0.853 / +0.036 / 0 failing。那版 −0.040 的 bit 已丢弃,页面与证据包只保留最终版。

WHS 只有 0.036 ns,hold 余量仍然很薄。当前报告 0 failing,可以发布;但换器件、换温度角、改 MIG 配置或动 scratch 结构,都必须重跑实现,不能沿用这组时序结论。

7. 踩过的坑

8. 复现步骤

# 构建机 ssh alinx@192.168.8.237 cd /media/alinx/nvme4t/fpga-love/pi_ar035_f1_1_cve2_ep08 # 1) 综合 + 实现 + 报告;最终时序必须走托管 run + 两轮 hold fix vivado -mode batch -source build_ep08.tcl vivado -mode batch -source impl_run_ep08.tcl # 2) 固件(HEX 被 bit 引用,改 C 必须重综合) cd sw && make && python3 bin2hex.py && cd .. # 3) 先起串口,再下载;日志从最后一次 EP08 storage hierarchy 截断 python3 cap_serial.py /dev/ttyUSB1 115200 /tmp/ep08.log & vivado -mode batch -source program_ep08.tcl

两次独立验证的做法是:完整断电/重配一次,重跑 program_ep08.tcl,再抓一份 UART。两次日志逐项比对 bytes、beats、CRC、err 与最终 PASS;cycle 计数与 ping 的 min/max 允许抖动,稳定字段必须一致。只重启 CPU、不复位 FPGA,不算第二次独立下载。

抓包要在编程前启动。重编程瞬间会先录到上一版 bit 的前两行,日志必须从最后一次 EP08 storage hierarchy 处截断,否则会把旧 bit 的输出混进新证据。

9. 工程文件(38 个)

RTL、XDC、Tcl、固件源码与预编译产物、最终 bit、三份报告、两次独立串口日志、构建与下载日志、MIG 配置和 DDR3 引脚表全部在下面。校验值见 SHA256SUMS.txt;中英文页的 files/ 目录逐文件一致。

README.txt证据包总说明 · 测量方法 / CSR / 结果 / 边界 metrics/ep08_metrics.json机器可读指标:7 条数据路径、时序、资源、SHA-256 bit/top_cve2_ep08.bit最终 bitstream,2,192,137 B reports/ep08_timing_final.rptWNS 0.853 / WHS 0.036 / 0 failing reports/ep08_util_final.rptLUT 9,581 / FF 9,212 / BRAM 40 / DSP 11 reports/ep08_drc_final.rptDRC 0 error / 0 warning logs/uart_ep08_run1.txt第一次独立下载的 19 行串口日志 logs/uart_ep08_run2.txt第二次独立下载:稳定字段与 run1 完全一致 logs/synth_ep08.logVivado 综合日志 logs/impl_ep08.logVivado 实现日志 logs/impl_run_ep08.log托管 impl_1 + 两轮 hold fix 日志 logs/program_ep08_run1.log第一次下载日志 logs/program_ep08_run2.log第二次下载日志 logs/build_ep08.log综合 + 实现 + 托管实现合并日志 rtl/top_cve2_ep08.sv顶层:CVE2、MMCM、MIG、两条 DMA、CSR、UART rtl/ddr3_dma.svnative UI 写图案 / 读比对 / CRC-32 / ping 引擎 rtl/dpram_scratch.sv32 KiB true-dual-port scratch,40 块 BRAM rtl/bram_dma.svword-granularity BRAM 拷贝引擎 xdc/pi_ar035_f1_1_cve2_ep08.xdc板级引脚与异步时钟组 xdc/ddr3_mig.xdcMIG 生成的 DDR3 引脚与 I/O 标准 tcl/build_ep08.tclcreate + 综合 + 实现 + 报告 tcl/impl_cdc_ep08.tcl综合后施加时钟组的早期实现流程 tcl/impl_run_ep08.tcl最终采用的托管 impl_1 + 两轮 hold fix tcl/program_ep08.tclJTAG 下载 bit 与 ELF sw/main.c七条测量路径、两轮测试与统计打印 sw/start.SBSS 清零、mtvec、64 项跳转表 sw/link.ld64 KiB RAM 的代码 / 数据 / 栈布局 sw/MakefileRISC-V GCC 构建与 HEX 生成 sw/syscalls.c裸机 newlib 系统调用桩 sw/bin2hex.pyBIN → 32-bit HEX sw/firmware.elf可下载 ELF,67,008 B sw/firmware.bin平坦二进制,9,480 B sw/firmware.hexBRAM 初始化,21,330 B / 2,370 words sw/firmware.dis反汇编,98,804 B sw/firmware.map链接映射 SHA256SUMS.txt全部 37 个产物的 SHA-256 mig/factory_mig.prjMIG 工程配置(MT41J128M16XX-125) pins/ddr3_pins.csv48 个 DDR3 信号 → 封装引脚 / IOSTANDARD

10. 相关入口

本集验证的是同一颗 CVE2 上 32 KiB scratch BRAM 与 256 MiB DDR3 的读、写、拷贝、CRC 与单拍延迟。未验证:CPU 直接访问 DDR 窗口、AXI4 互联、scatter/gather、SCRAM、ECC、DDR3 margin/温度角、长时间 soak、多 master 并发、字节/半字写 scratch,以及与其他 SoC 的效率横比。

订阅 fpga.love

每日快报 · 每周精选 · 每月深度刊