首页›行业资讯›在浪潮YPCB-00338 Kintex-7 PCIe卡上运行LFM2.5和Qwen3
← 返回行业资讯
技术教程

在浪潮YPCB-00338 Kintex-7 PCIe卡上运行LFM2.5和Qwen3

电子发烧友 Elecfans ·
介绍在浪潮Kintex-7 PCIe卡上运行LFM2.5与Qwen3模型。
本文为原文全文(约 2187 字),原文配图已同步至站内;细节以原文为准。

以下文章来源于Open FPGA ,作者碎碎思

首先判断一个开源加速器值不值得去研究,看三件事

看完这个项目,可以沉淀出一套对同类开源硬件通用的判断标准:

第一,可复现性: 模拟 器、编译器、指令集、RTL 是否齐备,能不能在无硬件时先跑通?

第二,数据透明:有没有真实板卡的吞吐、量化和开销口径,而不是只给"理论峰值"?

第三,门槛设计:是不是把"看的人"和"买板的人"分开,让学习者不用先花钱?

如果这三条同时成立,这个开源项目大概率值得你花几天去读源码(或者花Token去研究)。

本次的项目基本符合上面的几条--OpenTPU。

本项目Open RTL、ISA、模拟器和编译器,在浪潮 Y PCB -00338 Kin te x-7 PCIe 卡(Kintex-7 xc7k480t FPGA,两个 2 GiB DDR 3 通道,PCIe Gen2 x8。)上运行 LFM2.5 和 Qwen3。

ed1d419e-d588-11f1-8a4b-92fbcf53809c.jpg
ed1d419e-d588-11f1-8a4b-92fbcf53809c.jpg
ed8041f4-d588-11f1-8a4b-92fbcf53809c.jpg
ed8041f4-d588-11f1-8a4b-92fbcf53809c.jpg

本项目构建了 openTPU,目的是使 AI 加速器能够从 Python 内核一直到硬件层面都易于理解。它现在运行在 Inspur YPCB-00338 卡上,该卡配备了 Xilinx Kintex-7 xc7k480t 和 4 GiB DDR3 内存,用于执行语言模型。

该代码库包含 System Verilog RTL、指令集、位精确 仿真器 、内核语言/编译器、性能分析器和 Linux 主机工具。该项目也是一项利用 人工智能 代理进行硬件开发的实验。

动画演示了 LFM2.5-230M 通过 otpu-chat 进行聊天,同时 otpu-smi 显示利用率和 DRAM 带宽。

ede7b730-d588-11f1-8a4b-92fbcf53809c.gif
ede7b730-d588-11f1-8a4b-92fbcf53809c.gif
ee46fe52-d588-11f1-8a4b-92fbcf53809c.gif
ee46fe52-d588-11f1-8a4b-92fbcf53809c.gif

主板通过 PCIe Gen2 x8 连接,并提供两个 2 GiB DDR3 内存通道。目前的设计方案结合了一个四列脉动矩阵单元、八条向量通道、LiteDRAM 内存 控制器 以及一个用于显式调度数据传输和计算的序列器。矩阵单元处理 int8 类型的操作数;向量单元处理 fp32 类型的操作;量化机制则将两者连接起来。

ef073be0-d588-11f1-8a4b-92fbcf53809c.png
ef073be0-d588-11f1-8a4b-92fbcf53809c.png

使用 4 位权重和 int8 LM 头,RE AD ME 文件中报告,LFM2.5-230M 的令牌处理速度为 82.1 个tokens/s,Qwen3-0.6B 的令牌处理速度为 30.7 个tokens/s(包含主机开销)。该协议在 512 个令牌的提示后生成 64 个贪婪令牌。代码库中记录了量化精度权衡和测试流程。

ef6728de-d588-11f1-8a4b-92fbcf53809c.jpg
ef6728de-d588-11f1-8a4b-92fbcf53809c.jpg

模拟器和软件运行在笔记本 电脑 上。克隆代码库,安装 Python 包及其依赖项,然后下载 LiquidAI/LFM2.5-230M:

gitclonehttps://github.com/FeSens/openTPU.git cdopenTPU pi p install -e . pip install pytest torch transforme rs hf download LiquidAI/LFM2.5-230M --local-dir models/LFM2.5-230M otpu-chat --model lfm2 --b ac kend isa

本开发板指南涵盖 Vivado、比特流生成、JTAG 编程 、PCIe 设置、DDR3 校准和诊断。构建此 Kintex-7 需要包含 xc7k480t 的 Vivado 许可证。RTL 测试需要 Verilator 5。

https://github.com/FeSens/openTPU/blob/main/docs/board.md

https://github.com/FeSens/openTPU/blob/main/docs/isa.md

https://github.com/FeSens/openTPU/blob/main/docs/lens.md

项目代码采用 Apache-2.0 许可。大家可以贡献板级移植代码、提供构建反馈,以及提出让加速器更容易学习和复现的建议。

https://github.com/FeSens/openTPU

原文标题:不用买专用芯片,二手 FPGA 也能跑 Qwen3?

Intel OpenVINO™ Day0 实现阿里通义 Qwen3 快速部署

在 openEuler 上 基于vLLM Ascend部署 Qwen3

开发FPGA Kintex-7 板子的 PCIe 与DDR模块高速通信,应该准备些什么?

如何在 Kintex-7 设计 上 测量VCCINT的静态电流?

在 Kintex-7 设计中使用 PCIE IP核,userclk显示不一样的原因?

Xilinx PCIE DMA--Sparten6/ Kintex-7 BMD 搭建 精选资料分享

赛灵思 Kintex-7 FPGA 系列芯片简介

Kintex-7 325T FPGA DDR 3 控制器和接口演示

PCIe x8 Gen 3 在 Xilinx Kintex-7 FPGA KC705板 上 的 运行 演示

Kintex-7 DSP开发套件特点与应用介绍

Kintex-7 FPGA连接DDR 3 存储器的接口功能演示

Kintex-7 FPGA数据表下载

壁仞科技完成阿里巴巴通义千问 Qwen3 全系列模型支持

中科曙光DeepAI深算智能引擎全面支持 Qwen3

壁仞科技完成 Qwen3 旗舰模型适配

阅读原文 →
来源:电子发烧友 Elecfans

本页摘要由 AI 辅助整理,经编辑审核后发布;AI 仅用于提炼与分类,原文均附来源链接。