AMD ROCm 10.1 发布:hipFILE快路径+NUMA内存分配破解存储瓶颈

AMD ROCm 10.1 发布:hipFILE快路径+NUMA内存分配破解存储瓶颈

Discussion: 跳伞技巧

据StorageReview报道,AMD于2026年10月5日正式发布ROCm 10.1版本,重点攻克AI工作负载中的存储瓶颈。随着模型检查点、键值缓存和模型权重文件日益庞大,数据搬运时间已超越计算时间成为主要迭代瓶颈。ROCm 10.1通过AMD Infinity Storage堆栈的深度升级,将存储访问直接集成到HIP运行时,并新增NUMA感知主机内存分配,使数据无需经过CPU内存中转即可直达GPU。AMD官方新闻稿证实,该版本在ROCm 7.14引入的直接存储架构基础上,新增了hipFILE异步快路径和批量I/O接口,同时编译器升级至LLVM 24,并正式推出ROCm CLI v1.0.0与AMD SMI(取代ROCm SMI)。

明星榜单

hipFILE异步快路径:消除主机内存中转

传统GPU存储路径中,数据从NVMe硬盘读取后需先暂存到系统内存(CPU内存中继),再由CPU控制拷贝至显存,这一过程增加了延迟并消耗内存带宽。AMD在ROCm 10.1中为hipFILE库新增了异步快路径后端:读写请求直接在HIP流(stream)上执行,完全跳过主机内存阶段。据AMD介绍,该设计显著降低检查点引擎和KV缓存卸载的延迟,同时保持持续带宽。hipFileReadAsync()和hipFileWriteAsync()两个新函数已支持该快路径。

恋情公开

此外,批量I/O API允许一次提交多个文件请求,并在内部线程池中分散执行,使训练大数据集时存储队列始终饱满。与之配套的遥测接口hipFileGetStatsL1、L2、L3可分别提供不同粒度的I/O统计信息,这些计数器可直接注入ROCm剖析器,帮助运维人员判断流水线瓶颈位于计算、内存还是数据交付环节。

恋情疑云

NUMA感知主机内存:消除跨插槽通信损耗

在多路服务器上,若缓冲区分配在非本地NUMA节点,每次传输都会产生跨插槽延迟。ROCm 10.1扩展了HIP虚拟内存管理API,新增hipMemLocationTypeHostNuma和hipMemLocationTypeHostNumaCurrent两种位置类型。开发者可通过完整的创建、保留、映射、销毁生命周期将主机内存指定到特定NUMA节点。RCCL等库可利用此特性构建NUMA本地的零拷贝通信缓冲区,使主机到设备的数据传输完全避开插槽互连。AMD表示,这一改进对两插槽系统的整体吞吐量提升尤为关键。

恋情告吹

恋情升温
特性传统路径ROCm 10.1 优化收益
------------
数据传输硬盘→系统内存→GPU硬盘→GPU (跳过系统内存)延迟降低,带宽保持
内存放置随机NUMA节点NUMA感知分配 (单/当前节点)消除跨插槽开销
I/O提交单请求批量提交 + 线程池队列饱满,训练吞吐提升
遥测粗略统计L1/L2/L3 分级I/O统计精准定位瓶颈

ROCm CLI v1.0.0 与AI Agent工作流

ROCm CLI达到v1.0.0,作为单一二进制文件支持Linux、Windows和WSL2,可自动安装、配置并运行本地AI工作负载。它检测vLLM所需的flash-attn和amd-aiter轮子,适配ROCm 10的新包布局,并新增完全非交互安装标志,便于脚本化和CI环境。全屏TUI仪表板同时显示GPU实时遥测、模型服务和本地聊天窗口,方便验证端点是否正常响应。

AMD Skills(面向编码代理的集成包)新增两项:quark-install用于安装AMD Quark及配套PyTorch构建;quark-torch-llm-ptq针对PyTorch和Hugging Face大语言模型执行后训练量化(支持FP8、INT4等方案)。这些集成可直接服务于Claude Code、Codex等编码智能体。

剖析与遥测现代化:内核重放与AMD SMI

ROCprofiler-SDK引入内核重放功能(beta阶段)。GPU硬件每次分发暴露的计数器数量有限,过去收集完整计数器集需每个计数器组重跑整个应用程序。内核重放就地重新执行每个分发,并在两次执行间重置GPU内存,单次运行即可收集全部计数器。SDK还支持在PyTorch Kineto和Triton Proton运行期间随时启停剖析,并提供一个PC采样代理Skill,引导编码智能体通过rocprofv3 PC采样查找计算停顿。

ROCm Compute Profiler的Roofline报告现已生成交互式HTML页面,工程师可隔离单个内核并切换缓存级算术强度轴。PC采样报告可细分到每个内核的采样数和停顿数。ROCm Systems Profiler新增对Gorgon Point 1/2/3 APU(gfx1150/1152/1153)的Linux跟踪支持,ROCm Optiq可同时可视化rocprofv3、Systems Profiler和Compute Profiler的分析结果。

AMD SMI(amd-smi)正式取代ROCm SMI,后者在本版本中从标准构建中移除。amd-smi覆盖AMD GPU、CPU和APU,支持Linux和Windows、裸机和虚拟化环境,提供CLI、C库(amd_smi_lib)、Python、Go和Rust绑定。容器感知已扩展至containerd、CRI-O、Podman、LXC、LXD及Kubernetes Pod,集群管理员可将GPU进程和利用率与运行该进程的容器一一对应。

核心编译器与运行时更新

工具链从LLVM 23升级至LLVM 24,clang_major宏现返回24。依赖编译器版本或链接libLLVM的开发者需在升级前进行兼容检查。增量构建通过缓存设备代码LTO分区的分区缓存得到加速,未变更的分区可在下次构建时复用。

Composable Kernel加速了Radeon GPU上的注意力运算,并新增更多量化矩阵乘法类型。MIGraphX将后端编译器从rocMLIR切换到rocMLIRTriton,AMD称此举可提升推理性能、缩短模型编译时间,并保持编译器与上游Triton同步。rocSPARSE支持直接在ELLPACK(ELL)格式矩阵上执行三角求解,无需事先格式转换。

hipThreads作为ROCm Core SDK线程库的新成员,将标准C++线程概念引入AMD GPU(Linux和Windows),目的是在不进行完整HIP内核重写的情况下加速现有CPU线程化代码。

Windows Subsystem for Linux 2进入技术预览,标准Linux包在客户机中安装,GPU半虚拟化将工作交给Windows主机驱动。预览期支持.deb包和Python轮子(不支持RPM),且剖析、调试和KFD相关工具在WSL2内暂不可用。虚拟化方面,KVM SR-IOV现已支持Ubuntu 26.04 LTS作为宿主机和客户机,搭配AMD GIM驱动版本9.3.0.K。

支持硬件列表扩展

新增Radeon AI PRO R9600,与Instinct MI355X、MI350X、MI350P、MI300系列、MI200系列、Radeon AI PRO R9700家族及Ryzen AI处理器共同列入支持列表。

Q&A

Q1: AMD ROCm 10.1中的hipFILE快路径是否要求特定硬件?

A1: 据AMD官方文档,hipFILE异步快路径支持所有基于ROCm的AMD GPU,包括Instinct MI300系列及更新的Radeon AI PRO系列。该功能通过软件栈实现,不依赖专用硬件加速器。但实际性能提升受NVMe SSD和PCIe带宽影响,建议搭配Gen5 SSD和PCIe 5.0平台使用。

Q2: 从ROCm SMI迁移到AMD SMI需要修改脚本吗?

A2: 是的。AMD SMI命令行接口和API与旧版ROCm SMI不兼容。AMD提供了迁移指南和兼容性工具(amd-smi-legacy),可临时兼容部分旧命令。建议开发者在升级ROCm 10.1后尽快将脚本迁移至新的amd-smi CLI或C库接口,以利用容器感知等新功能。

总结与展望

AMD ROCm 10.1通过hipFILE快路径、NUMA感知内存分配和LLVM 24编译器升级,直接回应了AI训练与推理中的存储瓶颈问题。随着AMD SMI全面接管监控、ROCm CLI达到正式版本,以及WSL2预览和更多硬件支持,ROCm生态在易用性和性能优化上迈出了关键一步。对于追求端到端数据搬运效率的高性能计算和AI开发者而言,这一版本提供了降低延迟、提升吞吐量的实质性工具。

新剧推荐

Related Threads - 手游兑换

AMD ROCm 10.1于2026年10月5日发布,引入hipFILE异步快路径、NUMA感知主机内存、LLVM 24、ROCm CLI 1.0及AMD SMI,显著降低AI训练中的存储延迟。了解直连GPU存储、批量I/O与遥测升级如何加速HPC工作负载。

Tags:
Partners:

相关文章

▸ 恋情疑似▸ 地下恋情▸ 姐弟恋情▸ 跨国恋情▸ 闪婚闪离▸ 隐婚生子▸ 离婚官宣▸ 离婚原因▸ 离婚内幕▸ 离婚财产
友情链接:婚姻危机 婚内出轨 婚姻破裂 感情危机 感情生活 感情纠纷 情感纠葛 三角恋情

🔗 友站推荐

帕兰提尔:无法关闭北约AI系统 欧洲技术依赖焦虑升温
车祸后死亡女子验尸伤情无关?家属质疑调查漏洞
罗兰·穆雷Galaxy连衣裙:从红毯到MAGA女性的时尚传奇
板球名将舒特因处方药违规遭禁赛两场 程序正义引热议
前AFL球星尼克·史蒂文斯欺诈上诉被驳回,法院维持9个月监禁
凯莉·安德伍德在帕顿致敬会高歌《I Will Always Love You》压轴
美特使会普京后俄军空袭乌克兰致7死:夜间空袭升级
曼联欧冠1-4惨败科莫,七场不胜卡里克帅位告急
阿斯顿维拉欧冠小组赛四连胜 晋级淘汰赛概率超九成
北领地原住民领袖帕特·米勒获国葬 反歧视一生获誉