Discussion: 今日热搜
据 StorageReview 于 2026 年 10 月 19 日发布的深度评测，Open WebUI Desktop Windows 版将本地大模型推向了新的功能高度。这款开源工具把聊天、模型管理、联网搜索、工具调用和 API 访问统一在一个界面中，评测者沿用与 Jan v0.8.6 完全相同的硬件与模型文件进行对比，发现其能力远超普通聊天应用，但部署过程也异常曲折。
欧美娱乐测试平台与软件版本
为保证结果可复现，评测团队继续使用 HP Z4 Rack G5 工作站，安装 Windows 11 Pro for Workstations，CPU 为 16 核的 Intel Xeon w5-2465X，内存 128GB，显卡 NVIDIA RTX 5000 Ada Generation，显存 32,760 MiB（约 31.99GB），驱动 597.06，CUDA 兼容版本 13.2。软件上，Open WebUI Desktop 客户端为 v0.0.20，本地服务器为 v0.12.2，Python 3.12.13，llama.cpp 采用 CUDA 12.4 构建 b11612。评测者特别提醒，桌面端与服务器端版本号相互独立，更新时需分别确认。该平台也用于此前 Jan v0.8.6 的测试（同样发表于 StorageReview），两组数据可交叉比对，为 Best Local LLM Tools 排行榜提供了统一基线。
欧美明星
| 组件 | 配置 |
|---|
| --- | --- | --- |
|---|
| 操作系统 | Windows 11 Pro for Workstations |
|---|
| CPU | Intel Xeon w5-2465X，16 核 |
|---|
| 内存 | 128GB |
|---|
| GPU | NVIDIA RTX 5000 Ada Generation |
|---|
| 显存 | 32,760 MiB（31.99GB） |
|---|
| 驱动 | 597.06 |
|---|
| Open WebUI Desktop / Server | v0.0.20 / v0.12.2 |
|---|
| Python / llama.cpp | 3.12.13 / b11612，CUDA 12.4 |
|---|
安装与初始化：从失败到修复
安装程序会先要求配置环境，可启用本地 llama.cpp、Open Terminal 或自定义目录。评测者关闭了 Open Terminal，启用 llama.cpp，并保留默认安装路径。初次运行后需创建管理员账户，随后进入聊天界面。但真正的挑战出现在 llama.cpp 运行时下载：Version 字段选择 latest + CUDA 12.4 时，安装几乎立刻失败。日志显示 latest 被解析为 v0.6.0，而该版本并未提供 Windows CUDA 归档。固定到 b11612 后，服务器依旧无法启动——缺少 cudart64_12.dll、cublas64_12.dll 和 cublasLt64_12.dll。手动从 CUDA 12.4 官方包中补齐这三个文件，llama-server 才在端口 18881 运行。Lyle Smith 写道：“让 Open WebUI 正常运行所花费的时间远超我们的预期。”他补充说：“默认运行时下载损坏、CUDA 文件缺失、上下文分配过大，一系列问题接踵而至。”
日本明星
模型加载与 GPU 调优：文件与运行时分离
Open WebUI 将模型文件与推理引擎分开管理：Models 页面处理本地 GGUF 文件，Inference Runtime 负责 llama.cpp 生命周期。评测者把 Jan 测试用过的 Jan V3.5 4B Q4_K_XL 和 Jan V2 VL High Q4_K_M 复制进去，连同 V2 多模态投影文件，运行时激活后两者均出现在聊天模型选择器。实测沿用 8,192 token 上下文、2,048 batch size、100 层 GPU 分配以及一致的采样参数。尽管性能接近 Jan，但评测者发现默认上下文分配极大，接近显存上限，需要手动调低才能稳定运行。这种分离式设计给了高级用户更多控制权，但也显著提高了配置门槛。
功能生态：联网搜索、多模态与工具调用
Open WebUI 的差异化优势集中在扩展功能上。实测启用了 DDGS（DuckDuckGo 搜索）和 URL 抓取，模型可以结合实时网页内容回答。多模态方面，配合 Jan V2 VL 的投影文件，用户可直接上传图片进行识别分析。Workspace 预设允许把不同的参数组合保存为独立工作区，在写作、编程、研究等场景间一键切换。不过内置工具系统尚不稳定，评测记录显示部分工具连续调用时出现响应中断。即便有这些问题，这些功能组合已让本地模型具备了接近商业 AI 服务的交互体验，这也是 Open WebUI 区别于 Jan 等纯聊天客户端的核心价值。
本地 API 与适用人群
除了图形界面，Open WebUI 还暴露了完整的本地 API，第三方应用可通过 HTTP 调用同一推理后端。桌面版与服务器版共享底层服务，接口行为与 Web 端一致，便于开发者集成。评测总结认为，尽管安装阶段问题缠身，但稳定后的功能密度在同类工具中名列前茅。该工具更适合具备技术背景、愿意投入时间做环境配置的进阶玩家；追求开箱即用的普通用户，建议等待后续版本修复默认分发流程。
FAQ
Q1: Open WebUI Desktop 适合普通 Windows 用户吗？
A1: 更适合有一定技术基础、能手动处理运行时依赖的用户。它提供完整的模型管理、联网搜索和 API 集成，但安装时需要手动修复 llama.cpp 与 CUDA 的兼容问题，普通用户建议从稳定版本开始。
Q2: 如何避免 llama.cpp 在 Windows 上无法启动的问题？
A2: 先将 llama.cpp 固定到已知稳定版本（如 b11612），再确认 CUDA 12.4 的三个运行时 DLL（cudart64_12.dll、cublas64_12.dll、cublasLt64_12.dll）已放在对应目录。若仍有问题，查看桌面日志定位具体缺失文件。
从全局看，Open WebUI Desktop 用更繁琐的安装换取了更广阔的本地大模型生态。随着开源社区迭代，部署门槛有望降低，它很可能成为自托管 AI 工作流的重要枢纽。
Related Threads - 史诗皮肤
Open WebUI Desktop Windows 版深度实测：记录本地 LLM 部署全过程，从 llama.cpp 与 CUDA 配置避坑、GGUF 模型加载到 DDGS 联网搜索、多模态输入和工具调用。对比 Jan v0.8.6 同平台性能，全面评估 Open WebUI 桌面端是否值得安装，附 FAQ 解决常见
