目录
AI 模型、知识与智能体使用指南
ApuOS 将模型连接、对话、本地推理、知识笔记、AI 网关和智能体管理放在 NAS 工作台中。你可以选择本地模型,也可以连接自己使用的云端服务。先确定任务需要什么能力、数据可以发送到哪里,再配置对应入口。
开始前:选择数据路径
| 使用方式 | 数据经过哪里 | 开始前检查 |
|---|---|---|
| 本地聊天模型 | 浏览器将请求交给 NAS,由本机受管模型推理 | 模型、运行环境与可用内存是否就绪 |
| 远程模型连接 | NAS 将提示、选入的历史和附件提交到配置的服务 | 服务提供方、地址、凭据及其数据政策 |
| 本地 ASR、TTS、OCR | NAS 上已安装的离线引擎处理输入 | 模型资产与 SDK 已安装,服务已明确启动 |
| 知识笔记语义检索 | NAS 的笔记数据库与已配置的本地向量服务 | 数据库、向量扩展及索引状态正常 |
| Agent 或外部工作流 | 请求交给所配置平台,平台可能继续调用其他服务 | 平台部署位置、工具权限和后续数据流向 |
不要因为应用入口位于 NAS 桌面,就认为所有内容都只在本机处理。先用非敏感的小样本测试;重要文件始终保留原件。模型生成的文字、识别结果与分类判断都需要你核对。
一、连接本地或云端模型
打开“AI 模型 → 服务连接”。这里保存服务地址与模型目录,模型本身仍由对应服务运行。
- 点击“添加服务”,填写便于辨认的名称并选择服务商。
- 核对服务地址与协议,按服务要求填写 API 密钥。本地服务也需要填写实际运行地址。
- 添加准确的模型标识和显示名称;也可以先保存空模型目录的连接。
- 对支持模型发现的服务,先保存连接,再打开编辑并点击“获取模型列表”,选择需要的模型后保存。未提供列表接口的服务需要手动填写模型标识。
- 从模型条目点击“聊天”,使用简单问题验证实际响应。
已有 OpenAI 兼容、Responses、Anthropic、Gemini 等协议适配,以及多家服务商的配置入口。具体模型是否可用、是否接受图片或音频,仍由所选服务和账号决定。一个连接可以维护多个模型;更换服务地址或密钥后,应先保存,再重新读取目录与测试。
凭据使用加密配置保存,编辑时不会回显已保存的密钥。按页面提示留空可保留既有凭据,不要把密钥填写在模型名称、共享文件或社区帖子中。移除连接只移除本地配置,不会卸载服务或删除远端数据;引用它的 Agent 和自动化可能需要重新选择目标。
二、多轮对话与图片、音频输入
在“模型对话”中新建或选择会话,选择连接及模型,输入问题后发送。Enter 发送,Shift+Enter 换行。可以在同一会话切换模型;后续请求会携带受容量限制的最近完整对话轮次,而不是只发送最后一句。
需要分析图片或音频时,通过附件入口选择受支持的文件,并确认模型具备对应多模态能力。图片支持 PNG、JPEG、WebP,单张上限 5 MiB;音频支持 WAV、MP3,单个上限 10 MiB。每条消息最多 4 个附件,历史附件与当前输入还受整体上下文容量限制。音频请求需要兼容的 OpenAI Chat 或 Gemini 协议和实际支持音频输入的模型;协议兼容本身不保证每个型号都支持。
会话历史保存在 NAS 后端的加密存储中,重新打开页面或服务重启后可以继续查看。当前发送上下文最多包含最近 30 个完整轮次、总文本最多 64 KiB;裁剪时页面会提示,已显示的历史不会因此被删除。当前界面在收到完整回复后显示结果,不是逐字流式展示。
回复失败时先检查网络、模型状态和错误提示,再使用重试。对话入口显示模型返回的文本,不会自动执行其中的命令、代码或工具调用。选择远程模型时,提交的文字、选入的历史与附件会发送到该服务;历史在 NAS 加密保存并不改变这条外发路径。
三、下载 GGUF 并在 NAS 本地运行
算法商城提供模型搜索、下载和本地模型管理。受管 GGUF 聊天模型使用原生 llama.cpp,不要求为了它额外部署 Docker 或 Ollama。已有 Ollama 安装保留兼容,但发现服务不会替你安装、启动或切换到 Ollama。
- 打开算法商城,核对模型类型、文件、容量与设备资源,选择适合当前设备的构建。
- 等待下载完成,确认条目没有处于下载中、失败或残缺状态。
- 在“本地模型”中查看该条目是否支持部署,按提示明确确认启动。
- 检查运行状态,再进入 AI 模型的服务连接或对话入口测试。已确认的本地聊天服务会自动列出,不必重复手工配置同一服务。
- 使用完毕后,在对应本地模型管理入口停止,释放资源。关闭浏览器页面不会自动停止已经运行的服务。
下载权重不等于已拥有可调用服务;不是所有架构、量化方式和模型文件都能由当前运行环境加载。安装与重启不会自动加载全部模型,服务发现也不会扫描所有用户目录、自动执行推理或下载额外模型。自动发现的记录由原安装入口管理,不应通过删除手工连接来尝试卸载它。
先从适合设备的小模型开始。内存、CPU、模型格式、许可与资源准入均可能影响能否启动;硬件列表显示 GPU 或 NPU 不能证明当前模型已经使用它加速。遇到资源不足时先停止不用的任务,而不是反复重新下载。
四、本地语音识别、语音合成与 OCR
本地模型入口能够管理已安装的 faster-whisper small 语音识别、Piper 中文语音合成和 RapidOCR 中英文文字识别。新设备需要先准备相应模型与 SDK;仅安装服务定义不会自动取得全部资产。
- 在本地模型中选择需要的 ASR、TTS 或 OCR 条目,确认相关文件与依赖已就绪。
- 按页面提示明确启动,然后打开测试调用。
- ASR 上传符合限制的 WAV,检查识别文字;TTS 输入短文本,播放返回的音频;OCR 上传图片,核对文字与顺序。
- 测试完成后根据需要停止服务,避免长期占用内存。
| 功能 | 当前输入边界 | 结果 |
|---|---|---|
| ASR 语音识别 | WAV,PCM 8/16 位、单/双声道、8–48 kHz,最长 120 秒,最大 4 MiB | 识别文字及语言信息 |
| TTS 中文语音合成 | 文本最多 200 字符 | 可播放 WAV,输出最大 4 MiB |
| OCR 图片文字识别 | PNG/JPEG/WebP,最大 4 MiB、1600 万像素 | 中英文识别文字 |
这些引擎使用已安装的本地资产进行离线处理,当前实现采用 CPU 路径,不应据此认为统一使用 NPU。它们是专用算法能力,不会冒充聊天模型。纸张倾斜、噪声、口音、字体和低清晰度会影响结果;合同、数字与人名等关键内容应逐项校对。
五、使用本地知识笔记检索
知识库可以维护笔记、日记、文件夹和链接图谱,并提供关键词与语义两种搜索方式。这里的检索范围是知识笔记内容,不会自动扫描 NAS 所有文件、相册或任意文档。
- 打开知识库,创建并保存笔记,或通过导入入口添加受支持的笔记内容。
- 先使用“关键词”查找标题或正文中的具体词语,确认资料已保存。
- 查看页面的语义检索状态与索引计数;就绪后将搜索方式切到“语义”,用自己的话描述想找的内容。
- 如果某篇新笔记未进入结果,检查是否仍在索引中;修复运行环境后可以重新索引当前笔记或全部笔记。
语义能力需要管理员事先配置 NAS 的 PostgreSQL、pgvector 和匹配的本地向量服务。未就绪时语义选项可能不可用,应先检查服务状态,而不是删除原笔记。检索按当前账号的数据范围执行,其他用户的笔记不会因为建立向量索引就自动共享。
当前搜索返回相关笔记,不等于已经把这些笔记自动交给聊天模型生成答案。需要用资料辅助对话时,由你选择和核对需要的内容,并在发送前确认模型的数据路径。不要把此入口当作已实现的全盘自动 RAG 问答系统。
六、配置 AI 网关供应用调用
AI 网关为已连接的模型提供统一调用入口,适合需要兼容模型接口的其他应用。它支持模型别名、路由规则、独立调用密钥、请求限制和调用记录;保存网关设置不会自动调用模型。
- 先在服务连接中确认上游模型实际可用,再打开“AI 网关”。
- 核对监听地址、启用状态、并发限制与要公开的模型,设置唯一且便于辨认的别名。
- 如需自动选路,设置路由别名和规则,并通过路由预览检查请求会选择哪个已配置模型。
- 为每个调用应用建立独立密钥,限定可用模型、每分钟请求量、请求总量与有效期。
- 将页面提供的网关地址、模型别名与该应用专用密钥填写到调用应用中,使用小请求测试,并检查调用记录。
不要把上游厂商密钥直接复制给所有应用。某个应用不再使用时,撤销它的网关密钥即可独立停止其后续调用。限额控制的是相应请求范围,不等于替你免除上游费用;云厂商的计费与配额仍然有效。
网关可以转发部分协议的流式响应,但聊天窗口的显示方式仍以该窗口实际实现为准。路由选择远程模型时,输入会离开 NAS;为敏感任务设置路由时应逐个核对候选模型,不能只看统一别名就判断数据留在本地。
七、登记本机 Agent,管理技能与连接器
AI Agent 页面可以集中登记已有的智能体平台、绑定其服务或容器、查看状态并受控启动、停止、重启。平台目录是一组适配入口,不代表点击名称就会自动完成对应平台的安装。
- 先按对应平台的要求部署应用,再进入 AI Agent 的“登记本机应用”。
- 选择平台、运行方式和实际服务或容器;需要用户服务时核对所属用户,需要配置目录时绑定正确目录。
- 保存后查看真实状态。启停或重启前阅读确认提示,操作会影响该应用正在执行的任务。
- 对支持的绑定打开“管理应用”,管理技能或 MCP 连接器,并按平台要求完成必要配置和授权。
当前技能与连接器文件管理主要适配 Hermes 和 OpenClaw 的受支持配置结构;其他平台是否支持,以页面实际能力与提示为准。配置写入成功不代表外部工具已经登录、协议已兼容或任务已经成功执行,仍需在对应平台验证。
另有已有 API Agent 的连接与调用入口,可使用配置的模型或平台服务。取消本机应用登记不会卸载应用,也不会删除业务数据。智能体具有哪些文件、网络或外部工具权限,取决于平台本身和你的授权;登记管理不等于授予任意主机控制能力。
八、连接工作流,设置手动或间隔任务
自动化可以调用已配置的模型、API Agent 和工作流,并查看运行结果;工作流连接支持 n8n、Dify、Coze 等已适配方式。对应平台需要先部署并提供有效接口,自动化配置不会替你创建一整套外部平台。
- 先完成目标模型、Agent 或工作流的连接配置,用测试输入确认能够返回结果。
- 创建自动化,填写名称、目标和所需提示或输入。
- 先选择手动运行,检查结果和调用记录,确认请求没有误发到不希望使用的服务。
- 确实需要重复调用时选择间隔计划,设置范围内的分钟数并明确启用。当前间隔范围为 5–10080 分钟,不是任意 cron 表达式。
- 定期检查最近运行与失败记录;需要停止后续计划时禁用任务,需要处理正在运行的任务时使用当前提供的取消入口并检查结果。
外部平台可能继续触发它自己的工具和后续动作。NAS 上取消一次调用不保证外部平台已经执行的动作被回滚;创建计划前应了解整个工作流的作用。定期调用也可能产生云服务费用,不应把任务已保存理解为所有依赖都持续可用。
照片算法与使用边界
本地算法适配还包括特定设备上已安装的 YOLO 照片视觉样例,以及 SCRFD/ArcFace 人脸样例测试。它们依赖相应模型、设备运行库和权限;样例成功不等于相册已经具备全量自动识别、持续索引或自动人脸分组。请以当前相册页面实际提供、需要明确确认的操作为准,不要据此推断系统会自动整理所有照片。
排查与日常维护
| 现象 | 优先检查 |
|---|---|
| 模型能看到但不能聊天 | 是否已启动、是否属于聊天能力、模型标识是否真实可用 |
| 图片或音频被拒绝 | 协议和模型能力、文件格式、大小与附件数量 |
| 本地引擎无法启动 | 模型与 SDK 是否已安装、内存和权限、资源准入提示 |
| 知识笔记搜不到 | 是否已保存、搜索范围、关键词/语义模式与索引状态 |
| 网关返回拒绝 | 密钥是否启用/到期、模型范围、请求限额、上游状态 |
| Agent 有登记但无技能管理 | 平台与运行方式是否受支持、绑定配置目录是否正确 |
| 计划没有预期结果 | 是否明确启用、目标可用性、运行记录与外部平台状态 |
不要通过公开日志分发 API 密钥、网关密钥或私密输入。云服务的可用性与模型准确率需要持续观察;备份知识内容和配置时也要保护相应凭据。更多说明见 隐私与数据流向、备份与恢复、常见问题。
