EVA / 本地 Agent
24GB 显存的本地 Agent:模型之外,还要完成哪些构建
从 EVAFANG 的 EVA 本地智能体工作台出发,讨论 24GB 显存环境中的 Agent、工具调用、上下文与记忆,以及怎样验收实际任务。

显存是条件,完成任务才是目标
EVA 是 EVAFANG 展示的本地智能体工作台实践,使用过 24GB 显存环境。它关注的内容包括工具调用、上下文管理、记忆与编码构建。硬件规格说明了案例的运行条件,不能单独代表所有任务的表现。
面向苏州及江浙沪的本地 AI 项目,更值得先问的是任务:整理办公资料、辅助编码、查询知识库,还是执行受控的工作流。不同任务,对响应速度、准确性和权限边界的要求并不相同。
模型之外,还需要工具边界
Agent 调用终端、文件或业务工具时,应知道哪些目录可以操作、哪些动作需要确认,以及执行失败如何报告。能生成一条命令和已经成功执行,是两种不同结果。
实用的工作台需要保留执行结果和错误信息。修改配置、覆盖文件、发布服务等动作,应有明确范围;远程环境也应单独验证身份与权限。
上下文、压缩与记忆各有分工
上下文保存当前任务正在使用的信息,压缩用来减少历史内容占用,持久记忆则保存经过选择、未来仍有价值的事实。把全部聊天永久追加,并不能自动形成可靠记忆。
压缩时需要保留目标、关键决定、未完成事项与证据位置。记忆中的旧配置还要在使用前核对,尤其是网络地址、部署状态和软件版本。避免旧结论被反复当成当前事实。
长上下文与多 Agent 都需要预算
128K 等上下文规格只是能力或配置的一部分。实际显存占用、速度和稳定性,还取决于模型、量化方式、缓存以及并发任务,不能仅凭 24GB 显存就推导出所有组合都能流畅运行。
多 Agent 适合拆分可独立验收的工作,例如一边核对资料、一边检查代码。角色越多不一定越快;文件共享、结论汇总和冲突处理同样会消耗资源。
用普通任务展示,而不是只放参数
演示可以从一件简单的事开始:根据一组资料回答问题并指出来源,检查一个项目并解释修改原因,或运行一条明确的构建命令并返回结果。界面、日志和实际产物应相互对应。
EVA 的展示采用实际界面素材。对于新的知识库或业务工作流,仍需用目标设备和真实资料验收;不把某次演示扩大成对所有场景的承诺。
形成一套可以继续维护的工作方式
本地 AI 构建的结果不只是安装了一个程序。它还包括可复现的启动方式、清楚的资料范围、适当的权限、任务结果和维护入口。这样系统才便于继续使用,也便于发现问题后调整。