Atomic Chat 是一款免费、开源的 AI 编程助手，它把开放权重的 LLM 完全运行在你自己的机器上，并通过内置的 OpenAI 兼容服务器在 http://localhost:1337/v1 上对外提供接口。这意味着你可以让现有代码或编程代理指向本地端点，在没有云端 API 密钥、没有用量上限的情况下获得补全。只要保持选中本地模型并关闭网络工具，你的提示词就留在本机。
本文将介绍如何在 Linux 上安装 Atomic Chat、下载编程模型，并在图形界面和终端中用它完成一个真实的编程任务。
安装命令面向 Ubuntu 22.04+ 或 Debian 12+（x86_64，glibc 2.35+)。请在离线之前先下载应用、推理后端和模型。
准备工作
- 一台 64 位 Linux 桌面系统（x86_64：Ubuntu 22.04+ 或 Debian 12+）
- 运行一个小型量化 3B 模型大约需要 8 GB 内存；16 GB 能为 7B 模型留出更多空间。上下文长度和其他应用也会影响内存占用。
- 应用加一个模型大约需要 5–10 GB 可用磁盘空间
- 在 Linux 上，Atomic Chat 只运行 GGUF 模型。选择模型时请记住这一点。
第 1 步：在 Linux 上安装 Atomic Chat
Atomic Chat 以 AppImage 形式发布 Linux 版本，因此无需编译。请从 官方发布页面 下载最新的 Atomic Chat AppImage。AppImage 是用户级运行方式，不需要系统级安装。
为演示起见，我们将下载发布版 v2.0.35 中的 Atomic.Chat_2.0.35_amd64.AppImage。
进入你下载文件的位置。我把它下载到了 ~/Downloads 目录：
cd ~/Downloads
赋予可执行权限：
chmod +x ./Atomic.Chat_2.0.35_amd64.AppImage
然后用以下命令运行 Atomic Chat AppImage：
./Atomic.Chat_2.0.35_amd64.AppImage
如果启动时因缺少 libfuse.so.2 而失败，请安装 FUSE 兼容库。这一步需要管理员权限。在 Ubuntu 24.04 系统上，可以用以下命令安装：
sudo apt update
sudo apt install libfuse2t64
在 Ubuntu 22.04 上，改用 libfuse2。不要替换已有的 FUSE 3 安装：
sudo apt install libfuse2
Atomic Chat 的默认界面如下所示。
第 2 步：下载编程模型
Atomic Chat 内置 Hugging Face 浏览器，因此无需接触终端就能获取模型。
打开模型浏览器，搜索编程模型的 GGUF 构建版本。这里我们将下载 Qwen/Qwen2.5-Coder-3B-Instruct-GGUF, Q4_K_M。
在 8 GB 的机器上，先从 3B 模型开始；有 16 GB 时可以尝试 7B，为上下文和其他应用留出空间。
下载完成后，选中该模型，让本地引擎加载它。此时模型完全运行在你的硬件上。
第 3 步：在 Atomic 图形界面中生成并重构 Python 脚本
让我们给它一个真实任务，而不是玩具提示。在聊天框中输入以下提示：
编写一个 Python 脚本 dirscan.py，它遍历作为命令行参数给出的目录，并打印 10 个最大的文件，大小以人类可读格式显示。只使用标准库。
几秒钟后你会得到一段脚本。运行前请先审阅并修正其中的错误。保存它，然后对一个测试文件目录运行。
先创建 dirscan-d，并放入几个可丢弃的文件。
python3 dirscan.py ./dirscan-demo
现在测试重构，这才是编程助手的真正价值。接着输入：
重构它，使其接受一个 --limit 标志（默认 10），并在不崩溃的情况下处理权限错误。
应用修改后再次运行：
python3 dirscan.py --limit 5 ./dirscan-demo
由于推理在本地进行，你可以在拔掉网线的情况下完成所有这些操作。请先下载应用、后端、模型以及任何客户端依赖，并保持网络搜索和远程工具关闭。
第 4 步：从终端使用本地服务器（OpenAI 兼容)
图形界面只是一半。Atomic Chat 在 http://localhost:1337/v1 上运行一个 OpenAI 兼容服务器，默认绑定到 127.0.0.1，因此任何支持 OpenAI API 的工具都能使用你的本地模型。
打开 API 面板，如果服务器已停止就启动它，并确认状态为 Ready。占位密钥仅在 API 认证关闭时可用；否则请使用配置的密钥。
用 curl 测试。先查询 http://localhost:1337/v1/models，复制你下载的本地模型的 ID。下面的示例使用上面 Qwen 下载返回的 ID：
curl http://localhost:1337/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/qwen2_5-coder-3b-instruct-q4_k_m",
"messages": [
{"role": "user", "content": "Write a bash one-liner to count lines in all .py files under the current dir."}
]
}'
或者只修改 base_url，直接接入官方 OpenAI Python SDK：先在 Python 虚拟环境中安装 openai 包。
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:1337/v1",
api_key="not-needed", # only when API authentication is off
)
resp = client.chat.completions.create(
model="Qwen/qwen2_5-coder-3b-instruct-q4_k_m",
messages=[{"role": "user", "content": "Refactor this into a function: "
"x=[i*i for i in range(10) if i%2==0]"}],
)
print(resp.choices[0].message.content)
请完全按照 /v1/models 响应中出现的模型标识符使用。如果你更改了端口，请在应用的 API 面板中查看当前值。
第 5 步：让编程代理指向它
由于该端点是 OpenAI 兼容的，代理 CLI 也能对它工作。Atomic Chat 在 Integrations 标签页中为 OpenCode 和 GitHub Copilot CLI 提供一键启动器，其他代理（Goose、OpenClaw 及类似工具) 只要指向 http://localhost:1337/v1 也能工作。这样代理就能使用你自己磁盘上的模型。请检查你所选模型和代理的工具调用支持情况；离线使用还需要本地工具，并且不能有云端回退。
Atomic Chat 与 Ollama、LM Studio 的对比
如果你用过 Ollama 或 LM Studio，这里的模式类似：一个带 OpenAI 风格 API 的本地运行时，但有两个实际差异。
Atomic Chat 把桌面应用与原生 iOS 和 Android 应用配对，并且采用 Apache-2.0 许可，没有消息数量上限。如果你正在权衡各种选择，Atomic Chat 整理了一份 Ollama 替代方案 清单，说明了每种工具各自的适用场景。
故障排查
1. AppImage 无法启动
阅读终端错误信息。如果是缺少 FUSE 2 库，在 Ubuntu 24.04 上使用 libfuse2t64，在 Ubuntu 22.04 上使用 libfuse2（见第 1)。
2. 模型在 Linux 上无法加载
确认它是 GGUF 构建版本。MLX 模型仅适用于 Apple Silicon，无法在 Linux 上运行。
API 返回连接被拒绝——请确认 Atomic Chat 已打开、API 服务器已启动并且已加载模型；服务器运行在应用内部。在 API 面板中确认端口。
3. 响应很慢
换成更小的量化版本或 3B 模型；关闭其他占用内存较多的应用。
结语
几步之后，你就在 Linux 上运行了一个私有的 LLM，在图形界面中完成了一个真实的编程任务，并通过本地 OpenAI 兼容端点把同一个模型接入了自己的脚本和代理。本地推理，没有云端 API 密钥，没有用量上限。这是在继续使用你熟悉的工具的同时，把代码和提示词留在自己机器上的一种方式。
常见问题（FAQ)
问：Atomic Chat 是免费且开源的吗？
答：是的。它以 Apache-2.0 许可发布，不收费，也没有消息数量限制。
问：我的数据会留在自己的设备上吗？
答：是的，前提是你选择本地模型，并关闭网络搜索、云提供商和远程工具。API 默认绑定到 127.0.0.1；仅凭本地地址并不能阻止向云提供商发起请求。
问：哪些模型可以在 Linux 上运行？
答：GGUF 模型。你可以从内置的 Hugging Face 浏览器中浏览并下载它们；MLX 构建版本仅适用于 Apple Silicon。
问：我可以配合 OpenAI SDK 使用吗？
答：可以。把 SDK 的 base_url 指向 http://localhost:1337/v1，并使用 /v1/models 中的模型 ID。当服务器认证关闭时，占位 API 密钥可用；否则请使用配置的密钥。
问：我需要多少内存？
答：3B 模型大约需要 8 GB；7B 模型用 16 GB 更从容。这些只是起点；上下文长度、量化方式和其他应用都会影响实际需求。
问：Atomic Chat 需要 API 密钥吗？
答：当配置为使用本地模型及其内置服务器时，该工作流不需要云端 API 密钥。
问：Atomic Chat 使用什么 API？
答：Atomic Chat 在 http://localhost:1337/v1 上暴露一个 OpenAI 兼容端点。
问：Atomic Chat 可以离线工作吗？
答：可以，前提是在断开互联网之前已经下载并配置好应用、推理后端和所需模型。
问：Atomic Chat 在哪里运行模型？
答：本地推理设置会在用户自己的机器上运行模型，而不是把提示词发送到远程 AI API。
更多关于 Atomic Chat 的信息可查看其 项目页面。
