# TabbyAPI

一个基于 FastAPI 的应用程序，允许使用 Exllamav2 后端使用 LLM 生成文本，支持 Exl2、GPTQ 和 FP16 模型。

• GitHub

# 快速开始

1. 遵循官方 TabbyAPI GitHub 上的安装说明。
2. 创建您的 config.yml 来设置您的模型路径、默认模型、序列长度等。如果需要，您可以忽略大多数（如果不是全部）这些设置。

3. 启动 TabbyAPI。如果成功，您应该看到类似这样的内容：

   

4. 在 SillyTavern 中的文本完成 API 下，选择 TabbyAPI。
5. 将您的 API 密钥从 TabbyAPI 终端复制到 Tabby API key 中，并确保您的 API URL 正确（默认情况下应该是 http://127.0.0.1:5000）。

如果您正确地完成了所有操作，您应该在 SillyTavern 中看到类似这样的内容：

您现在可以使用 TabbyAPI 聊天了！

# TabbyAPI 加载器

TabbyAPI 的开发人员创建了一个官方扩展，可以直接从 SillyTavern 加载/卸载模型。安装很简单：

1. 在 SillyTavern 中，单击扩展选项卡并导航到下载扩展和资产。
2. 将 https://raw.githubusercontent.com/theroyallab/ST-repo/main/index.json 复制到资产 URL 中，然后单击右侧的插入符号按钮。

3. 您应该看到类似这样的内容。单击 Tabby Loader 旁边的下载按钮。

   

4. 如果安装成功，您应该在屏幕顶部看到绿色弹出消息。在扩展选项卡下，导航到 TabbyAPI 加载器并将您的管理员密钥从 TabbyAPI 终端复制到管理员密钥中。
5. 单击模型选择旁边的刷新按钮。当您单击其下方的文本框时，您应该看到模型目录中的所有模型。

您现在可以直接从 SillyTavern 加载和卸载您的模型！

# 支持

仍然需要帮助？访问 TabbyAPI GitHub 获取开发者官方 Discord 服务器的链接并阅读 wiki。