跳转到主要内容

​
⚙️ 前置条件

  • 如果尚未安装，请先安装 nexa-SDK。
  • 下列为可立即体验的 GGUF 兼容模型类型。

​
LLM - 语言模型

📝 GGUF 格式的语言模型。快速体验示例： 试试：
bash
nexa infer NexaAI/Qwen3-0.6B
⌨️ 这会启动一个与模型交互的 REPL 会话。

​
LMM - 多模态模型

🖼️ 同时接受视觉与/或音频输入的多模态模型。快速体验示例：
bash
nexa infer NexaAI/Qwen2.5-Omni-3B-GGUF
⌨️ 将图片或音频文件拖入对话输入区，即可与图像 / 音频进行交互。

​
支持模型列表

我们精选了一组高质量的 GGUF 格式模型：

GGUF 上的 LLM

GGUF 上的多模态

想尝试其他 GGUF 模型？访问 Hugging Face，复制任一兼容 GGUF 模型的路径（例如 unsloth/Qwen2.5-VL-3B-Instruct-GGUF），并替换上述命令中的模型路径。
更多高级模型可访问 Nexa Model Hub。下载与使用这些模型需要访问令牌；获取方式如下：
  • 在 sdk.nexa.ai 创建账号
  • 生成令牌：进入 Deployment → Create Token
  • 激活 SDK：在终端设置你的许可证：
bash
nexa config set license '<your_token_here>'

​
🙋 请求新模型

缺少你想要的模型？在 Nexa 心愿单 投票——我们会优先支持得票最高的模型！ 你也可以在 nexa-sdk GitHub 提交 Issue，或在我们的 Discord/Slack 社区提出请求。