跳转到主要内容

​
什么是 NexaAI Python SDK？

NexaAI Python SDK 提供覆盖多模态的本地 AI 推理 API，支持：
  • LLM（大语言模型）：文本生成与对话
  • VLM（视觉语言模型）：多模态理解与生成
  • Embedder（嵌入）：文本向量化与相似度计算
  • Reranker（重排）：文档重排
  • ASR（自动语音识别）：语音转文本
  • CV（计算机视觉）：OCR/文本识别
  • TTS（文本转语音）：将文本合成为语音
  • ImageGen（图像生成）：根据文本提示生成图像
  • Diarize（说话人分离）：音频中的说话人分段识别

​
选择你的平台

该 SDK 支持多平台并提供优化后端。请选择你的平台以查看详细安装步骤：

macOS

为 Apple Silicon 优化
Python 3.10 • MLX 后端 • Metal 加速

Windows x64

CPU/GPU 加速
Python 3.10 • GGUF 模型 • CUDA 支持

Windows ARM64

NPU 加速
Python 3.11-3.13 ARM64 • Snapdragon X Elite

​
快速概览

​
安装

各平台有不同的安装要求，请按照你的平台指南进行：
  • macOS：pip install 'nexaai[mlx]'
  • Windows x64：pip install nexaai
  • Windows ARM64：pip install nexaai

​
鉴权

在 https://sdk.nexa.ai/ 设置你的 NexaAI 令牌： 
# Linux/macOS
export NEXA_TOKEN="key/your_token_here"
# Windows
$env:NEXA_TOKEN="key/your_token_here"

​
基础用法

以下是一个简单示例： 
from nexaai import LLM, GenerationConfig, ModelConfig, LlmChatMessage

# 初始化模型（因平台而异）
model_name = "NexaAI/Qwen3-1.7B-4bit-MLX"  # macOS 示例
config = ModelConfig()
llm = LLM.from_(model=model_name, config=config)

# 构造对话
conversation = [
    LlmChatMessage(role="system", content="You are a helpful assistant."),
    LlmChatMessage(role="user", content="Hello, how are you?")
]

# 生成响应
prompt = llm.apply_chat_template(conversation)
for token in llm.generate_stream(prompt, GenerationConfig(max_tokens=100)):
    print(token, end="", flush=True)
以上为简化示例。关于完整安装步骤、模型推荐与平台优化，请参考上方的对应平台指南。

​
后续步骤

  1. 选择你的平台 并按照详细安装指南完成配置
  2. 查看 API 参考 获取完整文档
  3. 在平台指南中 查看特定示例与最佳实践