快速开始
首先以服务器模式启动 NexaSDK Docker 容器:bash
http://127.0.0.1:18181。保持容器运行,并在其他终端或应用中发送请求。
查看完整的服务器可配置选项,可参考容器日志或 快速开始。
将
YOUR_LONG_TOKEN_HERE 替换为你实际的 Nexa 令牌。你可以在 sdk.nexa.ai 创建账号并在 Deployment → Create Token 生成令牌。--privileged 标志在 ARM64 系统上启用 NPU 访问;对于 x64 系统,如不使用 NPU,可省略该标志。模型选择
NexaSDK Docker 支持 Linux ARM64 与 x64 架构。关于完整模型列表与 Hugging Face 链接,参见 快速开始。API 端点
NexaSDK 的 REST API 提供 OpenAI 兼容的端点以完成多种 AI 任务。关于请求/响应格式、示例与全部端点,请参见 CLI REST API 文档。可用端点
/v1/chat/completions- 为会话生成模型响应(支持 LLM 与 VLM)/v1/embeddings- 为文本输入生成向量嵌入/v1/reranking- 根据查询对文档进行重排
所有 API 端点、请求/响应格式与使用示例均在 CLI REST API 页面中详述。无论通过 CLI 或 Docker 方式运行,API 接口完全一致——差异仅在于服务器启动方式。
Was this page helpful?