跳转到主要内容
NexaSDK Docker Architecture

Linux Docker 方案

NexaSDK Docker 让你在 Linux 系统的容器化环境中运行 AI 模型,同时支持 ARM64(针对 Dragonwing IQ9 等 Qualcomm NPU 设备优化)与 x64 架构。该方案提供一致、隔离的运行环境,既支持服务器模式(REST API),也支持交互式 CLI 使用。

关键特性

  • 容器化部署:在隔离的 Docker 容器中运行 NexaSDK
  • 多架构支持:兼容 Linux ARM64 与 x64 架构
  • NPU 加速:在 Linux ARM64(Dragonwing IQ9)上针对 Qualcomm NPU 优化
  • 双模式:支持服务器模式(REST API)与交互式 CLI
  • 简单上手:一条命令拉取与运行
  • 多模型类型:支持 LLM、Embeddings、Reranking、计算机视觉(CV)、ASR

Docker Hub

NexaSDK Docker 镜像托管在 Docker Hub:

Docker Hub 仓库

查看可用标签并拉取最新的 NexaSDK Docker 镜像

快速开始

Docker 快速开始

几分钟内上手 NexaSDK Docker,学习如何拉取镜像、以服务器模式运行并使用 CLI。