本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 部署基礎模型和自訂微調模型
<a name="sagemaker-hyperpod-model-deployment-deploy"></a>

無論您是從 Amazon SageMaker JumpStart 部署預先訓練的基礎開放權重或門控模型，還是部署 Amazon S3 或 Amazon FSx 中存放的自訂或微調模型，SageMaker HyperPod 都能提供生產推論工作負載所需的靈活、可擴展基礎設施。





|  | 從 JumpStart 部署開放權重和門控基礎模型 | 從 Amazon S3 和 Amazon FSx 部署自訂和微調模型 | 從本機 NVMe 儲存體部署模型 | 
| --- | --- | --- | --- | 
| Description | 使用針對每個模型系列量身打造的自動最佳化和擴展政策，從預先訓練基礎模型的綜合目錄進行部署。 | 使用您自己的自訂和微調模型，並使用 SageMaker HyperPod 的企業基礎設施進行生產規模推論。選擇使用 Amazon S3 進行符合成本效益的儲存，還是使用一個具有 Amazon FSx 的高效能檔案系統。 | 從節點的本機 NVMe 儲存體載入模型權重，以消除 Pod 啟動期間的網路延遲。適用於自動擴展事件、scale-from-zero工作負載和延遲敏感型容錯移轉。 | 
| 主要優點 | +  透過 Amazon SageMaker Studio UI 進行一鍵式部署  <br />+  根據自動啟用的傳入請求自動擴展 <br />+  每個模型系列的預先最佳化容器和組態 <br />+  門控模型的 EULA 處理  |  +  支援多個儲存後端：Amazon S3、Amazon FSx <br />+  靈活的容器和架構支援 <br />+  基於您模型特性的自訂擴展政策   |  +  透過在本機讀取權重來縮短冷啟動時間 <br />+  沒有用於載入模型的網路相依性 <br />+  NVMe 快取遺失時，Amazon S3 的選用備用 <br />+  自訂 Kubernetes 磁碟區和 initContainers   | 
| 部署選項 |  +  用於視覺化部署的 Amazon SageMaker Studio  <br />+  用於 Kubernetes 原生操作的 kubectl <br />+  用於程式設計整合的 Python SDK  <br />+  用於命令列自動化的 HyperPod CLI    |  +  用於 Kubernetes 原生操作的 kubectl <br />+  用於程式設計整合的 Python SDK  <br />+  用於命令列自動化的 HyperPod CLI    |  +  用於 Kubernetes 原生操作的 kubectl <br />+  用於程式設計整合的 Python SDK  <br />+  用於命令列自動化的 HyperPod CLI    | 

以下各節會逐步引導您從 Amazon SageMaker JumpStart、Amazon S3 和 Amazon FSx，以及從本機 NVMe 儲存體部署模型。

**Topics**
+ [使用 Amazon SageMaker Studio 從 JumpStart 部署模型](sagemaker-hyperpod-model-deployment-deploy-js-ui.md)
+ [使用 kubectl 從 JumpStart 部署模型](sagemaker-hyperpod-model-deployment-deploy-js-kubectl.md)
+ [使用 kubectl 從 Amazon S3、Amazon FSx 或 Hugging Face Hub 部署模型](sagemaker-hyperpod-model-deployment-deploy-ftm.md)
+ [使用 kubectl 從本機 NVMe 儲存體部署模型](sagemaker-hyperpod-model-deployment-deploy-nvme.md)
+ [使用 Python SDK 和 HPCLI 部署自訂微調模型](deploy-trained-model.md) 
+ [使用 Python SDK 和 HPCLI 從 Amazon SageMaker JumpStart 部署模型](deploy-jumpstart-model.md)