**Contribuisci a migliorare questa pagina**
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Per contribuire a questa guida per l'utente, scegli il GitHub ** link ** Modifica questa pagina su che si trova nel riquadro destro di ogni pagina.
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# Usa le AMI EKS-optimized accelerate per le istanze GPU
Amazon EKS supporta le AMI EKS-optimized Amazon Linux e Bottlerocket per le istanze GPU. Le AMI EKS-optimized accelerate semplificano l'esecuzione dei carichi di lavoro AI e ML nei cluster EKS fornendo immagini del sistema operativo predefinite e convalidate per lo stack Kubernetes accelerato. Oltre ai componenti principali di Kubernetes inclusi nelle EKS-optimized AMI standard, le AMI EKS-optimized accelerate includono i moduli e i driver del kernel necessari per eseguire le istanze NVIDIA GPU `G` ed `P` EC2 e le istanze AWS GPU [ Inferentia ](https://aws.amazon.com/machine-learning/inferentia/) e [ Trainium ](https://aws.amazon.com/machine-learning/trainium/) EC2 nei cluster EKS.
La tabella seguente mostra i tipi di istanze GPU supportati per ciascuna variante di AMI accelerata. EKS-optimized Consulta le versioni EKS-optimized [ AL2023 ](https://github.com/awslabs/amazon-eks-ami/releases) e [ Bottlerocket GitHub per gli ultimi aggiornamenti ](https://github.com/bottlerocket-os/bottlerocket/blob/develop/CHANGELOG.md) alle varianti AMI.
| Variante EKS AMI | Tipi di istanza EC2 |
| --- | --- |
| NVIDIA AL 2023 x86\_64 | p6-b300, p6-b200, p5, p5e, p5en, p4d, p4de, p3, p3dn, g7e, gr6, g6, g6e, g6f, gr6f, gr6f, g5, g4dn |
| AL2023 PER NVIDIA | p6e-gb200, p6e-gb300, g5g |
| Neurone AL2023 x86\_64 | inf1, inf2, trn1, trn2 |
| Bottlerocket x86\_64 aws-k8s-nvidia | p6-b300, p6-b200, p5, p5e, p5en, p4d, p4de, p3, p3dn, g7e, gr6, g6, g6e, g6f, gr6f, g5, g4dn |
| aarch64/arm64 Bottlerocket aws-k8s-nvidia | 5 g |
| Bottlerocket x86\_64 aws-k8s | inf1, inf2, trn1, trn2 |
**Importante**
Il tipo di istanza G7 EC2 richiede il driver NVIDIA versione 595 o successiva. Le AMI EKS-optimized accelerate attualmente includono il driver NVIDIA versione 580, che non supporta le istanze G7. Per utilizzare le istanze G7 con Amazon EKS, devi creare un'AMI personalizzata con il driver NVIDIA versione 595 utilizzando gli script di compilazione EKS AMI. [Crea un'AMI EKS-optimized Amazon Linux personalizzata](eks-ami-build-scripts.md)
Se utilizzi Karpenter per il provisioning dei nodi e il ridimensionamento automatico con EKS, si consiglia di escludere la famiglia di istanze dalla selezione automatica dell'AMI che utilizza la `g7` famiglia di istanze. NodePools Consulta [`amiSelectorTerms`](https://karpenter.sh/docs/concepts/nodeclasses/#specamiselectorterms) la documentazione di Karpenter per sapere come configurare Karpenter per utilizzare l'AMI personalizzata per le istanze NodeClass . `g7`
## EKS-optimized AMI NVIDIA
Utilizzando le AMI EKS-optimized NVIDIA, l'utente accetta il Cloud End User License Agreement (EULA) di [ NVIDIA. ](https://s3.amazonaws.com/EULA/NVidiaEULAforAWS.pdf)
Per trovare le AMI EKS-optimized NVIDIA più recenti, consulta e. [Recupera le AMI Amazon Linux consigliate IDs](retrieve-ami-id.md) [Recupero degli ID AMI Bottlerocket consigliati](retrieve-ami-id-bottlerocket.md)
Quando usi Amazon Elastic Fabric Adapter (EFA) con le AMI NVIDIA EKS-optimized AL2023 o Bottlerocket, devi installare il plug-in del dispositivo EFA separatamente. Per ulteriori informazioni, consulta [Esecuzione dei corsi di machine learning su Amazon EKS con Elastic Fabric Adapter](node-efa.md).
## AMI NVIDIA EKS AL2023
Quando si utilizza l'operatore GPU [ NVIDIA ](https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/overview.html) con le AMI NVIDIA EKS-optimized AL2023, è necessario disabilitare l'installazione da parte dell'operatore del driver e del toolkit, poiché questi sono già inclusi nelle AMI EKS. Le AMI NVIDIA EKS-optimized AL2023 non includono il plug-in del dispositivo NVIDIA Kubernetes o il driver NVIDIA DRA e devono essere installate separatamente. Per ulteriori informazioni, consulta [Gestisci le GPU NVIDIA su Amazon EKS](device-management-nvidia.md).
Oltre ai componenti EKS AMI standard, le AMI NVIDIA AL2023 includono i seguenti componenti. EKS-optimized
+ Driver NVIDIA
+ Driver in modalità utente NVIDIA CUDA
+ Toolkit per contenitori NVIDIA
+ NVIDIA fabric manager
+ NVIDIA ha persistito
+ Driver NVIDIA IMEX
+ NVIDIA NVLink Subnet Manager
+ Driver NVIDIA GDRCopy
+ EFA minimal (modulo kernel e rdma-core)
Per dettagli sul driver in modalità utente NVIDIA CUDA e sul CUDA runtime/libraries utilizzato nei contenitori delle applicazioni, consultate la documentazione di NVIDIA. [https://docs.nvidia.com/deploy/cuda-compatibility/why-cuda-compatibility.html#why-cuda-compatibility](https://docs.nvidia.com/deploy/cuda-compatibility/why-cuda-compatibility.html#why-cuda-compatibility) La versione CUDA mostrata `nvidia-smi` è la versione del driver in modalità utente NVIDIA CUDA installato sull'host, che deve essere compatibile con il CUDA utilizzato nei contenitori di applicazioni. runtime/libraries
Le AMI NVIDIA EKS-optimized AL2023 supportano il kernel 6.12 per le versioni di Kubernetes 1.33 e successive e la versione del driver NVIDIA 580 per tutte le versioni di Kubernetes. Il driver NVIDIA 580 è necessario per utilizzare CUDA 13\+.
Consulta le versioni EKS-optimized [ AL2023 GitHub per i dettagli ](https://github.com/awslabs/amazon-eks-ami/releases) sulle versioni dei componenti incluse nelle AMI. Consulta lo script di [ installazione dell'AMI NVIDIA EKS AL2023 ](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/provisioners/install-nvidia-driver.sh) e lo script di caricamento del [ kernel ](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/runtime/gpu/nvidia-kmod-load.sh) per dettagli su come le AMI EKS configurano le dipendenze NVIDIA. Puoi trovare l'elenco dei pacchetti installati e le relative versioni su un'istanza EC2 in esecuzione con il comando. `dnf list installed`
Quando si creano AMI personalizzate con le EKS-optimized AMI come base, non è consigliabile o supportato eseguire un aggiornamento del sistema operativo (ad esempio`dnf upgrade`) o aggiornare uno qualsiasi dei pacchetti Kubernetes o GPU inclusi nelle EKS-optimized AMI, poiché ciò rischia di compromettere la compatibilità dei componenti. Se si aggiorna il sistema operativo o i pacchetti inclusi nelle EKS-optimized AMI, si consiglia di eseguire dei test approfonditi in un ambiente di sviluppo o di staging prima dell'implementazione in produzione.
Quando si creano AMI personalizzate per istanze GPU, si consiglia di creare AMI personalizzate separate per ogni generazione e famiglia di tipi di istanze da eseguire. Le AMI EKS-optimized accelerate installano selettivamente driver e pacchetti in fase di esecuzione in base alla generazione e alla famiglia del tipo di istanza sottostante. Per ulteriori informazioni, consulta gli script EKS AMI per [ l'installazione e il runtime. ](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/provisioners/install-nvidia-driver.sh) [https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/runtime/gpu/nvidia-kmod-load.sh](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/runtime/gpu/nvidia-kmod-load.sh)
## AMI NVIDIA EKS Bottlerocket
Quando si utilizza l'operatore GPU [ NVIDIA ](https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/overview.html) con le AMI NVIDIA EKS-optimized Bottlerocket, è necessario disabilitare l'installazione da parte dell'operatore del driver, del toolkit e del plug-in del dispositivo poiché questi sono già inclusi nelle AMI EKS.
Oltre ai componenti EKS AMI standard, le AMI NVIDIA Bottlerocket includono i seguenti componenti. EKS-optimized Le dipendenze minime per EFA (kernel module e rdma-core) sono installate in tutte le varianti di Bottlerocket.
+ Plugin per dispositivi NVIDIA Kubernetes
+ Driver NVIDIA
+ Driver in modalità utente NVIDIA CUDA
+ Toolkit per contenitori NVIDIA
+ NVIDIA fabric manager
+ NVIDIA ha persistito
+ Driver NVIDIA IMEX
+ NVIDIA NVLink Subnet Manager
+ Gestore NVIDIA MIG
Per dettagli sul driver in modalità utente NVIDIA CUDA e sul CUDA runtime/libraries utilizzato nei contenitori delle applicazioni, consulta la documentazione di NVIDIA. [https://docs.nvidia.com/deploy/cuda-compatibility/why-cuda-compatibility.html#why-cuda-compatibility](https://docs.nvidia.com/deploy/cuda-compatibility/why-cuda-compatibility.html#why-cuda-compatibility) La versione CUDA mostrata `nvidia-smi` è la versione del driver in modalità utente NVIDIA CUDA installato sull'host, che deve essere compatibile con il CUDA utilizzato nei contenitori di applicazioni. runtime/libraries
Consulta le informazioni sulla versione di Bottlerocket nella documentazione [ di ](https://bottlerocket.dev/en/) Bottlerocket per dettagli sui pacchetti installati e sulle relative versioni. Le AMI NVIDIA EKS-optimized Bottlerocket supportano il kernel 6.12 per le versioni di Kubernetes 1.33 e successive e la versione del driver NVIDIA 580 per le versioni Kubernetes 1.34 e successive. Il driver NVIDIA 580 è necessario per utilizzare CUDA 13\+.
## EKS-optimized AMI Neuron
Per dettagli su come eseguire carichi di lavoro di addestramento e inferenza utilizzando Neuron con Amazon EKS, consulta i seguenti riferimenti:
+ [Contenitori - Kubernetes - Guida introduttiva nella documentazione di Neuron ](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/kubernetes-getting-started.html) AWS
+ [Esempio di formazione ](https://github.com/aws-neuron/aws-neuron-eks-samples/blob/master/README.md#training) in AWS Neuron EKS Samples on GitHub
+ [Distribuisci carichi di lavoro di inferenza ML con Inferentia su Amazon EKS ](inferentia-support.md)
Per trovare le AMI EKS-optimized Neuron più recenti, consulta e. [Recupera le AMI Amazon Linux consigliate IDs](retrieve-ami-id.md) [Recupero degli ID AMI Bottlerocket consigliati](retrieve-ami-id-bottlerocket.md)
Quando usi Amazon Elastic Fabric Adapter (EFA) con le AMI EKS-optimized AL2023 o Bottlerocket Neuron, devi installare il plug-in del dispositivo EFA separatamente. Per ulteriori informazioni, consulta [Esecuzione dei corsi di machine learning su Amazon EKS con Elastic Fabric Adapter](node-efa.md).
## AMI EKS AL2023 Neuron
Le AMI Neuron EKS-optimized AL2023 non includono il driver Neuron DRA, il plug-in del dispositivo Neuron Kubernetes o l'estensione dello scheduler Neuron Kubernetes e devono essere installate separatamente. [https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/tutorials/k8s-neuron-scheduler.html](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/tutorials/k8s-neuron-scheduler.html) Per ulteriori informazioni, consulta [Gestisci i dispositivi Neuron su Amazon EKS](device-management-neuron.md).
Oltre ai componenti EKS AMI standard, le AMI Neuron AL2023 includono i seguenti componenti. EKS-optimized
+ Driver Neuron (aws-neuronx-dkms)
+ Strumenti Neuron (aws-neuronx-tools)
+ EFA minimal (modulo kernel e rdma-core)
Consulta lo script di [ installazione EKS AL2023 Neuron AMI ](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/provisioners/install-neuron-driver.sh) per dettagli su come le AMI EKS configurano le dipendenze Neuron. Consulta le versioni EKS-optimized [ AL2023 GitHub per vedere ](https://github.com/awslabs/amazon-eks-ami/releases) le versioni dei componenti incluse nelle AMI. Puoi trovare l'elenco dei pacchetti installati e le relative versioni su un'istanza EC2 in esecuzione con il comando. `dnf list installed`
## AMI EKS Bottlerocket Neuron
Le varianti standard di Bottlerocket (aws-k8s) includono le dipendenze Neuron che vengono rilevate e caricate automaticamente durante l'esecuzione su istanze Inferentia o Trainium EC2. AWS
Le AMI EKS-optimized Bottlerocket non includono il driver Neuron DRA, il plug-in del dispositivo Neuron Kubernetes o l'estensione dello scheduler Neuron Kubernetes e devono essere installate separatamente. [https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/tutorials/k8s-neuron-scheduler.html](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/tutorials/k8s-neuron-scheduler.html) Per ulteriori informazioni, consulta [Gestisci i dispositivi Neuron su Amazon EKS](device-management-neuron.md).
Oltre ai componenti EKS AMI standard, le AMI Bottlerocket Neuron includono i seguenti componenti. EKS-optimized
+ Driver Neuron (aws-neuronx-dkms)
+ EFA minimal (modulo kernel e rdma-core)
Quando si utilizzano le AMI EKS-optimized Bottlerocket con istanze Neuron, è necessario configurare quanto segue nei dati utente di Bottlerocket. Questa impostazione consente al contenitore di assumere la proprietà del dispositivo Neuron montato in base ai valori e ai valori forniti nelle specifiche del carico di lavoro. `runAsUser` `runAsGroup` Per ulteriori informazioni sul supporto di Neuron in Bottlerocket, consulta il file Quickstart on EKS readme on. [https://github.com/bottlerocket-os/bottlerocket/blob/develop/QUICKSTART-EKS.md#neuron-support](https://github.com/bottlerocket-os/bottlerocket/blob/develop/QUICKSTART-EKS.md#neuron-support) GitHub
```
[settings]
[settings.kubernetes]
device-ownership-from-security-context = true
```
Consulta il changelog del kit del kernel [ Bottlerocket ](https://github.com/bottlerocket-os/bottlerocket-kernel-kit/blob/develop/CHANGELOG.md) per informazioni sulla versione del driver Neuron inclusa nelle AMI Bottlerocket. EKS-optimized