Contribuisci a migliorare questa pagina

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Per contribuire a questa guida per l'utente, scegli il GitHub link Modifica questa pagina su che si trova nel riquadro destro di ogni pagina.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esegui GPU-accelerated contenitori (Windows su EC2) G-Series

Scopri come eseguire carichi di lavoro con container GPU-accelerated Windows su Amazon EKS (Elastic Kubernetes Service) utilizzando le GPU NVIDIA con il Kubernetes Device Plugin for DirectX by. TensorWorks Per ulteriori informazioni, consulta Kubernetes Device Plugin for DirectX.

Esistono due approcci principali alla configurazione dei contenitori Windows: GPU-acceleration

Entrambi gli approcci possono essere sfruttati utilizzando i passaggi descritti in questa guida.

Considerazioni

Questa guida fornisce i passaggi per installare e configurare i contenitori Windows utilizzando GPU-acceleration le GPU NVIDIA, i driver NVIDIA GRID e il Kubernetes Device Plugin for DirectX by. TensorWorks I passaggi sono stati testati e verificati per soddisfare i carichi di lavoro dei container Windows su GPU-acceleration Amazon EKS. Per ulteriori informazioni sui driver e plug-in dei dispositivi compatibili, consulta Limiti noti. Prima di procedere, tieni presente i seguenti punti:

Prerequisiti

Per abilitare l’accelerazione GPU per i container Windows su Amazon EKS, devi preparare i seguenti requisiti prima di procedere:

Installa il driver GPU su ogni nodo Windows

Per installare i driver NVIDIA GRID sui nodi worker EKS, segui i passaggi descritti in NVIDIA drivers for your Amazon EC2 instance. Vai a Installation options - Option 3: GRID drivers e segui i passaggi per l’installazione.

Installa per Windows Server Core

Per Windows Server Core, che non offre un’esperienza desktop, installa i driver NVIDIA GRID in modo invisibile utilizzando i seguenti comandi:

$nvidiaInstallerFilePath = nvidia-driver-installer.exe # Replace with path to installer
$installerArguments = "-s -clean -noreboot -noeula"
Start-Process -FilePath $nvidiaInstallerFilePath -ArgumentList $installerArguments -Wait -NoNewWindow -PassThru

Verifica dell’installazione

Esegui il PowerShell comando seguente per visualizzare le informazioni diagnostiche sulle GPU sull'istanza:

nvidia-smi

Questo comando mostra la versione del driver NVIDIA e le informazioni sull’hardware della GPU. Assicurati che l’output di questo comando corrisponda alla versione del driver NVIDIA GRID che prevedi di installare.

Implementa il plug-in del dispositivo GPU su ogni nodo

Per consentire il rilevamento e l’esposizione delle risorse della GPU ai container sui nodi Windows, è necessario un plug-in per il dispositivo. Distribuisci il DirectX Device Plugin di Tensorworks su ogni nodo di lavoro eseguendolo come se fosse nel tuo cluster EKS. DaemonSet Segui la guida all'installazione specificata in README.md, che comporterà i seguenti passaggi. Si consiglia di:

Quando si eseguono GPU-accelerated contenitori, il plug-in del dispositivo supporta due modalità:

Verifica dell’implementazione del plug-in del dispositivo

Dopo aver distribuito il plug-in del dispositivo, sostituisci <namespace> ed esegui il comando seguente per verificare che il plug-in del dispositivo DirectX funzioni correttamente su tutti i nodi Windows.

kubectl get ds device-plugin-wddm -n <namespace>

Verifica che i container siano pronti per l’implementazione

Una volta che il plug-in del dispositivo DaemonSet è in esecuzione sui nodi di lavoro di GPU-powered Windows, utilizzate il comando seguente per verificare che ogni nodo disponga di GPU allocabili. Il numero corrispondente deve corrispondere al numero di dispositivi DirectX su ciascun nodo.

kubectl get nodes "-o=custom-columns=NAME:.metadata.name,DirectX:.status.allocatable.directx\.microsoft\.com/display"

Esecuzione di contenitori Windows con GPU-acceleration

Prima di avviare i pod, specifica il nome della risorsa directx.microsoft.com/display in .spec.containers[].resources. Ciò indicherà che i contenitori richiedono GPU-enabled funzionalità e kube-scheduler tenterà di posizionare i pod nel nodo Windows preconfigurato con le risorse GPU disponibili.

Vedi il comando di esempio riportato di seguito che avvia Job per eseguire una simulazione Monte Carlo e stimare il valore di pi. Questo esempio proviene dal GitHub repository Kubernetes Device Plugins for DirectX, che contiene diversi esempi tra cui scegliere che puoi eseguire per testare le funzionalità della GPU del nodo Windows.

cat <<EOF | kubectl apply -f -
apiVersion: batch/v1
kind: Job
metadata:
  name: example-cuda-montecarlo-wddm
spec:
  template:
    spec:
      containers:
      - name: example-cuda-montecarlo-wddm
        image: "index.docker.io/tensorworks/example-cuda-montecarlo:0.0.1"
        resources:
          limits:
            directx.microsoft.com/display: 1
      nodeSelector:
        "kubernetes.io/os": windows
      restartPolicy: Never
  backoffLimit: 0
EOF

Limiti noti

Tutte le GPU sono utilizzabili

Tutte le GPU dell’istanza saranno utilizzabili da ogni container in esecuzione sull’host, anche quando si richiede un numero specifico di GPU per un determinato container. Inoltre, il comportamento predefinito prevede che tutti i container in esecuzione sull’host utilizzino la GPU con indice 0, anche se sul nodo sono disponibili più GPU. Pertanto, affinché le attività con più GPU funzionino correttamente, è necessario designare esplicitamente il dispositivo GPU specifico da utilizzare all’interno del codice dell’applicazione.

L’implementazione esatta per allocare un dispositivo da utilizzare per l’applicazione dipenderà dal linguaggio di programmazione o dal framework in uso. Ad esempio, se utilizzi la programmazione CUDA, per selezionare una GPU specifica, puoi specificare esplicitamente il dispositivo da utilizzare nel codice dell'applicazione utilizzando la funzione cuda (). SetDevice

La necessità di specificare in modo esplicito il dispositivo è dovuta a un problema noto che interessa i container Windows. Puoi tenere traccia dei progressi nella risoluzione di questo problema nel numero #333 di -Containers. microsoft/Windows La tabella seguente è una rappresentazione visiva e un esempio pratico di questo comportamento di allocazione delle GPU.

Consideriamo uno scenario in cui esiste un singolo nodo Windows del tipo di istanza EC2 g4dn.12xlarge, dotato di quattro GPU. Consideriamo uno scenario in cui vengono lanciati tre pod su questa istanza. La tabella mostra che, indipendentemente dal numero di GPU richieste da ciascun container, tutti e tre i pod hanno accesso a tutte e quattro le GPU dell’istanza e, per impostazione predefinita, utilizzeranno la GPU con indice di dispositivo 0.

Supporto per il plug-in dei dispositivi Kubernetes

L’implementazione ufficiale di NVIDIA del Kubernetes device plugin non supporta Windows. Puoi tenere traccia dei progressi nell'aggiunta del supporto ufficiale per Windows nel NVIDIA/k8s-device-plugin numero #419.

Limitazioni delle istanze di calcolo GPU

A seconda della configurazione AWS dell'account, potresti avere limiti di servizio sul numero e sui tipi di istanze di calcolo GPU Amazon EC2 che puoi avviare. Se hai bisogno di capacità aggiuntiva, consulta Request a quota increase.

È necessario creare un’AMI ottimizzata per GPU Windows

Amazon EKS non fornisce alcuna AMI EKS ottimizzata per GPU Windows né un componente gestito da EC2 Image Builder. È necessario seguire i passaggi di questa guida per creare un’AMI EKS ottimizzata per Windows e personalizzata con i driver GPU richiesti preinstallati o installare i driver GPU necessari sui nodi worker EKS dopo l’avvio delle istanze.

Inferentia e Trainium non sono supportati

I carichi di lavoro basati su AWS Inferentia e AWS Trainium non sono supportati su Windows.