Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

# Utilizzo di partizioni GPU in Amazon SageMaker HyperPod
<a name="sagemaker-hyperpod-eks-gpu-partitioning"></a>

Gli amministratori dei cluster possono scegliere come massimizzare l'utilizzo della GPU in tutta l'organizzazione. È possibile abilitare il partizionamento della GPU con la tecnologia NVIDIA GPU (MIG) per partizionare le risorse Multi-Instance GPU in istanze più piccole e isolate per un migliore utilizzo delle risorse. Questa funzionalità offre la possibilità di eseguire più attività di piccole dimensioni contemporaneamente su una singola GPU invece di dedicare l'intero hardware a un'unica attività, spesso sottoutilizzata. In questo modo si eliminano gli sprechi di potenza di calcolo e memoria.

Il partizionamento GPU con tecnologia MIG supporta le GPU e consente di partizionare una singola GPU supportata in un massimo di sette partizioni GPU separate. Ogni partizione GPU dispone di memoria, cache e risorse di calcolo dedicate, che forniscono un isolamento prevedibile.

## Vantaggi
<a name="sagemaker-hyperpod-eks-gpu-partitioning-benefits"></a>
+ **Migliore utilizzo della GPU**: massimizza l'efficienza di elaborazione partizionando le GPU in base ai requisiti di elaborazione e memoria
+ **Isolamento delle attività**: ogni partizione GPU funziona in modo indipendente con memoria, cache e risorse di calcolo dedicate
+ **Flessibilità delle attività**: supporta una combinazione di attività su una singola GPU fisica, tutte eseguite in parallelo
+ **Gestione flessibile della configurazione**: supporta entrambe le configurazioni Kubernetes Do-it-yourself (fai da te) utilizzando il client `kubectl` a riga di comando Kubernetes e una soluzione gestita con etichette personalizzate per configurare e applicare facilmente le etichette associate alle partizioni GPU

**Importante**  
Il partizionamento GPU con MIG non è supportato con gruppi di istanze flessibili (gruppi di istanze che utilizzano). `InstanceRequirements` Per utilizzare MIG, crea un gruppo di istanze con un singolo. `InstanceType`

## Tipi di istanze supportati
<a name="sagemaker-hyperpod-eks-gpu-partitioning-instance-types"></a>

Il partizionamento GPU con tecnologia MIG è supportato sui seguenti tipi di istanza: HyperPod 

**Istanze GPU A100 - ** [ https://aws.amazon.com/ec2/instance-types/p4/ ](https://aws.amazon.com/ec2/instance-types/p4/)
+ **ml.p4d.24xlarge ** - 8 GPU NVIDIA A100 (HBM2e da 80 GB per GPU)
+ **ml.p4de.24xlarge ** - 8 GPU NVIDIA A100 (HBM2e da 80 GB per GPU)

**Istanze ** GPU H100 - [ https://aws.amazon.com/ec2/instance-types/p5/ ](https://aws.amazon.com/ec2/instance-types/p5/)
+ **ml.p5.48xlarge ** - 8 GPU NVIDIA H100 (HBM3 da 80 GB per GPU)

**Istanze ** GPU H200 - [ https://aws.amazon.com/ec2/instance-types/p5/ ](https://aws.amazon.com/ec2/instance-types/p5/)
+ **ml.p5e.48xlarge ** - 8 GPU NVIDIA H200 (HBM3e da 141 GB per GPU)
+ **ml.p5en.48xlarge ** - 8 GPU NVIDIA H200 (HBM3e da 141 GB per GPU)

**Istanze ** GPU B200 - [ https://aws.amazon.com/ec2/instance-types/p6/ ](https://aws.amazon.com/ec2/instance-types/p6/)
+ **ml.p6b.48xlarge - 8 GPU NVIDIA B200 **

## Partizioni GPU
<a name="sagemaker-hyperpod-eks-gpu-partitioning-profiles"></a>

I profili NVIDIA MIG definiscono il modo in cui le GPU vengono partizionate. Ogni profilo specifica l'allocazione di calcolo e memoria per istanza MIG. Di seguito sono riportati i profili MIG associati a ciascun tipo di GPU:

**GPU A100 (ml.p4d.24xlarge) **


| Profilo | Memoria (GB) | Istanze per GPU | Totale per ml.p4d.24xlarge | 
| --- | --- | --- | --- | 
| `1g.5gb` | 5 | 7 | 56 | 
| `2g.10gb` | 10 | 3 | 24 | 
| `3g.20gb` | 20 | 2 | 16 | 
| `4g.20gb` | 20 | 1 | 8 | 
| `7g.40gb` | 40 | 1 | 8 | 

**GPU H100 (ml.p 5.48x grande) **


| Profilo | Memoria (GB) | Istanze per GPU | Totale per ml.p5,48 x large | 
| --- | --- | --- | --- | 
| `1g.10gb` | 10 | 7 | 56 | 
| `1g.20gb` | 20 | 4 | 32 | 
| `2g.20gb` | 20 | 3 | 24 | 
| `3g.40gb` | 40 | 2 | 16 | 
| `4g.40gb` | 40 | 1 | 8 | 
| `7g.80gb` | 80 | 1 | 8 | 

**GPU H200 (ml.p5e.48xlarge e ml.p5en.48xlarge) **


| Profilo | Memoria (GB) | Istanze per GPU | Totale per ml.p5en.48xlarge | 
| --- | --- | --- | --- | 
| `1g.18gb` | 18 | 7 | 56 | 
| `1g.35gb` | 35 | 4 | 32 | 
| `2g.35gb` | 35 | 3 | 24 | 
| `3g.71gb` | 71 | 2 | 16 | 
| `4g.71gb` | 71 | 1 | 8 | 
| `7g.141gb` | 141 | 1 | 8 | 

**Topics**
+ [Vantaggi](#sagemaker-hyperpod-eks-gpu-partitioning-benefits)
+ [Tipi di istanze supportati](#sagemaker-hyperpod-eks-gpu-partitioning-instance-types)
+ [Partizioni GPU](#sagemaker-hyperpod-eks-gpu-partitioning-profiles)
+ [Configurazione delle partizioni GPU su Amazon SageMaker HyperPod](sagemaker-hyperpod-eks-gpu-partitioning-setup.md)
+ [Ciclo di vita ed etichette dei nodi](sagemaker-hyperpod-eks-gpu-partitioning-labels.md)
+ [Invio di attività con MIG](sagemaker-hyperpod-eks-gpu-partitioning-task-submission.md)