Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Versionshinweise für die SageMaker Modellparallelitätsbibliothek In den folgenden Versionshinweisen finden Sie die neuesten Updates für die SageMaker Modellparallelismus-Bibliothek (SMP). Wenn Sie weitere Fragen zur SMP-Bibliothek haben, wenden Sie sich an das SMP-Serviceteam unter `sm-model-parallel-feedback@amazon.com`. ## Die SageMaker Modellparallelitätsbibliothek v2.8.0 *Datum: 01. April 2025* ### Aktualisierungen der SMP-Bibliothek **Fehlerbehebungen** + Das SMP-Gradientennorm-Clipping unterstützt jetzt die Aktivierungsauslagerung. ### SMP-Docker- und Enroot-Container Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, übernimmt SageMaker AI automatisch die SMP-Docker-Container. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf oder höher. `v2.243.0` **Aktualisierungen der Währungen** + Unterstützung für v2.5.1 PyTorch hinzugefügt + Die CUDA-Unterstützung wurde auf v12.4 aktualisiert. + Die NCCL-Unterstützung wurde auf v2.23.4 aktualisiert. + Die SMDDP-Bibliothek wurde auf 2.6.0 aktualisiert. **Details zum Container** + SMP Docker-Container für PyTorch v2.5.1 mit CUDA v12.4 ``` 658645717510.dkr.ecr.{{}}.amazonaws.com/smdistributed-modelparallel:2.5.1-gpu-py311-cu124 ``` + SMP Enroot-Container für v2.5.1 mit CUDA v12.4 PyTorch ``` https://sagemaker-distributed-model-parallel.s3.{{}}.amazonaws.com/enroot/2.5.1-gpu-py311-cu124.sqsh ``` + Pre-installed Pakete + SMP-Bibliothek v2.8.0 + SMDDP-Bibliothek v2.6.0 + CUDNN v9.4.0 + FlashAttention v2.5.8 + TransformerEngine v1.10 + Megatron v0.8.0 + Hugging Face Transformers v4.44.2 + Hugging Face Datensatz-Bibliothek v2.19.0 + EFA v1.36.0 + NCCL v2.23.4 + AWS-OFI-NCCL v1.13.2 ### SMP-Conda-Kanal Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren. + `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/` Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*. ## Die SageMaker Modellparallelitätsbibliothek v2.7.0 *Datum: 04. Dezember 2024* ### Aktualisierungen der SMP-Bibliothek **Neue Features** + Unterstützung für [SageMaker HyperPod Rezepte](sagemaker-hyperpod-recipes.md) hinzugefügt. ### SMP-Docker- und Enroot-Container Das SMP-Bibliotheksteam verteilt Docker- und Enroot-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, SageMaker werden die SMP-Docker-Container automatisch übernommen. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf oder höher. `v2.237.0` **Details zum Container** + SMP Docker-Container für PyTorch v2.4.1 mit CUDA v12.1 ``` 658645717510.dkr.ecr.{{}}.smdistributed-modelparallel:2.4.1-gpu-py311-cu121 ``` + SMP Enroot-Container für v2.4.1 mit CUDA v12.1 PyTorch ``` https://sagemaker-distributed-model-parallel.s3.{{}}.amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh ``` + Pre-installed Pakete + SMP-Bibliothek v2.7.0 + SMDDP-Bibliothek v2.5.0 + CUDNN v9.4.0 + FlashAttention v2.5.8 + TransformerEngine v1.10 + Megatron v0.8.0 + Hugging Face Transformers v4.44.2 + Hugging Face Datensatz-Bibliothek v2.19.0 + EFA v1.32.0 + NCCL v2.21.5 ### SMP-Conda-Kanal Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Conda-Umgebung wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren. + `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/` Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*. ## Die SageMaker Modellparallelitätsbibliothek v2.6.1 *Datum: 31. Oktober 2024* ### Aktualisierungen der SMP-Bibliothek **Fehlerbehebungen** + Es wurde ein `ImportError`-Problem behoben, das bei der Verwendung älterer Trainingsskripte mit SMP v2.6.0 auftrat. Dies behebt die Abwärtsinkompatibilität mit SMP v2.6.0. + Es wurde eine `DeprecationWarning` für `torch.sagemaker.distributed.fsdp.checkpoint` hinzugefügt. Dieses Modul wird in SMP v2.7.0 nicht mehr unterstützt und entfernt. Wenn Sie derzeit `torch.sagemaker.distributed.fsdp.checkpoint` in Ihrem Code verwenden, sollten Sie Ihre Skripts vor der Veröffentlichung von SMP v2.7.0 aktualisieren, um zukünftige Probleme zu vermeiden. + Ein in SMP v2.6.0 festgestelltes Problem mit der Abwärtskompatibilität wurde behoben. Dieses Problem stand im Zusammenhang mit der veralteten Checkpoint-Methode `USE_PG_WITH_UTIL` in SMP v2.6.0, wodurch die Abwärtskompatibilität mit früheren Versionen von Trainingsskripten beeinträchtigt wurde. Um dieses Problem zu beheben, führen Sie Ihre PyTorch Trainingsjobs erneut aus, um den neuesten SMP-Container abzurufen, der in SMP v2.6.1 enthalten ist. ### SMP-Docker-Container Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, übernimmt SageMaker AI automatisch die SMP-Docker-Container. **Details zum Container** + SMP Docker-Container für v2.4.1 mit CUDA v12.1 PyTorch ``` 658645717510.dkr.ecr.{{}}.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121 ``` + Pre-installed Pakete + SMP-Bibliothek v2.6.1 + SMDDP-Bibliothek v2.5.0 + CUDNN v9.4.0 + FlashAttention v2.5.8 + TransformerEngine v1.10 + Megatron v0.8.0 + Hugging Face Transformers v4.44.2 + Hugging Face Datensatz-Bibliothek v2.19.0 + EFA v1.32.0 + NCCL v2.21.5 ### SMP-Conda-Kanal Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren. + `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/` Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*. ## Die SageMaker Modellparallelitätsbibliothek v2.6.0 *Datum: 17. Oktober 2024* ### Aktualisierungen der SMP-Bibliothek **Neue Features** + Die folgenden LLM-Modellkonfigurationen werden nun unterstützt. Sie können mit der Verwendung von [Kontextparallelität](model-parallel-core-features-v2-context-parallelism.md) und [Tensor-Parallelität](model-parallel-core-features-v2-tensor-parallelism.md) beginnen. + [Llama3.1 8B ](https://huggingface.co/meta-llama/Llama-3.1-8B) + [Llama3.1 70B ](https://huggingface.co/meta-llama/Llama-3.1-70B) + [Mistral 7B](https://huggingface.co/mistralai/Mistral-7B-v0.3) + Für die folgenden Mixtral-Modellkonfigurationen wird nun [Tensor-Parallelität](model-parallel-core-features-v2-tensor-parallelism.md) unterstützt. + [Mixtral 8x7B](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1) + [Mixtral 8x22B](https://huggingface.co/mistralai/Mixtral-8x22B-v0.1) + Unterstützung für eine Implementierung von AllGather-based Kontextparallelität hinzugefügt, die das AllGather Kommunikationskollektiv nutzt, um die vollständige Sequenz von Schlüssel- und Werttensoren zu erhalten. Verfügbare Implementierungen sind `p2p` und `all_gather`. Die `p2p`-Implementierung verwendet Peer-to-Peer-Aufrufe zum Senden/Empfangen für die Ansammlung von Schlüssel- und Werte-Tensoren (KV) während der Aufmerksamkeitsberechnung. Sie läuft asynchron, sodass Überschneidungen von Kommunikation und Datenverarbeitung möglich sind. Andererseits verwendet die `all_gather`-Implementierung die kollektive `AllGather`-Kommunikationsoperation für die Ansammlung von KV-Tensoren. Informationen zur Anwendung dieser Implementierung von Kontextparallelität finden Sie unter [Kontextparallelität](model-parallel-core-features-v2-context-parallelism.md). + Die Einstellung des RoPE-Theta-Werts (Rotary Position Embedding) wird nun unterstützt. **Fehlerbehebungen** + Es wurde ein Fehler behoben, bei dem Rotary Position Embedding (RoPE) beim Vortraining nicht richtig initialisiert wurde, wenn die verzögerte Parameterinitialisierung aktiviert war. **Bekannte Probleme** + Transformer Engine unterstützt derzeit keine Kontextparallelität oder FP8 bei aktivierter Sliding Window Attention. Daher unterstützt die SMP-Version von Mistral Transformers keine Kontextparallelität und kein FP8-Training, wenn die Sliding-Window-Konfiguration auf einen Wert ungleich Null gesetzt ist. ### SMP-Docker-Container Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, übernimmt SageMaker AI automatisch die SMP-Docker-Container. **Aktualisierungen der Währungen** + Auf v2.4.1 aktualisiert PyTorch + Megatron auf v0.8.0 aktualisiert + Die TransformerEngine Bibliothek wurde auf Version 1.10 aktualisiert + Transformers auf v4.44.2 aktualisiert + cuDNN auf v9.4.0.58 aktualisiert **Details zum Container** + SMP Docker-Container für PyTorch v2.4.1 mit CUDA v12.1 ``` 658645717510.dkr.ecr.{{}}.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121 ``` + Pre-installed Pakete + SMP-Bibliothek v2.6.0 + SMDDP-Bibliothek v2.5.0 + CUDNN v9.4.0 + FlashAttention v2.5.8 + TransformerEngine v1.10 + Megatron v0.8.0 + Hugging Face Transformers v4.44.2 + Hugging Face Datensatz-Bibliothek v2.19.0 + EFA v1.32.0 + NCCL v2.21.5 ### SMP-Conda-Kanal Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren. + `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/` Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*. ## Die SageMaker Modellparallelitätsbibliothek v2.5.0 *Datum: 28. August 2024* ### Aktualisierungen der SMP-Bibliothek **Neue Features** + Das Training mit gemischter Präzision unter Verwendung des FP8-Datenformats auf P5-Instances für das Mixtral-Modell wird nun unterstützt. + Die unterstützten Mixtral-Konfigurationen sind 8x7B und 8x22B. Weitere Informationen hierzu finden Sie unter [Training mit gemischter Präzision mit FP8 auf P5-Instances mithilfe der Transformer Engine](model-parallel-core-features-v2-mixed-precision.md#model-parallel-core-features-v2-mixed-precision-fp8-training-on-p5). + [Kontextparallelität](model-parallel-core-features-v2-context-parallelism.md) wird nun für die folgenden Modellkonfigurationen unterstützt. + Llama-v2: 7B und 70B + Llama-v3: 8B und 70B + GPT-NeoX: 20B + Das asynchrone Speichern von Checkpoints wird nun unterstützt. Weitere Informationen hierzu finden Sie unter [Checkpointing mit SMP](model-parallel-core-features-v2-checkpoints.md). + Unterstützung für das direkte Speichern von Checkpoints in S3 ohne Amazon EBS oder Dateiserver **Fehlerbehebungen** + Es wurde ein Problem behoben, das bei der Llama-Optimierung zu unerwartet hohen Anfangsverlusten führte, wenn ein vortrainierter Modell-Checkpoint geladen und die Tensorparallelität verwendet wurde. **Hinweise** + Um das Aktivierungs-Checkpointing für Mixtral mit gemischter FP8-Präzision zu verwenden, müssen Sie die Aufmerksamkeits- und Expertenebenen separat überprüfen. Ein Beispiel für die korrekte Einrichtung finden Sie im [ Beispiel-Trainingsskript ](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel_v2/shared-scripts/train_utils.py) im * Amazon SageMaker AI Examples Repository*. **Bekannte Probleme** + Der Lastenausgleich in der MoE-Konfiguration ([`torch.sagemaker.moe.moe_config.moeConfig`](distributed-model-parallel-v2-reference.md#model-parallel-v2-torch-sagemaker-reference-moe)) ist derzeit nicht mit dem Aktivierungs-Checkpoint kompatibel. + GPT-NeoX Zeigt mit Kontextparallelität einen Leistungsrückgang sowohl vor dem Training als auch bei der Feinabstimmung an. + GPT-NeoX Bei P4-Instances führt das direkte Laden von Gewichtungen aus einem transformierten Modell mit verzögerter Parameterinitialisierung in ein Hugging Face-Transformatormodell zu einer Verlustanpassung im ersten Schritt. ### SMP-Docker-Container Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, übernimmt SageMaker AI automatisch die SMP-Docker-Container. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf v2.224.0 oder höher. **Aktualisierungen der Währungen** + Die Bibliothek wurde auf Version 2.5.8 aktualisiert FlashAttention + TransformerEngine-Bibliothek auf v1.8 aktualisiert + Wenn Sie Transformer Engine in einer Conda-Umgebung installieren möchten, müssen Sie auf dem Quellcode aufbauen und die spezifischen Upstream-Korrekturen auswählen ([744624d](https://github.com/NVIDIA/TransformerEngine/commit/744624d004f4514ffbaa90ac83e214311c86c607), [27c6342](https://github.com/NVIDIA/TransformerEngine/commit/27c6342ea8ad88034bf04b587dd13cb6088d2474), [7669bf3](https://github.com/NVIDIA/TransformerEngine/commit/7669bf3da68074517b134cd6acebd04b221fd545)). **Details zum Container** + SMP Docker-Container für PyTorch v2.3.1 mit CUDA v12.1 ``` 658645717510.dkr.ecr.{{}}.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121 ``` Eine vollständige Liste der unterstützten Regionen finden Sie unter [AWS-Regionen](distributed-data-parallel-support.md#distributed-data-parallel-availablity-zone). + Pre-installed Pakete + SMP-Bibliothek v2.5.0 + SMDDP-Bibliothek v2.3.0 + CUDNN v8.9.7.29 + FlashAttention v2.5.8 + TransformerEngine v1.8 + Megatron v0.7.0 + Hugging Face Transformers v4.40.1 + Hugging Face Datensatz-Bibliothek v2.19.0 + EFA v1.32.0 + NCCL v2.21.5 ### SMP-Conda-Kanal Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren. + `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/` Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*. ## Die SageMaker Modellparallelitätsbibliothek v2.4.0 *Datum: 20. Juni 2024* ### Aktualisierungen der SMP-Bibliothek **Fehlerbehebungen** + Es wurde ein Fehler behoben, der zu falschen Logit-Formen führte, wenn bei der Verwendung des SMP-Transformers im Vorwärtsdurchlauf keine Beschriftungen übergeben wurden. **Aktualisierungen der Währungen** + Unterstützung für v2.3.1 hinzugefügt. PyTorch + Unterstützung für Python v3.11 hinzugefügt + Die Bibliothek Hugging Face Transformers v4.40.1 wird nun unterstützt. **Veraltete Versionen ** + Die Unterstützung für Python v3.10 wurde eingestellt. + Die Unterstützung für die Versionen der Bibliothek Hugging Face Transformers vor v4.40.1 wurde eingestellt. Weitere Änderungen + Es wurde ein Patch hinzugefügt, mit dem beim Speichern deduplizierter Tensoren zwischen verschiedenen Rängen gewechselt werden kann. Weitere Informationen finden Sie im [ Diskussionsthread ](https://github.com/pytorch/pytorch/pull/126569) im Projektarchiv. PyTorch GitHub **Bekannte Probleme** + Es gibt ein bekanntes Problem, dass der Verlust bei der Feinabstimmung von Llama-3 70B mithilfe der Tensorparallelität zu einem Anstieg und dann bei einem höheren Verlustwert wieder aufgenommen wird. ### SMP-Docker-Container Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, übernimmt SageMaker AI automatisch die SMP-Docker-Container. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf v2.224.0 oder höher. **Aktualisierungen der Währungen** + Die SMDDP-Bibliothek wurde auf v2.3.0 aktualisiert. + Die NCCL-Bibliothek wurde auf v2.21.5 aktualisiert. + Die EFA-Software wurde auf v1.32.0 aktualisiert. **Veraltete Versionen ** + Die Installation der Bibliothek [Torch Distributed Experimental (torchdistX)](https://pytorch.org/torchdistx/latest/index.html) wurde eingestellt. **Details zum Container** + SMP Docker-Container für PyTorch v2.3.1 mit CUDA v12.1 ``` 658645717510.dkr.ecr.{{us-west-2}}.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121 ``` + Pre-installed Pakete + SMP-Bibliothek v2.4.0 + SMDDP-Bibliothek v2.3.0 + CUDNN v8.9.7.29 + FlashAttention v2.3.3 + TransformerEngine v1.2.1 + Hugging Face Transformers v4.40.1 + Hugging Face Datensatz-Bibliothek v2.19.0 + EFA v1.32.0 + NCCL v2.21.5 ### SMP-Conda-Kanal Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren. + `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/` Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*. ## Die SageMaker Modellparallelitätsbibliothek v2.3.1 *Datum: 9. Mai 2024* **Fehlerbehebungen** + Es wurde ein `ImportError`-Problem behoben, das bei der Verwendung von `moe_load_balancing=balanced` in [`torch.sagemaker.moe.moe_config.moeConfig`](distributed-model-parallel-v2-reference.md#model-parallel-v2-torch-sagemaker-reference-moe) zur Expertenparallelität auftrat. + Es wurde ein Problem bei der Optimierung behoben, bei dem beim Aufruf von [`torch.sagemaker.transform`](distributed-model-parallel-v2-reference.md#model-parallel-v2-torch-sagemaker-reference-transform) ein `KeyError` ausgelöst wurde, wenn `load_state_dict_from_rank0` aktiviert war. + Es wurde ein OOM-Fehler (Out-of-Memory) behoben, der beim Laden großer MoE-Modelle (Mixture of Experts) wie Mixtral 8x22B zur Optimierung auftrat. **SMP-Docker-Container** Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Diese Version enthält die oben genannten Fehlerbehebungen im folgenden SMP-Docker-Image. + SMP-Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch ``` 658645717510.dkr.ecr.{{us-west-2}}.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121 ``` ## Die SageMaker Modellparallelitätsbibliothek v2.3.0 *Datum: 11. April 2024* **Neue Features** + Zur Unterstützung von MoE-Transformer-Modellen (Mixture of Experts) wurde die *Expertenparallelität* als neue Kernfunktion hinzugefügt. Weitere Informationen hierzu finden Sie unter [Expertenparallelität](model-parallel-core-features-v2-expert-parallelism.md). **SMP-Docker-Container** Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, SageMaker werden die SMP-Docker-Container automatisch übernommen. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf v2.214.4 oder höher. + SMP Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch ``` 658645717510.dkr.ecr.{{us-west-2}}.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121 ``` + Pre-installed Pakete in diesem Docker-Container + SMDDP-Bibliothek v2.2.0 + CUDNN v8.9.5.29 + FlashAttention v2.3.3 + TransformerEngine v1.2.1 + Hugging Face Transformers v4.37.1 + Hugging Face Datensatz-Bibliothek v2.16.1 + Megatron-core 0.5.0 + EFA v1.30.0 + NCCL v2.19.4 ## Die SageMaker Modellparallelitätsbibliothek v2.2.0 *Datum: 7. März 2024* **Neue Funktionen ** + Das [FP8-Training](model-parallel-core-features-v2-mixed-precision.md#model-parallel-core-features-v2-mixed-precision-fp8-training-on-p5) der folgenden Transformer-Modelle von Hugging Face auf P5-Instances mit Transformer-Engine-Integration wird nun unterstützt: + GPT-NeoX + Llama 2 **Fehlerbehebungen** + Es wurde ein Fehler behoben, bei dem vor dem kollektiven `AllGather`-Aufruf während des Tensorparallelitätstrainings nicht garantiert wurde, dass die Tensoren zusammenhängend waren. **Aktualisierungen der Währung ** + Unterstützung für PyTorch v2.2.0 hinzugefügt. + Die SMDDP-Bibliothek wurde auf v2.2.0 aktualisiert. + Die FlashAttention Bibliothek wurde auf Version 2.3.3 aktualisiert. + Die NCCL-Bibliothek wurde auf v2.19.4 aktualisiert. **Veraltet ** + Die Unterstützung für die Transformer-Engine-Versionen vor v1.2.0 wurde eingestellt. **Bekannte Probleme** + Das SMP-Feature [Aktivierung, Entladung](model-parallel-core-features-v2-pytorch-activation-offloading.md) funktioniert derzeit nicht. Verwenden Sie stattdessen das native PyTorch Aktivierungs-Offloading. Weitere Änderungen + Es wurde ein Patch hinzugefügt, um den Leistungsrückgang zu beheben, der im Problemthread [ https://github.com/pytorch/pytorch/issues/117748 ](https://github.com/pytorch/pytorch/issues/117748) im PyTorch GitHub Repository besprochen wurde. **SMP-Docker-Container** Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, übernimmt SageMaker AI automatisch die SMP-Docker-Container. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf v2.212.0 oder höher. + SMP Docker-Container für PyTorch v2.2.0 mit CUDA v12.1 ``` 658645717510.dkr.ecr.{{us-west-2}}.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121 ``` + Verfügbar für P4d-, P4de- und P5-Instances + Pre-installed Pakete in diesem Docker-Container + SMDDP-Bibliothek v2.2.0 + CUDNN v8.9.5.29 + FlashAttention v2.3.3 + TransformerEngine v1.2.1 + Hugging Face Transformers v4.37.1 + Hugging Face Datensatz-Bibliothek v2.16.1 + EFA v1.30.0 + NCCL v2.19.4 ## Die Bibliothek für SageMaker Modellparallelität v2.1.0 *Datum: 6. Februar 2024* **Aktualisierungen der Währung ** + Unterstützung für PyTorch v2.1.2 hinzugefügt. **Veraltet ** + Die Unterstützung für Hugging Face Transformers v4.31.0 wurde eingestellt. **Bekannte Probleme** + Es wurde festgestellt, dass die Optimierung des Llama-2-Modells von Hugging Face mit `attn_implementation=flash_attention_2` und FSDP zu Modellabweichungen führt. Eine Referenz finden Sie im [ Problemticket ](https://github.com/huggingface/transformers/issues/28826) im * Hugging Face Transformers-Repository. GitHub * Um das Divergenzproblem zu vermeiden, verwenden Sie `attn_implementation=sdpa`. Verwenden Sie alternativ die Implementierung des SMP-Transformer-Modells, indem Sie `use_smp_implementation=True` einrichten. **SMP-Docker-Container** Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, SageMaker werden die SMP-Docker-Container automatisch übernommen. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf v2.207.0 oder höher. + SMP Docker-Container für v2.1.2 mit CUDA v12.1 PyTorch ``` 658645717510.dkr.ecr.{{us-west-2}}.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121 ``` + Verfügbar für P4d-, P4de- und P5-Instances + Pre-installed Pakete in diesem Docker-Container + SMDDP-Bibliothek v2.1.0 + CUDNN v8.9.5.29 + FlashAttention v2.3.3 + TransformerEngine v1.2.1 + Hugging Face Transformers v4.37.1 + Hugging Face Datensatz-Bibliothek v2.16.1 + EFA v1.30.0 **SMP-Conda-Kanal** Der folgende S3-Bucket ist ein öffentlicher Conda-Kanal, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren. + `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/` Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*. ## Die SageMaker Modellparallelitätsbibliothek v2.0.0 *Datum: 19. Dezember 2023* **Neue Features** Die SageMaker Modellparallelismus-Bibliothek (SMP) v2.0.0 wurde mit den folgenden neuen Angeboten veröffentlicht. + Ein neues `torch.sagemaker`-Paket wurde gegenüber dem vorherigen `smdistributed.modelparallel.torch`-Paket in SMP v1.x vollständig überarbeitet. + PyTorch Unterstützung für 2.0.1. + Unterstützung für PyTorch FSDP. + Implementierung der Tensorparallelität durch Integration in die [Transformer-Engine](https://docs.nvidia.com/deeplearning/transformer-engine/index.html)-Bibliothek + Unterstützung sowohl für [ SageMaker Training ](train-model.md) als auch. [ SageMaker HyperPod ](sagemaker-hyperpod.md) **Bahnbrechende Änderungen ** + SMP v2 bietet eine vollständige Überarbeitung der APIs und stellt das `torch.sagemaker`-Paket bereit. In den meisten Fällen sind nur die Initialisierung mit dem `torch.sagemaker.init()`-Modul und die Übergabe der Konfigurationsparameter zur Modellparallelität erforderlich. Mit diesem neuen Paket können Sie Codeänderungen in Ihrem Trainingsskript erheblich vereinfachen. Weitere Informationen zur Anpassung Ihres Trainingsskripts an SMP v2 finden Sie unter [Verwenden Sie die SageMaker Modellparallelitätsbibliothek v2](model-parallel-use-api-v2.md). + Wenn Sie SMP v1 für das Training von Transformer-Modellen von Hugging Face verwendet haben und die Modelle in SMP v2 wiederverwenden möchten, finden Sie weitere Informationen unter [Upgrade von SMP v1 auf SMP v2](distributed-model-parallel-v2-reference.md#model-parallel-v2-upgrade-from-v1). + Für das PyTorch FSDP-Training sollten Sie SMP v2 verwenden. **Bekannte Probleme** + Aktivierungs-Checkpointing funktioniert derzeit nur mit den folgenden Wrapping-Richtlinien mit FSDP. + `auto_wrap_policy = functools.partial(transformer_auto_wrap_policy, ...)` + Für die Verwendung von [Aktivierung, Entladung](model-parallel-core-features-v2-pytorch-activation-offloading.md) muss der Typ des FSDP-Aktivierungs-Checkpoints [REENTRANT](https://pytorch.org/docs/stable/checkpoint.html) sein. + Bei der Ausführung mit aktivierter Tensorparallelität und dem Parallelitätsgrad `1` der fragmentierten Daten müssen Sie `backend = nccl` verwenden. Die `smddp`-Backend-Option wird in diesem Szenario nicht unterstützt. + [Die Transformer Engine ](https://docs.nvidia.com/deeplearning/transformer-engine/index.html) muss PyTorch mit der SMP-Bibliothek verwendet werden, auch wenn keine Tensorparallelität verwendet wird. Weitere Änderungen + Ab dieser Version ist die Dokumentation für die SageMaker Modellparallelismus-Bibliothek vollständig in diesem Amazon AI-Entwicklerhandbuch verfügbar. * SageMaker * Zugunsten dieses vollständigen Entwicklerhandbuchs für SMP v2 im * Amazon SageMaker AI Developer Guide * ist die [ zusätzliche Referenz für SMP v1.x ](https://sagemaker.readthedocs.io/en/stable/api/sagemaker_train.html) in der * SageMaker Python-SDK-Dokumentation veraltet. * Wenn Sie die Dokumentation für SMP v1.x noch benötigen, finden Sie das Entwicklerhandbuch für SMP v1.x unter[(Archivierte) SageMaker Modellparallelismus-Bibliothek v1.x](model-parallel.md), und die Referenz zur SMP-Python-Bibliothek v1.x ist in der Python-SDK-Dokumentation v2.199.0-Dokumentation verfügbar. [ SageMaker ](https://sagemaker.readthedocs.io/en/v2.199.0/api/training/smd_model_parallel_release_notes/smd_model_parallel_change_log.html) **Veraltete Versionen ** + Die Unterstützung für wurde eingestellt. TensorFlow + Die Pipeline-Parallelität wird in SMP v2 nicht unterstützt. + Es gibt keine Unterstützung für die DeepSpeed Bibliothek zugunsten der systemeigenen PyTorch FSDP. **SMP-Docker-Container** Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch ModelTrainer Klasse im SageMaker Python-SDK verwenden und die Distributionskonfiguration für die Verwendung von SMP v2 angeben, übernimmt SageMaker AI automatisch die SMP-Docker-Container. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf v2.207.0 oder höher. + SMP Docker-Container für v2.0.1 mit CUDA v12.1 PyTorch ``` 658645717510.dkr.ecr.{{us-west-2}}.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121 ```