Bereiten Sie eine Schulung zur Erfassung von TensorBoard Ausgabedaten vor

Ein typischer Trainingsjob für maschinelles Lernen in SageMaker KI besteht aus zwei Hauptschritten: der Vorbereitung eines Trainingsskripts und der Konfiguration eines SageMaker AI-Objekts ModelTrainer (früher Schätzer in PySDK v2) des SageMaker AI-Python-SDK. In diesem Abschnitt erfährst du mehr über die erforderlichen Änderungen, um TensorBoard-compatible Daten aus SageMaker Trainingsjobs zu sammeln.

Voraussetzungen

In der folgenden Liste sind die Voraussetzungen aufgeführt, mit denen Sie mit der Verwendung von SageMaker KI beginnen müssen TensorBoard.

Schritt 1: Ändern Sie Ihr Trainingsskript mit TensorBoard Open-Source-Hilfstools

Stellen Sie sicher, dass Sie festlegen, welche Ausgabetensoren und Skalare erfasst werden sollen, und ändern Sie Codezeilen in Ihrem Trainingsskript mit einem der folgenden Tools: TensorBoard X, TensorFlow Summary Writer, PyTorch Summary Writer oder Debugger. SageMaker

Stellen Sie außerdem sicher, dass Sie den TensorBoard Datenausgabepfad als Protokollverzeichnis (log_dir) für den Callback im Trainingscontainer angeben.

Weitere Informationen zu Rückrufen pro Framework finden Sie in den folgenden Ressourcen.

Schritt 2: Erstellen Sie ein SageMaker ModelTrainer Trainingsobjekt mit der TensorBoard Ausgabekonfiguration

Verwenden Sie das sagemaker.debugger.TensorBoardOutputConfig bei der Konfiguration einer SageMaker KI ModelTrainer. Diese Konfigurations-API ordnet den S3-Bucket, den Sie zum Speichern von TensorBoard Daten angeben, dem lokalen Pfad im Trainingscontainer zu (/opt/ml/output/tensorboard). Übergeben Sie das Objekt des Moduls an den tensorboard_output_config Parameter der ModelTrainer Klasse. Der folgende Codeausschnitt zeigt ein Beispiel für die Vorbereitung von a TensorFlow ModelTrainer mit dem TensorBoard Ausgabekonfigurationsparameter.

"TensorBoardOutputConfig": { 
  "LocalPath": "/opt/ml/output/tensorboard",
  "S3OutputPath": "s3_output_bucket"
}

import os
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode
from sagemaker.core.debugger import TensorBoardOutputConfig
from sagemaker.train.configs import Compute

# Set variables for training job information, 
# such as s3_out_bucket and other unique tags.
... 

LOG_DIR="/opt/ml/output/tensorboard"

output_path = os.path.join(
    "s3_output_bucket", "sagemaker-output", "date_str", "your-training_job_name"
)

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=os.path.join(output_path, 'tensorboard'),
    container_local_output_path=LOG_DIR
)

model_trainer = ModelTrainer(
    source_code=SourceCode(entry_script="train.py", source_dir="src"),
    role=role,
    training_image=image_uri,
    compute=Compute(instance_count=1, instance_type="ml.c5.xlarge"),
    base_job_name="your-training_job_name",
    tensorboard_output_config=tensorboard_output_config,
    hyperparameters=hyperparameters
)