Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment Amazon SageMaker AI fournit des informations de formation

Cette section explique comment l' SageMaker IA met les informations d'entraînement, telles que les données d'entraînement, les hyperparamètres et d'autres informations de configuration, à la disposition de votre conteneur Docker.

Lorsque vous envoyez une CreateTrainingJob demande à SageMaker AI pour démarrer l'apprentissage d'un modèle, vous spécifiez le chemin Amazon Elastic Container Registry (Amazon ECR) de l'image Docker qui contient l'algorithme d'entraînement. Vous spécifiez également l'emplacement Amazon Simple Storage Service (Amazon S3) où les données d'entraînement sont stockées et les paramètres spécifiques à l'algorithme. SageMaker L'IA met ces informations à la disposition du conteneur Docker afin que votre algorithme d'entraînement puisse les utiliser. Cette section explique comment ces informations sont rendues disponibles pour votre conteneur Docker. Pour plus d’informations sur la création d’une tâche d’entraînement, consultez CreateTrainingJob. Pour plus d'informations sur la façon dont les conteneurs SageMaker IA organisent les informations, consultezSageMaker Boîtes à outils de formation et d'inférence.

Hyperparamètres

SageMaker L'IA rend les hyperparamètres d'une CreateTrainingJob demande disponibles dans le conteneur Docker du /opt/ml/input/config/hyperparameters.json fichier.

Voici un exemple de configuration d’hyperparamètres dans hyperparameters.json permettant de spécifier les hyperparamètres num_round et eta dans l’opération CreateTrainingJob pour XGBoost.

{
    "num_round": "128",
    "eta": "0.001"
}            

Pour une liste complète des hyperparamètres pouvant être utilisés pour l'algorithme XGBoost intégré à l' SageMaker IA, voir Hyperparamètres XGBoost.

Les hyperparamètres que vous pouvez régler dépendent de l’algorithme que vous entraînez. Pour obtenir la liste des hyperparamètres disponibles pour un algorithme intégré d' SageMaker IA, recherchez-les dans Hyperparamètres sous le lien de l'algorithme dans Utiliser les Built-in algorithmes ou Pre-trained les SageMaker modèles Amazon AI.

Variables d’environnement

SageMaker L'IA définit les variables d'environnement suivantes dans votre conteneur :

Configuration des données d’entrée

SageMaker L'IA rend les informations du canal de données contenues dans le InputDataConfig paramètre de votre CreateTrainingJob demande disponibles dans le /opt/ml/input/config/inputdataconfig.json fichier de votre conteneur Docker.

Supposons, par exemple, que vous indiquiez trois canaux de données (trainevaluation, etvalidation) dans votre demande. SageMaker AI fournit le JSON suivant :

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Données d’entraînement

Le paramètre TrainingInputMode dans AlgorithmSpecification de la demande CreateTrainingJob spécifie comment le jeu de données d’entraînement est mis à la disposition de votre conteneur. Les modes d’entrée suivants sont disponibles.

SageMaker L'entraînement aux modèles d'IA prend en charge les compartiments de répertoires S3 Express One Zone hautes performances en tant qu'emplacement de saisie des données pour le mode fichier, le mode fichier rapide et le mode canal. Pour utiliser S3 Express One Zone, entrez l’emplacement du compartiment de répertoire S3 Express One Zone au lieu d’un compartiment Amazon S3 à usage général. Fournissez l’ARN du rôle IAM avec la politique de contrôle d’accès et d’autorisation requise. Pour plus d'informations, consultez AmazonSageMakerFullAccesspolicy. Vous pouvez uniquement chiffrer les données de sortie de votre SageMaker IA dans des compartiments de répertoires avec un chiffrement côté serveur avec des clés gérées Amazon S3 (). SSE-S3 Server-side le chiffrement avec AWS KMS clés (SSE-KMS) n'est actuellement pas pris en charge pour le stockage des données de sortie SageMaker AI dans des compartiments de répertoires. Pour plus d’informations, consultez S3 Express One Zone.

Configuration d’entraînement distribué

Si vous effectuez une formation distribuée avec plusieurs conteneurs, l' SageMaker IA rend les informations relatives à tous les conteneurs disponibles dans le /opt/ml/input/config/resourceconfig.json fichier.

Pour permettre la communication entre conteneurs, ce fichier JSON contient des informations pour tous les conteneurs. SageMaker AI rend ce fichier disponible pour les algorithmes à la fois File et pour Pipe le mode. Le fichier fournit les informations suivantes :

Voici un exemple de fichier sur le nœud 1 d’un cluster à trois nœuds :

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}