Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Überwachen Sie KI-Agenten mit CloudWatch
Um einen Überblick über die Empfehlungen zu erhalten, die KI-Agenten Ihren Agenten in Echtzeit geben, und die Kundenabsichten, die sie durch das Verstehen natürlicher Sprache erkennen, können Sie Protokolle abfragen CloudWatch . CloudWatch Mithilfe von Protokollen haben Sie einen Überblick über den gesamten Kontaktverlauf: Konversation, Auslöser, Absichten, Empfehlungen. Sie können diese Informationen auch zum Debuggen verwenden oder sie zur Verfügung stellen, Support wenn Sie sich an sie wenden, um Hilfe zu erhalten.
In diesem Thema wird erklärt, wie Sie die Protokollierung für AI-Agenten aktivieren.
Inhalt
Erforderliche IAM-Berechtigungen
Bevor Sie die Protokollierung für einen Connect-Assistenten aktivieren, überprüfen Sie, ob Sie über die folgenden AWS Identity and Access Management Berechtigungen verfügen. Sie sind für das Benutzerkonto erforderlich, das in der Connect-Kundenkonsole angemeldet ist:
-
wisdom:AllowVendedLogDeliveryForResource: Erforderlich, um die Bereitstellung von Protokollen für die Assistentenressource zu erlauben.
Ein Beispiel für eine IAM-Rolle mit allen erforderlichen Berechtigungen für Ihr spezielles Protokollierungsziel finden Sie unter Protokollierung, für die zusätzliche Berechtigungen erforderlich sind [V2]. Dieses Thema enthält Beispiele für verschiedene Protokollierungsziele, z. B. an Logs gesendete CloudWatch Protokolle und an Amazon S3 gesendete Protokolle. Die Beispiele zeigen, wie Sie Aktualisierungen für Ihre spezifische Logging-Zielressource zulassen.
Aktivieren Sie die Protokollierung für AI-Agenten
Um die Protokollierung für AI-Agenten zu aktivieren, verwenden Sie die CloudWatch API. Führen Sie folgende Schritte aus:
-
Holen Sie sich den ARN Ihres Assistenten (auch bekannt als seine Domain ). Nachdem Sie einen Assistenten erstellt haben, können Sie dessen ARN in der Connect-Kundenkonsole oder durch Aufrufen der GetAssistant API abrufen. Der ARN folgt diesem Format:
arn:aws:wisdom:your-region:your-account-id:assistant/assistant-id -
Aufruf PutDeliverySource: Verwenden Sie diese CloudWatch API, um eine Lieferquelle für den Assistenten zu erstellen. Übergeben Sie den ARN des Assistenten als
resourceArn. Geben Sie alslogTypeden WertEVENT_LOGSan, um Protokolle vom Assistenten zu erfassen.{ "logType": "EVENT_LOGS", "name": "your-assistant-delivery-source", "resourceArn": "arn:aws:wisdom:your-region:your-account-id:assistant/assistant_id} -
Aufruf PutDeliveryDestination: Verwenden Sie diese CloudWatch API, um zu konfigurieren, wo die Protokolle gespeichert werden sollen. Sie können CloudWatch Logs, Amazon S3 oder Amazon Data Firehose als Ziel für die Speicherung von Protokollen wählen. Sie müssen den ARN einer der Zieloptionen angeben, wo Ihre Protokolle gespeichert werden sollen. Sie können das
outputFormatder Protokolle aus folgenden Optionen auswählen:json,plain,w3c,raw,parquet.Das folgende Beispiel zeigt, wie Protokolle so konfiguriert werden, dass sie in einer Amazon CloudWatch Logs-Gruppe und im JSON-Format gespeichert werden.
{ "deliveryDestinationConfiguration": { "destinationResourceArn": "arn:aws:logs:your-region:your-account-id:log-group:your-log-group-name:*" }, "name": "string", "outputFormat": "json", "tags": { "key": "value" } } -
Aufruf CreateDelivery: Verwenden Sie diese CloudWatch API, um die Lieferquelle mit dem Lieferziel zu verknüpfen, das Sie in den vorherigen Schritten erstellt haben. Diese API-Operation verknüpft die Bereitstellungsquelle mit dem Endziel.
{ "deliveryDestinationArn": "string", "deliverySourceName": "string", "tags": { "string": "string" } }
Das folgende Beispiel zeigt, wie die vorherigen Schritte als eine Abfolge von AWS CLI-Befehlen ausgeführt werden. Dieses Beispiel aktiviert die Ereignisprotokollierung für einen Assistenten und sendet die Protokolle an eine Amazon CloudWatch Logs-Protokollgruppe. Führen Sie die Befehle der Reihe nach aus und ersetzen Sie sie jeweils value durch Ihre eigenen Ressourcennamen und ARNs.
-
Erstellen Sie eine Lieferquelle für den Assistenten. Verwenden Sie den Assistenten-ARN als Ressourcen-ARN und geben Sie
EVENT_LOGSihn als Protokolltyp an.aws logs put-delivery-source \ --nameyour-assistant-delivery-source\ --resource-arn arn:aws:wisdom:your-region:your-account-id:assistant/assistant-id\ --log-type EVENT_LOGS -
Erstellen Sie ein Übermittlungsziel, das auf Ihre Protokollgruppe verweist. Um stattdessen Protokolle an Amazon S3 oder Amazon Data Firehose zu senden, geben Sie diesen Ressourcen-ARN an.
aws logs put-delivery-destination \ --nameyour-delivery-destination\ --delivery-destination-configuration "destinationResourceArn=arn:aws:logs:your-region:your-account-id:log-group:your-log-group-name" \ --output-format json -
Verknüpfen Sie die Lieferquelle mit dem Lieferziel. Verwenden Sie den Ziel-ARN, den der vorherige Befehl zurückgibt.
aws logs create-delivery \ --delivery-source-nameyour-assistant-delivery-source\ --delivery-destination-arn arn:aws:logs:your-region:your-account-id:delivery-destination:your-delivery-destination
Nachdem Sie die Lieferung erstellt haben, können Sie die protokollierten Ereignisse in Ihrer Protokollgruppe anzeigen. Um zu überprüfen, ob die Protokollierung funktioniert, generieren Sie eine Assistentenaktivität und fragen Sie dann die Protokollgruppe ab, wie unter beschriebenBeispiele für häufig vorkommende Abfragen von Protokollen des Debug-Assistenten.
Unterstützte Protokolltypen
AI-Agenten unterstützen den folgenden Protokolltyp:
-
EVENT_LOGS: Protokolle, die das Ereignis eines Connect-Assistenten bei Anrufen, Chats, Aufgaben und E-Mails verfolgen.
Suchen Sie nach Kontingenten für CloudWatch Logs
Wir empfehlen, die Endpunkte und Kontingente von Amazon CloudWatch Logs zu überprüfen, um festzustellen, ob es Kontingente für API-Aufrufe im Zusammenhang mit der CloudWatch Logs-Lieferung gibt. Über Kontingente wird festgelegt, wie oft Sie eine API aufrufen oder eine Ressource erstellen können. Eine Überschreitung dieser Grenze führt zu einem ServiceQuotaExceededException-Fehler.
Dokumentieren von CloudWatch Ereignissen mithilfe von Interactive Handler
Ereignistypdefinitionen
In der folgenden Tabelle werden die einzelnen Ereignistypen beschrieben. Beachten Sie, dass verschiedene Ereignistypen unterschiedliche Felder enthalten. Ausführliche Informationen zu den einzelnen Feldern finden Sie im Abschnitt Felddefinitionen.
| EventType | Definition |
|---|---|
| TRANSCRIPT_CREATE_SESSION | Wird protokolliert, wenn eine neue AI-Agentensitzung erstellt wird. Dies markiert den Beginn einer Konversation. |
| TRANSCRIPT_INTENT_TRIGGERING_REFERENCE | Wird protokolliert, wenn in der Konversation eine bestimmte Kundenabsicht erkannt wird, die automatische Antworten oder Workflows auslösen kann. |
| TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION | Wird protokolliert, wenn ein großes Sprachmodell (Large Language Model, LLM) aufgerufen wird, um Antworten zu generieren oder Konversationsinhalte zu verarbeiten. Zeichnet die Eingaben und Ausgaben des LLM auf. |
| TRANSCRIPT_QUERY_ASSISTANT | Wird protokolliert, wenn einer der folgenden AI-Agenten aufgerufen wird: AnswerRecommendation, CaseSummarization, EmailGenerativeAnswer, EmailOverview, EmailResponse ManualSearch, NoteTaking. |
| TRANSCRIPT_RECOMMENDATION | Wird protokolliert, wenn das System einem Agenten oder Kunden eine Empfehlung gibt, die Wissensartikel, generierte Antworten oder vorgeschlagene Maßnahmen beinhalten kann. |
| TRANSCRIPT_RESULT_FEEDBACK | Wird protokolliert, wenn Feedback zur Nützlichkeit oder Relevanz eines Such- oder Abfrageergebnisses gegeben wird. |
| TRANSCRIPT_SELF_SERVICE_MESSAGE | Wird protokolliert, wenn ein Kunde mit einem SelfService KI-Agenten interagiert |
| TRANSCRIPT_SESSION_POLLED | Wird protokolliert, wenn das System feststellt, dass ein Agent mit einer Sitzung verbunden ist (Eine Sitzung wird abgefragt, wenn ein GetRecommendations API-Aufruf getätigt wurde) |
| TRANSCRIPT_TRIGGER_DETECTION_MODEL_INVOCATION | Wird protokolliert, wenn das Triggererkennungsmodell aufgerufen wird, um festzustellen, ob eine Konversation Absichten aufweist |
| TRANSCRIPT_UTTERANCE | Wird protokolliert, wenn eine Nachricht von einem beliebigen Teilnehmer der Konversation gesendet wird, wobei der tatsächliche Inhalt der Konversation aufgezeichnet wird. |
| TRANSCRIPT_ORCHESTRATION_MESSAGE | Jeder Schritt innerhalb einer Orchestrierungsschleife wird protokolliert, einschließlich der ersten Kundennachricht, der Bot-Textantworten, der Begründung, der Anfragen zur Toolnutzung und der Tool-Ergebnisse. Erfasst alle Details der agentischen Argumentation, die von einem Orchestration-KI-Agenten durchgeführt wird. |
| TRANSCRIPT_ORCHESTRATION_ERROR | Wird protokolliert, wenn während der Orchestrierung ein Fehler auftritt, z. B. wenn die maximale Anzahl von Orchestrierungsiterationen überschritten wird, Systemkapazitätsbeschränkungen vorliegen oder ein allgemeiner Orchestrierungsfehler auftritt. |
| TRANSCRIPT_AI_AGENT_TRACE | Während der AI-Agent-Orchestrierung wird für jede Ausführungsspanne protokolliert. Dabei werden detaillierte Traces erfasst, einschließlich LLM-Konfiguration, Token-Nutzung, Meldungen und Guardrail-Bewertungsergebnisse. |
Felddefinitionen
In der Tabelle unten ist jedes Element beschrieben.
| Feld | Definition |
|---|---|
| ai_agent_id | Eindeutiger Bezeichner für die AI-Agent-Ressource. |
| assistant_id | Eindeutiger Bezeichner für die Connect-Assistant-Ressource. |
| completion | Der Abschlusstext im Rohformat, der vom LLM zurückgegeben oder für die Nachricht generiert wurde. |
| connect_user_arn | Amazon-Ressourcenname (ARN) des Connect-Benutzers, der auf die Sitzung zugreift. |
| event_timestamp | Unix-Zeitstempel (in Millisekunden), der angibt, wann das Ereignis aufgetreten ist. |
| event_type | Art des Ereignisses, das angibt, welche Aktion oder welcher Prozess im System stattgefunden hat. |
| generation_id | Eindeutiger Bezeichner für eine bestimmte AI-generated Antwort. |
| intent | Der Text oder die Beschreibung der Absicht. |
| intent_clicked | Boolescher Wert, der angibt, ob die Empfehlung durch eine angeklickte Absicht ausgelöst wurde. |
| intent_id | Eine eindeutige ID für die erkannte Absicht. |
| issue_probability | Numerische Wahrscheinlichkeit (0,0–1,0), dass in der Konversation ein Problem erkannt wurde (bei einer Wahrscheinlichkeit über 0,5 wird eine Absichtsgenerierung ausgelöst) |
| is_recommendation_useful | Boolescher Wert, der angibt, ob der Benutzer das Ergebnis hilfreich fand. |
| is_valid_trigger | Boolescher Wert, der angibt, ob die Analyse des Erkennungsmodells zu einem gültigen Trigger geführt hat. |
| model_id | ID des KI-Modells, das zum Aufrufen des LLM verwendet wurde. |
| parsed_response | Die processed/parsed Version der Sprachmodellantwort, oft in strukturiertem Format. |
| prompt | Der Prompt, der zum Aufrufen des LLM verwendet wurde. |
| prompt_type | Art der KI-Eingabeaufforderung, die für die Verarbeitung der Nachricht oder Abfrage verwendet wird. |
| recommendation | Der tatsächliche Inhalt des Empfehlungstextes, der dem Benutzer bereitgestellt wurde |
| recommendation_id | Eindeutige ID für die Empfehlung. |
| response | Der endgültige Antworttext, der nach der Verarbeitung für den Benutzer generiert wurde. |
| session_event_id | Eindeutige ID für ein bestimmtes Ereignis innerhalb der Sitzung. |
| session_event_ids | Liste der Sitzungsereignis-IDs. |
| session_id | Eindeutiger Bezeichner für die Sitzung der AI-Agenten. |
| session_message_id | Eindeutige ID für eine Self-Service-Nachricht innerhalb einer Sitzung. |
| session_name | Name der Sitzung. |
| utterance | Der tatsächliche Nachrichtentext, der in der Konversation ausgetauscht wurde. |
| orchestration_id | Eindeutiger Bezeichner für den Orchestrierungslauf. Entspricht der ersten Kundennachrichten-ID, die die Orchestrierung ausgelöst hat. |
| orchestration_iteration | Die Iterationsnummer innerhalb der Orchestrierungsschleife. |
| ai_agent_orchestration_use_case | Der Orchestrator-Anwendungsfall, z. B. oder. CONNECT_AGENT_ASSISTANCE CONNECT_SELF_SERVICE |
| Teilnehmerin | Die Teilnehmerrolle für die Nachricht, z. B. CUSTOMER oderBOT. |
| values | JSON-serialized Liste der Nachrichtenwerte. Jeder Eintrag hat einen Typ: text (mit einem Textwert), tool_use (mit ToolUseId, ToolID, Name und Argumenten), tool_result (mit ToolUseId, ToolId, Name, Werten und Fehler) oder reasoning (mit einem Textwert). |
| guardrail_blocked | Boolescher Wert, der angibt, ob die Antwort durch eine KI-Leitplanke blockiert wurde. |
| orchestration_error | JSON-serialized Fehlerdetails, die ein optionales errorDetails Objekt (mit errorMessage estimatedInputTokens und) enthalten. estimatedOutputTokens |
| spannen | JSON-serialized Karte des Objekts mit voller Spannweite. Jeder Schlüssel ist snake_case. Zu den wichtigsten Schlüsseln gehören input_messages (an das Modell gesendeter Konversationsverlauf), output_messages (Modellantwortnachrichten), guardrail_assessments (Liste der Ergebnisse der Guardrail-Evaluierung mitguardrailId,, guardrailName sourceaction, undpolicies) und input_messages_truncated ("true"wenn die Eingabenachrichten gekürzt wurden, um das Datensatzlimit von 256 KB zu erreichen). Nur vorhanden, wenn es ist. event_type TRANSCRIPT_AI_AGENT_TRACE |
Beispiele für Assistentenprotokolle
Im Folgenden finden Sie Beispiele für unterschiedliche Ereignisprotokolle für jeden Ereignistyp. Im Abschnitt Ereignistypdefinitionen finden Sie ausführliche Erläuterungen zu den einzelnen Ereignistypen.
CreateSession
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173612, "event_type": "TRANSCRIPT_CREATE_SESSION", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_name": "nabbccdd-9999-4b23-aaee-112233445566" }
IntentTriggeringReference
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173623, "event_type": "TRANSCRIPT_INTENT_TRIGGERING_REFERENCE", "intent": "To learn about how to autoscale DynamoDB.", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
LargeLanguageModelInvocation
Neuformulierung der Abfrage
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "<query>The customer is asking for information on how to autoscale DynamoDB.</query>", "event_timestamp": 1729530173645, "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5" "model_id": "us.amazon.nova-lite-v1:0", "parsed_response": "The customer is asking for information on how to autoscale DynamoDB.", "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}", "prompt_type": "BEDROCK_KB_QUERY_REFORMULATION", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Erkennung von Absichten
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "no</malice>\n - Step 2. <specific>yes</specific>\n - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>", "event_timestamp": 1729530173645, "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5" "model_id": "us.amazon.nova-lite-v1:0", "parsed_response": "To learn how to autoscale DynamoDB.", "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}", "prompt_type": "GENERATIVE_INTENT_DETECTION", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Generierung einer Antwort auf eine Absicht
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "{\"citations\":[{\"citation\":{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":1065,\"start\":0},\"text\":\"\\nDynamoDB auto s\"}}}}]}", "event_timestamp": 1729530173645, "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5", "model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0", "parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor your table's activity. When the...", "prompt": "{\"input\":{\"text\":\"The customer is seeking information on how to autoscale DynamoDB. Key utterance: \\\"How can \"}}", "prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Generierung einer manuellen Suche
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "no</malice>\n - Step 2. <specific>yes</specific>\n - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>", "event_timestamp": 1729530173645, "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5", "model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0", "parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor...", "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}", "prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER", "session_id": "******************-*****************" }
QueryAssistant
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173667, "event_type": "TRANSCRIPT_QUERY_ASSISTANT", "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Empfehlung
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173656, "event_type": "TRANSCRIPT_RECOMMENDATION", "intent_clicked": 1, "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5", "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
ResultFeedback
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173667, "event_type": "TRANSCRIPT_RESULT_FEEDBACK", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "is_recommendation_useful": 1, "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff" }
SelfServiceMessage
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "{\"citations\":[{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":276,\"start\":0},\"text\":\"To autoscale Amazon DynamoDB...\"}}]}", "event_timestamp": 1729530173678, "event_type": "TRANSCRIPT_SELF_SERVICE_MESSAGE", "model_id": "us.amazon.nova-pro-v1:0", "parsed_response": "To autoscale Amazon DynamoDB, follow these steps:...", "prompt": "{\"input\":{\"text\":\"how to autoscale dynamodb\"},\"retrieveAndGenerateConfiguration\":...}", "prompt_type": "SELF_SERVICE_ANSWER_GENERATION", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "mdee1234-5678-4eab-9333-ffeebb998877", "utterance": "[Customer] How can I autoscale DyanmoDB?" }
TranscriptSessionPolled
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "connect_user_arn": "arn:aws:connect:us-east-1:204585150770:instance/seaa9988-2233-4f44-8899-abcabcabcabc/agent/agbbccdd-9999-4b23-aaee-112233445566", "event_timestamp": 1729530173623, "event_type": "TRANSCRIPT_SESSION_POLLED", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_name": "nabbccdd-9999-4b23-aaee-112233445566" }
TriggerDetectionModelInvocation
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173634, "event_type": "TRANSCRIPT_TRIGGER_DETECTION_MODEL_INVOCATION", "is_valid_trigger": 1, "issue_probability": "0.87", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_event_ids": ["seaa9988-2233-4f44-8899-abcabcabcabc"], "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Utterance
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173623, "event_type": "TRANSCRIPT_UTTERANCE", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "utterance": "[Customer] My laptop won't connect to WiFi after the recent update" }
OrchestrationMessage
Nachricht des Kunden
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173612, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "participant": "CUSTOMER", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "values": "[{\"type\":\"text\",\"value\":\"How do I reset my password?\"}]" }
Bot-Text-Antwort
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530174234, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "guardrail_blocked": false, "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 1, "participant": "BOT", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "mfff1234-5678-4eab-9333-112233445566", "values": "[{\"type\":\"text\",\"value\":\"I can help you reset your password. Let me look up your account.\"}]" }
Verwendung des Tools
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530174500, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 1, "participant": "BOT", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "maaa2222-3333-4bbb-cccc-ddddeeeeffff", "values": "[{\"type\":\"tool_use\",\"toolUseId\":\"toolu_01ABC\",\"toolId\":\"ResetPassword\",\"name\":\"ResetPassword\",\"arguments\":{\"email\":\"customer@example.com\"}}]" }
Ergebnis des Tools
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175100, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 1, "participant": "BOT", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "mbbb3333-4444-5ccc-dddd-eeeeffff0000", "values": "[{\"type\":\"tool_result\",\"toolUseId\":\"toolu_01ABC\",\"toolId\":\"ResetPassword\",\"name\":\"ResetPassword\",\"values\":[{\"type\":\"text\",\"value\":\"Password reset email sent successfully.\"}],\"error\":null}]" }
Reasoning
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175200, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 1, "participant": "BOT", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "mccc4444-5555-6ddd-eeee-ffff00001111", "values": "[{\"type\":\"reasoning\",\"value\":\"The password reset was successful. I should inform the customer and ask if they need further help.\"}]" }
OrchestrationError
Die maximale Anzahl an Orchestrierungs-Iterationen wurde überschritten
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530180000, "event_type": "TRANSCRIPT_ORCHESTRATION_ERROR", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_error": "{\"errorMessage\":\"The orchestration exceeded the maximum number of iterations\"}", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 9, "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Einschränkungen der Systemkapazität
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530180000, "event_type": "TRANSCRIPT_ORCHESTRATION_ERROR", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_error": "{\"errorMessage\":\"System capacity is constrained. We are actively working on scaling system to prevent such failures.\",\"errorDetails\":{\"estimatedInputTokens\":50000,\"estimatedOutputTokens\":2048}}", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 3, "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
AIAgentTrace
Erfolgreicher Orchestrierungszeitraum (kein Eingreifen der Leitplanken)
{ "timestamp": 1729530173612, "resource_arn": "arn:aws:wisdom:us-east-1:204585150770:assistant/a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175612, "event_type": "TRANSCRIPT_AI_AGENT_TRACE", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "span": { "span_id": "7a3f2b1c-4d5e-6f7a-8b9c-0d1e2f3a4b5c", "parent_span_id": "eb06e7cf-c3ba-4e75-86ef-ba761fd0ee30", "span_name": "inference", "span_type": "CLIENT", "start_timestamp": "1729530173612", "end_timestamp": "1729530175612", "status": "OK", "operation_name": "inference", "provider_name": "aws.bedrock", "session_name": "nabbccdd-9999-4b23-aaee-112233445566", "ai_agent_arn": "arn:aws:wisdom:us-east-1:204585150770:ai-agent/ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_type": "ANSWER_RECOMMENDATION", "ai_agent_name": "MyAgent", "ai_agent_version": "3", "ai_agent_orchestrator_use_case": "Connect.AgentAssistance", "request_model": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "request_max_tokens": "4096", "temperature": "1.0", "response_finish_reasons": "[\"end_turn\"]", "usage_input_tokens": "5274", "usage_output_tokens": "266", "usage_total_tokens": "5540", "cache_read_input_tokens": "4800", "cache_write_input_tokens": "0", "prompt_arn": "arn:aws:wisdom:us-east-1:204585150770:ai-prompt/prompt-abc:2", "prompt_id": "prompt-abc", "prompt_type": "ORCHESTRATION", "prompt_name": "Agent Assistance Orchestration", "prompt_version": "2", "time_to_first_token_ms": "850", "input_messages": "[{\"messageId\":\"msg-1\",\"participant\":\"CUSTOMER\",\"timestamp\":1729530173000,\"values\":[{\"text\":{\"value\":\"How can I autoscale DynamoDB?\"}}]}]", "output_messages": "[{\"messageId\":\"msg-2\",\"participant\":\"BOT\",\"timestamp\":1729530175612,\"values\":[{\"text\":{\"value\":\"DynamoDB auto scaling works by creating CloudWatch alarms that monitor your table's activity.\"}}]}]", "system_instructions": "[{\"messageId\":\"sys-1\",\"participant\":\"USER\",\"timestamp\":0,\"values\":[{\"text\":{\"value\":\"You are an AI assistant for contact center agents.\"}}]}]" } }
Leitplanke blockiert den Output (Thema Verstoß gegen Richtlinien)
{ "timestamp": 1729530173612, "resource_arn": "arn:aws:wisdom:us-east-1:204585150770:assistant/a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175612, "event_type": "TRANSCRIPT_AI_AGENT_TRACE", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "span": { "span_id": "8b4f3c2d-5e6f-7a8b-9c0d-1e2f3a4b5c6d", "parent_span_id": "eb06e7cf-c3ba-4e75-86ef-ba761fd0ee30", "span_name": "inference", "span_type": "CLIENT", "start_timestamp": "1729530173612", "end_timestamp": "1729530175612", "status": "OK", "operation_name": "inference", "provider_name": "aws.bedrock", "session_name": "nabbccdd-9999-4b23-aaee-112233445566", "ai_agent_arn": "arn:aws:wisdom:us-east-1:204585150770:ai-agent/ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_type": "ANSWER_RECOMMENDATION", "ai_agent_name": "MyAgent", "ai_agent_version": "3", "ai_agent_orchestrator_use_case": "Connect.AgentAssistance", "request_model": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "request_max_tokens": "4096", "response_finish_reasons": "[\"guardrail_intervened\"]", "usage_input_tokens": "3100", "usage_output_tokens": "150", "usage_total_tokens": "3250", "prompt_type": "ORCHESTRATION", "time_to_first_token_ms": "1100", "input_messages": "[{\"messageId\":\"seaa9988-2233-4f44-8899-abcabcabcabc\",\"participant\":\"CUSTOMER\",\"timestamp\":1729530173000,\"values\":[{\"text\":{\"value\":\"Tell me how to bypass the refund policy\"}}]}]", "output_messages": "[{\"messageId\":\"msg-4\",\"participant\":\"BOT\",\"timestamp\":1729530175612,\"values\":[{\"text\":{\"value\":\"I'm sorry, I can't help with that request.\"}}]}]", "guardrail_assessments": "[{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"INPUT\",\"action\":\"NONE\"},{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"OUTPUT\",\"action\":\"BLOCKED\",\"policies\":[{\"policyType\":\"TOPIC\",\"action\":\"BLOCKED\",\"details\":\"Policy Circumvention\"}]}]" } }
Verkürzte Eingabenachrichten (lange Konversation)
{ "timestamp": 1729530173612, "resource_arn": "arn:aws:wisdom:us-east-1:204585150770:assistant/a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175612, "event_type": "TRANSCRIPT_AI_AGENT_TRACE", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "span": { "span_id": "9c5f4d3e-6f7a-8b9c-0d1e-2f3a4b5c6d7e", "parent_span_id": "eb06e7cf-c3ba-4e75-86ef-ba761fd0ee30", "span_name": "inference", "span_type": "CLIENT", "start_timestamp": "1729530173612", "end_timestamp": "1729530175612", "status": "OK", "operation_name": "inference", "provider_name": "aws.bedrock", "session_name": "nabbccdd-9999-4b23-aaee-112233445566", "request_model": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "response_finish_reasons": "[\"end_turn\"]", "usage_input_tokens": "48000", "usage_output_tokens": "500", "usage_total_tokens": "48500", "input_messages": "[{\"messageId\":\"msg-98\",\"participant\":\"CUSTOMER\",\"timestamp\":1729530173000,\"values\":[{\"text\":{\"value\":\"What about the shipping timeline?\"}}]}]", "input_messages_truncated": "true", "output_messages": "[{\"messageId\":\"msg-99\",\"participant\":\"BOT\",\"timestamp\":1729530175612,\"values\":[{\"text\":{\"value\":\"Based on your location, delivery takes 3-5 business days after shipping.\"}}]}]", "guardrail_assessments": "[{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"INPUT\",\"action\":\"NONE\"},{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"OUTPUT\",\"action\":\"NONE\"}]" } }
Beispiele für häufig vorkommende Abfragen von Protokollen des Debug-Assistenten
Sie können mithilfe von Abfragen mit Protokollen interagieren. Sie können beispielsweise alle Ereignisse innerhalb einer Sitzung abfragen, indem Sie SESSION_NAME verwenden.
Im Folgenden finden Sie zwei häufig verwendete Abfragen, um alle für eine bestimmte Sitzung generierten Protokolle zurückzugeben.
-
filter session_name = "SessionName" -
filter session_id = "SessionId"
