Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Storage su più livelli per broker Standard
L'archiviazione a più livelli è un livello di archiviazione a basso costo per Amazon MSK che si dimensiona fino a una capacità praticamente illimitata, rendendo conveniente la creazione di applicazioni di streaming di dati.
È possibile creare un cluster Amazon MSK configurato con un'archiviazione a più livelli che bilancia prestazioni e costi. Amazon MSK archivia i dati in streaming in un livello di archiviazione primario ottimizzato per le prestazioni fino a raggiungere i limiti di conservazione degli argomenti di Apache Kafka. Quindi, Amazon MSK sposta automaticamente i dati nel nuovo livello di archiviazione a basso costo.
Quando l'applicazione inizia a leggere i dati dall'archiviazione a più livelli, è possibile che i primi byte siano soggetti a un aumento della latenza di lettura. Quando inizi a leggere i dati rimanenti in sequenza dal livello a basso costo, le latenze dovrebbero essere simili a quelle del livello di archiviazione primario. Non è necessario effettuare il provisioning di alcun tipo di archiviazione per l'archiviazione più livelli a basso costo o per gestire l'infrastruttura. È possibile archiviare qualsiasi quantità di dati e pagare solo per le risorse utilizzate. Questa funzionalità è compatibile con le API introdotte in KIP-405: Kafka Tiered Storage.
Per informazioni sul dimensionamento, il monitoraggio e l'ottimizzazione del cluster di storage a più livelli MSK, consulta le best practice per l'esecuzione di carichi di lavoro di produzione utilizzando lo storage a più livelli Amazon MSK.
Di seguito sono elencate alcune caratteristiche dell'archiviazione a più livelli:
-
È possibile dimensionare fino a una capacità di archiviazione praticamente illimitata. Non è necessario fare supposizioni su come dimensionare la propria infrastruttura Apache Kafka.
-
È possibile mantenere i dati più a lungo negli argomenti di Apache Kafka o aumentare lo spazio di archiviazione degli argomenti senza la necessità di aumentare il numero di broker.
-
Fornisce un buffer di sicurezza di maggiore durata per gestire ritardi imprevisti nell'elaborazione.
-
Puoi rielaborare i vecchi dati nel loro esatto ordine di produzione con il codice di elaborazione del flusso esistente e le API di Kafka.
-
Le partizioni si ribilanciano più velocemente perché i dati nell'archiviazione secondaria non richiedono la replica tra i dischi del broker.
-
I dati tra i broker e l'archiviazione a più livelli si spostano all'interno del VPC e non viaggiano su Internet.
-
Per connettersi a nuovi cluster con l'archiviazione a più livelli abilitata, un computer client può utilizzare lo stesso processo che utilizza per connettersi a un cluster senza l'archiviazione a più livelli abilitata. Consulta la sezione Creazione di un computer client.
Requisiti di storage su più livelli per i cluster Amazon MSK
-
È necessario utilizzare la versione 3.0.0 o successiva del client Apache Kafka per creare un nuovo argomento con l'archiviazione a più livelli abilitata. Per trasferire un argomento esistente all'archiviazione a più livelli, puoi riconfigurare un computer client che utilizza una versione del client Kafka precedente alla 3.0.0 (la versione minima supportata di Apache Kafka è 2.8.2.tiered) per abilitare l'archiviazione a più livelli. Per informazioni, consulta Fase 4: Creare un argomento nel cluster Amazon MSK.
-
Il cluster Amazon MSK con storage a più livelli abilitato deve utilizzare la versione 3.6.0 o successiva o 2.8.2.a più livelli.
Vincoli e limitazioni dello storage su più livelli per i cluster Amazon MSK
L'archiviazione a più livelli presenta i seguenti vincoli e limitazioni:
Assicurati che i client non siano configurati per la
read_committedlettura da remote_tier in Amazon MSK, a meno che l'applicazione non stia utilizzando attivamente la funzionalità delle transazioni.-
Lo storage su più livelli non è disponibile nelle regioni AWS GovCloud (Stati Uniti).
L'archiviazione a più livelli si applica solo ai cluster in modalità assegnata.
-
Lo storage su più livelli non supporta le dimensioni del broker t3.small.
-
Il periodo di conservazione minimo nell'archiviazione a basso costo è di 3 giorni. Non è previsto un periodo minimo di conservazione per l'archiviazione primaria.
-
L'archiviazione a più livelli non supporta le directory di log multipli su un broker (funzionalità relative a JBOD).
-
Lo storage su più livelli non supporta argomenti compatti. Assicurati che la policy cleanup.policy di tutti gli argomenti per cui è attiva l'archiviazione su più livelli sia configurata solo su «ELIMINA».
-
Il cluster di storage su più livelli non supporta la modifica della policy log.cleanup.policy per un argomento dopo la sua creazione.
-
Lo storage su più livelli può essere disabilitato per singoli argomenti ma non per l'intero cluster. Una volta disattivata, l'archiviazione a più livelli non può essere riattivata per un argomento.
Se utilizzi la versione 2.8.2.tiered di Amazon MSK, puoi migrare solo a un'altra versione di Apache Kafka supportata dallo storage su più livelli. Se non desideri continuare a utilizzare una versione supportata dallo storage su più livelli, crea un nuovo cluster MSK ed esegui la migrazione dei dati su di esso.
-
Lo strumento kafka-log-dirs non è in grado di riportare le dimensioni dei dati dell'archiviazione a più livelli. Lo strumento riporta solo la dimensione dei segmenti di log nell'archiviazione primaria.
Per informazioni sulle impostazioni e sui vincoli predefiniti, è necessario tenere presente quando si configura lo storage su più livelli a livello di argomento, vedere. Linee guida per la configurazione a livello di argomento dello storage su più livelli di Amazon MSK
