Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Migración desde Couchbase Server

Introducción

Esta guía presenta los puntos clave que hay que tener en cuenta al migrar de Couchbase Server a Amazon DocumentDB. En ella se explican las consideraciones que deben tenerse en cuenta para las fases de descubrimiento, planificación, ejecución y validación de la migración. También explica cómo realizar migraciones en línea y sin conexión.

Comparación con Amazon DocumentDB

Discovery

La migración a Amazon DocumentDB requiere un conocimiento profundo de la carga de trabajo de la base de datos existente. El descubrimiento de la carga de trabajo es el proceso de analizar la configuración y las características operativas del clúster de Couchbase (el conjunto de datos, los índices y la carga de trabajo) para garantizar una transición fluida con una interrupción mínima.

Configuración del clúster

Couchbase utiliza una arquitectura centrada en los servicios en la que cada capacidad corresponde a un servicio. Ejecute el siguiente comando en su clúster de Couchbase para determinar qué servicios se están utilizando (consulte Obtener información sobre los nodos):

curl -v -u <administrator>:<password> \
  http://<ip-address-or-hostname>:<port>/pools/nodes | \
  jq '[.nodes[].services[]] | unique'

Código de salida de ejemplo:

[
  "backup",
  "cbas",
  "eventing",
  "fts",
  "index",
  "kv",
  "n1ql"
]

Los servicios de Couchbase incluyen lo siguiente:

Servicio de datos (kv)

El servicio de datos proporciona read/write acceso a los datos de la memoria y del disco.

Amazon DocumentDB admite K/V operaciones con datos JSON a través de la API de MongoDB.

Servicio de consultas (n1ql)

El servicio de consultas admite la consulta de datos de JSON a través de SQL++.

Amazon DocumentDB admite la consulta de datos de JSON mediante la API de MongoDB.

Servicio de índices (index)

El servicio de índices crea y mantiene índices de datos, lo que permite realizar consultas más rápidas.

Amazon DocumentDB admite un índice principal predeterminado y la creación de índices secundarios a partir de datos JSON mediante la API de MongoDB.

Servicio de búsqueda (fts)

El servicio de búsqueda admite la creación de índices para la búsqueda de texto completo.

La función nativa de búsqueda de texto completo de Amazon DocumentDB le permite realizar consultas de texto básicas en grandes conjuntos de datos textuales mediante índices de texto especiales mediante la API. MongoDB Para obtener funciones avanzadas como la búsqueda difusa, la búsqueda multilingüe y la búsqueda entre colecciones, utilice la integración Zero-ETL de Amazon DocumentDB con Amazon Service. OpenSearch

Servicio de análisis (cbas)

El servicio de análisis permite analizar los datos de JSON prácticamente en tiempo real.

Amazon DocumentDB admite consultas ad hoc sobre datos JSON mediante la API de MongoDB. También puede ejecutar consultas complejas en sus datos de JSON en Amazon DocumentDB mediante Apache Spark que se ejecuta en Amazon EMR.

Servicio de eventos (eventing)

El servicio de eventos ejecuta la lógica empresarial definida por el usuario en respuesta a los cambios en los datos.

Amazon DocumentDB automatiza las cargas de trabajo basadas en eventos al invocar AWS Lambda funciones cada vez que cambian los datos en su clúster de Amazon DocumentDB.

Servicio de respaldo (respaldo)

El servicio de respaldo programa copias de seguridad de datos completas e incrementales y combina las copias de seguridad de datos anteriores.

Amazon DocumentDB realiza copias de seguridad continuas de sus datos en Amazon S3 con un período de retención de 1 a 35 días para que pueda restaurarlos rápidamente en cualquier punto dentro del período de retención de la copia de seguridad. Amazon DocumentDB también toma instantáneas automáticas de los datos como parte de este proceso de copia de seguridad continua. También puede gestionar la copia de seguridad y la restauración de Amazon DocumentDB con. AWS Backup.

Características operativas

Utilice la herramienta de detección de Couchbase para obtener la siguiente información sobre su conjunto de datos, índices y carga de trabajo. Esta información le ayudará a dimensionar su clúster de Amazon DocumentDB.

Conjunto de datos

La herramienta recupera la siguiente información sobre el depósito, el alcance y la recopilación:

Índices

La herramienta recupera las siguientes estadísticas de índice y todas las definiciones de índice para todos los grupos. Tenga en cuenta que los índices principales están excluidos, ya que Amazon DocumentDB crea automáticamente un índice principal para cada colección.

Carga de trabajo

La herramienta recupera las métricas de consulta K/V de N1QL. K/V Los valores de las métricas se recopilan a nivel de bucket y las métricas de SQL++ se recopilan a nivel de clúster.

Las opciones de línea de comandos de la herramienta son las siguientes:

python3 discovery.py \
  --username <source cluster username> \
  --password <source cluster password> \
  --data_node <data node IP address or DNS name> \
  --admin_port <administration http REST port> \
  --kv_zoom <get bucket statistics for specified interval> \
  --tools_path <full path to Couchbase tools> \
  --index_metrics <gather index definitions and SQL++ metrics> \
  --indexer_port <indexer service http REST port> \
  --n1ql_start <start time for sampling> \
  --n1ql_step <sample interval over the sample period>

A continuación se muestra un comando de ejemplo:

python3 discovery.py \
  --username username \
  --password ******** \
  --data_node "http://10.0.0.1" \
  --admin_port 8091 \
  --kv_zoom week \
  --tools_path "/opt/couchbase/bin" \
  --index_metrics true \
  --indexer_port 9102 \
  --n1ql_start -60000 \
  --n1ql_step 1000

K/V Los valores métricos se basarán en muestras cada 10 minutos durante la semana anterior (consulte el método HTTP y el URI). Los valores métricos de SQL++ se basarán en muestras cada 1 segundo durante los últimos 60 segundos (consulte Etiquetas https://docs.couchbase.com/server/current/rest-api/rest-statistics-single.html#general-labels generales). El resultado del comando estará en los siguientes archivos:

collection-stats.csv: información sobre el bucket, el alcance y la colección

bucket,bucket_type,scope_name,collection_name,total_size,total_items,document_size
beer-sample,membase,_default,_default,2796956,7303,383
gamesim-sample,membase,_default,_default,114275,586,196
pillowfight,membase,_default,_default,1901907769,1000006,1902
travel-sample,membase,inventory,airport,547914,1968,279
travel-sample,membase,inventory,airline,117261,187,628
travel-sample,membase,inventory,route,13402503,24024,558
travel-sample,membase,inventory,landmark,3072746,4495,684
travel-sample,membase,inventory,hotel,4086989,917,4457
...

index-stats.csv — nombres y tamaños de índices

bucket,scope,collection,index-name,index-size
beer-sample,_default,_default,beer_primary,468144
gamesim-sample,_default,_default,gamesim_primary,87081
travel-sample,inventory,airline,def_inventory_airline_primary,198290
travel-sample,inventory,airport,def_inventory_airport_airportname,513805
travel-sample,inventory,airport,def_inventory_airport_city,487289
travel-sample,inventory,airport,def_inventory_airport_faa,526343
travel-sample,inventory,airport,def_inventory_airport_primary,287475
travel-sample,inventory,hotel,def_inventory_hotel_city,497125
...

kv-stats.csv: obtiene, establece y elimina las métricas de todos los buckets

bucket,gets,sets,deletes
beer-sample,0,0,0
gamesim-sample,0,0,0
pillowfight,369,521,194
travel-sample,0,0,0

n1ql-stats.csv: SQL++ selecciona, elimina e inserta métricas para el clúster

selects,deletes,inserts
0,132,87

indexes- <bucket-name>.txt: definiciones de índice de todos los índices del bucket. Tenga en cuenta que los índices principales están excluidos, ya que Amazon DocumentDB crea automáticamente un índice principal para cada colección.

CREATE INDEX `def_airportname` ON `travel-sample`(`airportname`)
CREATE INDEX `def_city` ON `travel-sample`(`city`)
CREATE INDEX `def_faa` ON `travel-sample`(`faa`)
CREATE INDEX `def_icao` ON `travel-sample`(`icao`)
CREATE INDEX `def_inventory_airport_city` ON `travel-sample`.`inventory`.`airport`(`city`)
CREATE INDEX `def_inventory_airport_faa` ON `travel-sample`.`inventory`.`airport`(`faa`)
CREATE INDEX `def_inventory_hotel_city` ON `travel-sample`.`inventory`.`hotel`(`city`)
CREATE INDEX `def_inventory_landmark_city` ON `travel-sample`.`inventory`.`landmark`(`city`)
CREATE INDEX `def_sourceairport` ON `travel-sample`(`sourceairport`)
...

Planificación

En la fase de planificación, determinará los requisitos del clúster de Amazon DocumentDB y asignará los depósitos, ámbitos y colecciones de Couchbase a las bases de datos y colecciones de Amazon DocumentDB.

Requisitos de clúster de Amazon DocumentDB

Utilice los datos recopilados en la fase de descubrimiento para dimensionar su clúster de Amazon DocumentDB. Consulte Dimensionamiento de instancias para obtener más información sobre el tamaño de su clúster de Amazon DocumentDB.

Asignación de cubos, ámbitos y colecciones a bases de datos y colecciones

Determine las bases de datos y colecciones que existirán en sus clústeres de Amazon DocumentDB. Tenga en cuenta las siguientes opciones en función de cómo estén organizados los datos en su clúster de Couchbase. Estas no son las únicas opciones, pero proporcionan puntos de partida que puede considerar.

Couchbase Server 6.x o anterior

Couchbase se dirige a las colecciones de Amazon DocumentDB

Migre cada bucket a una colección diferente de Amazon DocumentDB. En este escenario, el valor del documento de Couchbase se utilizará como el id valor de Amazon DocumentDB. _id

Couchbase Server 7.0 o posterior

De las colecciones de Couchbase a las colecciones de Amazon DocumentDB

Migre cada colección a una colección diferente de Amazon DocumentDB. En este escenario, el valor del documento de Couchbase se utilizará como el id valor de Amazon DocumentDB. _id

Migración

Migración de índices

La migración a Amazon DocumentDB implica transferir no solo datos, sino también índices para mantener el rendimiento de las consultas y optimizar las operaciones de la base de datos. En esta sección se describe el proceso detallado paso a paso para migrar los índices a Amazon DocumentDB y, al mismo tiempo, garantizar la compatibilidad y la eficiencia.

Utilice Amazon Q (disponible en la consola de administración de AWS o en su IDE) para convertir las CREATE INDEX instrucciones de SQL++ en comandos de Amazon DocumentDB. createIndex()

Amazon Q generará createIndex() comandos de Amazon DocumentDB equivalentes. Tenga en cuenta que es posible que necesite actualizar los nombres de las colecciones en función de cómo asignó los depósitos, ámbitos y colecciones de Couchbase a las colecciones de Amazon DocumentDB.

Por ejemplo:

indexes-beer-sample.txt

CREATE INDEX `beerType` ON `beer-sample`(`type`)
CREATE INDEX `code` ON `beer-sample`(`code`) WHERE (`type` = "brewery")

Ejemplo de salida de Amazon Q (extracto):

db.beerSample.createIndex(
  { "type": 1 },
  {
    "name": "beerType",
    "background": true
  }
)

db.beerSample.createIndex(
  { "code": 1 },
  {
    "name": "code",
    "background": true,
    "partialFilterExpression": { "type": "brewery" }
  }
)

Para ver los índices que Amazon Q no pueda convertir, consulte Administración de índices e índices de Amazon DocumentDB y de las propiedades de los índices para obtener más información.

Refactorice el código para usar las API de MongoDB

Los clientes usan los SDK de Couchbase para conectarse al servidor de Couchbase. Los clientes de Amazon DocumentDB utilizan los controladores MongoDB para conectarse a Amazon DocumentDB. Todos los idiomas compatibles con los SDK de Couchbase también son compatibles con los controladores de MongoDB. Consulte MongoDB Drivers para obtener más información sobre el controlador para su idioma.

Como las API de Couchbase Server y Amazon DocumentDB son diferentes, tendrá que refactorizar el código para usar las API de MongoDB adecuadas. Puede usar Amazon Q para convertir las llamadas a la API y las consultas de SQL++ en las K/V API de MongoDB equivalentes:

Con el ejemplo de código de Python de Hello Couchbase, Amazon Q genera lo siguiente (extracto):

from pymongo import MongoClient

# Connection parameters
database_name = "travel-sample"

# Connect to Amazon DocumentDB cluster
client = MongoClient('<Amazon DocumentDB connection string>',
                     tls=True,
                     tlsCAFile='global-bundle.pem')

# Get reference to database and collection
db = client['travel-sample']
airline_collection = db['airline']

# upsert document function
def upsert_document(doc):
    print("\nUpsert Result: ")
    try:
        # key will equal: "airline_8091"
        key = doc["type"] + "_" + str(doc["id"])
        doc['_id'] = key # Amazon DocumentDB uses _id as primary key
        result = airline_collection.update_one(
            {'_id': key},
            {'$set': doc},
            upsert=True
        )
        print(f"Modified count: {result.modified_count}")
    except Exception as e:
        print(e)

# get document function
def get_airline_by_key(key):
    print("\nGet Result: ")
    try:
        result = airline_collection.find_one({'_id': key})
        print(result)
    except Exception as e:
        print(e)

# query for document by callsign
def lookup_by_callsign(cs):
    print("\nLookup Result: ")
    try:
        result = airline_collection.find(
            {'callsign': cs},
            {'name': 1, '_id': 0}
        )
        for doc in result:
            print(doc['name'])
    except Exception as e:
        print(e)

# Test document
airline = {
    "type": "airline",
    "id": 8091,
    "callsign": "CBS",
    "iata": None,
    "icao": None,
    "name": "Couchbase Airways",
}

upsert_document(airline)
get_airline_by_key("airline_8091")
lookup_by_callsign("CBS")

Consulte la sección Conexión mediante programación a Amazon DocumentDB para ver ejemplos de cómo conectarse a Amazon DocumentDB en Python, PHP, Go, Java Node.js, C#/.NET, R y Ruby.

Seleccione el enfoque de migración

Al migrar datos a Amazon DocumentDB, hay dos opciones:

Migración sin conexión

Considere la posibilidad de realizar una migración offline cuando:

Couchbase Server 6.x o anterior

Del paquete de Couchbase a la colección Amazon DocumentDB

Exporte los datos con cbexport json para crear un volcado en JSON de todos los datos del bucket. Para la --format opción puedes usar lines o. list

cbexport json \
  --cluster <source cluster endpoint> \
  --bucket <bucket name> \
  --format <lines | list> \
  --username <username> \
  --password <password> \
  --output export.json \
  --include-key _id

Importe los datos a una colección de Amazon DocumentDB mediante mongoimport con la opción adecuada para importar las líneas o la lista:

líneas:

mongoimport \
  --db <database> \
  --collection <collection> \
  --uri "<Amazon DocumentDB cluster connection string>" \
  --ssl \
  --sslCAFile global-bundle.pem \
  --file export.json

lista:

mongoimport \
  --db <database> \
  --collection <collection> \
  --uri "<Amazon DocumentDB cluster connection string>" \
  --ssl \
  --sslCAFile global-bundle.pem \
  --jsonArray \
  --file export.json

Couchbase Server 7.0 o posterior

Para realizar una migración sin conexión, utilice las herramientas cbexport y mongoimport:

Cubo de Couchbase con alcance y colección predeterminados

Exporte los datos con cbexport json para crear un volcado en JSON de todas las colecciones del bucket. Para la --format opción puedes usar lines o. list

cbexport json \
  --cluster <source cluster endpoint> \
  --bucket <bucket name> \
  --format <lines | list> \
  --username <username> \
  --password <password> \
  --output export.json \
  --include-key _id

Importe los datos a una colección de Amazon DocumentDB mediante mongoimport con la opción adecuada para importar las líneas o la lista:

líneas:

mongoimport \
  --db <database> \
  --collection <collection> \
  --uri "<Amazon DocumentDB cluster connection string>" \
  --ssl \
  --sslCAFile global-bundle.pem \
  --file export.json

lista:

mongoimport \
  --db <database> \
  --collection <collection> \
  --uri "<Amazon DocumentDB cluster connection string>" \
  --ssl \
  --sslCAFile global-bundle.pem \
  --jsonArray \
  --file export.json

De las colecciones de Couchbase a las colecciones de Amazon DocumentDB

Exporte los datos con cbexport json para crear un volcado en JSON de cada colección. Usa la --include-data opción para exportar cada colección. Para la --format opción, puede usar lines olist. Usa las --collection-field opciones --scope-field y para almacenar el nombre del ámbito y la colección en los campos especificados de cada documento JSON.

cbexport json \
  --cluster <source cluster endpoint> \
  --bucket <bucket name> \
  --include-data <scope name>.<collection name> \
  --format <lines | list> \
  --username <username> \
  --password <password> \
  --output export.json \
  --include-key _id \
  --scope-field "_scope" \
  --collection-field "_collection"

Como cbexport agregó los _collection campos _scope y a todos los documentos exportados, puedes eliminarlos de todos los documentos del archivo de exportación mediante la búsqueda y el reemplazosed, o mediante el método que prefieras.

Importe los datos de cada colección a una colección de Amazon DocumentDB mediante mongoimport con la opción adecuada para importar las líneas o la lista:

líneas:

mongoimport \
  --db <database> \
  --collection <collection> \
  --uri "<Amazon DocumentDB cluster connection string>" \
  --ssl \
  --sslCAFile global-bundle.pem \
  --file export.json

lista:

mongoimport \
  --db <database> \
  --collection <collection> \
  --uri "<Amazon DocumentDB cluster connection string>" \
  --ssl \
  --sslCAFile global-bundle.pem \
  --jsonArray \
  --file export.json

Migración en línea

Considere la posibilidad de realizar una migración en línea cuando necesite minimizar el tiempo de inactividad y los cambios en curso deban replicarse en Amazon DocumentDB prácticamente en tiempo real.

Consulte Cómo realizar una migración en vivo de Couchbase a Amazon DocumentDB para obtener información sobre cómo realizar una migración en vivo a Amazon DocumentDB. La documentación explica cómo implementar la solución y realizar una migración en vivo de un bucket a un clúster de Amazon DocumentDB.

Couchbase Server 6.x o anterior

Del paquete de Couchbase a la colección Amazon DocumentDB

La utilidad de migración de Couchbase está preconfigurada para realizar una migración en línea de un bucket de Couchbase a una colección de Amazon DocumentDB. Si analizamos la configuración del conector de sumidero, el document.id.strategy parámetro está configurado para usar el valor de la clave del mensaje como valor del _id campo (consulte Propiedades de la estrategia del identificador del conector de sumidero):

ConnectorConfiguration:
  document.id.strategy: 'com.mongodb.kafka.connect.sink.processor.id.strategy.ProvidedInKeyStrategy'
      

Couchbase Server 7.0 o posterior

Cubeta de Couchbase con alcance y recopilación predeterminados

La utilidad de migración de Couchbase está preconfigurada para realizar una migración en línea de un bucket de Couchbase a una colección de Amazon DocumentDB. Si analizamos la configuración del conector de sumidero, el document.id.strategy parámetro está configurado para usar el valor de la clave del mensaje como valor del _id campo (consulte Propiedades de la estrategia del identificador del conector de sumidero):

ConnectorConfiguration:
  document.id.strategy: 'com.mongodb.kafka.connect.sink.processor.id.strategy.ProvidedInKeyStrategy'
      

De las colecciones de Couchbase a las colecciones de Amazon DocumentDB

Configure el conector de código fuente para transmitir cada colección de Couchbase de cada ámbito a un tema diferente (consulte las opciones de configuración del código fuente). Por ejemplo:

ConnectorConfiguration:
  # add couchbase.collections configuration
  couchbase.collections: '<scope 1>.<collection 1>, <scope 1>.<collection 2>, ...'
      

Configure el conector de sumidero para transmitir desde cada tema a una colección independiente de Amazon DocumentDB (consulte Propiedades de configuración del conector de sumidero). Por ejemplo:

ConnectorConfiguration:
  # remove collection configuration  
  #collection: 'test'
  
  # modify topics configuration
  topics: '<bucket>.<scope 1>.<collection 1>, <bucket>.<scope 1>.<collection 2>, ...'

  # add topic.override.%s.%s configurations for each topic 
  topic.override.<bucket>.<scope 1>.<collection 1>.collection: '<collection>'
  topic.override.<bucket>.<scope 1>.<collection 2>.collection: '<collection>'
      

Validación

Esta sección proporciona un proceso de validación detallado para verificar la coherencia e integridad de los datos después de la migración a Amazon DocumentDB. Los pasos de validación se aplican independientemente del método de migración.

Verifique que todas las colecciones existan en el destino

Fuente de Couchbase

opción 1: banco de trabajo de consultas

SELECT RAW `path`
  FROM system:keyspaces
  WHERE `bucket` = '<bucket>'

opción 2: herramienta cbq

cbq \
  -e <source cluster endpoint> \
  -u <username> \
  -p <password> \
  -q "SELECT RAW `path`
       FROM system:keyspaces
       WHERE `bucket` = '<bucket>'"

Amazon DocumentDB como destino

mongosh (consulte Conectarse a su clúster de Amazon DocumentDB):

db.getSiblingDB('<database>')
db.getCollectionNames()

Verifique el recuento de documentos entre los clústeres de origen y destino

Fuente de Couchbase

Couchbase Server 6.x o anterior

opción 1: banco de trabajo de consultas

SELECT COUNT(*)
FROM `<bucket>`

opción 2: cbq https://docs.couchbase.com/server/current/cli/cbq-tool.html

cbq \
  -e <source cluster endpoint> \
  -u <username> \
  -p <password> \
  -q "SELECT COUNT(*)
       FROM `<bucket>`"

Couchbase Server 7.0 o posterior

opción 1: banco de trabajo de consultas

SELECT COUNT(*)
FROM `<bucket>`.`<scope>`.`<collection>`

opción 2: cbq https://docs.couchbase.com/server/current/cli/cbq-tool.html

cbq \
  -e <source cluster endpoint> \
  -u <username> \
  -p <password> \
  -q "SELECT COUNT(*)
       FROM `<bucket>`.`<scope>`.`<collection>`"

Amazon DocumentDB como destino

mongosh (consulte Conectarse a su clúster de Amazon DocumentDB):

db = db.getSiblingDB('<database>')
db.getCollection('<collection>').countDocuments()

Compare los documentos entre los clústeres de origen y de destino

Fuente de Couchbase

Couchbase Server 6.x o anterior

opción 1: banco de trabajo de consultas

SELECT META().id as _id, *
FROM `<bucket>`
LIMIT 5

opción 2: cbq https://docs.couchbase.com/server/current/cli/cbq-tool.html

cbq \
  -e <source cluster endpoint> \
  -u <username> \
  -p <password> \
  -q "SELECT META().id as _id, *
       FROM `<bucket>`
       LIMIT 5"

Couchbase Server 7.0 o posterior

opción 1: banco de trabajo de consultas

SELECT META().id as _id, *
FROM `<bucket>`.`<scope>`.`<collection>`
LIMIT 5

opción 2: cbq https://docs.couchbase.com/server/current/cli/cbq-tool.html

cbq \
  -e <source cluster endpoint> \
  -u <username> \
  -p <password> \
  -q "SELECT META().id as _id, *
       FROM `<bucket>`.`<scope>`.`<collection>`
       LIMIT 5"

Amazon DocumentDB como destino

mongosh (consulte Conectarse a su clúster de Amazon DocumentDB):

db = db.getSiblingDB('<database>')
db.getCollection('<collection>').find({
  _id: {
    $in: [
      <_id 1>, <_id 2>, <_id 3>, <_id 4>, <_id 5>
    ]
  }
})