Migración de ClickHouse a la Nube: Procedimientos Prácticos Esenciales

Operaciones Prácticas para la Migración de ClickHouse Autoconstruido a la Nube

La migración de datos desde un ClickHouse autoconstruido a una versión compatible con la nube es un proceso técnico que requiere atención a los detalles y una planificación cuidadosa. Este artículo ofrece una guía paso a paso sobre cómo llevar a cabo esta migración de manera eficiente y efectiva.

Requisitos Previos para la Migración

Antes de iniciar el proceso de migración, asegúrese de que se cumplen los siguientes requisitos:

• El ClickHouse autoconstruido debe tener una cuenta de base de datos y una contraseña configuradas.
• Es necesario contar con permisos de lectura para las bases de datos y tablas, así como permisos para ejecutar comandos del sistema.
• El ClickHouse autoconstruido y el ClickHouse en la nube deben estar interconectados a nivel de red.

Procedimientos para la Migración

La migración se puede realizar a través de la consola de ClickHouse en la nube. A continuación, se detallan los pasos para realizar la migración:

Paso 1: Verificar el ClickHouse Autoconstruido

Antes de iniciar la migración de datos, es crucial modificar y configurar el archivo config.xml dependiendo de si los logs de partes y de consultas están habilitados en el clúster autoconstruido. Esto es esencial para lograr una migración incremental.

        <part_log>
            <database>system</database>
            <table>part_log</table>
            <partition_by>event_date</partition_by>
            <order_by>event_time</order_by>
            <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
            <flush_interval_milliseconds>7500</flush_interval_milliseconds>
        </part_log>
        <query_log>
            <database>system</database>
            <table>query_log</table>
            <partition_by>event_date</partition_by>
            <order_by>event_time</order_by>
            <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
            <flush_interval_milliseconds>7500</flush_interval_milliseconds>
        </query_log>
    

Además, se debe verificar que la versión del ClickHouse autoconstruido sea compatible con la versión del ClickHouse en la nube ejecutando el siguiente comando:

SELECT version();

Paso 2: Crear una Tarea de Migración

Los siguientes pasos deben seguirse para crear una tarea de migración en la consola de ClickHouse en la nube:

1. Inicie sesión en la consola de ClickHouse en la nube.
2. En la página de lista de clústeres, seleccione la lista de instancias de la Edición Comunitaria y haga clic en el ID del clúster objetivo.
3. En la barra de navegación izquierda, haga clic en Migración de Datos y Sincronización > Migrar desde ClickHouse Autoconstruido o en la Nube.
4. En la página de tareas de migración, haga clic en Crear Tarea de Migración.

Paso 3: Obtener Información del Clúster

Para completar la tarea de migración, se necesita obtener el nombre del clúster de instancia y la dirección IP junto al puerto del ClickHouse autoconstruido. Los comandos SQL requeridos son:

SELECT * FROM system.clusters;

SELECT shard_num, replica_num, host_address as ip, port FROM system.clusters WHERE cluster = 'default' and replica_num = 1;

Paso 4: Probar la Conexión y Comenzar la Sincronización

Después de obtener la información necesaria, pruebe la conexión. Si es exitosa, continúe con el proceso. Es importante monitorear la tarea de migración y detener la escritura en el clúster autoconstruido en la etapa final de la migración.

Resolución de Errores Comunes

Durante el proceso de migración, pueden surgir errores, como el siguiente:

UNKNOWN: [ErrorCode]: 101 [ErrorMessage]: Error en la creación de recursos.

El nombre del clúster fuente debe consistir solo en letras minúsculas o números y no puede contener letras mayúsculas. Modifique el nombre del clúster y vuelva a crear la tarea de migración.

Estado de la Tarea de Migración

Después de completar la creación de la tarea, el estado debe mostrarse como En Ejecución. Se recomienda refrescar la lista de tareas para verificar el estado de la migración.

Para más información sobre la migración de ClickHouse, consulte el siguiente enlace: Alibaba Cloud Community.