Desarrolla Enlaces ETL de Datos en AnalyticDB para PostgreSQL Con DMS

Desarrollo de enlaces ETL de datos en AnalyticDB para PostgreSQL utilizando DMS

La sincronización de instancias de PostgreSQL y la optimización de esta base de datos para procesos de OLTP y OLAP son esenciales para empresas que dependen de datos en tiempo real. Este artículo se centra en cómo sincronizar enlaces de datos entre dos instancias de PostgreSQL utilizando Data Management Service (DMS) y Object Storage Service (OSS) para almacenamiento intermedio. Este enfoque proporciona análisis de datos T+1, permitiendo a las organizaciones obtener información valiosa de manera eficiente.

1. Contexto de PostgreSQL en la empresa

Las bases de datos PostgreSQL son altamente valoradas por su estabilidad y sus capacidades integrales, lo que las convierte en una opción popular entre las empresas que gestionan negocios en línea. En este artículo, se describirá cómo se puede utilizar DMS para programar enlaces de datos y aprovechar OSS como almacenamiento intermedio. Esto permite a las empresas llevar a cabo análisis profundos y en tiempo real que son cruciales para la toma de decisiones.

2. Beneficios de la sincronización de datos

• Almacenamiento de datos en OSS de manera económica y permanente.
• Carga de datos desde ApsaraDB RDS para PostgreSQL a AnalyticDB para PostgreSQL en modo serverless para análisis T+1 de alto rendimiento.
• DMS facilita la configuración de un marco de programación automatizado de forma visual y con poco código.

Sin embargo, es importante considerar que los datos incrementales en la tabla fuente RDS pueden archivarse mediante ciertas condiciones, lo que se explicará a continuación.

3. Procedimientos para la implementación (20 a 30 minutos)

3.1 Preparación de recursos

Este procedimiento es aplicable a instancias de ApsaraDB RDS para PostgreSQL que ejecutan versiones de PostgreSQL desde la 9.4 hasta la 13. No es aplicable a la versión 14.

1. Crear una instancia de ApsaraDB RDS para PostgreSQL que ejecute PostgreSQL 9 a 13.
2. Crear una instancia de AnalyticDB para PostgreSQL en modo serverless. Si aún no has activado AnalyticDB para PostgreSQL, asegúrate de hacerlo primero.
3. Activar OSS y crear un bucket con un AccessKey ID y un AccessKey secret.

3.2 Ejecución del procedimiento

La configuración teórica es que los datos de negocio ya están generados en la instancia de ApsaraDB RDS para PostgreSQL. Para facilitar la comprensión, se utilizarán datos de ejemplo en este procedimiento.

1. Acceder a la instancia de ApsaraDB RDS para PostgreSQL y crear la extensión oss_fdw.
2. Crear una tabla fuente y cargar datos de ejemplo.
3. Crear una tabla extranjera para la instancia de ApsaraDB RDS y escribir datos en esta tabla.
4. Acceder a la instancia de AnalyticDB y crear la extensión oss_fdw, así como una tabla de destino.

4. Configuración de tareas de programación y ejecución

Para asegurar la consistencia de los datos, se debe configurar el flujo de tareas. Es necesario que la tarea de extracción de datos de la instancia de ApsaraDB RDS se ejecute antes que la tarea de carga de datos en la instancia de AnalyticDB.

• Activar la programación en la interfaz de DMS y seleccionar un ciclo de programación adecuado.
• Probar el código para asegurarse de que no haya errores antes de publicarlo.

5. Conclusiones sobre el uso de AnalyticDB para PostgreSQL

AnalyticDB para PostgreSQL permite implementar enlaces ETL de datos de manera rápida y eficiente. Los datos pueden moverse desde ApsaraDB RDS para PostgreSQL a OSS y luego ser cargados a AnalyticDB para análisis o almacenados en tablas extranjeras para análisis federados. Esta solución es adecuada para empresas que buscan optimizar sus plataformas de datos en la nube y mejorar su proceso de transformación digital.

Para más información, visita AnalyticDB para PostgreSQL.