De acuerdo a EstadísticasSe proyecta que la cantidad de datos creados, registrados, compartidos y consumidos en 2022 alcance los 97 zettabytes en todo el mundo y aumente a 181 zettabytes para 2025. Se espera que este crecimiento continúe más allá de 2025 en el futuro previsible.
Por supuesto, los datos están en todas partes, y la capacidad de capturarlos, formatearlos y analizarlos con precisión en busca de nueva información es un factor crítico para el éxito empresarial. La toma de decisiones basada en datos impulsa a las organizaciones, y los datos contextuales revelan nuevas tendencias y patrones en el mercado para identificar oportunidades de innovación.
Sin embargo, a medida que ha aumentado la cantidad de datos, también lo han hecho las fuentes y los formatos de datos. Se puede acceder a los datos desde una variedad de recursos y sistemas en formatos estructurados o no estructurados, incluidos correo electrónico, documentos, videos, imágenes, bases de datos heredadas, sitios web, sistemas de punto de venta y más. La ubicación de estos datos también puede cambiar, de recursos internos a fuentes externas.
Las organizaciones utilizan dos estrategias de integración de datos para combinar toda esta información diferente en una fuente de verdad: ETL y ELT. Si bien están relacionados y logran el mismo resultado, la distinción clave está en los métodos mediante los cuales consolidan los datos.
Antes de profundizar en las diferencias, definamos cada método comenzando con ETL.
¿Qué es ETL?
El proceso de extracción, transformación y carga (ETL) es uno de los métodos que utilizan las organizaciones para recopilar, formatear y almacenar datos. Los datos se copian de la fuente en la fase de extracción, se limpian y estructuran en el área de preparación en la fase de transformación y luego se transfieren al almacén de datos en la fase de carga.
ETL es un flujo de trabajo lineal que funciona bien con almacenes de datos relacionales, ya que requieren transformación de datos para aplicar un esquema y una calidad de datos estrictos antes de cargarlos en el almacén de datos. ELT, por otro lado, se combina mejor con lagos de datos que aceptan datos estructurados. o datos no estructurados, como se explica en la siguiente sección.
Este video da una segunda mirada al proceso ETL:
¿Qué es ELT?
Extraer, cargar, transformar (ELT) es un método más nuevo para integrar datos en toda su organización y evitar silos de datos. Los datos se extraen de su fuente, se cargan en el almacén de datos y se transforman «en reposo». La transformación generalmente ocurrirá según sea necesario en comparación con ETL, donde todos los datos se transforman antes de guardarse.
La razón por la que un ELT puede cambiar el orden de las fases es que los datos generalmente se almacenan en un lago de datos que acepta datos sin procesar, independientemente de su estructura o formato. Esto permite la carga inmediata después de la captura de datos y la posterior conversión para su análisis.
Este video muestra el ELT después de examinar el modelo ETL tradicional:
Diferencias entre ETL y ELT
Las diferencias clave entre ETL y ELT son el orden en que implementan la integración de datos y las circunstancias que permiten que ambos métodos sean efectivos.
Un ETL es más adecuado para los datos locales que deben estructurarse antes de enviarse a un almacén de datos relacionales. Este método normalmente se implementa cuando los conjuntos de datos son pequeños y hay métricas claras que la empresa valora, ya que los conjuntos de datos grandes llevarán más tiempo para procesar y los parámetros están perfectamente definidos antes de la fase de transformación.
ELT es más adecuado para grandes cantidades de datos y se implementa en entornos de nube donde el gran almacenamiento disponible y la potencia informática permiten que Data Lake almacene y transforme rápidamente los datos según sea necesario. ELT también es más flexible en lo que respecta al formato de datos, pero requerirá más tiempo para procesar los datos de las consultas, ya que este paso solo se realiza según sea necesario en comparación con ETL, donde los datos se encuentran inmediatamente después de cargar la consulta.
Este video compara ETL con ELT usando la metáfora de la compañía de pizza:
Las ventajas y desventajas de estos enfoques se explorarán más a fondo.
ETL vs ELT: pros y contras
No hay un ganador claro en el debate ETL versus ELT. Ambos métodos de gestión de datos tienen ventajas y desventajas que se discutirán en las siguientes secciones.
Profesionales de ETL
1. Análisis rápido
Cuando los datos se estructuran y transforman con ETL, las consultas de datos son mucho más eficientes que los datos no estructurados, lo que lleva a un análisis más rápido.
2. La flexibilidad del entorno
ETL se puede implementar en entornos locales o en la nube. Las organizaciones a menudo usan ETL para recuperar datos de sistemas locales y cargarlos en un almacén de datos en la nube.
3. Compatibilidad
El ETL transforma los datos antes de que lleguen a su destino. Cuando las empresas están sujetas a leyes de privacidad de datos como el RGPD, la ETL les permite eliminar, enmascarar o cifrar datos confidenciales antes de cargarlos en el almacén de datos para su cumplimiento.
4. Madurez
El ETL se desarrolló por primera vez y ha estado en práctica durante más de dos décadas. Esto significa que hay más ingenieros con experiencia en implementaciones de ETL en el mercado y más herramientas de ETL para construir canalizaciones de datos en las organizaciones.
Desventajas de ETL
1. Velocidad de carga
Debido a que los datos deben transformarse en el área de preparación antes de cargarlos, no están disponibles tan rápidamente en el almacén de datos como con ELT, donde los datos se cargan tan pronto como se extraen.
2. Rigidez del flujo de trabajo
Si la estructura de datos en el almacén no admite nuevas consultas o análisis (que se consideran valiosos), es posible que sea necesario modificar el proceso de transformación y el esquema del almacén de datos.
3. Volumen de datos
ETL no es ideal para manejar grandes cantidades de datos dado el tiempo que lleva transformarse. En cambio, es más adecuado para conjuntos de datos más pequeños que requieren una manipulación en profundidad y se sabe que tienen datos relevantes para el análisis.
Profesionales de ELT
1. Flexibilidad de formatos de datos
Combinado con el lago de datos, el ELT puede recuperar datos en cualquier formato. No hay necesidad de considerar estructuras o esquemas ya que el lago de datos acepta datos no estructurados.
2. Transformación según sea necesario
En un modelo ELT, la transformación generalmente solo se lleva a cabo cuando se necesita un análisis, en lugar de transformar todos los datos antes de cargarlos, lo que significa una mayor eficiencia de los recursos.
3. Alta disponibilidad de datos
Con ELT, todos los datos se cargan en el lago de datos para que siempre estén disponibles. Esto permite que las herramientas que no requieren datos estructurados interactúen inmediatamente con los datos cargados, en lugar de esperar a que se transformen.
4. Velocidad de carga
Debido a que la transformación ocurre «en reposo», los datos se cargan en el lago de datos tan pronto como están disponibles, lo que brinda acceso inmediato a la información.
5. Velocidad de implementación
A medida que se realiza la transformación según sea necesario, el modelo ELT se puede aplicar a nuevas fuentes de datos para capturar rápidamente información en el lago de datos mientras los ingenieros determinan las mejores formas de consultar y analizar los datos.
Desventajas del ELT
1. Compatibilidad
Las leyes pueden prohibir que las empresas almacenen datos confidenciales, incluso si esta información se elimina en una conversión posterior. La integración de ELT en la nube puede ser un segundo problema, ya que algunas leyes prohíben que la información se almacene en servidores fuera de una región específica o fronteras nacionales.
2. Un enfoque más nuevo
ELT ha alcanzado la mayoría de edad a medida que madura la computación en la nube, lo que significa que no tiene una comunidad tan amplia detrás. Sin embargo, el número de herramientas y profesionales que operan el ELT está aumentando.
3. Entorno flexible
Si bien esto es teóricamente posible en un entorno local, los verdaderos beneficios de ELT solo son posibles en combinación con el poder del almacenamiento y la computación en la nube.
4. Velocidad de análisis
Dado que la transformación solo ocurre después de que se cargan los datos y se requiere el análisis, esto puede ralentizar el tiempo necesario para ver grandes cantidades de datos no estructurados. Sin embargo, la potencia informática disponible en la nube puede mitigar esto.
Este video ofrece otro vistazo a las diferencias clave entre ETL y ELT:
ETL frente a ELT: elige la mejor estrategia de gestión de datos
Tanto los métodos ETL como ELT mejorarán la calidad e integridad de los datos. La mayor fortaleza de ETL es la estructura de datos para un análisis e investigación más profundos, y la mayor fortaleza de ELT es la velocidad y el soporte para varios tipos de datos.
La clave es evaluar ambas estrategias en cuanto a sus ventajas y desventajas, y seleccionar la mejor solución que coincida con las necesidades y prácticas de administración de datos de su organización. Cada uno mejorará la visibilidad en toda la empresa y eliminará los engorrosos silos de datos.
