Almacenar y consultar conjuntos de datos grandes puede consumir una gran cantidad de tiempo y dinero cuando no se cuenta con el hardware y la infraestructura adecuados. Google BigQuery es un almacén de datos para empresas que resuelve este problema, ya que permite realizar consultas de SQL de alta velocidad mediante el poder de procesamiento de la infraestructura de Google. Se puede controlar el acceso tanto al proyecto como a los datos según las necesidades del negocio, por ejemplo, otorgar a otros la posibilidad de ver o consultar tus datos. Por supuesto, BigQuery también soporta datos geográficos. Para acelerar los flujos de trabajo de los clientes con datos geoespaciales, se asociaron con Safe Software, el fabricante de FME.
Como ya se ha ido viendo en los artículos del blog , FME es la mejor plataforma de integración de datos diseñada para admitir datos espaciales en la actualidad, y 2020.0 brinda la capacidad de ingerir datos de más de 450 formatos y aplicaciones geográficas y materializarlos como tablas de BigQuery.
FME es ideal para usar cuando necesitas ingerir y transformar uno de los innumerables formatos de datos y archivos geoespaciales y colocar esos datos en BigQuery. FME está diseñado para ayudar a superar los desafíos comunes de integración de datos. Con una interfaz visual, puede crear flujos de trabajo para extraer, transformar, cargar, integrar, validar y compartir datos. Además, puede crear flujos de trabajo basados en eventos para automatizar sus tareas de integración de datos, crear servicios de notificación y aprovechar el procesamiento en tiempo real.
Usar FME para conectarse a BigQuery GIS
Hay cientos de proyecciones y tipos de archivos GIS. Cargarlos en un almacén de datos requiere transformar el tipo de datos y su proyección en la proyección nativa del almacén de datos. En este caso, BigQuery GIS usa el sistema de coordenadas WGS84. Los flujos de trabajo son escalables: cuando crea un flujo de trabajo de integración de datos en FME, puede ingerir un solo archivo o cientos a la vez, transformarlos y cargarlos directamente en tablas de BigQuery, todo dentro de FME.
A continuación, se muestra la interfaz FME Workbench, el entorno de creación para los flujos de trabajo de integración de datos.
FME admite cientos de formatos, aplicaciones y sistemas, e incluye 493 transformadores para ayudar en las tareas de manipulación de datos, como la creación, validación, generalización y reproyecciones de sistemas de coordenadas de geometría y geografía. Dado que los datos provienen de diferentes fuentes, la validación de datos y el control de calidad es un paso crítico en su flujo de trabajo. Se puede acceder a los transformadores a través de la GUI y le permiten crear canalizaciones de datos espaciales consistentes y repetibles. De esa manera, puede asegurarse de que los datos migrados a almacenes de datos como Google BigQuery sean válidos y cumplan con todos los requisitos.
Para comenzar a utilizar FME integrado en BigQuery tan solo nos haría falta disponer de una licencia de FME 2020 o suoerior, una cuenta de Google BigQuery y tener los permisos necesarios para crear tablas en BigQuery.
Si quieres aprender más sobre cómo manejar en profundidad esta herramienta, no te pierdas nuestro Curso de FME que dará comienzo el día 3 de noviembre.
Autor: Carles Martí Montolío
Referencias:
- https://cloud.google.com/blog/products/data-analytics/loading-geospatial-data-into-bigquery-with-fme
- https://community.safe.com/s/article/getting-started-with-google-bigquery
Deja una respuesta