• Saltar a la navegación principal
  • Saltar al contenido principal
  • Saltar al pie de página
logo web Geoinnova

Geoinnova

Consultoría y Formación en SIG y Medio Ambiente

  • Geoinnova
    • Asociación
    • Equipo
    • Visor de proyectos Geoinnova
    • Geolibrería
    • Alianzas Estratégicas
  • Consultoría
    • Consultoría y Desarrollo en Sistemas de Información Geográfica
    • Consultora Ambiental
    • Turismo sostenible
    • Planificación urbana y ordenación del territorio
    • Planes Urbanos de Actuación Municipal – PUAM
    • Geomarketing
  • Servicios
    • Planero Web
    • QElectricGIS
    • Plugins
  • Formación
    • Todos los cursos
    • Webinars
    • Máster y Diplomas
    • Cursos de ArcGIS
    • Cursos de QGIS
    • Cursos de Teledetección
    • Cursos de Medioambiente
  • Medio Ambiente
    • Consultora Ambiental
    • Estudios ambientales para proyectos de energías renovables
    • Estudios de Impacto e Integración Paisajística
    • Evaluación Ambiental Estratégica de planes y programas
    • Estudio de Impacto Ambiental para proyectos
    • Cálculo huella de carbono
    • Educación Ambiental
    • Cursos de Medioambiente
  • Coworking
  • Blog
    • SIG
    • Medio Ambiente
    • Teledetección
    • Programación y Desarrollo SIG
    • Corporativo
  • Contacto
    • Soporte de Clientes – Tickets
SIG

Carga de datos geoespaciales en BigQuery con FME

02/11/2020 Deja un comentario

Almacenar y consultar conjuntos de datos grandes puede consumir una gran cantidad de tiempo y dinero cuando no se cuenta con el hardware y la infraestructura adecuados. Google BigQuery es un almacén de datos para empresas que resuelve este problema, ya que permite realizar consultas de SQL de alta velocidad mediante el poder de procesamiento de la infraestructura de Google. Se puede controlar el acceso tanto al proyecto como a los datos según las necesidades del negocio, por ejemplo, otorgar a otros la posibilidad de ver o consultar tus datos. Por supuesto, BigQuery también soporta datos geográficos. Para acelerar los flujos de trabajo de los clientes con datos geoespaciales, se asociaron con Safe Software, el fabricante de FME.

BigQuery
Fuente: CLX.com

Como ya se ha ido viendo en los artículos del blog , FME es la mejor plataforma de integración de datos diseñada para admitir datos espaciales en la actualidad, y 2020.0 brinda la capacidad de ingerir datos de más de 450 formatos y aplicaciones geográficas y materializarlos como tablas de BigQuery.

FME es ideal para usar cuando necesitas ingerir y transformar uno de los innumerables formatos de datos y archivos geoespaciales y colocar esos datos en BigQuery. FME está diseñado para ayudar a superar los desafíos comunes de integración de datos. Con una interfaz visual, puede crear flujos de trabajo para extraer, transformar, cargar, integrar, validar y compartir datos. Además, puede crear flujos de trabajo basados ​​en eventos para automatizar sus tareas de integración de datos, crear servicios de notificación y aprovechar el procesamiento en tiempo real.

Usar FME para conectarse a BigQuery GIS

Hay cientos de proyecciones y tipos de archivos GIS. Cargarlos en un almacén de datos requiere transformar el tipo de datos y su proyección en la proyección nativa del almacén de datos. En este caso, BigQuery GIS usa el sistema de coordenadas WGS84. Los flujos de trabajo son escalables: cuando crea un flujo de trabajo de integración de datos en FME, puede ingerir un solo archivo o cientos a la vez, transformarlos y cargarlos directamente en tablas de BigQuery, todo dentro de FME.

A continuación, se muestra la interfaz FME Workbench, el entorno de creación para los flujos de trabajo de integración de datos.

BigQuery
Fuente: cloud.google.com

FME admite cientos de formatos, aplicaciones y sistemas, e incluye 493 transformadores para ayudar en las tareas de manipulación de datos, como la creación, validación, generalización y reproyecciones de sistemas de coordenadas de geometría y geografía. Dado que los datos provienen de diferentes fuentes, la validación de datos y el control de calidad es un paso crítico en su flujo de trabajo. Se puede acceder a los transformadores a través de la GUI y le permiten crear canalizaciones de datos espaciales consistentes y repetibles. De esa manera, puede asegurarse de que los datos migrados a almacenes de datos como Google BigQuery sean válidos y cumplan con todos los requisitos.

Para comenzar a utilizar FME integrado en BigQuery tan solo nos haría falta disponer de una licencia de FME 2020 o suoerior, una cuenta de Google BigQuery y tener los permisos necesarios para crear tablas en BigQuery.

Si quieres aprender más sobre cómo manejar en profundidad esta herramienta, no te pierdas nuestro Curso de FME que dará comienzo el día 3 de noviembre.

Autor: Carles Martí Montolío

Referencias:

  • https://cloud.google.com/blog/products/data-analytics/loading-geospatial-data-into-bigquery-with-fme
  • https://community.safe.com/s/article/getting-started-with-google-bigquery

Etiquetas: FME

Apúntate a nuestra newsletter semanal

"*" señala los campos obligatorios

Consentimiento*
*
Este campo es un campo de validación y debe quedar sin cambios.

Información legal

Cumplimos el RGPD (Reglamenteo General de Protección de Datos) y esta en la primera información que debes saber. Responsable: Asociación Geoinnova. Finalidad: Apuntarte en nuestra base de datos para poder enviarte nuestra newsletter y cualquier otra información de interes. Legitimidad: Nos das tu consentimiento para comunicarnos contigo. Derechos: Tienes derecho a acceder, rectificar, limitar y suprimir tus datos. Para una información más ampliada entra a nuestra política de privacidad.

Artículos relacionados

Vista 3D Global Mapper
Los programas LiDAR comerciales más utilizados
13/11/2020
Tableau
Business Intelligence con Tableau y… ¿FME?
06/10/2020
Integración de datos para BIM en FME
14/09/2020

Carles Martí

Ingeniero en Geodesia y Cartografía por la Universidad Politécnica de Valencia. Analista y desarrollador GIS. Es docente del Curso de FME Desktop en Geoinnova (https://geoinnova.org/curso/fme-desktop-gestion-analisis-datos-sig/) Máster en Ingeniería Geomática y Geoinformación. Desde 2012 realizando trabajos de investigación y profesionales con FME Desktop para el control de calidad y la conversión de modelos de datos. Amplios conocimientos en GIS de escritorio, Python, PostGIS y Web Mapping. Ha sido reconocido a nivel nacional e internacional por su trabajo de investigación en el geomarketing aplicado a campañas electorales. Desde 2016 desempeña su labor en el Institut Cartogràfic Valencià con FME Desktop y como freelance realizando trabajos de geomarketing electoral y político.

Interacciones con los lectores

¿Quieres comentarnos algo? Adelante! Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Footer

Menú Legal

  • Aviso Legal
  • Política de privacidad
  • Política de cookies
  • Términos y condiciones

Otras páginas de interes

  • Promociones y descuentos en formación
  • Formación bonificada FUNDAE

Contacto

Calle Luis Morondo Urra nº 8 Bajo A
31006 Pamplona (Navarra)
info@geoinnova.org
+34 948 117 137

Horario de atención

Lunes a Viernes - 09:00 a 14:00 y de 16:00 a 19:00.
Fines de semana y Festivos - Exclusivamente por mail.
Horario de Verano (01 de julio al 30 de agosto): De lunes a viernes de 8 a 15h.
Entidad adherida a Confianza Online Certificado de inscripción en el Registro de huella de carbono, compensación y proyectos de absorción Logo Plazox

© 2023 · Desarrollada por Geoinnova en colaboración con OikosMSP

Gestionar el Consentimiento de las Cookies
Utilizamos tecnologías como las cookies para almacenar y/o acceder a la información del dispositivo. Lo hacemos para mejorar la experiencia de navegación y para mostrar anuncios personalizados. El consentimiento a estas tecnologías nos permitirá procesar datos como el comportamiento de navegación o las identificaciones únicas en este sitio. No consentir o retirar el consentimiento, puede afectar negativamente a ciertas características y funciones.
Funcional Siempre activo
El almacenamiento o acceso técnico es estrictamente necesario para el propósito legítimo de permitir el uso de un servicio específico explícitamente solicitado por el abonado o usuario, o con el único propósito de llevar a cabo la transmisión de una comunicación a través de una red de comunicaciones electrónicas.
Preferencias
El almacenamiento o acceso técnico es necesario para la finalidad legítima de almacenar preferencias no solicitadas por el abonado o usuario.
Estadísticas
El almacenamiento o acceso técnico que es utilizado exclusivamente con fines estadísticos. El almacenamiento o acceso técnico que es utilizado exclusivamente con fines estadísticos anónimos. Sin una requerimiento, el cumplimiento voluntario por parte de su proveedor de servicios de Internet, o los registros adicionales de un tercero, la información almacenada o recuperada sólo para este propósito no se puede utilizar para identificarlo.
Marketing
El almacenamiento o acceso técnico es necesario para crear perfiles de usuario para enviar publicidad, o para rastrear al usuario en un sitio web o en varios sitios web con fines de marketing similares.
Administrar opciones Gestionar los servicios Gestionar proveedores Leer más sobre estos propósitos
Preferencias
{title} {title} {title}