• Ir a navegación principal
  • Ir al contenido principal
  • Ir a la barra lateral primaria
  • Ir al pie de página
Logo web Geoinnova

Territorio Geoinnova - SIG y Medio Ambiente

El Blog de SIG, Territorio y Medio Ambiente

  • Asociación
    • Quienes somos
    • Geolibrería
    • Ofertas de empleo
    • Alianzas estratégicas
  • Consultoría
    • Consultoría y Desarrollo en Sistemas de Información Geográfica
    • Consultoría de Medio Ambiente
    • Turismo sostenible
    • Planificación urbana y ordenación del territorio
    • Planes Urbanos de Actuación Municipal
    • Geomarketing
    • QElectricGIS
  • Formación
    • Master GIS
    • Todos los cursos
  • Educación Ambiental
    • Organización de Campamentos
    • Organización de Itinerarios Ambientales
  • Coworking
  • Blog
    • SIG
    • Medio Ambiente
    • Teledetección
    • Programación y Desarrollo
    • Corporativo
  • Contacto
  • Inicio Blog
  • SIG
  • Programación y Desarrollo SIG
  • Teledetección
  • Medio Ambiente
  • Corporativo
SIG

Carga de datos geoespaciales en BigQuery con FME

Nov 2, 2020 · Por Carles Martí Dejar un comentario

Almacenar y consultar conjuntos de datos grandes puede consumir una gran cantidad de tiempo y dinero cuando no se cuenta con el hardware y la infraestructura adecuados. Google BigQuery es un almacén de datos para empresas que resuelve este problema, ya que permite realizar consultas de SQL de alta velocidad mediante el poder de procesamiento de la infraestructura de Google. Se puede controlar el acceso tanto al proyecto como a los datos según las necesidades del negocio, por ejemplo, otorgar a otros la posibilidad de ver o consultar tus datos. Por supuesto, BigQuery también soporta datos geográficos. Para acelerar los flujos de trabajo de los clientes con datos geoespaciales, se asociaron con Safe Software, el fabricante de FME.

BigQuery
Fuente: CLX.com

Como ya se ha ido viendo en los artículos del blog , FME es la mejor plataforma de integración de datos diseñada para admitir datos espaciales en la actualidad, y 2020.0 brinda la capacidad de ingerir datos de más de 450 formatos y aplicaciones geográficas y materializarlos como tablas de BigQuery.

FME es ideal para usar cuando necesitas ingerir y transformar uno de los innumerables formatos de datos y archivos geoespaciales y colocar esos datos en BigQuery. FME está diseñado para ayudar a superar los desafíos comunes de integración de datos. Con una interfaz visual, puede crear flujos de trabajo para extraer, transformar, cargar, integrar, validar y compartir datos. Además, puede crear flujos de trabajo basados ​​en eventos para automatizar sus tareas de integración de datos, crear servicios de notificación y aprovechar el procesamiento en tiempo real.

Usar FME para conectarse a BigQuery GIS

Hay cientos de proyecciones y tipos de archivos GIS. Cargarlos en un almacén de datos requiere transformar el tipo de datos y su proyección en la proyección nativa del almacén de datos. En este caso, BigQuery GIS usa el sistema de coordenadas WGS84. Los flujos de trabajo son escalables: cuando crea un flujo de trabajo de integración de datos en FME, puede ingerir un solo archivo o cientos a la vez, transformarlos y cargarlos directamente en tablas de BigQuery, todo dentro de FME.

A continuación, se muestra la interfaz FME Workbench, el entorno de creación para los flujos de trabajo de integración de datos.

BigQuery
Fuente: cloud.google.com

FME admite cientos de formatos, aplicaciones y sistemas, e incluye 493 transformadores para ayudar en las tareas de manipulación de datos, como la creación, validación, generalización y reproyecciones de sistemas de coordenadas de geometría y geografía. Dado que los datos provienen de diferentes fuentes, la validación de datos y el control de calidad es un paso crítico en su flujo de trabajo. Se puede acceder a los transformadores a través de la GUI y le permiten crear canalizaciones de datos espaciales consistentes y repetibles. De esa manera, puede asegurarse de que los datos migrados a almacenes de datos como Google BigQuery sean válidos y cumplan con todos los requisitos.

Para comenzar a utilizar FME integrado en BigQuery tan solo nos haría falta disponer de una licencia de FME 2020 o suoerior, una cuenta de Google BigQuery y tener los permisos necesarios para crear tablas en BigQuery.

Si quieres aprender más sobre cómo manejar en profundidad esta herramienta, no te pierdas nuestro Curso de FME que dará comienzo el día 3 de noviembre.

Autor: Carles Martí Montolío

Referencias:

  • https://cloud.google.com/blog/products/data-analytics/loading-geospatial-data-into-bigquery-with-fme
  • https://community.safe.com/s/article/getting-started-with-google-bigquery

Etiquetas: FME

Artículos relacionados

Vista 3D Global Mapper
Los programas LiDAR comerciales más utilizados
Dic 9, 2020
Teledetección
FME, LiDAR
Tableau
Business Intelligence con Tableau y… ¿FME?
Nov 22, 2020
SIG
FME
Integración de datos para BIM en FME
Nov 22, 2020
SIG
FME
Carles Martí

Carles Martí

Ingeniero en Geodesia y Cartografía por la Universidad Politécnica de Valencia. Analista y desarrollador GIS. Es docente del Curso de FME Desktop en Geoinnova (https://geoinnova.org/cursos/curso-de-fme-desktop-para-la-gestion-y-analisis-de-datos-sig/) Máster en Ingeniería Geomática y Geoinformación. Desde 2012 realizando trabajos de investigación y profesionales con FME Desktop para el control de calidad y la conversión de modelos de datos. Amplios conocimientos en GIS de escritorio, Python, PostGIS y Web Mapping. Ha sido reconocido a nivel nacional e internacional por su trabajo de investigación en el geomarketing aplicado a campañas electorales. Desde 2016 desempeña su labor en el Institut Cartogràfic Valencià con FME Desktop y como freelance realizando trabajos de geomarketing electoral y político.

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Barra lateral primaria

Suscríbete al boletin

    Si te apetece puedes dejarnos tu nombre para que los correos tengan un trato personalizado

    Mediante el envío de mis datos personales confirmo que he leído y acepto la política de privacidad

    RESPONSABLE: Asociación Geoinnova. FINALIDAD: envío de publicaciones, promociones e información sobre cursos y eventos. LEGITIMACIÓN: tu legítimo consentimiento. DESTINATARIOS: Active Campaign con titular Active Campaign LLC, alojada en EEUU y suscrita al EU PrivacyShield. DERECHOS: acceso, rectificación, limitación, supresión de los datos (en [email protected])y a presentar reclamación ante una autoridad de control. INFORMACIÓN ADICIONAL: Política de privacidad.

    La último

    instalación plugin hostpot analysis paso 1_2

    Cómo instalar el plugin Hotspot Analysis en QGIS

    Python para ArcGIS

    Usando Python para ArcGIS: ArcPy

    Los Objetivos de Desarrollo Sostenible están orientados a conseguir un mundo sostenible en todos los aspectos.

    ¿Qué son los ODS u Objetivos de Desarrollo Sostenible?

    Ejemplo de clase de la API PyQGIS de QGIS

    PyQGIS para la programación en QGIS con Python

    huella de carbono

    Huella de carbono aplicada a planes y proyectos sometidos a evaluación ambiental

    Clonar repositorio Laravel desde Github

    Cómo clonar un proyecto de Laravel desde GitHub

    Cursos SIG y MA Asociación Geoinnova

    Agenda de cursos para el mes de Abril 2021

    Footer

    Sobre Nosotros

    Territorio Geoinnova pretende ofrecer noticias y formación sobre el medio ambiente y las tecnologías de la información geográfica con interés a dichos sectores profesionales.

    Legal

    • Nota Legal

    El blog y todo su contenido se encuentra bajo una licencia de Creative Commons Reconocimiento-NoComercial-CompartirIgual 3.0 Unported.

    Todas las categorías

    • Actualidad Ambiental (86)
    • Alimentación Saludable (17)
    • Corporativo (124)
    • Formación (81)
    • Geolibrería (40)
    • Medio Ambiente (957)
    • Patrocinado (13)
    • Programación y Desarrollo SIG (22)
    • SIG (495)
    • Tecnología (69)
    • Teledetección (25)

    © 2021 · Desarrollada por Juan María Arenas - OikosMSP