Infos zum BIWA Summit 2017 vom 31. Januar bis 2. Februar 2017

Der nächste BIWA Summit ist nicht mehr weit weg. Er findet in 2017 vom 31.1. - 2.2. in San Francisco statt. Auch aus Europa und Deutschland werden in diesem Jahr wieder Projekte vorgestellt.
Neben den Themen

• Data Warehousing
• Advanced Analytics
• IoT
• Business Intelligence
• Data Vizualization
• Big Data
• ...

sind natürlich spannende Beiträge rund um Spatial Technologies auf RDBMS und Big Data Plattformen im Programm.

So u.a.

• Spatial Data to Support Business Processes at an Airport (Flughafen München, DE)
• Improving Emergency Services Planning for Bavaria with an Oracle Spatial and Graph Routing Solution (Institut für Notfallmedizin des Uniklinikums München, DE)
• Capturing Reality with Point Clouds: Applications, Challenges and Solutions (Hasso-Plattner-Institut, DE)
• Analysing the Panama Papers with Oracle Big Data Spatial and Graph
• Getting Started with Maps in OBIEE, BICS and Data Visualization Desktop
• Bring Location Intelligence To Big Data Applications on Spark, Hadoop, and NoSQL
• Apply Location Intelligence and Spatial Analysis to Big Data with Java
• Maps, 3-D, Tracking, JSON, and Location Analysis: What's New with Oracle's Spatial Technologies?
• Bring Location Intelligence To Big Data Applications on Spark, Hadoop, and NoSQL
• ...

Planen Sie rechtzeitig, damit Sie den Summit auf keinen Fall verpassen.

ESRI und Oracle - Das geht sehr gut zusammen und ist vor allem auch schnell

Das ESRI Software sehr gut mit der Geodatenhaltung in der Oracle Datenbank kann, ist sicher vielen aus der täglichen Praxis bekannt. Das ESRI-basierte Applikationen auch vom "Spatial Turboschalter" in Version 12.1, Vector Performance Accelerator genannt, profitieren, zeigt eine neue Kundenreferenz mit der Electricity Authority of Cyprus.

Lesen Sie im Beitrag "Electricity Authority of Cyprus Leverages Integrated Spatial Data Management Platform to Compete in Newly Liberalized Electricity Market" mehr über die spezifischen Herausforderungen und Ergebnisse.

Was kann Spatial and Graph 12.2? Ein erster Überblick.

Oracle Spatial and Graph wird auch in der Version 12.2 wieder einige neue Features bereitstellen.
Wer noch keinen Oracle Datenbank Cloud Service abonniert hat, sich aber dennoch schon informieren möchte, kann dies im Abschnitt Changes in Oracle Database 12c Release 2 (12.2) in der Online Documentation. Die ist nämlich auch schon für 12.2 verfügbar.

Mehr Informationen zu den einzelnen Punkten werden wir in diesem Blog in den nächsten Wochen und Monaten aufgreifen. Zusätzlich können Sie uns gern uns Ihre Erfahrungen mit dem einen oder anderen (neuen) Feature zusenden, um sie hier im Blog auch anderen Interessierten zugänglich zu machen.

Hier sind einige ausgewählte Features:

• Unterstützung für GeoJSON (u.a. JSON_VALUE mit RETURNING SDO_GEOMETRY, SDO_UTIL.FROM_GEOJSON, SDO_UTIL.TO_GEOJSON)
• Unterstützung für weitere Geodienste bzw. aktuellere Dienste-Versionen (CSW 2.0.2, WCS 2.0.1)
• Neue, vereinheitlichte Administrations-Konsole für Geodienste
• Location Tracker Service
• Location Data Enrichment
• Erweiterungen an der Routing Engine
• Neue Spatial Indexes

Neues Whitepaper zu Spatial and Graph Analytics mit Oracle DB 12c

Es gibt ein aktuelles Whitepaper zu Spatial und Graph Analytics bezogen auf die Oracle DB 12c. Autor ist Siva Ravada, Leiter des Entwicklungsteams bei Oracle für Spatial and Graph.
In den Ausführungen zum Graph-Teil geht es u.a. um Linked Open Data, RDF (Resource Description Framework), SPARQL oder die Property Graph Unterstützung in 12.2.
Zu den Erweiterung im Spatial Bereich seit Version 12.1 wurde hier im Blog schon Einiges geschrieben. Was in 12.2 kommt, ist u.a. die GeoJSON-Unterstützung. Das kann bereits über den Oracle Database Cloud Service getestet werden.

Punkte in Linien konvertieren - Ein performanter und einfacher Lösungsansatz

In diesem Blog Posting möchte ich einen einfachen Ansatz zum Konvertieren von Punkten in Linien vorstellen. Dieser basiert auf einem Vorschlag von H-J Deicher, dem an dieser Stelle der Dank gilt.

Ausgangssituation ist eine Tabelle mit Punkten (POINTS). Über einen Schlüsselwert (TRACK_ID) sowie einem Wert für die Reihenfolge (ORDER_ID) sollen die Punkte zu Linien zusammengefasst und als Geometrien in eine Tabelle (LINES) geschrieben werden.

Derzeit gibt es noch keine native POINTSTOLINE Funktion in Oracle Locator bzw. Spatial and Graph. Aber ein SELECT Statement mit INSERT in die Ziel-Tabelle kann Abhilfe schaffen.

insert into lines (track_id, geom)
select l.track_id, l.geom
from (
  select  p2.track_id,
          sdo_geometry (
            2002, 3785, null,
            sdo_elem_info_array(1,2,1),
            cast (
              multiset (
                select t.column_value
                from points p1,
                     table (
                       sdo_ordinate_array(p1.geom.sdo_point.x, p1.geom.sdo_point.y)
                     ) t
                where p1.track_id = p2.track_id
                order by p1.order_id, rownum
              )
              as sdo_ordinate_array
            )
          ) as geom
  from points p2
  group by p2.track_id
  order by p2.track_id
) l;

Ohne irgendwelche Optimierungen bereits im Blick zu haben, werden auf diese Weise

• in 40 Sekunden
• 61.440 Tracks
• aus 12.283.904 Punkten
• auf einem Standard-Laptop mit lokaler Oracle DB 12.1.0.1 Instanz

generiert und persistiert.

Worauf ist zu achten, um wirklich performant zu sein?

• Für die Punkt-Tabelle wurde ein zusammengesetzer Index auf die Spalten TRACK_ID und ORDER_ID gelegt.
• Es ist immer empfehlenswert, dem Optimizer aktuelle Statistiken anzubieten.
• Die Zieltabelle kann NOLOGGING gesetzt werden.

Welche Optimierungsansätze für möglichst noch bessere Performance gibt es?

• Ein erster Ansatz ist, mit Parallelisierung zu arbeiten.
• Wenn sehr viele Punkte zu jeweils einem Track gehören, kann auch die Partitionierung der Punkt-Tabelle auf Basis der TRACK_ID sinnvoll sein.

Probieren Sie es einfach aus. Ich bin auf Ihre Ergebnisse gespannt.

DOAG 2016: "Eine Karte sagt mehr als 1000 Worte" von its-people

Die DOAG 2016 hatte wieder einige Beiträge rund um das Thema Geodatennutzung/-analyse und -visualisierung zu bieten. So u.a. von Sven Brömer (its-people). Der Vortrag ist auf der Webseite von its-people jetzt schon abrufbar.

Neu veröffentlicht: Bezugssystemwechsel auf ETRS89/UTM - Grundlagen, Erfahrungen und Empfehlungen

Der Runde Tisch GIS e.V. hat einen neuen Leitfaden zum Thema Bezugssystemwechsel auf ETRS89/UTM vorgestellt. Er ist über diesem Link kostenlos zum Download verfügbar.

Webinar-Empfehlung: Get the most from your data, developers and data scientists using Big Data spatial analysis on Hadoop and NoSQL

Tuesday, July 19th 2016
17:00 - 18:00 Uhr CEST | 8:00 - 9:00 am US Pacific

REGISTER HERE TODAY

Hosted by Directions Magazine

Overview

Just the facts

Hadoop, NoSQL, Spark, and related technologies are at the heart of a powerful new development and analytic platform that enterprises are using to lower cost and discover insights from a wide range of big data sources. Data scientists and software developers use these distributed frameworks to create a new class of solutions designed to analyze and process massive amounts of data. Oracle Big Data Spatial and Graph offers a set of high-performance, commercial spatial analysis components, services and data models that bring location analysis to Big Data workloads and enable Big Data processing of data for use in geospatial workflows.

A geo-enrichment service provides location identifiers to big data, enabling data harmonization based on location. Dozens of pre-built geographic and location analysis functions can be used for analyzing, categorizing and filtering data. For geo-processing and raster processing workloads, the ability to perform large-scale operations for cleansing data and preparing imagery, sensor data, and raw input data is provided. Results of spatial analysis and processing can be displayed using an HTML5 map visualization API.

We will share an overview of the new features, demos and examples showing how to invoke these services for your application, and use cases. Learn how developers and data scientists can handle spatial and raster big data analytics and processing workloads.

In this webinar you will learn

• Where Hadoop and related technologies fit in vector and raster workflows and how to best use this analytic and processing platform
• How to discover location relationships and patterns in big data among customers, organizations, and assets, and enrich your big data with location
• How to enrich, categorize, harmonize, and visualize big data with location services
• How to handle the most challenging spatial and raster analytic and data processing workloads

More details

Oracle is the world's most complete, open, and integrated business software and hardware systems company. Oracle is a leader for geospatial technologies, offering a wide range of 2D and 3D spatial capabilities based on OGC and ISO standards, for database, middleware, big data, and cloud platforms. Oracle’s spatial technologies are used by numerous 3rd party tools, components, and solutions, as well as by Oracle's enterprise applications for on-premise and cloud deployment.

Speakers

• James Steiner, Vice President, Server Technologies, Oracle
• Dr. Siva Ravada, Senior Director of Development, Oracle

Who should attend

Chief information officers; chief data officers; Big Data, IT and GIS developers; Data scientists; anyone responsible for innovation, analytics, Big Data strategy and implementation

Die Hit-Statistik: Das Sieger Posting

Nach wie vor ungebrochen ist das Interesse am Spitzenreiter unserer Einträge im Blog, dem Beitrag Gauss-Krüger: EPSG oder nicht EPSG: Das ist hier die Frage!.

Aktuelle Patchempfehlung aus dem Development für Oracle DB Version 12.1.0.2

Für NutzerInnen von Oracle Locator bzw. Oracle Spatial and Graph in der Oracle DB Version 12.1.0.2 werden die nachfolgenden Patches empfohlen. Diese können wie immer von MyOracleSupport heruntergeladen werden.

• 21453611 - Spatial index statistics patch bundle (many improvements)
• 22079444 - 12.1.0.2 spatial patch bundle - Also includes faster sdo_intersection with spatial_vector_acceleration=true (supersedes 21376696)
• 21925655 - Parallel CTAS and INSERT SELECT for non-point SDO_GEOMETRY
• 22246206 - Improve mechanism for spatial feature check in 12c
• 8617254 - UNION ALL, enables spatial queries against ESRI Multiversion Views

Das A und O: Valide sind Geometrien immer nur im Zusammenhang mit der gewählten Toleranz

Ich nehme eine aktuelle Anfrage zum Anlass, dieses Blog-Posting zu verfassen.

Es geht darum, noch mal deutlich zu formulieren, dass nur valide Geometrien auch valide Ergebnisse beim Verarbeiten und Abfragen der Daten ergeben können. Dabei spielt eine wichtige Rolle,

1. welche Genauigkeit die jeweiligen Stützpunktwerte haben
2. welche Toleranz im SDO_GEOM.VALIDATE_GEOMETRY-Aufruf verwendet wird und
3. welche Toleranz für die zu validierende Geometrie in den Metadaten gesetzt ist.

So ergibt die folgende Validierung den Wert TRUE, was bedeutet, dass die Geometrie valide im Sinne der Simple Feature Spezifikation des OGC ist.

select sdo_geom.validate_geometry_with_context(MDSYS.SDO_GEOMETRY(
  2007,
  31466,
  NULL,
  MDSYS.SDO_ELEM_INFO_ARRAY(1,1003,1,19,1003,1,27,1003,1,35,1003,1,43,
    1003,1,51,1003,1,59,1003,1,69,1003,1,79,1003,1,103,1003,1,113,1003,1),
  MDSYS.SDO_ORDINATE_ARRAY(2569987.15487036,5652633.72009691,
    2569982.44144293,5652632.79777397,2570000.917,5652525.208,
    2570011.003,5652526.994,2569992.29925865,5652634.72675023,
    2569987.62584567,5652633.81225731,2570005.908,5652527.401,
    2570005.408,5652527.315,2569987.15487036,5652633.72009691,
    2570119.968,5652441.443,2570119.96012695,5652441.51339433,
    2570119.96202326,5652440.77241008,2570119.968,5652441.443,
    2570119.87330375,5652439.10112505,2570119.953,5652439.76,
    2570119.9542805,5652439.90367167,2570119.87330375,5652439.10112505,
    2570119.61351795,5652437.50659172,2570119.751,5652438.09,
    2570119.77515959,5652438.28973524,2570119.61351795,5652437.50659172,
    2570119.17817256,5652435.9275605,2570119.365,5652436.452,
    2570119.42361135,5652436.70071863,2570119.17817256,5652435.9275605,
    2570118.46189878,5652434.17330482,2570118.8,5652434.866,
    2570118.91985803,5652435.20245104,2570118.46189878,5652434.17330482,
    2570104.201,5652534.484,2570119.142,5652446.861,
    2570119.781,5652443.115,2570119.147,5652446.865,
    2570104.201,5652534.484,2570102.316,5652545.537,
    2570099.75132948,5652560.58626676,2570102.315,5652545.536,
    2570104.201,5652534.484,2570102.316,5652545.537,
    2569941.5,5652617.953,2569941.727,5652616.789,
    2569947.536,5652586.967,2569962.583,5652589.923,
    2569955.28,5652627.483,2569952.23743088,5652626.88835588,
    2569953.411,5652620.76,2569948.384,5652624.128,
    2569947.99921027,5652626.06027191,2569944.8604423,5652625.4470043,
    2569945.261,5652623.521,2569941.5,5652617.953,
    2570018.291,5652639.81,2570017.805,5652639.715,
    2570035.905,5652533.124,2570036.386,5652533.211,
    2570018.291,5652639.81,2570048.49822353,5652645.72702356,
    2570048.02308523,5652645.63384714,2570066.04,5652539.626,
    2570066.508,5652539.706,2570048.49822353,5652645.72702356)), 
  0.0005) from dual
----
TRUE

Wird die Toleranz im konkreten Fall nur um eine Nachkommastelle verringert (gelockert), dann ist die Geometrie schon nicht mehr valide.

select sdo_geom.validate_geometry_with_context(MDSYS.SDO_GEOMETRY(
  2007,
  31466,
  NULL,
  MDSYS.SDO_ELEM_INFO_ARRAY(
    1,1003,1,
    19,1003,1,
    27,1003,1,
    35,1003,1,
    43,1003,1,
    51,1003,1,
    59,1003,1,
    69,1003,1,
    79,1003,1,
    103,1003,1,
    113,1003,1),
  MDSYS.SDO_ORDINATE_ARRAY(2569987.15487036,5652633.72009691,
    2569982.44144293,5652632.79777397,2570000.917,5652525.208,
    2570011.003,5652526.994,2569992.29925865,5652634.72675023,
    2569987.62584567,5652633.81225731,2570005.908,5652527.401,
    2570005.408,5652527.315,2569987.15487036,5652633.72009691,
    2570119.968,5652441.443,2570119.96012695,5652441.51339433,
    2570119.96202326,5652440.77241008,2570119.968,5652441.443,
    2570119.87330375,5652439.10112505,2570119.953,5652439.76,
    2570119.9542805,5652439.90367167,2570119.87330375,5652439.10112505,
    2570119.61351795,5652437.50659172,2570119.751,5652438.09,
    2570119.77515959,5652438.28973524,2570119.61351795,5652437.50659172,
    2570119.17817256,5652435.9275605,2570119.365,5652436.452,
    2570119.42361135,5652436.70071863,2570119.17817256,5652435.9275605,
    2570118.46189878,5652434.17330482,2570118.8,5652434.866,
    2570118.91985803,5652435.20245104,2570118.46189878,5652434.17330482,
    2570104.201,5652534.484,2570119.142,5652446.861,
    2570119.781,5652443.115,2570119.147,5652446.865,
    2570104.201,5652534.484,2570102.316,5652545.537,
    2570099.75132948,5652560.58626676,2570102.315,5652545.536,
    2570104.201,5652534.484,2570102.316,5652545.537,
    2569941.5,5652617.953,2569941.727,5652616.789,
    2569947.536,5652586.967,2569962.583,5652589.923,
    2569955.28,5652627.483,2569952.23743088,5652626.88835588,
    2569953.411,5652620.76,2569948.384,5652624.128,
    2569947.99921027,5652626.06027191,2569944.8604423,5652625.4470043,
    2569945.261,5652623.521,2569941.5,5652617.953,
    2570018.291,5652639.81,2570017.805,5652639.715,
    2570035.905,5652533.124,2570036.386,5652533.211,
    2570018.291,5652639.81,2570048.49822353,5652645.72702356,
    2570048.02308523,5652645.63384714,2570066.04,5652539.626,
    2570066.508,5652539.706,2570048.49822353,5652645.72702356)), 
  0.005) from dual
----
13349 [Element <7>] [Ring <1>][Edge <4>][Edge <2>]

Die konkrete ORA-Fehlermeldung bedeutet, dass ein sich selbst schneidendes Polygon "entstanden" ist.
Zwei Kanten im 7. Element von Ring 1 überschneiden sich.

Zusätzliche Hinweise gibt es natürlich im Handbuch.

Wünsch Dir Dein Locator oder Spatial Feature

Welches Feature soll Ihrer Meinung nach als Teil von Oracle Locator / Spatial and Graph in einer zukünftigen Oracle DB Version enthalten sein?

Lassen Sie uns Ihre Ideen und Wünsche wissen. Bis Ende Juni können Sie
mir diese per Email zusenden.

Hilfreich sind:

Feature Request Titel

Kurzbeschreibung

Abbildung / Zusätzliche Hinweise / Beschreibung Anwendungsfall, etc.

Alle Ideen werden in die Liste der Enhancement Requests aufgenommen und im Juli mit dem Oracle Spatial Product Management Team besprochen.

Wir freuen uns auf Ihren Input !!

Neue Spalte(n) in den Geocoding-Tabellen für die Oracle DB 12c

Den Anstoß zu diesem Blog-Eintrag habe ich von Cord Artmeier vom Oracle Partner g.on experience erhalten. Cord, vielen Dank dafür.

Cord hatte ein Problem mit dem Reverse Geocoding in der Version 12c der Oracle Datenbank entdeckt. Sein Aufruf

select sdo_gcdr.reverse_geocoding (...) from dual;

gab NULL zurück. Nicht das erwartete Ergebnis im Vergleich zum gleichen Aufruf mit der Version 11.2. Und noch nicht einmal eine Fehlermeldung, an der er sich orientieren konnte.

Was war der Grund für dieses Verhalten?
Die dem Geocoding zugrunde liegenden Referenzdaten in den GC_xxx-Tabellem wurden zu Testzwecken aus einer 11.2 Datenbank direkt in die neue aufgesetzte 12.1 Datenbank übernommen.
Für die Version 12.1 der Geocoding Engine (als Teil der Option Oracle Spatial and Graph) wurden jedoch einigen GC-Tabellen neue Spalten hinzugefügt.
So die Spalte TRANSLITERATION_TYPE in den Tabellen GC_AREA_xxx und GC_ROAD_xxx. Diese fehlte für einen erfolgreichen Geocoding- bzw. Reverse Geocoding-Aufruf, ein Umstand, der schnell erkennbar wurde beim Prüfen des Tracefiles.

Diese Änderung ist bisher nur im Oracle Spatial and Graph Geocoder Developer’s Guide vermerkt, nicht jedoch im Oracle Spatial and Graph Developer’s Guide 12.1. Das sollte aber bald nachgebessert sein.

Und hier noch mal der Hinweis darauf, wie einfach Geocoding und Reverse Geocoding direkt in der Oracle Datenbank geht:

SQL> select sdo_gcdr.geocode(
  2           user,
  3           sdo_keywordarray('Schiffbauergasse 14','Potsdam'),
  4           'DE',
  5           'DEFAULT')
  6    from dual;

SDO_GCDR.GEOCODE(USER,SDO_KEYWORDARRAY('SCHIFFBAUERGASSE14','POTSDAM'),'DE','DEF
--------------------------------------------------------------------------------
SDO_GEO_ADDR(0, SDO_KEYWORDARRAY(), NULL, 'Schiffbauergasse', NULL, NULL, 'Potsd
am', 'Potsdam', 'BRANDENBURG', 'DE', '14467', NULL, '14467', NULL, '14', 'SCHIFF
BAUER', 'GASSE', 'F', 'F', NULL, NULL, 'R', .75, 748777426, '??X?#ENUT?B281CP?',
 1, 'DEFAULT', 13.07432, 52.40411, '??010101010??404?', 8307)

SQL> select sdo_gcdr.reverse_geocode(
  2           user,
  3           sdo_geometry(2001,8307,sdo_point_type(13.07432,52.40411,null),null,null),
  4           'DE')
  5    from dual;

SDO_GCDR.REVERSE_GEOCODE(USER,SDO_GEOMETRY(2001,8307,SDO_POINT_TYPE(13.07432,52.
--------------------------------------------------------------------------------
SDO_GEO_ADDR(0, SDO_KEYWORDARRAY(), NULL, 'Schiffbauergasse', NULL, NULL, 'Berli
ner Vorstadt', 'Potsdam', 'Brandenburg', 'DE', '14467', NULL, '14467', NULL, '14
', 'SCHIFFBAUER', 'GASSE', 'F', 'F', NULL, NULL, 'R', .750735339, 748777426, '',
 1, 'DEFAULT', 13.0743195, 52.404111, '???14141414??404?', 8307)

Präsentationen zum BIWA Summit 2016 online verfügbar

Auch dieser Summit ist jetzt schon wieder Geschichte. Und wie im vergangenen Jahr haben sich die Data Warehouse- und Business Intelligence-Interessierten mit den Spatial SpezialistInnen zusammengetan.
Aus Europa gab es erfreulich viel Beteiligung. Das kann gern so bleiben (oder noch mehr werden). Also reservieren Sie sich einfach schon mal die Zeit Ende Januar/Anfang Februar in 2017.

Beiträge gab es rund um die Themen:

• Advanced Analytics
• BI and Visualization
• Big Data
• Cloud Computing
• Data Warehousing and ETL
• Internet of Things
• Oracle Spatial

Und hier ist der Link zum Download und Nachlesen der einzelnen Beiträge.