Wissenswertes zur Log4j Schwachstelle in Bezug auf die Nutzung von Spatial and Graph

In MyOracleSupport (MOS) wurde ein neuer Artikel (Doc ID 2828303.1) veröffentlicht, welcher die mögliche Gefährdung von Spatial and Graph als Teil der Oracle Datenbank durch die Schwachstellen bei Log4j beschreibt und Handlungsanweisungen gibt.

Betroffen von CVE-2021-44228, CVE-2021-45046, CVE-2021-45104 und CVE-2021-45105 ist demnach Spatial in den Oracle Datenbank Versionen 12.2, 18.x und 21.x. Nicht betroffen sind die Versionen 11.2, 12.1 und 19.x.

Log4j (v2) wurde beginnend mit der Datenbank Version 12.2 für den Network Data Model (NDM) Server als Teil von Spatial and Graph verwendet und ist im Verzeichnis $ORACLE_HOME/md/jlib zu finden. Um den NDM Server aktiv zu nutzen, muß dieser auf einem Application Server deployed werden. Auch nach dem Deployment wird Log4j nicht für das Logging benutzt. Daher können die Log4j .jar Dateien gelöscht werden, ohne daß dies Auswirkungen auf die Funktionalität der Oracle Datenbank hat. Hierfür steht der Patch 33695048 zur Verfügung. Dieser ist anwendbar für die Oktober 2021 Database Release Updates von 12.2 und 21.4. Eine Version dieses Patches für die Version 18.14 wird in Kürze erwartet.

Vollständige Instruktionen gibt es im oben genannten MOS Artikel. Dieser Blog Post ist nur eine kurze Zusammenfassung dieses Artikels.

Weitere allgemeine Hinweise zur Log4j Schwachstelle finden sich auf den Seiten des BSI.

Beschreibungen der einzelnen Schwachstellen sind in der National Vulnerability Database (NVD) zu finden:

• CVE-2021-44228
• CVE-2021-45046
• CVE-2021-45105

Problem mit "version-enabled" Tabellen und SDO Metadaten nach Upgrade auf 19c

Für alle, die den Workspace Manager für Tabellen/Views mit Geodaten nutzen, kann es nach dem Upgrade auf 19c zu folgendem Problem kommen:

ENABLEVERSIONING FAILS TO POPULATE ALL_SDO_GEOM_METADATA DUE TO LACK OF QUOTES IN SDO_INDEX_METADATA_TABLE COLUMN

Dazu gibt es eine MOS Note mit der Doc ID 2761252.1.

Der Fehler wurde bereits behoben. Patches gibt es aktuell für die Versionen 19.9, 19.10 und 19.11. Sie können über diesen Link heruntergeladen werden. 

Spatial Bundle Patches für Oracle Database 19c

Für die Oracle Datenbank 19c gibt es folgende Empfehlungen für Patch Bundles:

• Version 19.9.0.0: Spatial Patch Bundle #32843588
  
• Version 19.10.0.0: Spatial Patch Bundle #32931223

Informationen zum jeweils letzten Patch Bundle für Spatial Funktionen in der Oracle Datenbank finden sich in der MyOracleSupport Note mit der Doc ID 2514624.1.

Aktuelles Papier zu GeoRaster in der Oracle Datenbank

Es gibt ein neues, technisch gehaltenes Papier zum Thema Rasterdaten in der Oracle Datenbank. Darin wird das Feature und dessen Nutzung beschrieben.
Zur Erinnerung: GeoRaster, ob für Satelliten- und Luftbilder oder sogenannte "Gridded" Data wie Wetter- und andere (Sensor-basierte) Messdaten, kann ohne zusätzliche Lizenzkosten mit jeder Edition der Oracle Datenbank genutzt werden kann.

WMS-basierte Hintergrundkarten in Spatial Studio 20.1

Spatial Studio bietet ab der aktuellen Version 20.1 auch die Möglichkeit, eigene Hintergrundkarten auf der Basis von Web Map Services (WMS) zu verwenden. Wie das geht, möchte ich am Beispiel eines WMS der Freien Hansestadt Hamburg zeigen. Ziel ist es, in Spatial Studio frei verfügbare Daten (Open Data) als thematische Ebene (Layer) auf eine WMS-basierte Hintergrundkarte (Basemap) zu legen.
Um zu erfahren, welche Eigenschaften der WMS meiner Wahl hat, setze ich zunächst einen getCapabilities Aufruf (Request) auf den Dienst ab. Die Antwort (Response) ist ein XML Dokument mit detaillierten Informationen. Diese benötige ich für einen getMap Aufruf, der eine Karte als Bild (zusammengesetzt aus einzelnen Kacheln) zurückgibt. Der Aufruf setzt sich aus folgender Basis-URL und Parametern zusammen:

Basis-URL	https://geodienste.hamburg.de/HH_WMS_DOP_belaubt
Bounding Box	BBOX={bbox-epsg-3857}
WMS Version	VERSION=1.3.0
WMS Aufruf	REQUEST=GetMap
Koordinatenbezugssystem	CRS=EPSG:3857
Bildbreite	WIDTH=256
Bildhöhe	HEIGHT=256
Bildformat	FORMAT=image/png
Bildhintergrund	BGCOLOR=0xA6CAF0
Bildtransparenz	TRANSPARENT=FALSE
Thematische Ebene	LAYERS=DOP_belaubt
Darstellung	STYLES=

Auf die Basis-URL folgt zunächst in Fragezeichen, bevor die einzelnen Parameter verbunden durch das logische UND-Zeichen angehängt werden. Zusammengesetzt ergibt dies:

https://geodienste.hamburg.de/HH_WMS_DOP_belaubt?bbox={bbox-epsg-3857}&VERSION=1.3.0&REQUEST=GetMap&CRS=EPSG:3857&WIDTH=256&HEIGHT=256&FORMAT=image/png&BGCOLOR=0xA6CAF0&TRANSPARENT=FALSE&LAYERS=DOP_belaubt&STYLES=

Was auffällt, sind 2 Dinge:

1. Zum einen wird derzeit vorausgesetzt, daß der Dienst das Koordinatenbezugssystem 3875 unterstützt. Das kann im getCapabilities Aufruf geprüft werden.
   
2. Zum anderen ist die besondere Schreibweise für die Bounding Box abweichend von einem typischen getMap Aufruf. Hier wird ein nämlich Platzhalter verwendet, damit sich das spätere Kartenbild entsprechend der gewählten Zoomstufe und den Abmaßen für die Kartenregion anpassen kann.

Der getMap Aufruf kann jetzt in Spatial Studio hinterlegt werden. Dazu werden die Settings aufgerufen und anschließend Basemaps.

Über Add Maps und Raster tiles kann jetzt der WMS hinzugefügt werden. Die Voransicht (Quick View) benötigt ein wenig Zoomen und Verschieben, da noch nicht automatisch auf das Kartenbild gezoomt und zentriert wird. 

Damit das Ganze auch in einem Projekt funktioniert, braucht es noch ein Detail. Die Domain der URL muß für die Verwendung im Browser freigeschaltet werden. Das passiert auch in den Settings mittels der Kachel Safe Domains. Zu den bereits vorhandenen Domains können beliebig weitere hinzugefügt werden. Mein WMS hat die folgende Domain:

https://geodienste.hamburg.de

Hintergrundkarte und frei verfügbare Daten (meine thematische Ebene sind die Kitas in Hamburg - Quelle: Transparenzportal Hamburg) zusammen ergeben dann diese Kartendarstellung.

Probiert´s einfach mal aus.

ASK TOM Office Hours: Die Dezemberausgabe über Spatial Studio 20.1

Am 9. Dezember von 16 - 17 Uhr gibt es wieder eine Ausgabe der ASK TOM Office Hours mit Fokus auf Spatial Technologies.  Vorgestellt werden dieses Mal die neuen Funktionen in Version 20.1 von Spatial Studio. Über diesen Link geht es direkt zur Session.

Wer die Session verpaßt, kann sich wie immer hinterher die Aufzeichnung anschauen.

Neue Version von Spatial Studio jetzt mit Unterstützung für 3D Tiles

Oracle´s Web-basiertes Werkzeug Spatial Studio steht seit dem 2. Dezember 2020 in der Version 20.1 zum Download zur Verfügung. 

Es wurden einige neue Funktionen eingebaut, wie: 

• das gleichzeitige Hochladen mehrerer Datensets 
• das Publizieren von Datensets
• das Laden und Visualisieren von 3D Tiles mittels CesiumJS Plugin
  
• das Laden und Visualisieren von Rasterdaten aus einer Oracle DB Instanz
• das Visualisieren von Vektordaten entlang einer Zeitachse

Mehr Informationen zu den neuen Features gibt es in diesem Blog Post vom verantwortlichen Team, die vollständige Dokumentation hier.

Optisch wurden ein paar Änderungen vorgenommen, so u.a. am Layout der Anwendung und auf der Startseite. Die Administrationsseite wurde inhaltlich gruppiert. Über diese können nun eigene BaseMaps definiert und verwendet werden.

Im Oracle Marketplace gibt es die neueste Version von Spatial Studio aktuell noch nicht. Es ist aber sicher nur eine Frage der Zeit, bis es auch dort veröffentlich ist und direkt deployed werden kann.

Spatial Data Science Conference als Online-Event und kostenfrei

Vom 19.-23. Oktober findet die Spatial Data Conference 2020 als Online-Veranstaltung von jeweils 15 - 18:30 Uhr statt. Die Teilnahme ist kostenfrei. Es wird nur die Registrierung vorausgesetzt.
Während der Veranstaltung besteht die Möglichkeit, sich direkt mit anderen Teilnehmenden zu vernetzen und auszutauschen. Ausstellenden Firmen können auf einem virtuellen Stand besucht werden.    

SpatialHannes agodfrin JeanIhm kpatenge

API für die Nachverfolgung von Kontakten in der Oracle DB

Wer regelmäßig die AskTom Office Hours verfolgt, sollte es schon gesehen haben: Das Oracle Spatial Development Team hat eine Contact Tracing API für die Oracle DB geschrieben, die hervorragend z.B. in APEX-Anwendungen zum Einsatz kommen kann.
Seit Mitte September stehen 2 Versionen dieser API bereit. 

1. Swipe IN/OUT Contact Tracing
   Hierfür werden keine GPS Daten benötigt, sondern die zeitgleiche räumliche Nähe zu Sensoren. Die Analyse erfolgt dann auf der Basis der zeitlichen Überlappungen.
   
   
   
   
   
2. GPS-based Contact Tracing
   Hierfür werden GPS-Daten als Serie von Punktkoordinaten mit zugeordneten Zeitstempeln vorausgesetzt.
   
   
   
   
   

Die APIs sind Bestandteil jeder Oracle Datenbank Lizenz. Detaillierte Informationen gibt es 

• in diesem Foliensatz von Dan Geringer, 
• im Blog Post (Englisch) von Hans Viehmann am 13. September
• und auch als Note (# 2691413.1) in MyOracleSupport.

Ausprobieren ist ausdrücklich erwünscht. Dafür stehen nicht nur die Skripte sondern auch Testdaten bereit (Siehe Supplement Teil im vorher erwähnten Blog Post).

Kartenvisualisierung und Geokodierung in APEX: Wie geht das?

Im Rahmen der AskTom Office Hours haben Carsten Czarski und Honglei Zhu heute (17. September 2020) eine Überblick gegeben in die Nutzung der Map Visualization Components mit APEX.
Das Webinar wurde aufgezeichnet und wird in den kommenden Tagen hier abrufbar sein.

Oracle Learning Library zieht nach Github um

Schritt für Schritt werden die Tutorials von der Oracle Learning Library nicht nur überarbeitet sondern nach Github umgezogen. So auch das Material zu den Oracle Spatial Technologies, welches im Bereich Oracle Database Spatial Github zu finden ist bzw. sein wird.
Im ersten Tutorial (Workshop) geht es einfach los mit einer Kurzeinführung in die Oracle Database Spatial Features. Dafür wird ein Oracle Cloud Free Tier Account verwendet. Weitere Tutorials werden folgen.

Spatial + Location Intelligence TechCast Days vom 7.-9. Juli

Wenn Sie interessiert sind an den Themen Machine Learning, Analytics sowie Spatial + Location Intelligence, dann melden Sie sich zu den TechCast Days an. Diese finden online statt und sind kostenfrei.
Über die nachfolgenden Links finden Sie die Inhalte und können sich registrieren.

• Machine Learning
• Analytics
• Spatial + Location Intelligence

Geometrien bitte immer validieren

Immmer wieder mal "beschwert" sich die Oracle Datenbank über nicht valide, fehlerhafte Geometrien. Hintergrund ist auch, daß in Datenbank Versionen nach 11.2 die internen Prüfungen, ob Geometrien valide sind oder nicht, "verschärft" wurden. Daher sollten Sie nach jedem Laden neuer und Ändern vorhandener Geometrien immer auch eine Validierung dieser vornehmen und nicht valide Geometrien korrigieren.
Was Oracle dazu empfiehlt, hat Hans Viehmann in diesem Blog Post beschrieben.
Die Hinweise gelten nicht für Punktgeometrien, da diese per se immer valide sind.

Neue Webinar-Reihe zu Karten und Geodaten mit der Oracle DB

Am 29. April startet die diesjährige Reihe der AskTOM Office Hours zu Geodaten und Karten in und mit der Oracle Datenbank. Alle wichtigen Informationen dazu gibt es hier.
Die 1. Session übernimmt Siva Ravada, Senior Director of Development bei Oracle im Team Spatial and Graph Development.

Analytics and Data Summit - Unterlagen zum Download verfügbar

Der Analytics and Data Summit hatte auch in diesem Jahr wieder einen eigenen Track zum Thema Spatial. Und wie in den vergangenen Jahren sind die Unterlagen zu den jeweiligen Sessions bzw. Vorträgen kostenfrei zugänglich. Es braucht lediglich eine (kostenfreie) Anmeldung. Wo, das seht Ihr in der nachfolgenden Abbildung markiert durch den roten Pfeil:

Hier ist noch ein Ausschnitt aus der Agenda der 3-tägigen Veranstaltung:

GeoJSON und die Oracle Datenbank

Beda Hammerschmidt ist einer der Experten bei Oracle für JSON in der Datenbank, aber ein "Newbie", was die Geodatenunterstützung in der Datenbank betrifft.
Jetzt hat er sich Letzteres mal genauer angeschaut. Herausgekommen ist sein Video im Rahmen der Ask TOM Office Hours zu GeoJSON in der Oracle DB.

Viel Spaß damit.


Ein Nachtrag:

Für "Punkt-in-Polygon" Abfragen gibt es einen optimierten Spatial Operator mit Namen SDO_POINTINPOLYGON. Ein kleines Anwendungsbeispiel dafür hatte ich in diesem Post veröffentlicht.

Vector Performance Acceleration (VPA) jetzt einschalten für mehr Performance bei Spatial Queries

In meinem Post vom 6.Dezember hatte ich auf die Freigabe der kompletten Locator/Spatial Funktionalität für alle Editionen der Oracle Datenbank hingewiesen.
Das ermöglicht Ihnen jetzt auch, den Parameter SPATIAL_VECTOR_ACCELERATION standardmäßig auf TRUE zu setzen. Auch diese Änderung sollte natürlich vorher in einer nicht-produktiven Instanz getestet werden.

Wie kann der Parameter gesetzt werden?

Auf Instanz-Ebene	ALTER SYSTEM SET SPATIAL_VECTOR_ACCELERATION = TRUE;
In der xxxinit.ora	SPATIAL_VECTOR_ACCELERATION = TRUE;
Auf Session-Ebene	ALTER SESSION SET SPATIAL_VECTOR_ACCELERATION = TRUE;

Ein priviliegierter Account (system oder sys as sysdba) wird jeweils vorausgesetzt.

Spatial Metadaten einfach lesbar ausgeben

In den Spatial (SDO) Metadaten werden die Dimensionen (DIMINFO) in einem Objekt gespeichert. Solche Objekte sind in der Regel mittels SELECT * FORM USER_SDO_GEOM_METADATA nur sperrig lesbar, je nachdem welcher Client für das SELECT verwendet wird.
Es gibt einen eleganten Weg, die einzelnen Attribute im Objekt DIMINFO in Tabellenform anzuzeigen. Das "Zauberwort" hier ist TABLE FUNCTION.


SELECT
  m.table_name
  , m.column_name
  , m.srid
  , d.*
FROM
   user_sdo_geom_metadata m
  , TABLE ( m.diminfo ) d -- Ausgeben der DIMINFO Attribute als Tabelle
ORDER BY
  m.table_name
  , m.column_name;

Das Ergebnis sieht dann so aus:

TABLE_NAME COLUMN_NAME  SRID  SDO_DIMNAME  SDO_LB  SDO_UB  SDO_TOLERANCE
-------------------------------------------------------------------------------------------------------
MYGEOTABLE GEOMETRY 4326 Lat -180 180 .05
MYGEOTABLE GEOMETRY 4326 Lon -90 90 .05
...


Geodatensets über 50MB in Spatial Studio laden

Bei der Installation von Spatial Studio werden verschiedene Einstellungen vorgegeben. Diese können nachträglich angepaßt werden. So u.a. die Größe der Quelldateien, aus welchen die Geodaten importiert werden. Hierfür gilt ein Wert von 50 MB im Standard. Häufig sind jedoch .geojson oder auch Shape-Files größer. Daher empfiehlt es sich, den Parameter dataset_max_size hochzusetzen. (Siehe Änderung auf 200 MB in Abbildung weiter unten.)

Die Parameter-Datei, welche beim 1. Start von Spatial Studio angelegt wird, heißt sgtech_config.json und liegt im Verzeichnis $HOME/.sgtech (Linux) bzw. %HOME%\.sgtech (Windows).

Damit die Änderung aktiv wird, sollte vorher Spatial Studio gestoppt werden (stop.bat bzw. stop.sh). Nach der Parameter-Anpassung können Sie Spatial Studio wieder starten (start.bat bzw. start.sh).

Geokodierung ganz ohne zusätzliche Kosten

Im Oktober hatte ich in meinem Post das neue Werkzeug Spatial Studio vorgestellt. Darüber besteht seit der Lizenzänderung für Spatial and Graph auch die Möglichkeit, ohne zusätzliche Kosten Adressen in Koordinaten bzw. SDO_GEOMETRY Objekte umzurechnen.

Sollen deutsche Adressen in .csv Dateien geokodiert werden, empfehle ich, für den Import der Daten in eine Tabelle zunächst den SQL Developer (auch kostenfrei) zu verwenden. Das hat den schlichten Grund, daß die Importfunktion dort mehr Möglichkeiten bezüglich Anpassung des Datentyps für die Zielspalte hat. Der direkte Import mit Spatial Studio konvertiert deutsche Postleitzahlen automatisch in eine NUMBER Spalte, deren Werte die führende Null verloren haben.

Mit diesem kleinen Umweg über den SQL Developer haben Sie das richtige Ausgangsformat bzw. die gültigen Postleitzahlen und können dann die Geokodierung mit Spatial Studio direkt auf der erzeugten Import-Tabelle anstoßen.