Informationen
Open Data
Der Begriff „Open Data” beschreibt ein Konzept, bei dem maschinenlesbare und strukturierte Informationen durch die Verwendung offener Nutzungsrechte von jedermann frei verwendet, nachgenutzt und verbreitet werden können. Diese offenen Daten dürfen keine personenbezogenen Daten oder Daten, die dem Datenschutz unterliegen, beinhalten.
Im Gegensatz zu bereits verarbeiteten und meist rechtlich geschützten Informationen handelt es sich bei Open Data oft nicht nur um Text- oder Bildmaterial, sondern um Tabellen, Karten oder Datenbanken. In diesem Zusammenhang wird auch von „Rohdaten” gesprochen, die als Grundlage für die letztendlich aufbereitete Information dienen. Diese Daten können aus den unterschiedlichsten Bereichen der Gesellschaft stammen: Geodaten, Kulturdaten, Daten aus Wissenschaft und Forschung sowie Wetter- und Umweltdaten.
Quelle: https://www.konsortswd.de/wp-content/uploads/RatSWD_Output4.6_BigData.pdf
Open Government Data
Mit „Open Government Data“ sollen Daten der öffentlichen Verwaltung zur Verfügung gestellt werden, um damit die Transparenz staatlichen Handels zu erhöhen. Die bereitgestellten Daten sollen auch Dritten für die Weiterverwendung zur Verfügung gestellt werden, um die wirtschaftlichen Potenziale offener Verwaltungsdaten heben zu können und innovative Wertschöpfungsketten zu ermöglichen. Das Open Data Portal ermöglicht die Recherche in den Metadaten aller derzeit bereitgestellten offenen Verwaltungsdaten im Freistaat Sachsen (z.B. Daten des Statistischen Landesamtes des Freistaates Sachsen, der Stadt Leipzig oder der sächsischen Geodateninfrastruktur).
Lizenzen
Alle Datensätze auf diesem Portal enthalten eine obligatorische Angabe zur Lizenz. Diese gilt auch für zugehörige Ressourcen bzw. Distributionen eines Datensatzes. Datenbereitsteller können unterschiedliche Lizenzen für ihre Datensätze angeben (Liste der Lizenzen: https://www.dcat-ap.de/def/licenses/). Für die Daten aus der öffentlichen Verwaltung werden die Creative Commons CC Zero License sowie die Datenlizenz Deutschland 2.0 (Zero oder Namensnennung) bevorzugt, welche auch die kommerzielle Nutzung entsprechend der Bedingungen mit einschließen. Die vollständigen Nutzungsbestimmungen finden Sie hier:
https://www.govdata.de/web/guest/lizenzen
Creative Commons — CC0 1.0 Universell
Dashboard Metadatenqualität
Das Dashboard betrachtet die Qualität der Metadaten aller im Open Data Portal geharvesteten Kataloge anhand von fünf Kriterien: Auffindbarkeit, Zugänglichkeit, Interoperabilität, Wiederverwendbarkeit und Kontext. Für jedes Kriterium wird die entsprechende Bewertung errechnet. Die Qualitätskriterien basieren auf dem „Metadata Quality Assessment“-Werkzeug des offiziellen Portals für Daten zu Europa. Das Dashboard dient dazu, dass Datenbereitsteller Fehler beheben und die Qualität der Daten und Metadaten nachhaltig verbessern können.
Das Metadaten Dashboard folgt der vom Konsortium des europäischen Daten-Portals entwickelten Methodik https://data.europa.eu/mqa/methodology?locale=de,
mit zwei Vorbehalten:
Der Validierungsdienst DCAT-AP SHACL von data.europa.eu unter https://data.europa.eu/mqa/shacl-validator-ui/data-provision wird vorerst nicht berücksichtigt, da er Kataloge derzeit immer als nicht konform einstuft. Dieser Vorbehalt gilt für die Dimension „Interoperabilität“, Indikator „DCAT-AP Konformität“.
Der Umfang der akzeptierten Formate wurde erweitert und umfasst nun auch Medientypen. So werden beispielsweise sowohl „http://publications.europa.eu/resource/authority/file-type/CSV“ als auch „text/csv“ als gültige nicht-proprietäre Formate betrachtet. Dies gilt für die Dimension „Interoperabilität“, die Indikatoren „Format / Media type aus Vokabular“, „Non-proprietär“ und „Maschinenlesbarkeit“.
API für (register.)opendata.sachsen.de
Alle Informationen zu den auf opendata.sachsen.de sichtbaren Datensätzen sind über die API unter register.opendata.sachsen.de verfügbar. Das heißt, wenn Sie andere Suchanfragen haben, die nicht durch die Angebote auf opendata.sachsen.de abgedeckt werden, können Sie die Informationen über die API herunterladen und nach Belieben verwenden. register.opendata.sachsen.de nutzt EntryScape Registry und die Speicherlösung EntryStore zur Verwaltung von Metadaten.
Allgemeine Dokumentation für die gesamte API:
https://entrystore.org/api/
Detailliertere Informationen zur Funktionsweise der Suche:
https://entrystore.org/kb/search/
Zusätzlich zu dieser allgemeinen Dokumentation finden Sie nachfolgend eine spezifischere und vereinfachte Dokumentation zur Verwendung der API auf register.opendata.sachsen.de.
Aktualisierungsfrequenz
Jede Nacht werden die Informationen der Datensätze aktualisiert, indem Daten von allen registrierten Organisationen gesammelt werden. Das bedeutet, dass die Informationen höchstens 24 Stunden alt sein dürfen, sofern die Datengewinnung aus der Quelle ordnungsgemäß funktioniert.
Nachtdump
Jede Nacht, nachdem die Informationen zu den Datensätzen aktualisiert wurden, wird ein Dump erstellt, in dem alle Informationen im RDF/XML- Format gemäß dem deutschen Profil DCAT-AP-DE gesammelt werden: https://register.opendata.sachsen.de/all.rdf
Datensatzsuche
Die Datensätze werden mit DCAT-AP-DE beschrieben und das verwendete Format ist RDF. Die API ermöglicht Aufrufe zum Abrufen individueller Metadaten zu einzelnen Datensätzen sowie eine Such-API, mit der Sie herausfiltern können, welche Datensätze Sie in einer Liste haben möchten. Sie können sich natürlich auch dafür entscheiden, keinen Filter zu verwenden und eine paginierte Liste mit allen Datensätzen zu erhalten. Der folgende API-Aufruf erledigt genau das: https://register.opendata.sachsen.de/store/search?type=solr&query=rdfType:http%5C%3A%2F%2Fwww.w3.org%2Fns%2Fdcat%23Dataset+AND+public:true&limit=10&offset=0&sort= geändert+bez
Der hier für die Paginierung verwendete Parameter limit kann auf maximal 100 erhöht werden, um mehr Antworten in einem Aufruf zu erhalten. Der Parameter rdfType gibt den Typ der Entitäten an, nach denen wir suchen. In diesem Fall handelt es sich um Datensätze, wenn der Typ lautet: http://www.w3.org/ns/dcat#Dataset.
Beachten Sie, dass zuerst das Zeichen : maskiert wird, da es in der verwendeten Abfragesprache (Solr) eine besondere Bedeutung hat, und dann der Ausdruck URL-codiert wird.
Die Antworten, die Sie zurückerhalten, sind eine JSON-Struktur, die wie folgt aussieht:
{
"offset": 0,
"limit": 10,
"results": 3679,
"resource" {
"children": [
{
"contextId": "10",
"entryId": "37253",
"metadata": {
// Dataset metadata
},
...
},
...
]
}
}
Die Metadaten der Datensätze werden im RDF/JSON-Format ausgedrückt.
Wenn Sie die Identität eines Datensatzes, also seinen URI, kennen, können Sie die folgenden Aufrufe durchführen, um auf seine Metadaten zuzugreifen: https://register.opendata.sachsen.de/store/search?type=solr&query=public:true+AND+resource:URI
Wenn Sie den URI durch die Adresse des Datensatzes (oder eine andere Entität wie Herausgeber, Kontakt, Distribution usw.) ersetzen, vergessen Sie nicht, zuerst das Zeichen : zu maskieren und dann die URL-Kodierung anzugeben.
Beachten Sie, dass Sie in den Suchergebnissen nur Metadaten für genau das erhalten, wonach Sie suchen, z.B. die eigenen Metadaten des Datensatzes. Referenzierte Entitäten sind nicht zulässig, z.B. Distributionen, Herausgeber, Kontakte usw. Diese werden nur über ihre Identifikatoren (URIs) spezifiziert. Dies unterscheidet sich vom Dump oben, in dem alle zugehörigen Entitäten enthalten sind.
Es ist möglich, alle Metadaten für einen bestimmten Datensatz abzurufen, wenn Sie dessen Identität in der API kennen. In der Ergebnisliste wird die Identität jedes Treffers durch eine Kombination aus contextId und entryId angegeben. Mit Hilfe dieser IDs können wir alle Metadaten für einen Datensatz erhalten: https://register.opendata.sachsen.de/store/{contextId}/metadata/{entryId}?recursive=dcat
Sie können zwischen leicht unterschiedlichen Formaten wählen, z.B. durch das Setzen des expliziten Formatparameters &format=text/turtle. Wenn Sie kein Format angeben, erhalten Sie application/rdf+xml.
Harvestingstatus
Wer neugierig ist, wie viele Datensätze es pro Organisation gibt, kann folgenden Aufruf tätigen: https://register.opendata.sachsen.de/charts/orgData.json
