Am letzten Samstag fand in Berlin der Google Developer Day Germany statt (nachzulesen unter #gddde  z.B.auf Google+ und Twitter). Dieses Event war das achte der weltweiten Developer Day Tour, bei der Google jährlich seine Neuerungen dem geneigten und technisch interessierten Publikum offenbart.

Thema dieses Blogbeitrags ist neue Produkt BigQuery v2: ein Betriag zur Prediction API folgt in Kürze.

Michael Manoochehri, Developer Advocate für die beiden Themen hatte beide Themen in Berlin vorgestellt, aber auch am Mittwoch vorher im Rahmen einer Veranstaltung bei der Google Technology User Group in München. ( Seine Originalfolien findet Ihr unter http://gdd-2011-cloud-presentation.appspot.com/#1 )

Zu BigQuery:

Mit BigQuery gibt Google Entwickler Werkzeuge in die Hand, große Datenmengen schnell (d.h. mit Antwortzeiten im Sekundenbereich) auswerten zu können. Als technische Schnittstelle steht eine SQL-artige Abfragesprache bereit.

Um Daten mit Hilfe von BigQuery abfragen zu können, muß Google sie erstmal bereitgestellt bekommen: der einzige Weg, um das zu erreichen, führt über den Google Cloud Storage.

Google Cloud Storage

Er ist als großer No-SQL-artiger Datenspeicher implementiert, der die Speicherung von bis zu TB-großen Dateien ermöglicht. Der Zugriff auf die Daten kann dan via Kommandozeile, Web-Interface oder REST-API erfolgen. Zur Authentifizierung von Benutzern steht OAuth 2.0 zur Verfügung: Access Control Lists erlauben die Einschränkung des Zugriffs auf den eigenen Nutzer (private), ausgewählte weitere Nutzer (shared) und den öffentlichen Zugang (public). Die Aktivierung des Speicherplatzes erfolgt über die Google API Console: obwohl eine kostenfreie “Free Tier” (von bis 5GB) vorgesehen ist, müssen bei der Anmeldung Zahlungsdaten angegeben werden.

Mindestens für Entwicklungszwecke ist das Python-basierte GSUtil-Werkzeug hilfreich: es erlaubt die einfache Interaktion mit dem Cloud Storage auf der Kommandozeile z.B. um Daten hochzuladen)

Weiter mit BigQuery…

Das neue ist im Moment, daß BigQuery in einer Version 2 bereitgestellt wird (d.h. eine reduzierte V1-Version lief auch vorher schon): interessierte Nutzer können sich unter https://docs.google.com/spreadsheet/viewform?formkey=dGl4TUlob1RDRndMWVpIb21ORmJPZWc6MA bei Google um Zugang bewerben: das ist auch notwendig, weil das ganze bisher im Rahmen eines Private Beta gezeigt wird. (mal schauen, wie lange es braucht, um Zugang zu bekommen).

Die Objekte & Datenstrukturen innerhalb von BigQuery sehen wie folgt aus:

• Projekte enthalten 1-n Datensätze, steuern den Datenzugriff (via ACLs) un sind die Basis für die Abrechnung des Services.
• Datensätze enthalten 1-n Tabellen und können noch granularere ACLs festlegen.
• Tabellen sind in BigQuery zwei-dimensional definiert (Feldtypen etc. siehe http://code.google.com/intl/de-DE/apis/bigquery/docs/developers_guide.html#tables ).
• Jobs steuern langlaufende Transaktionen wie Datenimporte, und -exporte.

Die wichtigsten technischen Spezifikationen von BigQuery sind:

• der Zugang ist über JSON-RPC, REST und Google Apps Script möglich. (eine gute Intro zu Google Apps Script von Ryan Boyd findet sich unter http://bit.ly/tGKPKN )
• und die Infrastruktur eignet sich zur AdHoc-Abfrage von strukturierten Daten, die im Google Cloud Storage abgelegt sind.

Das ganze ist nützlich, um im BigData-Stil Daten auszuwerten, die die Kapazität des eigenen Notebooks übersteigen: das bedeutet aber auch, daß BigQuery nur eine Lösung für die Ablage und Abfrage von Daten ist: die Logik und das Tooling der Auswertung muß man selbst mitbringen.

Die Logik der Auswertung kann z.B. in Werkzeugen wie R abgelegt sein und auch ablaufen: dafür arbeitet Google an einer Erweiterung zu R (http://code.google.com/p/google-bigquery-r-client/ ), mit der man den BigQuery-Service direkt aufrufen kann.

Neu an der v2 von BigQuery ist, daß die SQL-artige Abfragesprache nun SQL-Joins zwischen Tabellen unterstützt, wobei Michael Manoochehri klar darauf hinweist, dass optimale Antwortzeiten weiterhin bei Abfragen in einer Tabelle zu erwarten sind.

Mit ‘bq‘ existiert auch hier ein Kommandozeilen-Werkzeug, um sehr unkompliziert mit BigQuery kommunizieren zu können.

Hilfreich ist auch noch unter http://code.google.com/intl/de-DE/apis/bigquery/docs/developers_guide.html#csvformat die Beschreibung der CSV-Spezifikationen, damit BigQuery direkt damit arbeiten kann.