Die Vorstellung als Fans zuhause näher am Spielgeschehen zu sein, hat diese schon immer fasziniert. Nicht zuletzt aufgrund der Sportübertragungen finden viele überdimensionale und hoch technische TV-Geräte ihren Weg in die Wohnungen und Häuser der Sportbegeisterten. Doch in Zeiten intelligenter Digitalisierung verändern sich nicht nur die Rahmenbedingungen – wie ein breiter gefächertes Broadcasternetzwerk, auch mit OTT-Angeboten – für die Rezeption von Fußballspielen, sondern diese selbst steht vor einem Wandel. Davon kann man zumindest dann ausgehen, wenn man sich die Arbeit von Wissenschaftlern aus den USA anschaut. Diese arbeiten an einer Methode im Kontext Künstlicher Intelligenz, um zweidimensionale Videos vom Fußball in ein dreidimensionales Erlebnis umzuwandeln. Und das könnten die Fans schließlich per AR-Gerät auf dem heimischen Wohnzimmertisch als moderne Form der Fußballunterhaltung erfahren.
Ein KI-System macht 2D zur Augmented Reality in 3D
Es wirkt ein wenig wie ein FIFA-Computerspiel aus früheren Zeiten, das da auf dem Wohnzimmertisch in 3D abläuft und plötzlich als AR losgelöst vom Bildschirm existiert. Das sind die Gedanken bei Bildern zum Konzept von Konstantinos Rematas, Ira Kemelmacher-Shlizerman, Brian Curless, und Steve Seitz, die allesamt an der University of Washington arbeiten; Kemelmacher-Shlizerman ebenso für Facebook, Seitz für Google. Sie arbeiten an unter dem Titel Soccer on „Your Tabletop“ an einem KI-System, das 2D-Videos in 3D-Erfahrungen in Form von AR-Hologrammen umwandelt. Langfristig soll dieses Systm wohl auch ermöglichen, dass Übertragungen von Spielen unabhängig vom Bildschirm in den Raum projiziert werden können. Auf Flächen wie Tischen im Wohnzimmer soll das Virtuelle Stadion samt Spielgeschehen dann zum Leben erwachen.
Die Rezeption der Hologramme über ein Gerät wie beispielsweise die Google HoloLens, die die Augmented Reality für die Zuschauer visualisiert, ist dann möglich. Im Video bei YouTube offenbaren die Macher die ersten Eindrücke der Mixed Reality und zeigen, wie sie tatsächlich für ihre Studie Bewegungen aus EAs FIFA-Spiel als Grundlage für ihre 3D-Rekonstruktionen genommen haben.
Wie das System funktioniert; und einmal funktionieren soll
Die Wissenschaftler der University of Washington erklären in ihrem Papier zum Projekt, dass sie das erste End-to-End-System bereitstellen, welches Fußballspiele auf Grundlage zweidimensionaler Videos von YouTube als 3D-Erlebnis rekonstruieren kann. Dabei ist der Ansatz zunächst aber aus aus FIFA, dem Coputerspiel, extrahierten Strukturen entstanden. Mit den Daten aus dem Spiel haben die Wissenschaftler ein neurales Netzwerk erstellt, das die Bewegungen und Körperwerte ermittelt. Die Ergebnisse seien schließlich mit jedwedem 3D-Viewer zu begutachten, heißt es weiter.
Beispielhaft wird von Rematas und Co. dargestellt, wie sie die Projektionen mit Hilfe Künstlicher Intelligenz erstellen. Zunächst wird ein YouTube-Video von einem Fußballspiel als Grundlage genommen. Dann werden im Kontext der Linien, die das Feld bestimmen, also etwa der Sechzehnmeterraum, die Parameter der Kamera ermittelt. Daraufhin werden einzelne Rahmen aus dem Video, Posen der Spieler etc. sowie Flugbahnen des Balles extrahiert, sodass die Spieler segmentiert werden können. Mit dem Netzwerk, das bislang mit den Computerspieldaten trainiert wurde, werden für jeden Spieler sogenannte Depth Maps erstellt, die dann wiederum über einen 3D-Viewer oder ein AR-Gerät wiedergegeben werden können.
Das Team verweist in seiner Erklärung auf die verschiedenen neuen Ansätze bei der technologischen Weiterentwicklung von Sportrezeption. Hierbei wird etwa auf Lösungen von Intel hingewiesen – an dieser Stelle sei erwähnt, dass der NSF/Intel Visual and Experimental Computing Award das Projekt unterstützt –, die mit True View und der freeD-Technologie bereits ermöglichen aus verschiedensten Perspektiven (auch der Spieler) aufregende Spielzüge nachzuvollziehen.
Außerdem wird unter anderem in den USA unter anderem ein System von WSC Sports genutzt, das in Echtzeit Kernmomente eines Spiels erkennt und direkt in Videocontent umwandelt, der auf unterschiedlichen Kanälen an die Fans distribuiert werden kann.
In verschiedenen Schritten erklärt das Team der Universität nun sehr explizit ihre Vorgehensweise zur Erstellung und Optimierung ihres KI-Systems. Die Trainingsdaten aus der Spielreihe FIFA von EA wurden genutzt, weil dort ein Zugriff auf die GPU (Graphics Accessing Unit) möglich ist.
„FIFA, similar to most games, uses deferred shading during game play. Having access to the GPU calls enables capture of the depth and color buffers per frame. Once depth and color is captured for a given frame we process it to extract the players.“
Dabei wurden sogenannte NDCs (Normalized Device Coordinates) aus dem Spiel extrahiert, die im Projekt in 3D-Koordinaten für deren (Augmented) World umgewandelt wurden.
„The result is a point cloud that includes the players, the ground, and portions of the stadium when it is visible.“
Letztlich werden die 3D-Muster für jeden Spieler in das Bild integriert und die Tiefen der Wiedergabe mit den jeweiligen Parametern neu kalkuliert. Mit diesen Daten wird das neurale Netzwerk trainiert, um für jedes neue Bild eines Fußballspielers eine entsprechende Tiefe für die 3D-Darstellung errechnen zu können.
Über YouTube-Videos bis zur Übertragung?
Waren die Testdaten aus FIFA extrahiert, haben die Wissenschaftler ihr System mit YouTube-Videos von Fußballspielen getestet. Dabei spielte im Vorwege auch die Einschätzung von Kamerapositionen, das Erkennen und Tracken der Spieler sowie die Segmentierung von zeitlich parallel auftretenden Phänomenen für das System eine zentrale Rolle. Zudem mussten Flugbahnen berechnet und in 3D umgewandelt und bestimmte Übertragungsparameter von visuellen Inhalten klargelegt werden.
Die Übertragung der YouTube-Videos in 3D-Erlebnisse wirkt im ersten dokumentierten Testlauf nun, wie eingangs erwähnt, trotz der zusätzlichen Dimension noch wie ein Relikt aus den Zeiten, da man das Potential digitaler Visualisierungen auszuschöpfen begann.
Tatsächlich war die KI bei der Übertragung zum Teil auch fehlerhaft, sodass mitunter Spieler aufgrund fehlenden Trackings oder falscher Berechnungen ihrer Tiefe in der Hologrammdarstellung verschwinden oder Flugbahnen nicht korrekt dargestellt werden. Außerdem wird berichtet, dass schlechte Bildqualität und starke Überschneidungen von Bewegungen ebenso zu Problemen bei der Darstellung geführt haben. Nur die Depth Map, heißt es außerdem, kann momentan nur in eingeschränkter Perspektive eine zufriedenstellende AR-Erfahrung ermöglichen. Demnach braucht das KI-System von Konstantinos Rematas, Ira Kemelmacher-Shlizerman, Brian Curless, und Steve Seitz noch Arbeit, um wirklich als Vermittler einer ganz neuen Fußballrezeption in 3D anerkannt zu werden.
Dennoch ist das Projekt schon in einem fortgeschrittenen Stadium und deutet darauf hin, dass bei entsprechender Fortenwtwicklung und potentieller weiterer monetärer Unterstützung eine Übertragung von Fußballspielen in der Augmented Reality nach diesem Prinzip nicht mehr allzu weit entfernt ist.
„Finally, to watch a full, live game in a HoloLens, we need both a real-time reconstruction method and a method for efficient data compression and streaming.“
So heißt es im Papier zum Abschluss. Sollte man diese Methoden zeitnah entwickeln, scheint das Fußballgucken im Wohnzimmer sich revolutionieren zu können. Das Interesse daran dürfte schließlich auf mehreren Ebenen groß sein. Nicht nur, dass Fans gern über AR-Geräte in die Spielatmosphäre eintauchen würden, was ohnehin allein den Herstellern derselben Ansporn für solche Entwicklungen geben dürfte. Auch die Sender, Verbände usw. sollten sich bewusst sein, dass auf diesem Wege erneut unbespieltes Werbeinventar geschaffen werden könnte, das sich für die langfristige Monetarisierung überaus gut eignet.
In diesem Sinne haben all die Parteien einer modernen digitalen Fußballökonomie gut von solch ausgeklügelten Systemen. Denn KI kann immerhin auch programmatisch die richtige Werbung schalten, dem Fan die richtigen Einstellungen vermitteln und Vieles mehr. So ist das Projekt „Soccer on Your Tabletop“ ein ambitioniertes, das auf die Zukunft der Branche hinweisen mag.
Und wenn der Fan dem Spielgeschehen zuhause näher kommt und dafür in Technologie investiert, dann lohnt sich die Investition in diese Systeme umso mehr.
Wer Interesse am Projekt hat, kann hier das gesamte Papier lesen.