Gemeinsam mit einem Grazer Filmrestaurierungsunternehmen hat die TU Graz einen KI-basierten Algorithmus entwickelt, der alte Filmstreifen effizient und realitätsgetreu einfärben soll.
In den Filmarchiven weltweit lagern unzählige Filme mit schwarz-weißen Aufnahmen. Sie könnten damit farbenfroh werden.
Trainierte, selbstlernende neuronale Netze
Historischen Filmen fehlt oft das gewisse Etwas: die Farbe. Mithilfe künstlicher Intelligenz sollen die alten Aufnahmen in neuer Farbe gesehen werden können – in realitätsgetreuer Farbgebung, heißt es von der TU Graz. Die zentrale Anforderung wird mithilfe trainierter selbstlernender neuronaler Netze erfüllt. Sie können durch Benutzerinteraktion dynamisch beeinflusst werden. Entwickelt wurde die Softwareanwendung von Informatikerinnen und Informatikern rund um Thomas Pock vom Institut für Maschinelles Sehen und Darstellen der TU Graz zusammen mit der auf die Restauration von historischen Filmen spezialisierte Grazer Firma HS-Art.
Automatischer, benutzergesteuerter Einfärbeprozess
Die Entwicklung, die Farbe in die Vergangenheit bringt, kombiniert Deep-Learning-Technologien mit interaktiven und automatisierten Einfärbetechniken. Das Ergebnis ist ein Algorithmus für einen überwiegend automatischen und dennoch benutzergesteuerten Einfärbeprozess. „Man braucht immer einen Menschen, der aus historischen Überlieferungen weiß, wie die Kleidung, die Fassaden, etc. damals ausgesehen haben. War die Soldatenuniform grün oder blau? Das kann kein Algorithmus entscheiden. Er kann aber daraus lernen“, wie Pock schilderte. Er leitet an der TU Graz die Gruppe Vision, Learning and Optimization (VLO).
Mensch gibt Farbe vor, Computer rechnet weiter
Der Algorithmus muss mit einer großen Sammlung an Trainingsmustern gefüttert werden, um das Einfärben von historischen Filmen dann automatisch zu übernehmen: „Es geht darum, mit möglichst wenig User-Input die Filme möglichst effizient einzufärben. Das kann so aussehen, dass der Mensch die Farbgebung für einen Filmframe vorgibt, und die Software dann die Einfärbung weiterer Frames übernimmt“, erklärte Pock.
Auch Unschärfen können entfernt werden
Mit den entwickelten Algorithmen können die Filme nicht nur koloriert, sondern auch Kratzer, Staub-und Wasserflecken und andere Schäden eliminiert werden. Diese extrem saubere Restaurierung ist aber nicht immer erwünscht. "Bei historischen Aufnahmen und Kinofilmen im allgemeinen braucht es das gewisse Rauschen, den sogenannten „Filmgrain", sonst wirkt das für das Publikum nicht authentisch. Deshalb kann die Software dieses Rauschen nach dem Restaurieren und Einfärben auch wieder künstlich generieren und hinzufügen“, betonte Pock.
Der Kernalgorithmus wurde bereits auf einer internationalen Fachtagung publiziert, der Quellencode ist frei zugänglich. Zur effizienten Anwendung ist aber eine darauf aufbauende Software nötig. Diese wurde vom Projektpartner HS-Art entwickelt und befindet sich bereits in ihrem Produkt-Portfolio: Der sogenannte „Diamant-Film Colorizer“ kam beispielsweise schon in der ZDFzeit-Dokureihe „Hitlers Macht“ zur originalgetreuen Einfärbung historischer Aufnahmen zum Einsatz.