Füllen Sie die Lücken mit Bildinpainting

a) Eingabebilder mit fehlenden Regionen, b) DFT der Rekonstruktion der ersten Stufe durch das Entfaltungsnetzwerk der Autoren, c) Ergebnisse der Bildinpainting (nach der zweiten Stufe) des vorgeschlagenen Ansatzes und d) Bild der Grundwahrheit (GT). Die letzte Spalte zeigt die Vorhersage des fehlenden Bereichs, der aus dem neuen Verfahren erhalten wurde, und die ursprünglichen Pixelwerte für denselben Bereich im GT-Bild. Bildnachweis: Hiya Roy et al.

Das Inpainting von Bildern ist eine Computer-Vision-Technik, bei der in einem Bild fehlende Pixel ausgefüllt werden. Sie wird häufig verwendet, um unerwünschte Objekte aus einem Bild zu entfernen oder fehlende Bereiche verdeckter Bilder wiederherzustellen. Inpainting ist ein gängiges Werkzeug zur Vorhersage fehlender Bilddaten, aber es ist schwierig, die fehlenden Pixel auf realistische und kohärente Weise zu synthetisieren.

Forscher der Universität Tokio haben eine frequenzbasierte Inpainting-Methode vorgestellt, mit der sowohl Frequenz- als auch räumliche Informationen verwendet werden können, um fehlende Bildteile zu erzeugen. Veröffentlichung in der Zeitschrift für elektronische Bildgebung (JEI)Hiya Roy et al. Einzelheiten zur Technik in “Bildinpainting mit Frequenzbereichsprioritäten”. Gegenwärtige Verfahren verwenden während des Lernprozesses nur räumliche Domäneninformationen, wodurch Details der inneren Rekonstruktion verloren gehen können, was dazu führt, dass nur ein niederfrequenter Teil des ursprünglichen Patches geschätzt wird. Um dieses Problem zu lösen, untersuchten die Forscher die frequenzbasierte Bildinpainting und zeigten, dass die Umwandlung der Inpainting in die Entfaltung im Frequenzbereich die lokale Struktur fehlender Bildbereiche vorhersagen kann.

“Die Frequenzbereichsinformationen enthalten umfangreiche Darstellungen, mit denen das Netzwerk die Bildverständnisaufgaben besser ausführen kann als mit der herkömmlichen Methode, nur räumliche Domäneninformationen zu verwenden”, sagt Roy. “Daher versuchen wir in dieser Arbeit, eine bessere Leistung beim Inpainting von Bildern zu erzielen, indem wir die Netzwerke sowohl mit Frequenz- als auch mit räumlichen Domäneninformationen trainieren.”

Bildinpainting-Algorithmen lassen sich historisch in zwei große Kategorien einteilen. Diffusionsbasierte Bildinpainting-Algorithmen versuchen, das Erscheinungsbild des Bildes in die fehlenden Bereiche zu replizieren. Diese Methode kann kleine Löcher gut füllen, aber die Qualität der Ergebnisse nimmt mit zunehmender Größe der Löcher ab. Die zweite Kategorie sind Patch-basierte Inpainting-Algorithmen, die nach dem am besten passenden Patch im Bild suchen, um fehlende Teile zu füllen. Diese Methode kann größere Löcher füllen, ist jedoch für komplexe oder charakteristische Teile eines Bildes unwirksam.

Die Lücken füllen

Visueller Vergleich der Ergebnisse der Vervollständigung semantischer Merkmale für verschiedene Bildinpainting-Methoden im CelebA-Datensatz. Bildnachweis: Hiya Roy et al.

“Die Originalität der Forschung beruht auf der Tatsache, dass die Autoren die Frequenzbereichsdarstellung, nämlich das Spektrum der durch schnelle Fourier-Transformation erhaltenen Bilder, in der ersten Phase der Inpainting mit einem Entfaltungsnetzwerk verwendeten”, sagt Jenny Benois-Pineau von der Universität Bordeaux, leitender Redakteur bei JEI. “Dies führt zu einem groben Inpainting-Ergebnis, das die Strukturelemente des Bildes erfasst. Dann wird die Verfeinerung in der Pixeldomäne durch ein GAN-Netzwerk erfüllt. Ihr Ansatz übertrifft den Stand der Technik in allen Qualitätsmetriken: PSNR, SSIM und L1 . “

Roy und Kollegen zeigen, dass die Entfaltung im Frequenzbereich die fehlenden Bereiche der Bildstruktur anhand des Kontextes aus dem Bild vorhersagen kann. In der ersten Phase lernte ihr Modell den Kontext mithilfe von Frequenzbereichsinformationen und rekonstruierte dann die Hochfrequenzteile. In der zweiten Stufe wurden räumliche Domäneninformationen verwendet, um das Farbschema des Bildes zu steuern, und anschließend wurden die in der ersten Stufe erhaltenen Details und Strukturen verbessert. Das Ergebnis ist eine bessere Bemalung der Ergebnisse.

“Experimentelle Ergebnisse zeigten, dass unsere Methode bei herausfordernden Datensätzen bessere Ergebnisse erzielen kann als die Leistung auf dem neuesten Stand der Technik, indem schärfere Details und wahrnehmungsrealistische Inpainting-Ergebnisse generiert werden”, sagen Roy et al. in der Forschungsarbeit. “Basierend auf unseren empirischen Ergebnissen glauben wir, dass Methoden, die sowohl Frequenz- als auch räumliche Informationen verwenden, aufgrund ihrer überlegenen Leistung eine Dominanz erlangen sollten.”

Die Gruppe erwartet, dass ihre Forschung zu einem Sprungbrett wird, um die Verwendung anderer Arten von Frequenzbereichstransformationen zur Lösung von Bildwiederherstellungsaufgaben wie der Bildentrauschung zu erweitern.


Weiter erforschen

NVIDIA-Forscher legen die Messlatte für Bildinpainting höher


Mehr Informationen:
Hiya Roy et al., Bildinpainting mit Frequenzbereichsprioritäten, Journal of Electronic Imaging (2021). DOI: 10.1117 / 1.JEI.30.2.023016

Bereitgestellt von SPIE

Zitat: Füllen der Lücken mithilfe von Bildinpainting (2021, 8. April), abgerufen am 9. April 2021 von https://techxplore.com/news/2021-04-gaps-image-inpainting.html

Dieses Dokument unterliegt dem Urheberrecht. Abgesehen von fairen Geschäften zum Zwecke des privaten Studiums oder der Forschung darf kein Teil ohne schriftliche Genehmigung reproduziert werden. Der Inhalt wird nur zu Informationszwecken bereitgestellt.

This website uses cookies to improve your experience. We'll assume you're ok with this, but you can opt-out if you wish. Accept Read More

Privacy & Cookies Policy