L'imponente progetto di upscaling AI di Adobe fa sembrare i video noiosi in alta definizione

I ricercatori di Adobe hanno sviluppato un nuovo modello di intelligenza artificiale chiamato VideoGygagan Può eseguire l'upscaling dei video sfocati fino a otto volte la loro risoluzione originale. È stato presentato in A Articolo pubblicato il 18 aprileAdobe afferma che VideoGigaGAN supera gli altri metodi di super risoluzione video (VSR) perché può fornire dettagli più fini senza introdurre alcuna “stranezza AI” nel filmato.

In breve, le reti generative avversarie (GAN) sono efficaci nell’upscaling delle immagini fisse a una risoluzione più elevata, ma hanno difficoltà a fare lo stesso per i video senza introdurre sfarfallio e altri artefatti indesiderati. Altri metodi di upscaling possono evitarlo, ma i risultati non sono così nitidi o dettagliati. VideoGigaGAN mira a fornire il meglio di entrambi i mondi: qualità immagine/video più elevata per i modelli GAN, con meno problemi di sfarfallio o distorsione nei fotogrammi di output. L'azienda ha fornito Diversi esempi qui Che mostra il suo lavoro in piena risoluzione.

Alcuni dei dettagli più fini nelle clip demo fornite da Adobe sembrano piuttosto artificiali, come la struttura della pelle e le rughe nell'esempio seguente, ma i risultati sembrano straordinariamente naturali. Sarebbe difficile sapere se l’intelligenza artificiale generativa sia stata utilizzata per migliorare la risoluzione, il che potrebbe espandere la discussione su “cos’è una foto” per includere i video.

Questa è solo un'anteprima della ricerca, quindi non vi è alcuna garanzia che Adobe renderà VideoGigaGAN disponibile ai consumatori tramite software Creative Cloud come Premiere Pro. L’azienda aveva già presentato in anteprima un’esperienza separata basata sulla diffusione, Project Res-Up, durante il suo evento MAX nell’ottobre 2023, che migliora in modo simile la qualità delle GIF e delle riprese video a bassa risoluzione. E Adobe non è sola in questo lavoro, dato che anche Microsoft e Nvidia hanno sviluppato la propria tecnologia VSR.