Az „ACR teamtől” címmel fut az Adobe oldalán egy olyan blogsorozat, amely betekintést nyújt közvetlenül a Lightroom, a Lightroom Classic, a Lightroom mobile, az Adobe Camera Raw és a Photoshop Camera Raw szűrő képalkotási funkcióit kiépítő csapat munkájába.
A továbbiaikban a posztot érdekessége miatt eredeti formájában közöljük, Eric Chan elbeszélésében:
“Mostanában dolgoztam az Enhance Super Resolution nevű funkción, és örömmel jelentem be, hogy máris használható. Ebben a projektben szorosan együttműködtem Michaël Gharbi-val és Richard Zhang-nal, az Adobe Research munkatársaival. Michaël volt egyébként korábban a kapcsolódó funkció, az Enhance Details (Részletek javítása) fejlesztője is.
A Super Resolution a Camera Raw 13.2-es verziójával érkezett meg, és hamarosan megjelenik az Adobe Lightroom és az Adobe Lightroom Classic termékekben. Ebben a bejegyzésben elmagyarázom, mi ez, hogyan működik és hogyan lehet a lehető legtöbbet kihozni belőle.
A nevem Eric Chan, és tizenhárom éve dolgozom az Adobe-nál. Korábbi projektek, amelyeken dolgoztam: a Highlights and Shadows, a Clarity, a Dehaze, a Camera Profiles, a Lens Corrections és az Upright. Igen, lehet hogy jól érzitek - szeretek a pixelekkel molyolni!
A Super Resolution (Szuper Felbontás) szintén pixel projekt, de másfajta. Képzeld el, hogy egy 10 megapixeles fotóból 40 megapixeles fotó válik. Képzeld el, hogy egy régi fényképezőgéppel készített régi fényképeket nagy méretben vagy képes minőségromlás nélkül kinyomtatni. Képzeld el, hogy rendelkezel egy speciális „digitális zoom”-al bármilyen téma / képrészlet felnagyításához. Még sok egyéb dolgot mondhatnék, hogy mit képzelj el, de nem akarok előrerohanni. A Super Resolution megfelelő megértéséhez először beszéljünk a másikról, az Enhance Details funkcióról.
A kezdetektől…
Két évvel ezelőtt kiadtuk az Enhance Details funkciót, amely a gépi tanulás segítségével a RAW fájlokat óriási hűséggel interpolálja, éles részleteket eredményezve, nagyon kevés artifact-al. Erről bővebben itt olvashatsz angolul. Már akkor is úgy gondoltuk, hogy a hasonló gépi tanulási módszerek új és izgalmas módon javíthatják a fényképek minőségét.
Bayer mintázat és x-trans minta zöld, piros és kék négyzetekkel. A kameraszenzorok a fentiekhez hasonló mozaik mintákon keresztül látják a világot. Az Enhance Details gépi tanulással interpolálja ezeket a mintákat RGB színes képekké.
A folytatás
Ma nagy örömmel mutatom be a második Enhance funkciónkat: a Super Resolution funkciót. A „Super Resolution” kifejezés a fénykép minőségének javítására utal a látszólagos felbontás növelésével. A fotó nagyításával gyakran elmosódott részletek keletkeznek, de a Super Resolution felbontása egy óriási előnnyel bír - egy fejlett gépi tanulási modellen, amelyet milliónyi fotó alakított ki! Ezzel a hatalmas edzéskészlettel a Super Resolution intelligensen nagyíthatja a fényképeket, miközben megőrzi a tiszta éleket és megőrzi a fontos részleteket.
Közelkép egy kártyáról, amely pixeles. A bal oldali kép bicubic resampling-et használ, a jobb oldali pedig az új Super Resolution algoritmust.
Ha mindez a “gépi tanulás” bonyolultnak hangzik, az azért van, mert valóban az! De ne aggódj - a szuper felbontás funkció, amelyet e technológia köré építettünk, nagyon egyszerűen használható - nyomj meg egyetlen gombot, és látod ahogy a 10 megapixeles fotó 40 megapixeles képpé alakul. Kicsit olyan, mint amikor Mario megeszi a gombát, és hirtelen Super Mario-vá változik (a remek hanghatások nélkül).
Tényleg szükségünk van több pixelre?
Tudom, mire gondolsz: "Ne már Eric, 2021 van, még mindig a több megapixelről beszélünk?" A modern kameráknak elég pixeljük van, nem? Valamikor régen mindannyian azt gondoltuk, hogy a 6 megapixeles bőven elég. Akkor a 12 lett az új 6, most pedig a 24 megapixel az új 12. Vannak olyan kamerák is, amelyek óriási, 40–100 megapixelesek. Ennyi pixel mellett miért kéne még több?
A rövid válasz - Általában nem kell több, de néha igen. De akkor nagyon.
Barna medve ül a vízben, és egy vörös halat eszik. Ez az egyik olyan eset, amikor hasznos a nagyobb felbontás. Miután biztonságos távolságból lefényképeztem a medvét és levágtam a képet, „csak” 4 megapixeles maradt.
Íme a hosszabb válasz.
Először is, nem minden kamerának van egetverően magas felbontása. A legtöbb telefon 12 megapixeles. Sok kamera továbbra is a 16–24 megapixeles tartományba esik. Ez rengeteg szcenárióhoz elegendő, például online megjelenítéshez vagy megosztáshoz. Viszont ha mégis nagyméretű nyomatként szeretnénk egy falon megjeleníteni, akkor az extra felbontás határozottan segít megőrizni az élek tisztaságát és a részletek sértetlenségét. Néhány példát később megvizsgálunk.
Még akkor is, ha most éppen a legújabb gépünk van több száz millió pixellel, mi a helyzet a régebbi, már a katalógusunkban lévő, alacsonyabb felbontású géppel készített képekkel? Néhány kedvenc képem tizenöt évvel ezelőtt készültek, egy „mindössze” 8 megapixeles kamerával.
Itt egy példa:
Fotózás a tó felé, alacsonyan szálló felhők lebegnek a víz felett.
Korábban megpróbáltam nagy méretben nyomtatni ezt a képet, de csalódtam az eredményben. Az előtér sziklái túl simák voltak, a beérkező köd alatt a fák a háttérben ködösek és nehezen láthatóak. A Super Resolution segítségével most nagyméretű nyomtatást tudok készíteni texturált, természetes megjelenésű sziklákkal és az elkülönülő fákkal. Röviden: a Szuper felbontás új életet lehelhet a régi fotókba.
A nagyobb felbontás akkor is jól jön, ha szorosan kivágott fotókkal dolgozunk. Előfordult már hogy távolabbról tudtál csak fotózni, így végül a kép fő témája a képnek csak egy kis részét foglalja el? Velem folyamatosan ez történik. Íme egy példa:
Ez az északi sólyom átrepül felettem, én pedig néhányat kattintottam, mire eltűnt. Persze, jó lett volna váltani egy 800 mm-es objektívre 2x hosszabbítóval, de a sólyom csak másodpercekig volt jelen. (Persze nagyobb probléma, hogy nincs is ilyen egzotikus felszerelésem!) Mivel „csak” egy 400 mm-es objektív van egy 1,6x-os kameratesten, egy ilyen, levágatlan képet kaptam:
Ez az egyik kedvenc madárfotóm, de a fent leírt rögzítési körülmények miatt a kivágott fájl csupán 2,5 megapixeles. Itt jött a képbe a Super Resolution - most van egy olyan 10 megapixeles képem, amiből tisztességes méretű nyomtatást tudok készíteni. Az így használt Super Resolution olyan, mint egy nagyon fejlett „digitális zoom”..
Most, hogy a Super Resolution lehetséges felhasználási eseteiről beszéltünk, nézzük meg közelebbről az alapul szolgáló technológiát.
Hogyan működik?
A Super Resolution mögött álló technológiát Michaël Gharbi és Richard Zhang, az Adobe Research munkatársai fejlesztették ki.
Az elképzelés az, hogy képezzük a számítógépet nagy mennyiségű példa fotó segítségével. Pontosabban, milliónyi kis felbontású és nagy felbontású képrészletet használtunk fel, hogy a számítógép ezeket találja ki, hogy lehet alacsony felbontású képeket felméretezni. Néhányan közülük így néznek ki:
Kollázs 12 különböző smalle-képből, amelyek a különböző témák részleteit mutatják be.
Ezek kicsi, 128 x 128 pixel méretű növények, valódi fényképek részletes régióiból. Virágok és szövetek. Fák és ágak. Tégla és tetőcserép. Elegendő, mindenféle témára kiterjedő példával a modell végül megtanulja természetes részletességgel felméretezni a valódi fotókat.
A számítógép tanítása egy feladat elvégzésére elsőre bonyolultnak tűnhet, de bizonyos szempontból hasonló egy gyermek tanításához - adjunk neki némi struktúrát és elegendő példát, és nem sokkal később már maguktól csinálják. A Super Resolution esetében az alapstruktúrát „mély konvolúciós ideghálózatnak” nevezzük, ami a divatos megfogalmazása annak az egyszerű gondolatnak hogy ami egy pixellel történik, az a közvetlenül körülötte lévő képpontoktól függ. Más szavakkal, ahhoz, hogy megértsük, hogyan lehet egy adott pixelt felfelé mintavételezni, a számítógépnek szüksége van valamilyen kontextusra, amelyet a környező pixelek elemzésével kap. Ez nagyon hasonlít arra, amikor emberként egy szó jelentését a használt mondat szövegösszefüggéséből értjük meg.
A gépi tanulási modell oktatása számítási szempontból intenzív folyamat, amely napokat vagy akár heteket is igénybe vehet. Az alábbiakban bemutatom, hogy hogyan néz ki a fejlődés, kezdve a jelenet Fujifilm X-Trans nyers mintájától:
Egy fa képe, kerítéssel a háttérben, de egy képen X-Trans bemeneti javítás található.
Példa a képzési párra: Az X-Trans bemeneti javítás (balra) és a megnövelt RGB színes kimeneti javítás (jobbra). A modell megpróbálja megtanulni a kettő közötti megfeleltetést.
6 pillanatkép az "edzés" előrehaladásáról:
Hat pillanatkép az edzés előrehaladásáról, az elejétől (bal felső sarok) a végéig (jobb alsó rész).
Látható, hogy a kezdeti eredmények (bal felső és középső felső rész) viccesen gyengék, még csak távolról sem hasonlítanak fényképekre! Ez történik a legelején, amikor az algoritmus “oktatása” éppen csak elkezdődik. Ahogyan a gyermek sem tanulja meg a járást az első napon, a gépi tanulási modellek sem azonnal találják ki, hogyan lehet letisztázni és nagymértékben felnagyítani a modelleket. A további tanulással azonban a modell gyorsan fejlődik. A végeredmény (jobb alsó rész) meglehetősen hasonlít a referencia képhez.
Két kép ugyanarról a fáról, bal oldalon az eredeti, a jobb oldalon pedig teljesen kiképzett modell eredménye. Elég hasonlóak, nem?
Van néhány egyedülálló összetevő a Super Resolution “edzésprogramjában”. Az egyik az, hogy a Bayer és az X-Trans nyers fájloknál (amelyeket a kameramodellek túlnyomó többsége használ) közvetlenül a nyers adatokból képezzük ki magunkat, ami lehetővé teszi számunkra az elejétől a végéig a minőség optimalizálását. Más szavakkal, amikor a Super Resolution funkciót egy nyers fájlon használjuk, akkor ennek részeként az Enhance Details is végrehajtásra kerül.
A második legfontosabb dolog az, hogy a képzési erőfeszítéseinket „kihívást jelentő” példákra összpontosítottuk - sok sűrű textúrájú és apró részletekkel rendelkező képterületre, amelyek átméretezése után gyakran érzékenyek a tárgyakra. Végül úgy építettük a gépi tanulási modelljeinket, hogy teljes mértékben kihasználhassuk a legújabb platform technológiákat, mint például a CoreML és a Windows ML. Ezeknek a technológiáknak a használata lehetővé teszi modelljeink teljes sebességének futtatását modern grafikus processzorokon (GPU).
Fotó egy havas hegy tetején süt a hold fénye.
Hogyan használjam?
A Super Resolution használata egyszerű - kattints a jobb gombbal egy fotóra (vagy tartsd lenyomva a Control billentyűt, miközben normálisan kattintasz), majd a helyi menüből válaszd az „Enhance…” lehetőséget. Az Enhance Preview párbeszédpanelen jelöld be a Super Resolution négyzetet, és nyomd meg az Enhance gombot.
Pillanatkép az Enhance javító eszközről az Adobe Lightroomban.
A számítógép elkezd dolgozni, habzsolja a rengeteg számot, majd egy új nyers fájlt készít a Digital Negative (DNG) formátumban, amely tartalmazza a továbbfejlesztett fényképet. A forrásfotón végzett bármilyen beállítás automatikusan átkerül a továbbfejlesztett DNG-be. A továbbfejlesztett DNG-t ugyanúgy szerkesztheted, mint bármely más fotót, alkalmazva kedvenc beállításaidat, vagy előre beállított beállításokat. A szerkesztésrsel kapcsolatban javasoljuk, hogy nézd át még egyszer az Élesítés, Zajcsökkentés és esetleg a Textúra beállításait. Mindezek a vezérlők befolyásolják a finom részleteket, természetesen a továbbfejlesztett fotó legjobb eredményének elérése érdekében még szükség lehet a hangolásra.
A Szuper felbontás megduplázza a fénykép lineáris felbontását. Ez azt jelenti, hogy az eredmény kétszer szélesebb és kétszer magasabb lesz, mint az eredeti fénykép, vagy a teljes pixelszám négyszerese. Például a következő forrásfotó 16 megapixeles, így a Super Resolution alkalmazása 64 megapixeles DNG-t eredményez.
Kép egy lunda ül a fűben.
A képek jelenlegi maximális mérete 65000 pixel, és 500 megapixel. Ha megpróbáljuk a Super Resolution-t olyan fájlra alkalmazni, ami meghaladná ezeket az értékeket (például egy nagy panorámakép esetén), hibaüzenetet kapunk, mert az eredmény túl nagy lenne. Megvizsgáljuk, hogyan emelhetjük ezeket a határokat majd a jövőben. Egyelőre azért emiatt ne nagyon aggódj - egy 500 megapixeles fájl valószínűleg elég magas felbontású!
A Super Resolution alkalmazása egy Bayer vagy X-Trans nyers fájlra automatikusan alkalmazza a Enhance Details-t is. Ezeknek a lépéseknek a kombinálása jobb minőséget és jobb teljesítményt eredményez.
A Super Resolution más fájlformátumokon is működik, például JPEG, PNG és TIFF képeken. Íme egy példa, ahol rögzítettem egy time-lapse szekvenciát RAW formátumban, majd az Adobe Photoshop-ban összeállítottam egy TIFF fájl előállításához. Végül alkalmaztam a Super Resolution-t erre a kompozícióra.
Fotó, amely a Hold különböző fázisait mutatja az éjszaka folyamán, a hegyek felett mozogva.
Tippek
Ha sokat használod majd az Enhance-t, bizonyára hasznosnak fogod találni az alábbi tippeket a munkafolyamat felgyorsításához.
Az Enhance funkciót egyszerre több képen is használhatod, ha először kiválasztod a kívánt képeket a FilmStrip-en, majd utána futtatod az Enhance parancsot. A párbeszédpanel csak az első fotó előnézetét jeleníti meg, de a kiválasztott beállítások az összes kiválasztott fényképre érvényesek lesznek.
A párbeszédpanelen való állítgatás teljes egészében kihagyható az Option (MacOS) vagy az Alt (Windows esetén) gomb megnyomásával is, mielőtt kiválasztod az Enhance menü parancsot. Ezzel az opcióval a korábbi Enhance beállítások kerülnek alkalmazásra.
Összehasonlítás
Vizsgáljuk meg közelebbről az eredményeket. Kezdjük egy stúdió tesztjelenettel, amely dpreview.com-on elérhető.
Kollázs festéklapok keverve emberek és tárgyak fényképeivel.
Bár ez nyilvánvalóan nem egy „valós fénykép”, ez egy jó módja annak, hogy megértsük a szuper felbontás által nyújtott előnyöket a hagyományos nagyítási módszerekkel szemben. Íme néhány nagyított részlet a teszt különböző jeleneteiből. A bal oldali képek a normál bicubic méretezést használják, a jobb oldali képek pedig a Super Resolution funkciót használják. Figyeld meg, hogy az új módszer mennyivel jobban őrzi meg a színeket és az apró részleteket.
További tippek a használathoz
Íme néhány további tipp a szuper felbontás maximális kihasználásához.
Amikor csak lehet, RAW fájlokat használj. Általánosabban fogalmazva, mindig a rendelkezésre álló legtisztább forrásból induljunk ki. Ha a forrásfotónak is vannak már artefaktjai, mint ahogy ez gyakran előfordul a nagyon tömörített JPEG- vagy HEIC-fájloknál, akkor ezek még jobban láthatóvá válhatnak a Super Resolution alkalmazása után.
Egy gyorsabb GPU gyorsabb eredményt ad. Az Enhance Details és a Super Resolution egyaránt milliónyi számítást végeznek, és rendkívül sokat profitálnak a gyors GPU-kból. A laptop tulajdonosok számára egy külső GPU (eGPU) nagy változást hozhat. Percek helyett másodpercekről beszélünk egyetlen kép feldolgozása esetén!
Ha új számítógép vagy GPU beszerzésén gondolkozol, keress CoreML és Windows ML gépi tanulási technológiákra optimalizált GPU modelleket. Például az Apple M1 chip neurális motorja erősen hangolt a CoreML teljesítményére. Hasonlóképpen, az NVIDIA RTX sorozatú GPU-jainak TensorCores-ja nagyon hatékonyan futtatja a Windows ML rendszert. A GPU piac gyorsan változik, és nagy teljesítményjavulásra számítok a jövőben is.
A Super Resolution nagyon nagyméretű fájlokat képes előállítani, amelyeket hosszabb ideig kell olvasni a lemezről. Ezért mindenképpen javaslom egy egy gyors SSD meghajtó használatát.
Végezetül: ne érezd úgy, hogy minden fényképednél szuper felbontást kell alkalmaznod! Gondoljon erre inkább úgy, mint egy új lehetőség azoknak a különleges fotóknak és nyomtatási projekteknek, amelyeknek valóban szüksége van rá. Ami engem illet, százezer fotó van a katalógusomban, de a Super Resolution-ot csak néhányra használtam. Hosszas és alapos megfontolás után úgy döntöttem, hogy valójában nincs szükségem száz megapixeles fotóra a macskámról. De tényleg.
Fénykép egy elmosódott fotóról, amelyen valaki biciklizik. Ez a motion blur fotó nem tartalmaz finom részleteket, és nagy felbontású nyomtatáskor sem igényel szuper felbontást.
Mi a következő lépés?
Az Enhance Details volt az első Enhance szolgáltatás. A Super Resolution a második. Most tovább vizsgáljuk a szuper felbontás kiterjesztésének lehetőségeit, hogy még nagyobb és tisztább eredményeket érjünk el. Megvizsgáljuk ugyanannak az alaptechnológiának a többi lehetséges alkalmazását is, például a jobb élesítést vagy a zajcsökkentést.
Bármi, amit tehetünk a képek jobb megjelenése érdekében, megéri és megtesszük!"
Az Adobe professzionális termékeinek magyar nyelvű termékleírásait itt találod!
(Adobe)
Figyelem! A tartalom legalább 2 éve nem frissült! Előfordulhat, hogy a képek nem megfelelően jelennek meg.
