Bevezetés

Azt már láttuk, hogy a Stable Diffusion szöveg alapú rajzoló és a ControlNet kiegészítő miképpen tud egy ház vonalas vázlatából valósághű képet rajzolni. Azt is, hogy egy ceruzával készült alaprajzból miként tudunk 3D modellt készíteni. Ma pedig azt nézzük meg, mi van akkor, ha semmilyen rajzunk nincsen a 3D épületmodellezés elkészítéséhez. Csak egy fotó az adott épületről.

A képen egy sarokház látható Isztambulból (mögötte egy dzsámi minaretje, ami izgalmas adalékot ad majd a rajzoknak, de ez nem része az épületnek).
A tervek szerint ezt fogjuk felújítani.

De mielőtt akár csak egyetlen vonalat is húznánk a tervrajzon, megkérjük a mesterséges intelligenciát, hogy készítsen néhány 3D képet a különböző alternatív változatokról épületmodellezés.

Canny vagy Segmentation a 3D-s épületmodellezés kivitelezésére?

A mostani projektben egy más meglévő képet szeretnénk átalakítani. Ehhez többféle ControlNet modell közül is választhatunk.

Canny

A Canny a leggyakrabban használt ControlNet modell. Ez a képen szereplő tárgyak éleit keresi meg, zajcsökkentést használ, majd az éleket pontosan lokalizálja és nyomon követi. Ennek köszönhetően nagyon pontosan visszakapjuk mi van a képen.
A végleges kép élvonalai megegyeznek a bemeneti kép élvonalaival.

A Canny akkor használható jól, ha az épület fő vonalait nem akarjuk változtatni. Pl. a faházból legyen tégla ház.

Segmentation

A Segmentation Preprocessor a bemeneteli kép objektumait értelmezi. Ezeket körvonalazza, és színkódokkal látja el. A minta képben a ControlNet felismerte a fákat, amiket zölddel színezett ki. Az épületeket is megtalálta, azok téglaszínűek lettek. A végső kép generálásánál ezeket a tárgyakat megtartja: a fa megmarad fának, a ház háznak, stb…

A színkódos képet egy képszerkesztő programban módosíthatjuk, hogy pontosabb legyen, vagy egy objektumot kicseréljük. Így pl. belső építészeti látványtervet nagyon jól lehet készíteni.

A Segmentation esetében a program megpróbálja értelmezni a kép tartalmát. Ezzel pedig jobban irányítható a mesterséges intelligencia, mint a Canny esetében. Hiszen itt konkrétan meg lehet adni, hogy az ablakok milyenek legyenek, mivel a program tudja, melyek az ablakok. 

A szín kódolt képet megkapjuk, amit képszerkesztő programban tudjuk módosítani. Így pl. egy ablakot új helyre tehetünk.

Több ControlNet

Minden kép, és minden munka más. Ezért nincs konkrét szabály, hogy melyik modellt és milyen beállítással érdemes használni. Inkább csak tippeket lehet adni. További ControlNet modelleket is találhatunk, mint pl. Depth, ami a kép 3D mélységét próbálja kitalálni. Vagy a Lineart, Scribble, amik vonalas rajzokhoz lettek fejlesztve. Érdemes őket is kipróbálni, mert jobb eredményt adhatnak.

E mellett a ControlNet modellek keverhetőek. Több modellt is használhatunk egyidejűleg (pl. Canny és Segmentation). De ez több erőforrást igényel

Stable Diffusion + ControlNet

Elindítottuk a Stable Diffusion programot, amihez a ControlNet már telepítve van (a programokról és használatukról a bővebb leírás a linkekben). Majd pedig a következő beállításokat használtuk:

• A txt2img fület választjuk ki.
• Stable Diffusion checkpoint: Attól függően, hogy valóságos, művészi vagy esetleg meseszerű házat szeretnénk válasszunk modellt. Az élethű képekhez a RealisticVision, a dvArch, Realistic Architecture vagy a ArchitectureRealMix lehet jó választás. Természetesen ha mondjuk ceruza rajzot, festményt vagy meseszerű kép a célunk, arra is találunk modellt. (A kedvenc checkpoint modelljeimet ide gyűjtöttem)
• A prompt részbe írjuk be, hogy milyen házat rajzoljon a Stable Diffusion. pl. a house made of wood
• A negative prompt részbe írjunk olyan szavakat, amiket garantáltan nem akarunk a képen látni. Mellé tehetjük a szokásos képjavító promptokat is (pontosabban azokat a tulajdonságokat zárjuk ki, amelyek rontanák a képet): (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, (worst quality, low quality:1.2), watermark, username, signature, text, lowres, bad anatomy, bad hands, text, error, 
• A ControlNet kiegészítőben a Preprocessor: Canny vagy Segmentation. 
• A ControlNet kiegészítőben a Model: Canny vagy Segmentation.
• További lehetőségek a ControlNet finomítására: A Control Weight, Starting Control Step, Ending Control Step csúszkákkal tudunk nagyobb szabadságot adni az utasításoknak.
  • A magasabb Control Weight, és, Ending Control és alacsonyabb Starting Control Step inkább tartja az eredeti képet.
• Az alacsonyabb Control Weight, és, Ending Control és magasabb Starting Control Step ad inkább kreativitást a mesterséges intelligenciának.

Eredmény

Kész is az épületmodellezés, az alábbiakban néhány 3D képet láthatunk. Mindegyik a bejegyzés elején található képből készült.

Szándékosan olyan modelleket és utasításokat használtam, amelyek messze eltérnek az eredeti képtől (pl. gótikus faház, egyiptomi kőház, futurisztikus ház, mérnöki rajz, stb..). Így jól látható, hogy bár az épületek teljesen eltérőek, az alap szerkezet változatlan. Figyeljük meg, hogy az emeletek száma, a torony (ami valójában a ház mögötti minaret), de sok esetben még az ablakok is úgy vannak, mint az eredeti fényképen.

PixelRita

Elképesztő ez a technika! 🚀 Amikor először hallottam a Stable Diffusionról és a ControlNetről, azt hittem, egy új Sci-Fi sorozat epizódjait néztem meg véletlenül. De aztán rájöttem, ez tényleg a valóság! 😂

Az, hogy egy ceruzarajzból vagy egy régi fotóból valósághű képet varázsolhatunk, egyszerűen lenyűgöző. Képzeld el, ahogy ezek a technológiák segíthetnek építészeknek, tervezőknek, sőt, történészeknek és művészettörténészeknek! Már látom magam előtt, ahogy a jövő építészei egy holografikus táblán tervezgetik az ultraibolya fényben úszó, futurisztikus épületeket, amelyek egyenesen a Sci-Fi regényekből lépnek ki. 🏙✨

De nem csak az építészetben rejlenek hasonló lehetőségek. Gondolj bele, mi mindenben lehetne még hasznos ez a fajta AI! Például:

Történelmi rekonstrukciók: Képesek leszünk újraalkotni elveszettnek hitt művészeti alkotásokat, vagy életre kelteni híres történelmi személyiségeket, akikről csak festmények maradtak fenn.

Oktatás: Diákok tanulhatnak az AI segítségével interaktív, vizuálisan gazdag környezetben, ahol a történelmi események és személyiségek szó szerint „életre kelnek” előttük.

Videójátékok és filmek: A karaktertervezés és a díszletek létrehozása soha nem látott módon válik lehetővé, ahol a kreatív elképzelések azonnal valósággá válhatnak.

Ez a technológia megnyitja az ajtót egy olyan világ felé, ahol a kreativitásnak csak a képzelet szab határt. Ez a technológia bizonyítja, hogy a jövő építészetében és tervezésében korlátlan lehetőségek rejlenek. 🌟

Szóval, ha te is úgy érzed, készen állsz arra, hogy csatlakozz az építészeti forradalomhoz, emlékezz: a jövő már itt van, és csak rajtunk áll, hogy mit hozunk ki belőle. Legyünk bátrak, kreatívak, és merjünk nagyot álmodni! 😎✨

Szerző: Pi Tóth István

AI sorozat többi rész

Ha érdekel AI sorozutunk többi része, kattints ide és merülj el még jobban a mesterséges intelligencia világában!