Azt már láttuk, hogy a Stable Diffusion szöveg alapú rajzoló és a ControlNet kiegészítő miképpen tud egy ház vonalas vázlatából valósághű képet rajzolni. Azt is, hogy egy ceruzával készült alaprajzból miként tudunk 3D modellt készíteni. Ma pedig azt nézzük meg, mi van akkor, ha semmilyen rajzunk nincsen a 3D épületmodellezés elkészítéséhez. Csak egy fotó az adott épületről.
A képen egy sarokház látható Isztambulból (mögötte egy dzsámi minaretje, ami izgalmas adalékot ad majd a rajzoknak, de ez nem része az épületnek).
A tervek szerint ezt fogjuk felújítani.
De mielőtt akár csak egyetlen vonalat is húznánk a tervrajzon, megkérjük a mesterséges intelligenciát, hogy készítsen néhány 3D képet a különböző alternatív változatokról épületmodellezés.
A mostani projektben egy más meglévő képet szeretnénk átalakítani. Ehhez többféle ControlNet modell közül is választhatunk.
A Canny a leggyakrabban használt ControlNet modell. Ez a képen szereplő tárgyak éleit keresi meg, zajcsökkentést használ, majd az éleket pontosan lokalizálja és nyomon követi. Ennek köszönhetően nagyon pontosan visszakapjuk mi van a képen.
A végleges kép élvonalai megegyeznek a bemeneti kép élvonalaival.
A Canny akkor használható jól, ha az épület fő vonalait nem akarjuk változtatni. Pl. a faházból legyen tégla ház.
A Segmentation Preprocessor a bemeneteli kép objektumait értelmezi. Ezeket körvonalazza, és színkódokkal látja el. A minta képben a ControlNet felismerte a fákat, amiket zölddel színezett ki. Az épületeket is megtalálta, azok téglaszínűek lettek. A végső kép generálásánál ezeket a tárgyakat megtartja: a fa megmarad fának, a ház háznak, stb…
A színkódos képet egy képszerkesztő programban módosíthatjuk, hogy pontosabb legyen, vagy egy objektumot kicseréljük. Így pl. belső építészeti látványtervet nagyon jól lehet készíteni.
A Segmentation esetében a program megpróbálja értelmezni a kép tartalmát. Ezzel pedig jobban irányítható a mesterséges intelligencia, mint a Canny esetében. Hiszen itt konkrétan meg lehet adni, hogy az ablakok milyenek legyenek, mivel a program tudja, melyek az ablakok.
A szín kódolt képet megkapjuk, amit képszerkesztő programban tudjuk módosítani. Így pl. egy ablakot új helyre tehetünk.
Minden kép, és minden munka más. Ezért nincs konkrét szabály, hogy melyik modellt és milyen beállítással érdemes használni. Inkább csak tippeket lehet adni. További ControlNet modelleket is találhatunk, mint pl. Depth, ami a kép 3D mélységét próbálja kitalálni. Vagy a Lineart, Scribble, amik vonalas rajzokhoz lettek fejlesztve. Érdemes őket is kipróbálni, mert jobb eredményt adhatnak.
E mellett a ControlNet modellek keverhetőek. Több modellt is használhatunk egyidejűleg (pl. Canny és Segmentation). De ez több erőforrást igényel
Elindítottuk a Stable Diffusion programot, amihez a ControlNet már telepítve van (a programokról és használatukról a bővebb leírás a linkekben). Majd pedig a következő beállításokat használtuk:
Kész is az épületmodellezés, az alábbiakban néhány 3D képet láthatunk. Mindegyik a bejegyzés elején található képből készült.
Szándékosan olyan modelleket és utasításokat használtam, amelyek messze eltérnek az eredeti képtől (pl. gótikus faház, egyiptomi kőház, futurisztikus ház, mérnöki rajz, stb..). Így jól látható, hogy bár az épületek teljesen eltérőek, az alap szerkezet változatlan. Figyeljük meg, hogy az emeletek száma, a torony (ami valójában a ház mögötti minaret), de sok esetben még az ablakok is úgy vannak, mint az eredeti fényképen.
Elképesztő ez a technika! 🚀 Amikor először hallottam a Stable Diffusionról és a ControlNetről, azt hittem, egy új Sci-Fi sorozat epizódjait néztem meg véletlenül. De aztán rájöttem, ez tényleg a valóság! 😂
Az, hogy egy ceruzarajzból vagy egy régi fotóból valósághű képet varázsolhatunk, egyszerűen lenyűgöző. Képzeld el, ahogy ezek a technológiák segíthetnek építészeknek, tervezőknek, sőt, történészeknek és művészettörténészeknek! Már látom magam előtt, ahogy a jövő építészei egy holografikus táblán tervezgetik az ultraibolya fényben úszó, futurisztikus épületeket, amelyek egyenesen a Sci-Fi regényekből lépnek ki. 🏙✨
De nem csak az építészetben rejlenek hasonló lehetőségek. Gondolj bele, mi mindenben lehetne még hasznos ez a fajta AI! Például:
Történelmi rekonstrukciók: Képesek leszünk újraalkotni elveszettnek hitt művészeti alkotásokat, vagy életre kelteni híres történelmi személyiségeket, akikről csak festmények maradtak fenn.
Oktatás: Diákok tanulhatnak az AI segítségével interaktív, vizuálisan gazdag környezetben, ahol a történelmi események és személyiségek szó szerint „életre kelnek” előttük.
Videójátékok és filmek: A karaktertervezés és a díszletek létrehozása soha nem látott módon válik lehetővé, ahol a kreatív elképzelések azonnal valósággá válhatnak.
Ez a technológia megnyitja az ajtót egy olyan világ felé, ahol a kreativitásnak csak a képzelet szab határt. Ez a technológia bizonyítja, hogy a jövő építészetében és tervezésében korlátlan lehetőségek rejlenek. 🌟
Szóval, ha te is úgy érzed, készen állsz arra, hogy csatlakozz az építészeti forradalomhoz, emlékezz: a jövő már itt van, és csak rajtunk áll, hogy mit hozunk ki belőle. Legyünk bátrak, kreatívak, és merjünk nagyot álmodni! 😎✨
Szerző: Pi Tóth István
Ha érdekel AI sorozutunk többi része, kattints ide és merülj el még jobban a mesterséges intelligencia világában!
A Google Nano Banana 2 frissítése mindenki számára elérhetővé teszi a profi szintű AI képfunkciókat. A Google új Nano Banana AI képi modellje hiperrealisztikus eredményeket, pontos utasításkövetést és forradalmi konzisztenciát ígér az alkotók számára.
Az áremelés után ez remek lehetőség a szoftver beszerzésére.
Az Adobe és az NVIDIA kollaborációjával érkeznek az új generációs Firefly modellek, AI-alapú kreatív workflow-k és 3D digitális ikrek a marketingben.