Fotóból alternatív változatok – Stable Diffusion az építészetben 3 | AI sorozat 29. rész

2024-11-12 09:00
3D épületmodellezés kivitelezése mesterséges intelligenciával! Tippek és trükkök a Stable Diffusion és a ControlNet modelljeinek beállításához.

3D épületmodellezés AI segítségével

Bevezetés

Azt már láttuk, hogy a Stable Diffusion szöveg alapú rajzoló és a ControlNet kiegészítő miképpen tud egy ház vonalas vázlatából valósághű képet rajzolni. Azt is, hogy egy ceruzával készült alaprajzból miként tudunk 3D modellt készíteni. Ma pedig azt nézzük meg, mi van akkor, ha semmilyen rajzunk nincsen a 3D épületmodellezés elkészítéséhez. Csak egy fotó az adott épületről.

A képen egy sarokház látható Isztambulból (mögötte egy dzsámi minaretje, ami izgalmas adalékot ad majd a rajzoknak, de ez nem része az épületnek).
A tervek szerint ezt fogjuk felújítani.

De mielőtt akár csak egyetlen vonalat is húznánk a tervrajzon, megkérjük a mesterséges intelligenciát, hogy készítsen néhány 3D képet a különböző alternatív változatokról épületmodellezés.

3D épületmodellezés: Kiinduló kép
Az épület, mielőtt megpiszkáltuk volna

Canny vagy Segmentation a 3D-s épületmodellezés kivitelezésére?

A mostani projektben egy más meglévő képet szeretnénk átalakítani. Ehhez többféle ControlNet modell közül is választhatunk.

Canny


Canny 3D épületmodellezés
ControlNet – Canny

A Canny a leggyakrabban használt ControlNet modell. Ez a képen szereplő tárgyak éleit keresi meg, zajcsökkentést használ, majd az éleket pontosan lokalizálja és nyomon követi. Ennek köszönhetően nagyon pontosan visszakapjuk mi van a képen.
A végleges kép élvonalai megegyeznek a bemeneti kép élvonalaival.

A Canny akkor használható jól, ha az épület fő vonalait nem akarjuk változtatni. Pl. a faházból legyen tégla ház.

Segmentation


Segmentation 3D épületmodellezés
ControlNet – Segmentation

A Segmentation Preprocessor a bemeneteli kép objektumait értelmezi. Ezeket körvonalazza, és színkódokkal látja el. A minta képben a ControlNet felismerte a fákat, amiket zölddel színezett ki. Az épületeket is megtalálta, azok téglaszínűek lettek. A végső kép generálásánál ezeket a tárgyakat megtartja: a fa megmarad fának, a ház háznak, stb…

A színkódos képet egy képszerkesztő programban módosíthatjuk, hogy pontosabb legyen, vagy egy objektumot kicseréljük. Így pl. belső építészeti látványtervet nagyon jól lehet készíteni.

A Segmentation esetében a program megpróbálja értelmezni a kép tartalmát. Ezzel pedig jobban irányítható a mesterséges intelligencia, mint a Canny esetében. Hiszen itt konkrétan meg lehet adni, hogy az ablakok milyenek legyenek, mivel a program tudja, melyek az ablakok. 

A szín kódolt képet megkapjuk, amit képszerkesztő programban tudjuk módosítani. Így pl. egy ablakot új helyre tehetünk.

Több ControlNet

Minden kép, és minden munka más. Ezért nincs konkrét szabály, hogy melyik modellt és milyen beállítással érdemes használni. Inkább csak tippeket lehet adni. További ControlNet modelleket is találhatunk, mint pl. Depth, ami a kép 3D mélységét próbálja kitalálni. Vagy a Lineart, Scribble, amik vonalas rajzokhoz lettek fejlesztve. Érdemes őket is kipróbálni, mert jobb eredményt adhatnak.

E mellett a ControlNet modellek keverhetőek. Több modellt is használhatunk egyidejűleg (pl. Canny és Segmentation). De ez több erőforrást igényel

Stable Diffusion + ControlNet

Elindítottuk a Stable Diffusion programot, amihez a ControlNet már telepítve van (a programokról és használatukról a bővebb leírás a linkekben). Majd pedig a következő beállításokat használtuk:

  • A txt2img fület választjuk ki.
  • Stable Diffusion checkpoint: Attól függően, hogy valóságos, művészi vagy esetleg meseszerű házat szeretnénk válasszunk modellt. Az élethű képekhez a RealisticVision, a dvArch, Realistic Architecture vagy a ArchitectureRealMix lehet jó választás. Természetesen ha mondjuk ceruza rajzot, festményt vagy meseszerű kép a célunk, arra is találunk modellt. (A kedvenc checkpoint modelljeimet ide gyűjtöttem)
  • A prompt részbe írjuk be, hogy milyen házat rajzoljon a Stable Diffusion. pl. a house made of wood
  • A negative prompt részbe írjunk olyan szavakat, amiket garantáltan nem akarunk a képen látni. Mellé tehetjük a szokásos képjavító promptokat is (pontosabban azokat a tulajdonságokat zárjuk ki, amelyek rontanák a képet): (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, (worst quality, low quality:1.2), watermark, username, signature, text, lowres, bad anatomy, bad hands, text, error, 
  • A ControlNet kiegészítőben a Preprocessor: Canny vagy Segmentation
  • A ControlNet kiegészítőben a Model: Canny vagy Segmentation.
  • További lehetőségek a ControlNet finomítására: A Control Weight, Starting Control Step, Ending Control Step csúszkákkal tudunk nagyobb szabadságot adni az utasításoknak.
    • A magasabb Control Weight, és, Ending Control és alacsonyabb Starting Control Step inkább tartja az eredeti képet.
  • Az alacsonyabb Control Weight, és, Ending Control és magasabb Starting Control Step ad inkább kreativitást a mesterséges intelligenciának.

Eredmény

Kész is az épületmodellezés, az alábbiakban néhány 3D képet láthatunk. Mindegyik a bejegyzés elején található képből készült.

Szándékosan olyan modelleket és utasításokat használtam, amelyek messze eltérnek az eredeti képtől (pl. gótikus faház, egyiptomi kőház, futurisztikus ház, mérnöki rajz, stb..). Így jól látható, hogy bár az épületek teljesen eltérőek, az alap szerkezet változatlan. Figyeljük meg, hogy az emeletek száma, a torony (ami valójában a ház mögötti minaret), de sok esetben még az ablakok is úgy vannak, mint az eredeti fényképen.












PixelRita

Elképesztő ez a technika! 🚀 Amikor először hallottam a Stable Diffusionról és a ControlNetről, azt hittem, egy új Sci-Fi sorozat epizódjait néztem meg véletlenül. De aztán rájöttem, ez tényleg a valóság! 😂
Az, hogy egy ceruzarajzból vagy egy régi fotóból valósághű képet varázsolhatunk, egyszerűen lenyűgöző. Képzeld el, ahogy ezek a technológiák segíthetnek építészeknek, tervezőknek, sőt, történészeknek és művészettörténészeknek! Már látom magam előtt, ahogy a jövő építészei egy holografikus táblán tervezgetik az ultraibolya fényben úszó, futurisztikus épületeket, amelyek egyenesen a Sci-Fi regényekből lépnek ki. 🏙✨
De nem csak az építészetben rejlenek hasonló lehetőségek. Gondolj bele, mi mindenben lehetne még hasznos ez a fajta AI! Például:
Történelmi rekonstrukciók: Képesek leszünk újraalkotni elveszettnek hitt művészeti alkotásokat, vagy életre kelteni híres történelmi személyiségeket, akikről csak festmények maradtak fenn.
Oktatás: Diákok tanulhatnak az AI segítségével interaktív, vizuálisan gazdag környezetben, ahol a történelmi események és személyiségek szó szerint „életre kelnek” előttük.
Videójátékok és filmek: A karaktertervezés és a díszletek létrehozása soha nem látott módon válik lehetővé, ahol a kreatív elképzelések azonnal valósággá válhatnak.
Ez a technológia megnyitja az ajtót egy olyan világ felé, ahol a kreativitásnak csak a képzelet szab határt. Ez a technológia bizonyítja, hogy a jövő építészetében és tervezésében korlátlan lehetőségek rejlenek. 🌟
Szóval, ha te is úgy érzed, készen állsz arra, hogy csatlakozz az építészeti forradalomhoz, emlékezz: a jövő már itt van, és csak rajtunk áll, hogy mit hozunk ki belőle. Legyünk bátrak, kreatívak, és merjünk nagyot álmodni! 😎✨
3D épületmodellezés AI segítségével2

Szerző: Pi Tóth István


AI sorozat többi rész

Ha érdekel AI sorozutunk többi része, kattints ide és merülj el még jobban a mesterséges intelligencia világában!

Termékek
Tanfolyamok

Olvass tovább

Az eddigi legkomolyabb kvantumprocesszor: Google Willow

Ismerd meg, mire képes a emberiség legfejlettebb kvantumprocesszora, mik a jövőbeni tervek, és hogy mi áll a kutatások mögött!

, ,
[WEBINÁR]: Adobe Express webinár - Tervezd meg a saját karácsonyi üdvözlőlapodat!

Lépj ki a karácsonyi üdvözlőlap megszokásából, készíts idén egyedi kártyát! A webinár videójában pedig mutatjuk, hogyan.


Boris FX Sapphire 2025 vintage videóeffektek

Elevenítsük fel a 80-as évek analóg érzését a Boris FX Sapphire 2025 új pluginjeivel! Az újdonságok mellett több, mint 50 profi preset vár.

Copyright © 2023 Trans-Europe Zrt. Minden jog fenntartva.
linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram