Kuidas luua sügava õppimisega realistlikku Grand Theft Auto 5 graafikat

See projekt on minu eelmise artikli jätk. Selles selgitasin, kuidas saame kasutada CycleGAN-e pildistiili ülekandmiseks ja rakendada seda Fortnite-graafika teisendamiseks ja PUBG-i väljanägemiseks.

CycleGAN on generatiivse võistlusvõrgu tüüp, mis on võimeline matkima ühe pildi visuaalset stiili ja kandma selle teisele. Saame seda kasutada, et muuta mängu graafika teise mängu või reaalse maailma väljanägemiseks.

Selles artiklis soovisin jagada veel mõnda tulemust, kasutades sama CycleGAN algoritmi, mida käsitlesin oma eelmises töös. Kõigepealt proovin parandada GTA 5 graafikat, kohandades neid reaalse maailmaga sarnanema. Järgmisena käsitlen, kuidas saaksime saavutada sama fotorealistlikke tulemusi, ilma et peaksime esitama ülitäpset GTA-graafikat.

Esimese ülesande jaoks olen lähtekohaks võtnud mängu ekraanipildid, mille soovime teisendada millekski fotorealistlikuks. Sihtdomeen pärineb linnamaastike andmekogumist, mis esindab reaalset maailma (mille eesmärk on muuta meie mäng sarnaseks).

CycleGAN tulemused

Umbes kolmepäevase koolituse põhjal, mis kestis umbes 100 ajastut, näib Cyclegani mudel olevat väga hea töö, kohandades GTA reaalses maailmas. Mulle meeldib väga, kuidas väiksemad detailid selles tõlkes kaduma ei lähe ja pilt säilitab teravuse ka nii väikese eraldusvõime korral.

Peamine miinus on see, et see närvivõrk osutus üsna materialistlikuks: see hallutsineerib igal pool Mercedese logo, rikkudes peaaegu täiusliku konverteerimise GTA-st reaalsesse maailma. (Selle põhjuseks on see, et linnavaadete andmekogumi kogus Mercedese omanik.)

Kuidas saavutada sama fotorealistlik graafika väiksema vaevaga

Ehkki see lähenemine võib mängugraafika täiustamisel tunduda väga paljutõotav, ei usu ma, et selle torujuhtme järgimisel peitub tegelik potentsiaal. Selle all mõtlen, et tundub ebapraktiline nii ülitäpse pildi renderdamine ja seejärel millekski muundamine.

Kas poleks parem sünteesida sarnase kvaliteediga pilt, kuid palju vähem aega ja vaeva mängu kujundamisel? Ma arvan, et tegelik potentsiaal peitub vähese detailiga objektide renderdamises ja närvivõrgus laskmises sellest renderdamisest lõplikku pilti sünteesida.

Niisiis, linnapiltide andmekogumis leiduvate semantiliste siltide põhjal segmenteerisin objektid GTA ekraanipildil, andes meile väikese detailiga graafika. Pidage seda kui vaid väheste objektide, nagu tee, auto, majad, taevas jne renderdamist, ilma neid üksikasjalikult kujundamata. See toimib meie pildistiili ülekandemudeli sisendina mängu ülitäpse ekraanipildi asemel.

Vaatame, millise kvaliteediga lõplikke pilte saab nii madalate detailidega semantilistelt kaartidelt CycleGAN-ide abil luua.

Semantiliste kaartide piltide sünteesi tulemused

Siin on mõned näited, kuidas see välja näeb, kui loome semantilistelt kaartidelt GTA graafika. Pange tähele, et ma pole neid kaarte käsitsi loonud. See tundus tõesti tüütu, nii et lasin lihtsalt teisel CycleGAN-i mudelil seda teha (see on koolitatud pildimaterjali segmenteerimiseks linnapiltide andmekogumit kasutades).

Tundub hea konversioon kaugelt, kuid tähelepanelikult vaadates on täiesti ilmne, et pilt on võlts ja sellel puuduvad igasugused üksikasjad.

Nüüd on need tulemused 256p ja need on loodud 8 GB mäluga GPU-l. Originaaldokumendi autorid on aga näidanud, et üle 24 GB mäluga GPU abil on võimalik luua palju üksikasjalikum pilt 2048 x 1024p. See kasutab CycleGANi juhendatud õppeversiooni pix2pixHD, mis on koolitatud sama ülesande täitmiseks. Ja poiss, kas võltskujutis näeb päris kena veenev välja!

Järeldus

GAN-idel on suur potentsiaal muuta seda, kuidas meelelahutustööstus sisu edasi toodab. Nad on võimelised tootma palju paremaid tulemusi kui inimesed ja palju vähem aega.

Sama kehtib ka mängutööstuse kohta. Olen kindel, et mõne aasta pärast muudab see mängugraafika loomist revolutsiooniliselt. Palju lihtsam on reaalset maailma lihtsalt jäljendada kui kõike nullist uuesti luua.

Kui see on saavutatud, on uute mängude väljaandmine ka palju kiirem. Nende süvendatud õppimise edusammude ees on põnevad ajad!

Rohkem tulemusi videoformaadis

Kõik ülaltoodud tulemused ja palju muud leiate minu YouTube'i kanalilt ja allpool manustatud videost. Kui teile meeldis, tellige julgelt minu kanal, et rohkem minu tööd jälgida.

Aitäh, et lugesid! Kui teile see artikkel meeldis, jälgige mind Mediumis, GitHubis või tellige minu YouTube'i kanal.