Lång rubrik för något som kanske känns igen som NERF och ”GS” eller just gaussian splats. Vad det är? Ja det vet jag knappt eftersom det verkar vara en blandning av AI och magi.
Man kanske kan säga att det är en utveckling av fotogrammetri där man genererar punkter i 3D med färg, storlek och opacitet (splats) som när man betraktar dem tillsammans bildar en representation av de bilder som beräkningen bygger på. Även om en del i processen är att skapa ett initialt punktmoln med korrekta kamerapositioner, så är GS inte punktmoln eller 3D modeller av den typ som genereras från fotogrammetri.
I stället för att försöka förklara något jag själv bara har en rudimentär uppfattning om så tänkte jag visa lite bilder från mina experiment.
Det finns kommersiella lösningar som sannolikt är betydligt bättre än vad jag testat, men nu är detta en sida som fokuserar på öppen källkod och då får man hantera de brister detta innebär på något sätt.
Först behövs bilder.
Jag ställde fram lite småprylar på ett skåp och fotade med en GoPro 33 bilder från olika vinklar.
Dessa bearbetades med Colmap (som jag fick kompilera själv från källkod då jag använder Linux, det finns färdiga körbara filer för Windows).
Det enda som krävdes var att bilderna (i en bildkatalog) bearbetades så att det skapades ett glest punktmoln med kamerapositioner på samma sökväg. Hela katalogen, med bildkatalog, punktmolnskatalog, etc. användes sedan i nästa steg.
Även Lichtfeld Studio fick jag kompilera från kod (även här finns en färdig version av programmet för Windows).
Mappen från Colmap kunde jag ”dra och släppa” direkt i fönstret i Lichtfeld Studio, vilket direkt kände av bildkatalog och punktmoln samt kameror.
Efter mycket experimenterande så har jag inte hittat perfekta inställningar, men jag har i alla fall lyckats få ett resultat. I inställningarna ställer man in hur mycket beräkningar som ska göras, vilka justeringar som ska tillämpas, etc. Vad som fungerar beror på exempelvis vilken typ av bilder som används och hur mycket VRAM som ditt nVidia grafikkort har. Japp, nVidia! Både Colmap och Lichtfeld Studio kräver CUDA processorer och ett grafikkort med absolut minst 8 GB VRAM. Mitt RTX3070 är antagligen precis på gränsen för vad som är lämpligt…
Bearbetningen för att få fram ett resultat och en gaussian splat tar längre tid än traditionell fotogrammetri, men resultatet blir potentiellt visuellt mycket mer tilltalande.
Jag körde inte processen i mitt test med standardinställningarna, då detta hela tiden kraschade Lictfeld Studio efter ett tags beräkningar. Jag fick reducera upplösning och beräkningstid ordentligt. Därför så är resultatet i bilden ovan lite suddigt. Men fördelarna med GS jämfört med fotogrammetri kan ändå noteras. Exempelvis transparens (ljusstakarna i glas), ljus och skuggor, med mera är visuellt mycket tydligare än vad en 3D modell eller ett punktmoln skulle varit.
Även reflektioner avbildas på ett naturtroget sätt. Både transparens och reflektioner är något som inte alls går att återge eller hantera med fotogrammetri. Och ja, hela scenen är i 3D, men ju längre bort från aktuella fotoplatser som man rör sig, desto sämre blir återgivningen.
Precis som med fotogrammetri så gäller det att planera allt redan från början om man är ute efter ett specifikt resultat, vilket även gäller fotograferingen.
Visningen av GS i bilderna närmast ovan är från ”SuperSplat Viewer” som är en ren webbvisare där alla data, visare, verktyg, m.m. kan bakas in i en HTML-fil. Hela den här scenen, inklusive visaren, är bara runt 12 Mb… Det går att visa PLY-filen som är själva 3D modellen i valfri visare för GS, men det här verkar vara användarvänligt för en mottagare som bara ska titta på en färdig modell.
Du kan ladda ner filen från min GitHub (länk högerklicka och spara som) och öppna den själv i en webbläsare och kika närmare på mina första stapplande försök med NERF och Gaussian Splats. Observera att du behöver spara filen lokalt och sedan öppna den i en webbläsare för att det ska fungera.
https://github.com/klakar/geosupportsystem/raw/refs/heads/master/geodata/ljusstakar_splat.html