Waarom glimmende autolak moeilijk is voor Gaussian splatting (en hoe je betere 3D-scans maakt)
Iedereen die een paar 3D-scans van auto's heeft gemaakt met Gaussian splatting, merkt hetzelfde: een matgrijze hatchback op een bewolkte dag ziet er geweldig uit, terwijl een zwarte metallic sedan in de middagzon wazig, korrelig of vol vreemde zwevende vlekken kan worden. Dit is geen pech. Glimmende lak is echt een van de moeilijkste dingen voor Gaussian splatting (3DGS). In dit artikel leggen we uit waarom, wat je in je resultaten zult zien en wat je kunt doen om betere 3D-scans van je auto te maken.
Hoe 3DGS een auto "ziet"
Gaussian splatting leert een scène van beelden. Tijdens het trainen vergelijkt het gerenderde weergaven met de echte frames uit je video en past het miljoenen kleine Gaussians aan totdat ze overeenkomen. Twee aannames helpen dit proces:
1. Hetzelfde punt op de auto ziet er vanuit nabije hoeken ongeveer hetzelfde uit. 2. De cameraposities worden correct gereconstrueerd op basis van overeenkomende details in de frames.
Glimmende oppervlakken breken met beide aannames.
Probleem 1: Reflecties bewegen als jij beweegt
Een glanzende auto is deels een spiegel. Wat je in de lak ziet, is niet alleen de lak, maar ook de lucht, de gebouwen, de bomen en jijzelf, terwijl je met je telefoon rondloopt. Terwijl je beweegt, glijden die reflecties over de carrosserie.
Voor het trainingsproces is dit verwarrend. Een lichte streep op de deur verschijnt in het ene frame, beweegt in het volgende en verdwijnt in het derde. Gaussian splatting kan wel enige kijkhoekafhankelijke kleur modelleren, daarom gaan splats veel beter om met glans dan fotogrammetrie (zie 3DGS vs. fotogrammetrie voor auto's). Maar sterke, scherpe reflecties zijn te veel. De optimalisatiesoftware "lost" dit vaak op door Gaussians *achter* of *voor* het oppervlak te plaatsen, wat zichtbaar wordt als diepte-artefacten en mist.
Probleem 2: Donkere en chromen oppervlakken hebben weinig textuur
De reconstructie van de cameraposities hangt af van herkenbare details: een rand, een logo, een vuiltje. Een schone zwarte motorkap of een chromen bumper biedt bijna niets om aan te koppelen, behalve reflecties die bewegen. Minder betrouwbare overeenkomsten betekenen minder nauwkeurige cameraposities, en minder nauwkeurige posities betekenen een waziger resultaat overal, niet alleen op de glimmende delen.
Probleem 3: Glas is transparant en reflecterend
Door de ruiten zie je het interieur en tegelijkertijd reflecteren ze de omgeving. 3DGS kan dit gedeeltelijk weergeven, maar ruiten zijn vaak de plek waar je de meeste ruis ziet, vooral bij getint glas.
Typische artefacten bij glimmende auto's
- Wazige of korrelige lak waar het oppervlak glad zou moeten zijn
- 'Floaters': kleine vlekjes die in de lucht rond de auto zweven
- Ingebakken reflecties op een vaste positie, waardoor de lucht op de deur "geschilderd" lijkt
- Zachte of golvende panelen in plaats van scherpe carrosserielijnen
- Ruis op ruiten en in donkere delen van het interieur
Dit alles betekent niet dat de 3D-scan onbruikbaar is. Een splat is een visuele kopie, en voor veel doeleinden zijn kleine artefacten acceptabel. Maar je kunt ze aanzienlijk verminderen.
Tips voor het scannen van glimmende auto's
Kies zacht licht
De allergrootste verbetering: film onder een bewolkte hemel of in gelijkmatige schaduw. Zacht, diffuus licht zorgt voor zachte, brede reflecties die langzaam veranderen. Het trainingsproces kan hier veel beter mee omgaan dan met felle zon.
Let op je omgeving
De auto reflecteert alles wat eromheen staat. Een egale muur of een open ruimte geeft rustige reflecties; een drukke straat vol bewegende auto's en mensen geeft chaos. Vermijd felle lampen of ramen die direct op de auto gericht zijn.
Houd je afstand constant
Door in een stabiele cirkel op dezelfde afstand te lopen, veranderen reflecties geleidelijk. Plotselinge bewegingen dichterbij en verder weg laten ze verspringen.
Film langzaam en scherp
Bewegingsonscherpte en reflecties zijn samen de slechtste combinatie. Loop langzaam, vooral tijdens de detailronde.
Twee rustige rondes
Gebruik de CarTwin-aanpak: één overzichtsronde met de hele auto in beeld, en één detailronde waarbij je de camera langzaam op en neer beweegt. Meer gezichtspunten helpen het trainingsproces om het echte oppervlak te scheiden van de bewegende reflectie. Onze volledige handleiding is hoe je een auto filmt voor 3DGS.
Overweeg een beetje vuil
Dit klinkt misschien vreemd, maar een glimmend gepoetste zwarte auto is moeilijker dan een auto met een lichte laag stof van de weg. Stof geeft de camera-reconstructie namelijk iets om zich aan vast te houden. We zeggen niet dat je je auto vies moet maken, alleen dat een brandschone, donkere lak de allermoeilijkste situatie is.
Wat een auto-specifieke pipeline kan doen
Algemene 3DGS-tools behandelen een auto als elke andere scène. CarTwin gebruikt een pipeline die speciaal voor auto's is gebouwd. Deze selecteert de scherpste frames uit je video, reconstrueert het camerapad rond het voertuig, herkent de grond en zet de auto recht, en snijdt achtergrond weg die niet bij het model hoort. Dat laat reflecties niet verdwijnen, maar het geeft het trainingsproces wel het best mogelijke startpunt.
Het is belangrijk om eerlijk te zijn: CarTwin is nog volop in ontwikkeling en in een vroege pilotfase. Bij zeer glanzende of donkere auto's zal het resultaat niet altijd een foutloze één-op-één kopie zijn. Als een 3D-scan mislukt door een fout in onze software, krijg je je credit terug. Een teleurstellend resultaat door moeilijke omstandigheden, zoals felle zon op zwarte lak, wordt niet vergoed. Juist daarom zijn deze tips zo belangrijk.
Kun je artefacten achteraf opschonen?
Ja, tot op zekere hoogte. Je kunt je model downloaden als .ply-bestand en 'floaters' of verdwaalde Gaussians verwijderen in een editor zoals SuperSplat. Lees je .ply openen in SuperSplat voor een stapsgewijze uitleg.
Samenvatting
- Reflecties bewegen en verwarren zo het 3DGS-trainingsproces
- Donkere en chromen oppervlakken bieden weinig textuur voor camera-reconstructie
- Zacht licht, een rustige omgeving en langzaam, stabiel bewegen helpen het meest
- Kleine artefacten kun je achteraf verwijderen in SuperSplat
Probeer het zelf met je eigen auto
De snelste manier om te leren is door het te doen. Kies een bewolkte dag, volg de opname-instructies en start een 3D-scan. Bundels beginnen bij één credit, zie prijzen, en je kunt je resultaat vergelijken met onze voorbeelden.
