Waarom we een Gaussian splatting-pipeline speciaal voor auto's hebben gebouwd
Er zijn genoeg tools die een video omzetten naar een Gaussian splat. Waarom hebben we dan CarTwin gebouwd, een Gaussian splatting-pipeline die speciaal is gemaakt voor auto's? Omdat auto's een verrassend lastig onderwerp zijn, en een algemene 3DGS-tool de meeste moeilijkheden aan jou overlaat. In dit artikel leggen we uit tegen welke problemen we aanliepen, welke keuzes we hebben gemaakt en wat dat betekent voor iedereen die een 3DGS-model van een auto wil zonder zelf een pipeline te bouwen.
De belofte en de realiteit van 3DGS
Gaussian splatting kan verbluffend realistische 3D-captures maken van gewone video. Ben je nieuw met deze techniek? Begin dan bij wat is Gaussian splatting? In demo's zien de resultaten er moeiteloos uit. In de praktijk omvat een typische 3DGS-workflow:
- Frames uit de video halen
- Structure-from-motion draaien om cameraposities te reconstrueren
- De splat trainen met tientallen parameters
- Zwevende delen, achtergrond en ondergrond opschonen
- Het resultaat uitlijnen en exporteren
Elke stap kan ongemerkt mislukken. Bij een auto gebeurt dat vaak.
Waarom auto's moeilijk zijn
Glanzende, spiegelende oppervlakken
Autolak reflecteert de wereld eromheen. Die reflecties bewegen mee met de camera, wat zowel de camera-reconstructie als het trainen in de war brengt. We hebben hier een volledig artikel over geschreven: why shiny paint is hard for Gaussian splatting.
Grote, gladde panelen met weinig textuur
Deuren, motorkappen en daken hebben weinig unieke kenmerken om te matchen tussen frames. Dat maakt de cameraposities minder betrouwbaar.
De ondergrond is belangrijk
Een auto staat ergens op. Algemene tools leveren vaak een model op dat scheef staat, zweeft of samensmelt met een vlekkerig stuk asfalt. Voor de weergave moet een auto recht staan op een logische ondergrond.
Drukte op de achtergrond
Auto's worden gefilmd op straat, op parkeerplaatsen en in werkplaatsen. Rommel op de achtergrond voegt miljoenen Gaussians toe die niets met de auto te maken hebben en de bestanden zwaar maken.
Video uit de praktijk
Mensen filmen met telefoons, op wandeltempo, in niet-ideaal licht. Een pipeline moet om kunnen gaan met wat onscherpte en oneffenheden en niet uitgaan van vlekkeloze studio-opnames.
Wat onze pipeline anders doet
We hebben elke stap ontworpen voor één onderwerp: een auto, gefilmd met een telefoon, in twee rondes.
1. Slimme frame-selectie
In plaats van elk frame te gebruiken, selecteert de pipeline een vaste set van de scherpste, best verspreide frames uit je video. Onscherpe frames worden overgeslagen. Dit geeft de camera-reconstructie zuiverdere input en houdt de verwerkingstijd voorspelbaar.
2. Camera-reconstructie rondom een voertuig
Het opnamepatroon is bekend: een cirkel om de auto, en daarna een tweede ronde waarbij de camera op en neer beweegt. Die kennis helpt om een consistent camerapad rond het voertuig te reconstrueren, wat de basis is voor alles wat volgt.
3. Training afgestemd op auto's
De Gaussian splat wordt getraind met instellingen die zijn gekozen voor onderwerpen van autoformaat en lange trainingssessies, zodat fijne details zoals grilles, lichten en wielen goed naar voren komen.
4. Ondergrond-detectie en rechtzetten
De pipeline detecteert het grondvlak en bepaalt wat 'boven' is. De auto wordt rechtgezet zodat hij waterpas staat, en de viewer gebruikt die informatie om de camera boven de grond te houden en er natuurlijk omheen te draaien, als op een draaiplateau.
5. Achtergrond wegsnijden
Delen van de scène die duidelijk niet bij de auto horen, worden weggesneden. Dit maakt het model lichter en schoner om te bekijken en te bewerken.
6. Gecomprimeerde output
Het resultaat wordt geleverd als een gecomprimeerde splat van ongeveer 70 MB (meestal 65 tot 75 MB). Deze laadt in een browser en opent direct in tools als SuperSplat.
Wat dat voor jou betekent
Je hoeft niets te weten over structure-from-motion, iteraties of het opschonen van point-clouds. De workflow is:
1. Film twee rustige rondes om de auto met je telefoon. Bekijk de instructies op hoe film je een auto voor 3DGS. 2. Upload de video zoals hij is. De upload wordt hervat als je verbinding wegvalt. 3. Wacht ongeveer 60 tot 75 minuten terwijl de pipeline zijn werk doet. 4. Bekijk, deel en download. Draai om de auto in de browser-viewer, stuur een deellink, of download de .ply voor SuperSplat, Unreal Engine of je eigen tools.
Voor wie is het?
We hebben CarTwin gebouwd voor twee groepen. Ten eerste, autobedrijven, garages en fotografen die een interactieve 3D-weergave van een auto willen. Ten tweede, mensen die 3DGS-assets van auto's willen zonder zelf een pipeline te bouwen: 3D- en CGI-artiesten, game-ontwikkelaars, AR/VR-studio's, automotive tech teams, onderzoekers en ontwikkelaars.
Waar we nu staan
We willen hier open over zijn: CarTwin is volop in ontwikkeling en bevindt zich in een vroege pilotfase. Het resultaat is een visuele 3D-kopie van de auto. Dit is niet altijd een vlekkeloze één-op-één kopie. Zeer glanzende lak, fel zonlicht of onvolledige opnames veroorzaken soms nog artefacten. Als een 3D-scan auto mislukt door een fout in onze software, krijg je je credit terug. Een teleurstellend resultaat op zich wordt niet vergoed, dus het volgen van de opname-instructies maakt echt een verschil.
We blijven de pipeline met elke scan verbeteren, en vroege gebruikers helpen ons de richting te bepalen.
Probeer de pipeline op je eigen auto
De beste manier om te zien wat een speciale Gaussian splatting-pipeline voor auto's kan doen, is door het zelf te proberen. Bekijk de voorbeelden, check de prijzen (één scan kost één credit), en start je eerste 3D-scan auto met een enkele video van je telefoon.
