In een nieuw artikel Point-E: een systeem voor het genereren van 3D-puntenwolken uit complexe signalen, introduceert het OpenAI-onderzoeksteam Point E, een voorwaardelijk synthesesysteem voor 3D-puntenwolktekst dat diffusiemodellen gebruikt om gevarieerde en complexe 3D-vormen te creëren die worden aangestuurd door complexe tekst signalen.in minuten op een enkele GPU.
De verbluffende prestaties van de moderne modellen voor het genereren van afbeeldingen hebben het onderzoek naar het genereren van 3D-tekstobjecten gestimuleerd.In tegenstelling tot 2D-modellen, die output kunnen genereren in minuten of zelfs seconden, vereisen object-generatieve modellen doorgaans enkele uren GPU-werk om één sample te genereren.
In een nieuw artikel Point-E: een systeem voor het genereren van 3D-puntenwolken uit complexe signalen, presenteert het OpenAI-onderzoeksteam Point·E, een tekstueel voorwaardelijk synthesesysteem voor 3D-puntenwolken.Deze nieuwe aanpak maakt gebruik van een propagatiemodel om in slechts een minuut of twee op een enkele GPU gevarieerde en complexe 3D-vormen te creëren uit complexe tekstsignalen.
Het team richt zich op de uitdaging om tekst naar 3D om te zetten, wat van cruciaal belang is voor het democratiseren van het creëren van 3D-inhoud voor real-world toepassingen, variërend van virtual reality en gaming tot industrieel ontwerp.Bestaande methoden voor het converteren van tekst naar 3D vallen uiteen in twee categorieën, die elk hun nadelen hebben: 1) generatieve modellen kunnen worden gebruikt om op efficiënte wijze samples te genereren, maar kunnen niet efficiënt worden geschaald voor diverse en complexe tekstsignalen;2) een vooraf getraind tekst-beeldmodel om complexe en gevarieerde tekstaanwijzingen te verwerken, maar deze benadering is rekenintensief en het model kan gemakkelijk vast komen te zitten in lokale minima die niet overeenkomen met zinvolle of coherente 3D-objecten.
Daarom onderzocht het team een alternatieve benadering die tot doel heeft de sterke punten van de bovenstaande twee benaderingen te combineren, met behulp van een tekst-naar-beeld-diffusiemodel dat is getraind op een groot aantal tekst-beeldparen (waardoor het diverse en complexe signalen kan verwerken) en een 3D-beelddiffusiemodel getraind op een kleinere set tekst-beeldparen.afbeelding-3D paar dataset.Het tekst-naar-beeld-model bemonstert eerst het invoerbeeld om een enkele synthetische representatie te creëren, en het beeld-naar-3D-model creëert een 3D-puntenwolk op basis van het geselecteerde beeld.
De generatieve stapel van het commando is gebaseerd op recent voorgestelde generatieve kaders voor het voorwaardelijk genereren van afbeeldingen uit tekst (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Ze gebruiken een GLIDE-model met 3 miljard GLIDE-parameters (Nichol et al., 2021), verfijnd op gerenderde 3D-modellen, als hun tekst-naar-beeld transformatiemodel, en een reeks diffusiemodellen die RGB-puntenwolken genereren als hun transformatie model.afbeeldingen naar afbeelding.3D-modellen.
Terwijl in eerder werk 3D-architecturen werden gebruikt om puntenwolken te verwerken, gebruikten de onderzoekers een eenvoudig, op een transducer gebaseerd model (Vaswani et al., 2017) om de efficiëntie te verbeteren.In hun diffusiemodelarchitectuur worden puntenwolkbeelden eerst ingevoerd in een vooraf getraind ViT-L/14 CLIP-model en vervolgens worden de uitgangsmazen als markeringen in de converter ingevoerd.
In hun empirische studie vergeleek het team de voorgestelde Point·E-methode met andere generatieve 3D-modellen op scoresignalen van COCO-objectdetectie, segmentatie en handtekeningdatasets.De resultaten bevestigen dat Point·E in staat is om diverse en complexe 3D-vormen te genereren uit complexe tekstsignalen en de inferentietijd met één tot twee ordes van grootte te versnellen.Het team hoopt dat hun werk verder onderzoek naar 3D-tekstsynthese zal inspireren.
Een vooraf getraind puntenwolkvoortplantingsmodel en evaluatiecode zijn beschikbaar op de GitHub van het project.Document Point-E: een systeem voor het maken van 3D-puntenwolken op basis van complexe aanwijzingen staat op arXiv.
We weten dat u geen enkel nieuws of wetenschappelijke ontdekking wilt missen.Abonneer u op onze populaire Synced Global AI Weekly-nieuwsbrief om wekelijkse AI-updates te ontvangen.
Posttijd: 28 december 2022