S3D & WibbleWobble

Voor de nieuwsgierige gamer
Een beschrijving op populair niveau van de technologie, hoe deze is opgebouwd en hoe deze werkt. Als je niet geïnteresseerd bent, hoef je het niet te lezen - het is droge materie.

Hoe een game 3D tekent
De gebruikelijke manier om een 3D-beeld in een game te produceren, is door de scène twee keer te renderen - afzonderlijk voor het linker- en rechteroog, waarbij de camera virtueel wordt verschoven ten opzichte van het midden van de scène. Dit is resource-intensief en vereist ingebouwde ondersteuning van de game-engine. Lang niet elke game kan dit. WibbleWobble biedt twee verschillende paden, en het verschil tussen beide is fundamenteel - het bepaalt zowel de beeldkwaliteit als de reeks beeldartefacten.

Pad één: ReShade Client - stereo synthetiseren uit een plat frame
De game rendert een enkel gewoon aanzicht. Het SuperDepth3D ReShade-effect neemt dat frame samen met de dieptebuffer van de scène en reconstrueert daaruit een tweede gezichtspunt door pixels te verschuiven op basis van diepte. De game-engine weet niets van stereo. Dit is goedkoop qua prestaties en werkt met bijna elke DX11/DX12-game. Het nadeel zijn de artefacten die inherent zijn aan de methode zelf. Deze worden hieronder beschreven, in de secties "Nadelen".

Pad twee: OpenVR Client - echte 3D-rendering
WibbleWobble registreert zichzelf in SteamVR als een virtuele VR-headset. Een VR-compatibele game, of een game met een VR-mod, rendert de scène twee keer vanuit twee camera's gescheiden door de interpupillaire afstand, precies zoals een echte headset dat doet. IPD, resolutie per oog en brandpuntsafstand worden ingesteld in VR Config. Hier synthetiseert WibbleWobble niets: het neemt het kant-en-klare stereopaar en voert het frame-sequentially uit naar het scherm, waarbij de shutterbril wordt gesynchroniseerd. Dit kost meer prestaties, maar de 3D-geometrie is absoluut correct. Geen gaten langs contouren, geen "kartonnen" effect; elk oog krijgt zijn eigen reflecties en hooglichten. In essentie is dit een manier om VR-games op een gewone monitor met 3D-bril te spelen, maar zonder headset.

Reprojectie - het mechanisme voor gezichtsveldvergroting
Reprojectie werkt in beide modi, inclusief monoculair. Een krachtige shader neemt het gameframe en projecteert het op de geometrie van je werkruimte: op een enkele monitor, of vier monitoren, of een gebogen scherm. Door middel van head-tracking (OpenTrack) verschuift het beeld mee met je hoofd, en de monitoren gaan fungeren als een venster naar een virtuele wereld - het "VR-vissenkom"-effect. Het doel van reprojectie is het verkrijgen van de juiste wereldsschaal en het juiste gezichtsveld (FOV) voor gebruik met meerdere monitoren. Reprojectie kan volledig worden uitgeschakeld (Client Config -> Reprojection: Disabled) en je kunt alleen de stereo-uitvoer gebruiken, BFI en de upscaler - het gebruikelijke scenario voor een enkel display.
* Er moet worden gezegd dat de auteur van het project te optimistisch was over het idee om de "wereld uit te breiden" over meerdere panelen. Zelfs krachtige grafische kaarten hebben niet genoeg prestaties hiervoor. Je hebt geluk als de snelheid voldoende is voor een enkel 4K-display. Het zal niet werken met meerdere displays...

FOV (Field of View): de kijkhoek. Het bepaalt welk deel van de wereld de virtuele camera in het frame vastlegt. Het wordt gemeten in graden, afzonderlijk voor verticaal en horizontaal. Een kleine FOV (40-50°) lijkt op een telelens: een smalle sector met grote objecten. Een grote FOV (100-120°) is groothoek, zoals een actiecamera. Je ziet veel aan de zijkanten, maar de randen zijn uitgerekt en objecten lijken verder weg en kleiner. Dit is een belangrijke parameter in WibbleWobble. Het programma moet de hoek weten waaronder de game het frame heeft getekend om het correct op je fysieke monitor te kunnen projecteren. Daarom heeft Game Config twee velden, FOV Verticaal en FOV Horizontaal, met één vereiste: de waarde moet overeenkomen met die in de game zelf. Wijzig de ene waarde en de andere wordt automatisch herberekend om overeen te komen met de beeldverhouding van het venster.

Als de FOV:
te groot is ziet de wereld er speelgoedachtig uit en is de schaal van objecten vervormd
te laag is lijkt de wereld gigantisch en torent alles boven je uit
in 3D breekt de diepte samen met de schaal en treedt vermoeidheid van de ogen op

Head-tracking als een "venster naar de wereld"
Met behulp van de OpenTrack-methode volgt de applicatiehandler de positie van het hoofd en verschuift de projectie zodat de monitor een virtueel venster naar de 3D-scène weergeeft. Dit creëert een parallax-effect. Wanneer je je hoofd beweegt, verschuift het beeld iets, alsof je echt door een raam kijkt.

Frame-sequential stereo-uitvoer
De applicatie ontvangt frames van de game met een variabele snelheid, "hoe ze ook komen." De client past vervolgens de framerate aan voor weergave op 60 Hz. De bron van het stereopaar kan SuperDepth3D, een VR-mod of kant-en-klare 3D-inhoud zijn. WibbleWobble accepteert het in side-by-side of checkerboard-formaat (Client Config -> Source Format) en decodeert het in FrameBufferDecode. De renderer converteert het vervolgens naar een 120 Hz frame-sequential stream terwijl de shutterbril wordt gesynchroniseerd. De volgende emitters worden ondersteund: NVIDIA 3D Vision, Open3DOLED, DLP-projectoren, 3D Ready en een zelfgemaakte Arduino/VESA IR-emitter.

Bestrijding van bewegingsonscherpte en cross-talk
Bewegingsonscherpte is vervaging veroorzaakt door het display. Moderne LCD- en OLED-panelen houden een pixel verlicht gedurende de duur van het frame - de sample-and-hold-modus. Terwijl de pixel verlicht blijft en op één positie stilstaat, blijven de ogen instinctief het bewegende object volgen. Als gevolg hiervan "smeert" het beeld uit op het netvlies zelf, zelfs als elk afzonderlijk frame op het display perfect scherp is. Hoe langer een pixel verlicht blijft, hoe sterker de vlek. Het defect verbergt fijne details en verslechtert het beeld bovendien in 3D-modus.

Om de verlichtingstijd van de pixel te verkorten, biedt WibbleWobble twee hulpmiddelen:
Black Frame Insertion - het invoegen van een zwart frame tussen de nuttige frames (de Black Frame Insertion Interval-parameter in Client Config).
CRT Beam Simulator van Blur Busters - een shader die de scan van een CRT-elektronenstraal nabootst: het verduistert het beeld lijn voor lijn in plaats van als een heel frame. Het geeft een beter resultaat, maar is veeleisend voor het display: het heeft gamma 2.2 of 2.4 nodig, ABL/APL uitgeschakeld en OLED in SDR-modus. Op FALD- en MiniLED-panelen werkt het slecht vanwege de traagheid van de achtergrondverlichting.

Deze twee modi mogen niet tegelijkertijd worden ingeschakeld. Bij gebruik van CRT Sim moet de Black Frame Insertion Interval-parameter in Client Config nul zijn. Het is de moeite waard om apart te benadrukken dat de game mogelijk op een lagere snelheid draait dan het display frames uitvoert, en het programma vult de ontbrekende frames aan tot de snelheid van het display. Maar dit is niet het genereren van nieuwe tussenliggende beelden - het is een herhaling van kant-en-klare beelden. Met andere woorden, er is geen van de vloeiendheid die een resampling-methode biedt.

Cross-talk is het effect waarbij het beeld bedoeld voor het ene oog gedeeltelijk het andere oog bereikt. Als gevolg hiervan ziet de kijker dubbele contouren of semi-transparante "geesten" naast objecten. Dit verslechtert de kwaliteit van het 3D-beeld en vermindert het dieptegevoel. Om dit te bestrijden is ondersteuning voor Black Frame Insertion en de Blur Busters CRT-beam-simulator ingebouwd. Voor uitgebreide onderdrukking van cross-talk wordt een slimme modus gebruikt: het gamebeeld wordt getekend op 60 Hz, de bril ontvangt synchronisatie op 120 Hz en de uitvoer naar het scherm gebeurt op 240 Hz met framerepetitie.

Ondanks al zijn verdiensten heeft deze methode beperkingen die apart moeten worden vermeld. Ze komen niet voort uit een onvolkomenheid van het programma, maar uit het gekozen werkingsprincipe. Het tweede stereogezichtspunt wordt niet gerenderd vanuit het scènemodel, maar gereconstrueerd uit een reeds voltooid frame en een dieptekaart. Als er geen gegevens zijn over wat er verborgen zit achter objecten op de voorgrond in het bronframe, is er niets om het uit te herstellen.

Gaten aan objectranden - disocclusie
Dit is het belangrijkste defect van de methode. Wanneer het programma het gezichtspunt verschuift voor het tweede oog of voor een hoofddraai, zou een deel van de achtergrond dat verborgen was door de rand van een object op de voorgrond in het bronframe zichtbaar moeten worden. Maar niemand heeft die pixels gerenderd - ze bestaan fysiek niet. Het programma heeft niets om het gat mee te vullen, dus het rekt ofwel de randpixels op, wat een "rubberachtige" uitgesmeerde halo oplevert langs de contouren, of het substitueert een "aannemelijke" maar meestal incorrecte patch. Hoe sterker de gezichtspuntverschuiving, hoe breder de halo-banden. Dit is geen implementatiefout maar een beperking van de methode zelf: je kunt uit een enkel beeld niet halen wat er achter objecten verborgen is en niet zichtbaar is.

Hoofdbeweging versterkt de vervormingen
Bij gewone stereo is de afstand tussen gezichtspunten klein en constant - gelijk aan de afstand tussen de pupillen. Maar met een "venster naar de wereld" beweegt het hoofd tientallen centimeters in verschillende richtingen, dus de relatieve gezichtspuntverschuiving is vele malen groter dan de natuurlijke, en de gaten en vlekken worden groter. Het werkt zo: stilzitten en er zijn bijna geen artefacten, maar het 3D-effect is ook zwak; veel bewegen en het effect is er, maar alles langs de randen van objecten is uitgesmeerd en zwevend.

De graphics zijn afhankelijk van de dieptekaart
Het programma heeft correcte informatie nodig over de afstand tot elk punt in de scène. De game levert die niet altijd, of niet volledig. Transparante oppervlakken - water, glas, rook, vuur, gebladerte - hebben meestal geen gedetailleerde diepte, of de engine creëert het helemaal niet. Als gevolg daarvan komen objecten op de verkeerde afstand terecht: water plakt op de verkeerde plaats, rook verdubbelt, deeltjes zweven op verschillende plekken in de lucht. Bovendien levert niet elke game een compatibele dieptebuffer - bij sommige is deze geïnverteerd, bij andere is deze beveiligd en kan niet worden uitgelezen.

Reflecties en hooglichten breken het meest
Spiegels, water, nat asfalt en metaal worden gedefinieerd door de diepte van hun eigen oppervlak, niet door het beeld dat erin wordt gereflecteerd. Wanneer het gezichtspunt verschuift, drijft de reflectie af naar wie weet waar. Als een hooglicht op het oppervlak is "geschilderd", gedraagt het zich niet zoals het zou moeten in de echte wereld. Het is juist de meest opvallende glanzende inhoud die er plat en verkeerd uitziet in stereo.

Interface, vizier en HUD
Tweedimensionale elementen bovenop het frame - gezondheidsbalken, menu's, het vizier - worden getekend op nul diepte, dus na verwerking komen ze op de verkeerde stereo-afstand terecht. De interface steekt ofwel in het scherm of hangt voor de scène. Het vizier is een hoofdpijn op zich; de dieptepositie moet bijna altijd handmatig worden aangepast.

Eén frame voor beide ogen
Beide ogen zien hetzelfde beeld, alleen verschoven. Bij eerlijke stereo-rendering krijgt elk oog zijn eigen correcte hooglichten, schaduwen en brekingen; hier zal dat niet gebeuren. Hierdoor verschijnen objecten als platte lagen uit multiplex gesneden en gerangschikt op diepte, in plaats van als volumetrische lichamen. In Engelstalig materiaal wordt dit effect het "cardboard cutout"-effect genoemd.

Aanpassing per game
Het gezichtsveld, dieptebereik en convergentie worden voor elke game afzonderlijk met de hand ingesteld. Een misser geeft ofwel vermoeide ogen door overmatige convergentie, of de verkeerde schaal, waarbij de wereld er speelgoedachtig of gigantisch uitziet, of zelfs omgekeerde diepte. Dit is een "stem het af en zoek het uit"-oplossing, geen "installeer het en speel"-oplossing.

Latentie en ongelijke frames
De game rendert frames ongelijkmatig, en de client past ze aan de stabiele fps van het display aan door kant-en-klare frames te herhalen. De herhaling zelf introduceert geen vervorming, maar de latentie tussen actie en beeld stapelt zich op: framecapture, verwerking, uitvoer. Voor head-tracking wordt elke dergelijke latentie gevoeld als een "zweven" van de scène. Game Config heeft een Frame Capture Delay-parameter hiervoor, om het capture-moment af te stemmen.

Resterende cross-talk en hoge monitoreisen
Softwaretechnieken - black frame insertion en de 60/120/240-modus - onderdrukken ghosting, maar verwijderen het niet volledig, omdat cross-talk wordt bepaald door vele factoren: de fysica van het displaypaneel en de bril zelf. Het hangt af van pixelresponstijd, schakelsnelheid, het contrast van de brillenglazen en de verticale verversingssnelheid van het scherm. Bovendien vereist de meest agressieve modus een snel 240 Hz-paneel met korte pixelpersistentie, wat niet elke gebruiker heeft. In tegenstelling tot NVIDIA 3D Vision reproduceert ReShade geen kant-en-klaar volume, maar synthetiseert het uit een plat frame. Daarom zijn gaten langs contouren, incorrecte reflecties en zwevende randen stabiele artefacten van de methode, geen tijdelijk tekort.

De stereogeometrie is hier eerlijk, en geen van de artefacten van beeldsynthese - disocclusie, "karton," gebroken reflecties - zijn hier aanwezig. Maar deze methode heeft ook zijn eigen kosten, en die zijn anders.

De game moet VR ondersteunen
Dit is de belangrijkste beperking. De methode werkt niet met een willekeurige game: het vereist ofwel ingebouwde VR-ondersteuning of een VR-mod. Als er geen kant-en-klare mod bestaat, werkt het OpenVR-pad niet, en blijft alleen ReShade met al zijn artefacten over. Met andere woorden, de brede compatibiliteit waarvoor het eerste pad bestaat is hier volledig verloren.

Dubbele belasting van de grafische kaart
De scène wordt echt twee keer gerenderd, vanuit twee camera's. Er is geen van de besparing die reprojectie van een enkel aanzicht biedt: de prestaties dalen net zoals in echte VR. Dit wordt gedeeltelijk gecompenseerd door de Resolutie-instelling in VR Config - de resolutie per oog kan worden verlaagd, en WibbleWobble zal het beeld opschalen naar de resolutie van het display.

Complexe installatie
SteamVR moet worden geïnstalleerd. De driver wordt geregistreerd via Install.bat met beheerdersrechten, waarna handmatig twee regels moeten worden toegevoegd aan het config\steamvr.vrsettings-bestand: "forcedDriver": "WibbleWobbleVR" en "activateMultipleDrivers": "true". Voer vervolgens Room Setup uit in de modus ALLEEN STAAND. Een fout bij een stap en in plaats van stereo krijg je een zwart scherm zonder duidelijke melding van de oorzaak.

Beperkingen van OpenVR zelf
Sommige instellingen kunnen niet tijdens het gebruik worden gewijzigd. Als je de resolutie of de uitvoersnelheid wijzigt, is een herstart van SteamVR vereist. Dit is een platformbeperking, geen programmabeperking, maar het vertraagt het afstemmen van games aanzienlijk.

Renderoptimalisatie breekt sommige games
VR Config heeft een Optimise Single Eye-parameter die het renderen van slechts één oog of beide met half FOV mogelijk maakt. De auteur van het project waarschuwt direct: de "Both"-modus is het meest problematisch - vignettering en oogdesynchronisatie zijn mogelijk, en het beeld kan "verschuiven." In sommige games moet de optimalisatie volledig worden uitgeschakeld.

Strijd om vensterfocus
Sommige games geven de focus niet aan de WibbleWobble-interface: de toetscombinatie SHIFT + END werkt niet, of de UI wordt getekend maar kan niet worden bediend. Je moet handmatig schakelen via ALT + TAB. Een apart probleem: het WibbleWobble-venster mag niet worden gesloten - het programma herstelt zich daarna niet en de game moet opnieuw worden gestart.

Hercentreren bij elke start
Tracking moet bij elke start handmatig worden gecentreerd (SHIFT + .), precies in het midden van het werkgebied voor de schermen. Als het hoofd zich daar niet bevond tijdens het centreren, begint reprojectie zich vreemd te gedragen en "drijft" de schaal af. Naar eigen zeggen van de auteur kost het oefening om de juiste positie te raken. Dit kan later worden verholpen door intelligentere trackingsoftware te gebruiken.

Eigenaardigheden van individuele applicaties
Sommige programma's werken alleen met bepaalde merken headsets. Hiervoor heeft VR Config een Headset Identification-parameter die WibbleWobble als een ander apparaat laat verschijnen - Vive bijvoorbeeld - zonder welke head-tracking niet werkt in DEOVR. Met andere woorden, compatibiliteit berust hier en daar op dit soort workarounds.

Gemeenschappelijke basis met het eerste pad
Alles wat de hardware betreft, geldt voor beide methoden: resterende cross-talk, de vereiste van een snel paneel, de noodzaak van nauwkeurige brilsynchronisatie. Stereo-uitvoer, emitters, BFI en CRT Sim werken hetzelfde, ongeacht waar het stereopaar vandaan komt.