WO2022258266A1 - Darstellungsvorrichtung zur anzeige einer erweiterten realität und verfahren zum bereitstellen einer erweiterten realität - Google Patents
Darstellungsvorrichtung zur anzeige einer erweiterten realität und verfahren zum bereitstellen einer erweiterten realität Download PDFInfo
- Publication number
- WO2022258266A1 WO2022258266A1 PCT/EP2022/062188 EP2022062188W WO2022258266A1 WO 2022258266 A1 WO2022258266 A1 WO 2022258266A1 EP 2022062188 W EP2022062188 W EP 2022062188W WO 2022258266 A1 WO2022258266 A1 WO 2022258266A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display device
- virtual object
- designed
- virtual
- augmented reality
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000004590 computer program Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 43
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 238000007654 immersion Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Abstract
Die Erfindung betrifft eine Darstellungsvorrichtung zur Anzeige einer erweiterten Realität, wobei die Darstellungsvorrichtung eine Erfassungseinheit und eine Anzeigeeinheit aufweist, wobei die Anzeigeeinheit zumindest teilweise transparent ausgebildet ist, wobei die Erfassungseinheit dazu ausgebildet ist, reale Objekte in einem Blickfeld der Darstellungsvorrichtung zu erfassen, wobei die Anzeigeeinheit dazu ausgebildet ist, eine graphische Darstellung der erweiterten Realität anzuzeigen, wobei die erweiterte Realität zumindest ein virtuelles Objekt aufweist, wobei die Darstellungsvorrichtung dazu ausgebildet ist: - das zumindest eine virtuelle Objekt in Abhängigkeit der erfassten realen Objekte in der erweiterten Realität anzuordnen und - eine Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller Anordnung anzupassen. Die Erfindung betrifft ferner ein Verfahren zum Bereitstellen einer erweiterten Realität und ein Computerprogrammprodukt.
Description
Beschreibung
Darstellungsvorrichtung zur Anzeige einer erweiterten Reali tät und Verfahren zum Bereitstellen einer erweiterten Reali- tat
Die vorliegende Erfindung betrifft eine DarstellungsVorrich tung zur Anzeige einer erweiterten Realität, ein Verfahren zum Bereitstellen einer erweiterten Realität, sowie ein Com- puterprogrammprodukt.
Zur realistischen Darstellung medizinischer Informationen, beispielsweise von medizinischen Bilddaten von einem Untersu chungsobjekt, werden zunehmend Darstellungen einer erweiter- ten Realität (engl. augmented reality, AR) verwendet. Hierbei werden häufig reale Objekte, beispielsweise medizinische Ob jekte und/oder ein Untersuchungsobjekt, mit virtuellen Daten, insbesondere medizinischen Bilddaten und/oder virtuellen Ob jekten, überlagert und in einer Anzeige dargestellt. Für eine realitätsnahe Darstellung mit hohem Immersionsgrad ist eine genaue Registrierung zwischen den virtuellen Daten und den realen Objekten erforderlich. Häufig wird hierfür das reale Objekt, welches in die Darstellung der erweiterten Realität eingebettet werden soll, mittels einer an dem Objekt angeord- neten gegenständlichen MarkerStruktur lokalisiert. Alternativ kann das reale Objekt anhand einer vorbestimmten Form relativ zu einer Vorrichtung zur Darstellung der erweiterten Realität lokalisiert werden. Eine graphische Darstellung von präoperativen und/oder intra operativen Daten eines Untersuchungsobjekts in der erweiter ten Realität kann zur Unterstützung eines medizinischen Per sonals, beispielsweise eines Arztes, bei interventionellen und/oder chirurgischen Eingriffen genutzt werden. Hierdurch kann eine möglichst immersive und realistische Darstellung der Daten, insbesondere unmittelbar am Untersuchungsobjekt, ermöglicht werden.
Wird diese graphische Darstellung der Daten in der erweiter ten Realität zur, insbesondere intraoperativen, Unterstützung des medizinischen Personals eingesetzt, ist eine realistische Tiefendarstellung und -Wahrnehmung unerlässlich, insbesondere für eine Hand-Augen-Koordination des medizinischen Personals. Häufig vermitteln graphische Darstellung von präoperativen und/oder intraoperativen Daten eines Untersuchungsobjekts in der erweiterten Realität einen unrealistischen Tiefenein druck. Dieser fehlerhafte Tiefeneindruck kann, insbesondere aufgrund der dadurch gestörten Hand-Augen-Koordination des medizinischen Personals, nachteilig zu Verletzungen von Strukturen des Untersuchungsobjekts führen.
Der Erfindung liegt daher die Aufgabe zugrunde, eine hin- sichtlich eines Tiefeneindrucks verbesserte erweiterte Reali tät bereitzustellen.
Die Aufgabe wird erfindungsgemäß gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Ausfüh- rungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
Die Erfindung betrifft in einem ersten Aspekt eine Darstel lungsvorrichtung zur Anzeige einer erweiterten Realität. Da- bei weist die DarstellungsVorrichtung eine Erfassungseinheit und eine Anzeigeeinheit auf. Ferner ist die Anzeigeeinheit zumindest teilweise transparent ausgebildet. Des Weiteren ist die Erfassungseinheit dazu ausgebildet, reale Ob ekte in ei nem Blickfeld der DarstellungsVorrichtung zu erfassen. Zudem ist die Anzeigeeinheit dazu ausgebildet, eine graphische Dar stellung der erweiterten Realität anzuzeigen, wobei die er weiterte Realität zumindest ein virtuelles Objekt aufweist. Dabei ist die DarstellungsVorrichtung dazu ausgebildet, das zumindest eine virtuelle Objekt in Abhängigkeit der erfassten realen Objekte in der erweiterten Realität anzuordnen. Zudem ist die DarstellungsVorrichtung dazu ausgebildet, eine Un schärfe des zumindest einen virtuellen Objekts in Abhängig keit von dessen virtueller Anordnung anzupassen.
Die Anzeigeeinheit kann vorteilhafterweise dazu ausgebildet sein, die graphische Darstellung der erweiterten Realität an zuzeigen, welche erweiterte Realität das zumindest eine vir- tuelle Objekt aufweist. Insbesondere kann die Anzeigeeinheit zur stereoskopischen Anzeige der graphischen Darstellung der erweiterten Realität ausgebildet sein. Vorteilhafterweise kann die DarstellungsVorrichtung, insbesondere die Anzeige einheit, ferner dazu ausgebildet sein, eine Stereodisparität (engl. stereo disparity) in der stereoskopischen Anzeige der graphischen Darstellung der erweiterten Realität anzupassen.
Die Anzeigeeinheit kann vorteilhafterweise dazu ausgebildet sein, reale, insbesondere gegenständliche, Objekte, insbeson- dere medizinische Objekte, beispielsweise ein diagnostisches und/oder chirurgisches Instrument, und/oder das Untersu chungsobjekt, beispielsweise ein anatomisches Objekt, mit dem zumindest einen virtuellen Objekt überlagert und in einer An zeige darzustellen. Hierfür kann die Anzeigeeinheit bei- spielsweise einen Bildschirm und/oder einen Projektor und/ oder eine Projektionsfläche aufweisen. Vorteilhafterweise kann die Anzeigeeinheit als Brille, insbesondere Datenbrille, und/oder Helm, insbesondere Datenhelm, und/oder Bildschirm ausgebildet sein. Ferner kann die Anzeigeeinheit portabel, insbesondere durch einen Nutzer tragbar, ausgebildet sein. Dabei kann die Anzeigeeinheit zumindest teilweise transpa rent, insbesondere lichtdurchlässig und/oder durchblickbar, ausgebildet sein. Ferner kann die Anzeigeeinheit dazu ausge bildet sein, in einem Blickfeld des Nutzers angeordnet zu werden. Vorteilhafterweise kann die Anzeigeeinheit derart von dem Nutzer tragbar ausgebildet sein, dass die Erfassungsein heit und/oder die Anzeigeeinheit bei einer Bewegung des Nut zers, insbesondere einer Kopfbewegung, gleichförmig mitbewegt werden.
Die Erfassungseinheit kann vorteilhafterweise einen optischen und/oder elektromagnetischen und/oder akustischen Sensor auf weisen, welcher dazu ausgebildet ist, reale Objekte in dem
Blickfeld der Darstellungsvorrichtung, insbesondere räumlich zweidimensional (2D) oder dreidimensional (3D), zu erfassen. Beispielsweise kann die Erfassungseinheit eine Kamera aufwei sen, insbesondere eine 2D-Kamera und/oder eine omni-direktio- nale Kamera und/oder eine 3D-Kamera, insbesondere eine Stere okamera und/oder eine Tiefenkamera und/oder eine Time-of- Flight-Kamera (TOF-Kamera), welche zur zumindest ausschnitts weisen, insbesondere optischen, Erfassung der in dem Blick feld der DarstellungsVorrichtung angeordneten realen Objekten ausgebildet ist. Des Weiteren kann die Erfassungseinheit ei nen elektromagnetischen Sensor aufweisen, beispielsweise ei nen Hallsensor, welcher dazu ausgebildet sein kann, reale Ob jekte in dem Blickfeld der DarstellungsVorrichtung anhand von elektromagnetischen Wellen, insbesondere einer Änderung und/oder Interferenz von elektromagnetischen Wellen, zu or ten. Ferner kann die Erfassungseinheit einen akustischen, insbesondere ultraschallbasierten, Sensor aufweisen, bei spielsweise einen Ultraschallwandler, welcher dazu ausgebil det ist, ein definiertes Ultraschallfeld auszusenden und die realen Objekte anhand eines reflektierten Anteils des Ultra schallfelds zu erfassen.
Die Erfassungseinheit kann vorzugsweise derart bezüglich der Anzeigeeinheit angeordnet sein, dass ein Erfassungsbereich der Erfassungseinheit zumindest teilweise, insbesondere voll ständig, mit dem Blickfeld der DarstellungsVorrichtung, ins besondere der Anzeigeeinheit, übereinstimmt. Insbesondere kann die Erfassungseinheit an der Anzeigeeinheit befestigt und/oder zumindest teilweise, insbesondere vollständig, in die Erfassungseinheit integriert sein. Das Blickfeld der Dar stellungsvorrichtung kann vorteilhafterweise einen maximalen räumlichen Bereich, insbesondere einen maximalen Winkelbe reich, umfassen, welcher durch einen, die Anzeigeeinheit in einem Betriebszustand der DarstellungsVorrichtung durchbli- ckenden, Nutzer, insbesondere theoretisch, erfassbar ist.
Die DarstellungsVorrichtung kann ferner eine Verarbeitungs- einheit aufweisen, welche dazu ausgebildet ist, ein von der
Erfassungseinheit in Abhängigkeit der erfassten realen Ob jekte bereitgestelltes Signal, insbesondere aufweisend eine Abbildung und/oder eine PositionierungsInformation zu den er fassten realen Objekten, zu verarbeiten. Ferner kann die Ver- arbeitungseinheit dazu ausgebildet sein, die erweiterte Rea lität, insbesondere die graphische Darstellung der erweiter ten Realität, aufweisend das zumindest eine virtuelle Objekt zu erzeugen und an die Anzeigeeinheit bereitzustellen. Vorteilhafterweise kann die DarstellungsVorrichtung, insbe sondere die Verarbeitungseinheit, dazu ausgebildet sein, ein Koordinatensystem der Anzeigeeinheit mit einem Koordinaten system des realen Raums, welcher mittels der Erfassungsein heit erfassbar ist, zu registrieren. Das Erfassen der realen Objekte kann vorteilhafterweise ein Lokalisieren und/oder Identifizieren der realen Objekte umfassen. Dabei kann die Erfassungseinheit dazu ausgebildet sein, eine, insbesondere zweidimensionale oder dreidimensionale, räumliche Positionie rung der realen Objekte, insbesondere in dem Koordinatensys- tem des realen Raums und/oder der Anzeigeeinheit, zu bestim men. Ferner kann die Erfassungseinheit dazu ausgebildet sein, die realen Objekte zu identifizieren, insbesondere zu klassi fizieren, beispielsweise anhand geometrischer und/oder anato mischer Merkmale.
Die erweiterte Realität kann das zumindest eine virtuelle Ob jekt, insbesondere mehrere virtuelle Objekte, aufweisen. Ins besondere kann die erweiterte Realität eine virtuelle Anord nung von mehreren virtuellen Objekten aufweisen. Dabei kann die DarstellungsVorrichtung, insbesondere die Verarbeitungs- einheit, dazu ausgebildet sein, das zumindest eine virtuelle Objekt in der erweiterten Realität, insbesondere bezüglich des Koordinatensystems des realen Raums und/oder der Anzeige einheit, in Abhängigkeit der erfassten realen Objekte, insbe- sondere in Abhängigkeit der räumlichen Positionierung und/ oder Identifikation der realen Objekte, anzuordnen. Das An ordnen des zumindest einen virtuellen Objekts in der erwei terten Realität kann ein virtuelles räumliches Positionieren
des zumindest einen virtuellen Ob ekts umfassen. Zudem kann das Anordnen des zumindest einen virtuellen Objekts in der erweiterten Realität vorteilhafterweise derart in Abhängig- keit der erfassten realen Objekte erfolgen, dass das zumin- dest eine virtuelle Objekt die realen Objekte zumindest teil weise überlagert, insbesondere maskiert. Alternativ kann das zumindest eine virtuelle Objekt derart in Abhängigkeit der erfassten realen Objekte in der erweiterten Realität angeord net werden, dass wenigstens eines der realen Objekte, insbe- sondere in Abhängigkeit von dessen räumlicher Positionierung und/oder Identifikation, nicht von dem zumindest einen virtu ellen Objekt überlagert wird. Vorteilhafterweise kann die DarstellungsVorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt zweidimensional oder dreidimensional in der erweiterten Realität anzuordnen. Beispielsweise kann die DarstellungsVorrichtung dazu ausgebildet sein das zumindest eine virtuelle Objekt, insbesondere die mehreren virtuellen Objekte, in der erweiterten Realität zweidimensional in ei ner, insbesondere gemeinsamen, Ebene anzuordnen. Dabei kann die Ebene vorteilhafterweise im Wesentlichen senkrecht zu ei ner Tiefendimension der erweiterten Realität angeordnet sein. Hierbei kann die Tiefendimension entlang einer Blickrichtung der DarstellungsVorrichtung, insbesondere der Erfassungsein heit, verlaufen. Alternativ kann die DarstellungsVorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt, insbesondere die mehreren virtuellen Objekte, in der erwei terten Realität dreidimensional, insbesondere auch entlang der Tiefendimension der erweiterten Realität, anzuordnen. Das zumindest eine virtuelle Objekt kann vorteilhafterweise ein, insbesondere flächiges, geometrisches Objekt, insbeson dere eine geometrische Form, und/oder eine graphische Dar stellung von Informationen, beispielsweise einem Workflow- Hinweis und/oder einer physiologischen Information eines Un- tersuchungsobjekts und/oder einem Betriebsparameter, und/oder eine graphische Darstellung von, insbesondere medizinischen, Bilddaten und/oder einem Modell aufweisen. Beispielsweise kann das zumindest eine virtuelle Objekt eine graphische
Darstellung von, insbesondere gemessenen und/oder simulierten und/oder verarbeiteten und/oder medizinischen, Daten, insbe sondere Bilddaten, aufweisen. Sofern die erweiterte Realität mehrere virtuelle Objekte aufweist, können die mehreren vir- tuellen Objekte zumindest teilweise, insbesondere vollstän dig, gleich oder verschieden voneinander ausgebildet sein.
Des Weiteren kann die DarstellungsVorrichtung, insbesondere die Verarbeitungseinheit, dazu ausgebildet sein, eine Un- schärfe, insbesondere eine räumliche Auflösung und/oder
Weichzeichnung, des zumindest einen virtuellen Objekts in der graphischen Darstellung der erweiterten Realität, in Abhän gigkeit von dessen virtueller Anordnung, insbesondere gradu ell, anzupassen. Das Anpassen der Unschärfe des zumindest ei- nen virtuellen Objekts kann vorteilhafterweise ein zumindest bereichsweises, insbesondere homogenes oder inhomogenes, Er höhen oder Verringern der räumlichen Auflösung und/oder eines Grads der Weichzeichnung, insbesondere eines Radius und/oder einer Intensität eines Weichzeichnungsfilters, des zumindest einen virtuellen Objekts in der graphischen Darstellung der erweiterten Realität umfassen. Insbesondere kann die Verar beitungseinheit dazu ausgebildet sein, die Unschärfe des zu mindest einen virtuellen Objekts durch Anwenden des, insbe sondere isotropen oder anisotropen, Weichzeichnungsfilters auf das zumindest eine virtuelle Objekt anzupassen. Insbeson dere kann hierdurch eine Schärfentiefe der graphischen Dar stellung der erweiterten Realität aufweisend das zumindest eine virtuelle Objekt angepasst werden. Die DarstellungsVor richtung, insbesondere die Verarbeitungseinheit, kann vor- teilhafterweise zur automatischen Anpassung der Unschärfe des zumindest einen virtuellen Objekts ausgebildet sein, bei spielsweise mittels einer künstlichen Intelligenz.
Vorteilhafterweise kann die DarstellungsVorrichtung dazu aus- gebildet sein, einen Referenzpunkt, beispielsweise einen Blickfokus und/oder eines der erfassten realen Objekte, und/oder eine Referenzrichtung, beispielsweise eine Blick richtung, zu erfassen. Ferner kann die
Darstellungsvorrichtung dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller Anordnung in der erweiterten Realität, ins besondere in Abhängigkeit von dessen Relativpositionierung bezüglich des Referenzobjekts und/oder der Referenzrichtung, anzupassen. Insbesondere kann die DarstellungsVorrichtung dazu ausgebildet sein, eine räumliche Distanz zwischen dem zumindest einen virtuellen Objekt und dem Referenzpunkt und/oder der Referenzriehtung, insbesondere zweidimensional oder dreidimensional, zu bestimmen. Ferner kann die Darstel lungsvorrichtung dazu ausgebildet sein, die Unschärfe des zu mindest einen virtuellen Objekts als Funktion der räumlichen Distanz zwischen dem zumindest einen virtuellen Objekt und dem Referenzpunkt und/oder der Referenzrichtung, insbesondere graduell, anzupassen.
Die vorgeschlagene Ausführungsform kann vorteilhaft eine ver besserte, insbesondere realitätsnahe, Integration, insbeson dere Immersion, des zumindest einen virtuellen Objekts in der erweiterten Realität ermöglichen. Hierdurch kann eine verbes serte Tiefenwahrnehmung und/oder ein verbesserter Tiefenein druck, insbesondere eine verbesserte Hand-Augen-Koordination, für den Nutzer, insbesondere ein medizinisches Personal, er möglicht werden.
In einer weiteren vorteilhaften Ausführungsform der vorge schlagenen DarstellungsVorrichtung kann die DarstellungsVor richtung ferner zum Empfangen eines, insbesondere medizini schen, Bilddatensatzes aufweisend eine Abbildung und/oder ein Modell eines Untersuchungsobjekts ausgebildet sein. Ferner kann die Erfassungseinheit dazu ausgebildet sein, zumindest einen Ausschnitt des Untersuchungsobjekts als reales Objekt zu erfassen. Dabei kann das zumindest eine virtuelle Objekt eine graphische Information des Bilddatensatzes aufweisen.
Das Empfangen des Bilddatensatzes kann insbesondere ein Er fassen und/oder Auslesen eines Computerlesbaren Datenspei chers und/oder ein Empfangen aus einer Datenspeichereinheit,
beispielsweise einer Datenbank, umfassen. Ferner kann der Bilddatensatz von einem medizinischen Bildgebungsgerät zur Aufnahme des Bilddatensatzes, beispielsweise einem medizini schen Röntgengerät und/oder einer Magnetresonanzanlage (MRT) und/oder einer Computertomographieanlage (CT) und/oder einer Positronenemissionstomographieanlage (PET) und/oder einem Ultraschallgerät, bereitgestellt werden. Alternativ kann der Bilddatensatz simuliert sein. Vorteilhafterweise kann der Bilddatensatz eine, insbesondere zeitaufgelöste, zweidimensional oder dreidimensional räumlich aufgelöste Abbildung zumindest eines Ausschnitts, beispiels weise einem anatomischen Bereich und/oder einem Organ, insbe sondere einem Hohlorgan, und/oder einer Knochenstruktur, des Untersuchungsobjekts aufweisen. Insbesondere kann der Bildda tensatz eine kontrastierte und/oder segmentierte Abbildung des Untersuchungsobjekts aufweisen. Das Untersuchungsobjekt kann beispielsweise ein menschlicher Patient und/oder ein tierischer Patient und/oder ein Untersuchungsphantom sein. Alternativ oder zusätzlich kann der Bilddatensatz ein Modell, insbesondere ein 2D- oder 3D-Modell, des Untersuchungsobjekts aufweisen, beispielsweise ein Volumenmodell, insbesondere ein Volumennetzmodell (engl. volume mesh model), und/oder ein Zentrallinienmodell. Ferner kann der Bilddatensatz das Unter- suchungsobjekt präoperativ und/oder intraoperativ abbilden.
Dabei kann der Bilddatensatz zudem eine Abbildung und/oder ein Modell eines intraoperativ in dem Untersuchungsobjekt zu mindest teilweise angeordneten medizinischen Objekts, bei spielsweise einem chirurgischen und/oder diagnostischen In- strument und/oder einem Implantat, aufweisen.
Vorteilhafterweise kann die Erfassungseinheit dazu ausgebil det sein, zumindest einen Ausschnitt, beispielsweise eine Oberfläche, insbesondere eine Gewebe- und/oder Organoberflä- che, und/oder eine anatomische Landmarke und/oder eine
MarkerStruktur und/oder ein chirurgisches Operationsfeld, des Untersuchungsobjekts als reales Objekt in dem Blickfeld der DarstellungsVorrichtung zu erfassen. Zudem kann die Darstel-
lungsVorrichtung dazu ausgebildet sein, ein Koordinatensystem der Anzeigeeinheit mit einem Koordinatensystem des Untersu chungsob ekts zu registrieren. Das Erfassen des zumindest ei nen Ausschnitts des Untersuchungsobjekts kann vorteilhafter- weise ein Lokalisieren und/oder Identifizieren der Oberfläche und/oder der anatomischen Landmarke und/oder der MarkerStruk tur und/oder des chirurgisches Operationsfelds umfassen. Da bei kann die Erfassungseinheit dazu ausgebildet sein, die, insbesondere zweidimensionale oder dreidimensionale, räumli- che Positionierung des zumindest einen Ausschnitts des Unter suchungsobjekts, insbesondere in dem Koordinatensystem des realen Raums und/oder der Anzeigeeinheit, zu bestimmen.
Das zumindest eine virtuelle Objekt kann vorteilhafterweise eine graphische Information des Bilddatensatzes aufweisen. Dabei kann die graphische Information beispielsweise eine, insbesondere präoperative oder intraoperative, Abbildung, insbesondere medizinische Bilddaten, und/oder ein Modell des erfassten zumindest einen Ausschnitts des Untersuchungsob- jekts umfassen. Des Weiteren kann das zumindest eine virtu elle Objekt eine Planungsinformation, insbesondere einen gra phischen Workflow-Hinweis, aufweisen, beispielsweise eine Pfadplanung für ein durch den Nutzer beeinflusstes medizini sches Objekt, beispielsweise einen Katheter und/oder ein En- doskop und/oder ein Implantat.
Dadurch, dass die DarstellungsVorrichtung dazu ausgebildet ist, die Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller Anordnung anzupassen, kann die DarstellungsVorrichtung auch zur Anpassung der Unschärfe der graphischen Information des Bilddatensatzes in Abhängig keit der virtuellen Anordnung des zugehörigen zumindest einen virtuellen Objekts ausgebildet sein. Hierdurch kann vorteil haft eine verbesserte, insbesondere realitätsnahe, Integra- tion, insbesondere Immersion, der graphischen Information des Bilddatensatzes in die erweiterte Realität ermöglicht werden.
In einer weiteren vorteilhaften Ausführungsform der vorge schlagenen DarstellungsVorrichtung kann die Erfassungseinheit ferner zum Erfassen einer Blickrichtung und/oder eines Blick fokus eines die Anzeigeeinheit durchblickenden Nutzers zu er- fassen. Dabei kann die DarstellungsVorrichtung ferner dazu ausgebildet sein, die virtuelle Anordnung und/oder die Un schärfe des zumindest einen virtuellen Objekts zusätzlich in Abhängigkeit der erfassten Blickrichtung und/oder des erfass ten Blickfokus anzupassen.
Vorteilhafterweise kann die Erfassungseinheit eine Blickrich- tungserfassungseinheit aufweisen (engl. eye-tracker), welche dazu ausgebildet ist, die Blickrichtung und/oder den Blickfo kus des die Anzeigeeinheit durchblickenden Nutzers zu erfas- sen, beispielsweise mittels einer Erfassung einer, insbeson dere momentanen, räumlichen Positionierung von Pupillen des Nutzers. Vorteilhafterweise kann die Erfassungseinheit, ins besondere die Blickrichtungserfassungseinheit, dazu ausgebil det sein, die Blickrichtung und/oder den Blickfokus des Nut- zers in Bezug auf die erfassten realen Objekte und/oder die Anzeigeeinheit, insbesondere die graphische Darstellung der erweiterten Realität, zu erfassen. Die Blickrichtung kann eine räumliche Dimension beschreiben, entlang welcher der Nutzer in einem Betriebszustand der DarstellungsVorrichtung die Anzeigeeinheit durchblickt. Ferner kann der Blickfokus einen räumlichen Bereich, insbesondere entlang der Blickrich tung und/oder um die Blickrichtung herum beschreiben, in wel chem ein Fokuspunkt des Nutzers, insbesondere momentan, ange ordnet ist. Vorteilhafterweise kann der Blickfokus einen räumlichen Bereich mit vorbestimmter, insbesondere ellipti scher oder ellipsoider, räumlicher Ausdehnung um den, insbe sondere momentanen, Fokuspunkt des Nutzers umfassen. Alterna tiv oder zusätzlich kann die Erfassungseinheit dazu ausgebil det sein, eine Trajektorie des Fokuspunkts des Nutzers über einen vorbestimmten Zeitraum, insbesondere wiederholt, zu er fassen. Dabei kann der Blickfokus vorteilhafterweise einen räumlichen Bereich umfassend die Trajektorie des Fokuspunkts beschreiben.
Vorteilhafterweise kann die Erfassungseinheit dazu ausgebil det sein, die Blickrichtung und/oder den Blickfokus des Nut zers in einem Koordinatensystem des durch die Erfassungsein- heit erfassten realen Raumes und/oder in einem Koordinaten system der erweiterten Realität, insbesondere der Anzeigeein heit, zu erfassen.
Vorteilhafterweise kann die DarstellungsVorrichtung dazu aus- gebildet sein, das zumindest eine virtuelle Objekt, insbeson dere die mehreren virtuellen Objekte, zusätzlich in Abhängig keit der erfassten Blickrichtung und/oder des erfassten Blickfokus in der erweiterten Realität anzuordnen. Insbeson dere kann die DarstellungsVorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt aufweisend einen räumli chen Mindestabstand, insbesondere einen Radius, relativ zur erfassten Blickrichtung und/oder zum erfassten Blickfokus in der erweiterten Realität anzuordnen. Dabei kann der räumliche Mindestabstand beispielsweise anhand einer Eigenschaft zumin- dest eines erfassten realen Objekts, welches an dem Blickfo kus und/oder entlang der Blickrichtung angeordnet ist, bei spielsweise der Identifikation und/oder räumlichen Ausdehnung des zumindest einen erfassten realen Objekts, bestimmt wer den. Des Weiteren kann der Mindestabstand in Abhängigkeit der räumlichen Positionierung des erfassten Blickfokus entlang der Blickrichtung angepasst werden. Insbesondere kann der Mindestabstand des zumindest einen virtuellen Objekts bezüg lich der Blickrichtung mit zunehmender Entfernung des Blick fokus bezüglich dem Nutzer verringert werden. Des Weiteren kann die DarstellungsVorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt entlang der Blickrichtung hinter dem Blickfokus anzuordnen.
Ferner kann die DarstellungsVorrichtung dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts zusätzlich in Abhängigkeit von dessen Relativpositionierung bezüglich des Blickfokus und/oder der Blickrichtung anzupas sen. Insbesondere kann die DarstellungsVorrichtung dazu
ausgebildet sein, eine räumliche Distanz zwischen dem zumin dest einen virtuellen Objekt und dem Blickfokus und/oder der Blickrichtung, insbesondere zweidimensional oder dreidimensi onal, zu bestimmen. Ferner kann die DarstellungsVorrichtung dazu ausgebildet sein, die Unschärfe des zumindest einen vir tuellen Objekts als Funktion der räumlichen Distanz zwischen dem zumindest einen virtuellen Objekt und dem Blickfokus und/oder der Blickrichtung, insbesondere graduell, anzupas sen. Insbesondere kann die DarstellungsVorrichtung dazu aus- gebildet sein, die Unschärfe des zumindest einen virtuellen
Objekts mit steigender räumlicher Distanz zwischen dem zumin dest einen virtuellen Objekt und dem Blickfokus und/oder der Blickrichtung zu erhöhen. Hierdurch kann eine an die, insbesondere momentane, Blick richtung und/oder an den, insbesondere momentanen, Blickfokus des Nutzers, angepasste graphische Darstellung der erweiter ten Realität aufweisend das zumindest eine virtuelle Objekt angezeigt werden.
In einer weiteren vorteilhaften Ausführungsform der vorge schlagenen DarstellungsVorrichtung kann die DarstellungsVor richtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt derart in Abhängigkeit der erfassten Blickrichtung an- zuordnen, dass zumindest eines der realen Objekte durch das zumindest eine virtuelle Objekt zumindest teilweise, insbe sondere vollständig, maskiert wird.
Die DarstellungsVorrichtung kann vorteilhafterweise dazu aus- gebildet sein, das zumindest eine der erfassten realen Ob jekte, insbesondere mehrere der erfassten realen Objekte, in Abhängigkeit des erfassten Blickfokus und/oder der erfassten Blickrichtung des Nutzers zu identifizieren, insbesondere auszuwählen. Vorteilhafterweise kann das zumindest eine der erfassten realen Objekte, insbesondere zumindest ein identi fiziertes reales Objekt, außerhalb des räumlichen Mindestab stands bezüglich des Blickfokus und/oder der Blickrichtung angeordnet sein. Ferner kann die DarstellungsVorrichtung dazu
ausgebildet sein, das zumindest eine virtuelle Objekt entlang der Blickrichtung des Nutzers vor dem zumindest einen der re alen Objekte, insbesondere dem zumindest einen identifizier ten realen Objekt, virtuell anzuordnen. Insbesondere kann die DarstellungsVorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt in der erweiterten Realität an einer virtuellen Position anzuordnen, welche der räumlichen Posi tion des zumindest einen der erfassten realen Objekte, insbe sondere dem zumindest einen identifizierten realen Objekt, entspricht. Hierdurch kann das zumindest eine der erfassten realen Objekte mit dem zumindest einen virtuellen Objekt in der graphischen Darstellung erweiterten Realität zumindest teilweise überlagert, insbesondere maskiert, werden. Insbe sondere kann das zumindest eine virtuelle Objekt dazu ausge- bildet sein, das zumindest eine der erfassten realen Objekte zumindest teilweise, insbesondere vollständig, zu verdecken und/oder unscharf zu maskieren. Ferner kann die Darstellungs- vorrichtung dazu ausgebildet sein, das zumindest eine virtu elle Objekt aufweisend eine zweidimensionale oder dreidimen- sionale Form und/oder Struktur anzuzeigen. Dabei kann die zweidimensionale und/oder dreidimensionale Form und/oder Struktur des zumindest einen virtuellen Objekts an eine zwei dimensionale und/oder dreidimensionale Form und/oder Struktur des zumindest einen der erfassten realen Objekte, insbeson- dere entlang der Blickrichtung, angepasst sein. Hierfür kann die Erfassungseinheit ferner dazu ausgebildet sein, die zwei dimensionale und/oder dreidimensionale Form und/oder Struktur des zumindest einen realen Objekts zu erfassen. Durch die zumindest teilweise Maskierung des zumindest einen der realen Objekte kann beispielsweise eine Lenkung der Blickrichtung und/oder des Blickfokus hin zu einem unmaskier- ten Bereich der erweiterten Realität ermöglicht werden. Zudem kann die vorgeschlagene Ausführungsform vorteilhaft eine Ver- Stärkung eines Tiefeneindrucks ermöglichen, insbesondere durch zumindest teilweises unscharf Maskieren des zumindest einen der realen Objekte.
In einer weiteren vorteilhaften Ausführungsform der vorge schlagenen DarstellungsVorrichtung kann die Anzeigeeinheit dazu ausgebildet sein, das zumindest eine virtuelle Objekt teilweise transparent anzuzeigen. Dabei kann die Darstel- lungsVorrichtung ferner dazu ausgebildet sein, die Transpa renz des zumindest einen virtuellen Objekts in Abhängigkeit dessen virtueller Anordnung anzupassen.
Die Anzeigeeinheit kann vorteilhafterweise dazu ausgebildet sein, das zumindest eine virtuelle Objekt in der graphischen Darstellung der erweiterten Realität teilweise transparent anzuzeigen. Ferner kann die Anzeigeeinheit dazu ausgebildet sein, das zumindest eine virtuelle Objekt zumindest bereichs weise, insbesondere vollständig, aufweisend die teilweise Transparenz anzuzeigen. Zudem kann die DarstellungsVorrich tung dazu ausgebildet sein, die zumindest bereichsweise Transparenz des zumindest einen virtuellen Objekts in Abhän gigkeit von dessen virtueller Anordnung in der erweiterten Realität anzupassen. Insbesondere kann die Darstellungsvor- richtung dazu ausgebildet sein, die zumindest bereichsweise
Transparenz des zumindest einen virtuellen Objekts mit zuneh mender virtueller räumlicher Distanz zwischen dem zumindest einen virtuellen Objekt und dem Blickfokus und/oder der Blickrichtung und/oder dem Nutzer zu verringern.
Die vorgeschlagene Ausführungsform kann eine vorteilhafte In tegration, insbesondere Immersion, des zumindest einen virtu ellen Objekts in die erweiterte Realität ermöglichen. In einer weiteren vorteilhaften Ausführungsform der vorge schlagenen Darstellungsvorrichtung kann die Erfassungseinheit ferner dazu ausgebildet sein, eine Eingabe eines Nutzers zu erfassen. Dabei kann die Darstellungsvorrichtung dazu ausge bildet sein, anhand der Eingabe des Nutzers zumindest eines der erfassten realen Objekte zu identifizieren und die Un schärfe des zumindest einen virtuellen Objekts zusätzlich in Abhängigkeit von dessen virtueller Anordnung bezüglich des zumindest einen identifizierten realen Objekts anzupassen.
Der Sensor der Erfassungseinheit zur Erfassung der realen Ob jekte kann vorteilhafterweise dazu ausgebildet sein, die Ein gabe des Nutzers zu erfassen. Alternativ oder zusätzlich kann die Erfassungseinheit einen weiteren, insbesondere optischen und/oder elektromagnetischen und/oder akustischen und/oder haptischen, Sensor aufweisen, welcher dazu ausgebildet ist, die Eingabe des Nutzers zu erfassen. Die Erfassungseinheit kann vorteilhafterweise dazu ausgebildet sein, die Eingabe des Nutzers anhand eines Eingabemittels zu erfassen. Das Ein gabemittel kann beispielsweise eine Zeigeeinrichtung, insbe sondere ein Stift und/oder eine MarkerStruktur, und/oder eine Eingabeeinheit, insbesondere eine Tastatur, und/oder ein Kör perteil des Nutzers, beispielsweise eine Hand und/oder ein Finger, und/oder ein optisches und/oder akustisches Signal, beispielsweise eine Spracheingabe, umfassen. Vorteilhafter weise kann die Erfassungseinheit zur zweidimensional und/oder dreidimensional räumlich aufgelösten Erfassung der Eingabe des Nutzers, insbesondere anhand des Eingabemittels, ausge- bildet sein. Insbesondere kann die Erfassungseinheit dazu ausgebildet sein, die Eingabe des Nutzers punktuell und/oder zeitaufgelöst, beispielsweise als Trajektorie und/oder Geste, zu erfassen. Ferner kann die DarstellungsVorrichtung dazu ausgebildet sein, zumindest eines, insbesondere mehrere, der erfassten realen Objekte anhand der Eingabe des Nutzers zu identifizie ren, insbesondere auszuwählen. Hierfür kann die Darstellungs- vorrichtung ausgebildet sein, die Eingabe des Nutzers mit den erfassten realen Objekten, insbesondere räumlich, zu assozi ieren. Zusätzlich kann die DarstellungsVorrichtung dazu aus- gebildet sein, die Eingabe des Nutzers, insbesondere das zu mindest eine identifizierte reale Objekt, mit der, insbeson dere zum Zeitpunkt der Eingabe des Nutzers, erfassten Blick- richtung und/oder dem erfassten Blickfokus des Nutzers zu as soziieren. Dabei kann vorteilhafterweise das zumindest eine reale Objekt, insbesondere die mehreren realen Objekte, durch die Eingabe des Nutzers identifiziert, insbesondere klassifi-
ziert, werden, welche bei der erfassten Blickrichtung und/oder dem erfassten Blickfokus durch den Nutzer scharf oder unscharf erfassbar sind. Die DarstellungsVorrichtung, insbesondere die Anzeigeeinheit, kann ferner dazu ausgebildet sein, ein weiteres virtuelles Objekt, beispielsweise ein gra phisches Fixierelement, insbesondere ein Fixierkreuz, in der erweiterten Realität an einer oder mehreren virtuellen Posi tionierungen anzuordnen, um die Blickrichtung und/oder den Blickfokus des Nutzers während der Erfassung der Eingabe des Nutzers zu lenken und/oder zu fixieren. Durch eine Korrela tion der erfassten räumlichen Positionierung des zumindest einen identifizierten realen Ob ekts, insbesondere des Einga bemittels, mit der Eingabe des Nutzers, insbesondere der Klassifizierung des zumindest einen identifizierten Objekts als scharf oder unscharf, kann eine räumliche Schärfentiefe des Nutzers, insbesondere individuell, abgebildet werden. Die DarstellungsVorrichtung, insbesondere die Anzeigeeinheit, kann vorteilhafterweise dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit der abgebildeten Schärfentiefe nutzerspezifisch anzupassen. Wird durch die Eingabe des Nutzers das zumindest eine scharf er fassbare reale Objekt identifiziert, kann die Darstellungs- vorrichtung vorteilhafterweise dazu ausgebildet sein, die Un schärfe des zumindest einen virtuellen Objekts mit zunehmen- der räumlicher Distanz zwischen dem zumindest einen virtuel len Objekt und dem zumindest einen identifizierten realen Ob jekt in der erweiterten Realität zu erhöhen. Wird durch die Eingabe des Nutzers das zumindest eine unscharf erfassbare reale Objekt identifiziert, kann die DarstellungsVorrichtung vorteilhafterweise dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts mit zunehmender räumlicher Distanz zwischen dem zumindest einen virtuellen Objekt und dem zumindest einen identifizierten realen Objekt in der er weiterten Realität zu verringern. Hierdurch kann die Un- schärfe des zumindest einen virtuellen Objekts in der erwei terten Realität an die durch den Nutzer, insbesondere indivi duell, erfassbare Unschärfe der erfassten realen Objekte an gepasst, insbesondere angeglichen und/oder kalibriert,
werden. Insbesondere kann die Verarbeitungseinheit dazu aus gebildet sein, anhand der Eingabe die durch den Nutzer, ins besondere individuell, erfassbare Unschärfe in Abhängigkeit der räumlichen Positionierung des zumindest einen identifi- zierten realen Ob ekts bezüglich der Darstellungsorrichtung, insbesondere der Anzeigeeinheit, und/oder bezüglich der Blickrichtung und/oder des Blickfokus des Nutzers abzubilden. Alternativ oder zusätzlich kann die Erfassungseinheit dazu ausgebildet sein, das Eingabemittel als das zumindest eine reale Objekt zu identifizieren. Dabei kann der Nutzer durch die, insbesondere momentane, räumliche Positionierung des Eingabemittels einen als unscharf oder scharf erfassbaren Be reich des realen Raumes markieren. Bei einer stereoskopischen Anzeige der graphischen Darstel lung der erweiterten Realität mittels der Anzeigeeinheit kann die Verarbeitungseinheit ferner dazu ausgebildet sein, anhand der räumlichen Positionierung des zumindest einen identifi zierten realen Objekts, insbesondere des Eingabemittels, den Tiefeneindruck des Nutzers, insbesondere individuell, bezüg lich der DarstellungsVorrichtung, insbesondere der Anzeige einheit, und/oder bezüglich der Blickrichtung und/oder des Blickfokus des Nutzers abzubilden. Hierfür kann die Darstel lungsvorrichtung dazu ausgebildet sein, eine Soll-Tiefe, ins- besondere eine räumliche Soll-Positionierung für das zumin dest eine identifizierte reale Objekt, insbesondere das Ein gabemittel, an den Nutzer auszugeben, beispielsweise als gra phische Markierung und/oder als Textelement innerhalb der graphischen Darstellung der erweiterten Realität. Durch eine Korrelation der erfassten räumlichen Positionierung des zu mindest einen identifizierten realen Objekts, insbesondere des Eingabemittels, mit der Soll-Tiefe, kann der Tiefenein druck des Nutzers, insbesondere individuell, abgebildet wer den. Die DarstellungsVorrichtung, insbesondere die Anzeige- einheit, kann ferner dazu ausgebildet sein, die Stereodispa rität der stereoskopischen Anzeige der graphischen Darstel lung der erweiterten Realität in Abhängigkeit des abgebilde ten Tiefeneindrucks nutzerspezifisch anzupassen.
Die vorgeschlagene Ausführungsform kann vorteilhaft eine An passung, insbesondere Kalibrierung, der Unschärfe des zumin dest einen virtuellen Objekts durch den Nutzer in Abhängig- keit von der virtuellen Anordnung des zumindest einen virtu ellen Objekts in der erweiterten Realität ermöglichen.
Die Erfindung betrifft in einem zweiten Aspekt ein Verfahren zum Bereitstellen einer erweiterten Realität. Dabei wird ein Datensatz aufweisend eine Abbildung und/oder Positionierungs- information zumindest eines realen Objekts, insbesondere meh rere realer Objekte, in einem Blickfeld einer Darstellungs- vorrichtung zur Anzeige der erweiterten Realität empfangen. Ferner wird die erweiterte Realität aufweisend zumindest ein virtuelles Objekt bereitgestellt. Dabei wird das zumindest eine virtuelle Objekt in Abhängigkeit des Datensatzes, insbe sondere der Abbildung und/oder der PositionierungsInformation des zumindest einen realen Objekts, in der erweiterten Reali tät angeordnet. Zudem wird eine Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller An ordnung angepasst.
Die Vorteile des vorgeschlagenen Verfahrens zum Bereitstellen einer erweiterten Realität entsprechen im Wesentlichen den Vorteilen der vorgeschlagenen DarstellungsVorrichtung zur An zeige einer erweiterten Realität. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen können ebenso auch auf die anderen beanspruchten Gegenstände übertragen werden und umgekehrt. Die DarstellungsVorrichtung zur Anzeige der erweiterten Realität kann vorteilhafterweise eine vorge schlagene DarstellungsVorrichtung gemäß dem ersten Aspekt der Erfindung sein. Insbesondere kann die vorgeschlagene Ausfüh rungsvorrichtung und ihre Komponenten dazu ausgebildet sein, eine Ausführungsform des vorgeschlagenen Verfahrens zum Be- reitstellen einer erweiterten Realität auszuführen.
Das Empfangen des Datensatzes kann insbesondere ein Erfassen und/oder Auslesen eines Computerlesbaren Datenspeichers
und/oder ein Empfangen aus einer Datenspeichereinheit, bei spielsweise einer Datenbank, umfassen. Ferner kann der Daten satz von einer Erfassungseinheit einer vorgeschlagenen Dar stellungsvorrichtung erfasst und/oder bereitgestellt werden.
Der Datensatz kann vorteilhafterweise eine, insbesondere zweidimensional oder dreidimensional, räumlich aufgelöste Ab bildung zumindest eines realen, insbesondere gegenständli chen, Objekts, insbesondere mehrerer realer Objekte, im Blickfeld der DarstellungsVorrichtung aufweisen. Alternativ oder zusätzlich kann der Datensatz eine PositionierungsInfor mation zu dem zumindest einen realen Objekt im Blickfeld der DarstellungsVorrichtung aufweisen. Dabei kann die Positionie rungsinformation eine Information zur, insbesondere momenta- nen, räumlichen Position und/oder Ausrichtung des zumindest einen realen Objekts in einem Koordinatensystem des Raumes und/oder einer Anzeigeeinheit zur Anzeige der erweiterten Re alität aufweisen. Bei mehreren erfassten realen Objekten kann der Datensatz vorteilhafterweise jeweils eine Positionie- rungsInformation zu jedem der mehreren realen Objekte aufwei sen. Sofern der Datensatz die Abbildung und die Positionie rungsinformation zu dem zumindest einen realen Objekt auf weist, können die Abbildung und die Positionierungsinforma tion vorteilhaft miteinander registriert sein.
Das Anpassen der Unschärfe des zumindest einen virtuellen Ob jekts, insbesondere das Erhöhen oder Verringern der räumli chen Auflösung und/oder des Grads der Weichzeichnung, kann beispielsweise mittels einer künstlichen Intelligenz, insbe- sondere durch Anwenden einer trainierten Funktion, erfolgen. Die trainierte Funktion bildet Eingabedaten auf Ausgabedaten ab. Hierbei können die Ausgabedaten insbesondere weiterhin von einem oder mehreren Parametern der trainierten Funktion abhängen. Der eine oder die mehreren Parameter der trainier- ten Funktion können durch ein Training bestimmt und/oder an gepasst werden. Das Bestimmen und/oder das Anpassen des einen oder der mehreren Parameter der trainierten Funktion kann insbesondere auf einem Paar aus Trainingseingabedaten und
zugehörigen Trainingsausgabedaten, insbesondere Vergleichs ausgabedaten, basieren, wobei die trainierte Funktion zur Er zeugung von Trainingsabbildungsdaten auf die Trainingseinga- bedaten angewendet wird. Insbesondere können das Bestimmen und/oder das Anpassen auf einem Vergleich der Trainingsabbil dungsdaten und der Trainingsausgäbedaten, insbesondere der Vergleichsausgabedaten, basieren. Im Allgemeinen wird auch eine trainierbare Funktion, das heißt eine Funktion mit noch nicht angepassten einen oder mehreren Parametern, als trai- nierte Funktion bezeichnet. Vorteilhafterweise können die
Eingabedaten der trainierten Funktion auf der Anordnung, ins besondere der virtuellen räumlichen Positionierung des zumin dest einen virtuellen Objekts, und der Abbildung und/oder Po sitionierungsinformation des zumindest einen realen Objekts basieren. Die Ausgäbedaten der trainierten Funktion können eine Information zur Unschärfe, beispielsweise einer räumli chen Auflösung und/oder einem Grad der Weichzeichnung, auf weisen. Der eine oder die mehreren Parameter der trainierten Funktion können durch einen Vergleich einer Trainingsinforma- tion zur Unschärfe mit einer Klassifizierung der Unschärfe zumindest eines identifizierten realen (Trainings-)Objekts angepasst sein. Dabei kann die TrainingsInformation durch An wenden der trainierten Funktion auf Trainingseingabedaten er zeugt werden, wobei die Trainingseingabedaten auf der Positi- onierungsInformation und/oder der Abbildung des zumindest ei nen identifizierten realen (Trainings-)Objekts basieren. Das Identifizierten des zumindest einen realen (Trainings-)Ob jekts und die Klassifizierung der Unschärfe des zumindest ei nen realen (Trainings-)Objekts können, insbesondere analog zur Identifikation des zumindest einen der erfassten realen Objekte und der Klassifizierung der Unschärfe des zumindest einen identifizierten realen Objekts erfolgen, welche in Be zug zur vorgeschlagenen DarsteilungsVorrichtung beschrieben wurden, anhand einer Eingabe eines Nutzers erfolgen.
Das Bereitstellen der erweiterten Realität kann ein Speichern auf einem Computerlesbaren Speichermedium und/oder ein
Übertragen an eine Anzeigeeinheit zur Anzeige einer graphischen Darstellung der erweiterten Realität umfassen.
In einer weiteren vorteilhaften Ausführungsform des vorge- schlagenen Verfahrens kann ein Bilddatensatz aufweisend eine Abbildung und/oder ein Modell eines Untersuchungsobjekts emp fangen werden. Dabei kann der Datensatz eine Abbildung und/oder eine PositionierungsInformation zumindest eines Aus schnitts des Untersuchungsob ekts als das zumindest eine re- ale Objekt in dem Blickfeld der DarstellungsVorrichtung auf- weisen. Ferner kann das zumindest eine virtuelle Objekt eine graphische Information des Bilddatensatzes aufweisen.
Die Abbildung und/oder die PositionierungsInformation des zu- mindest einen Ausschnitts des Untersuchungsobjekts können insbesondere alle Merkmale und Eigenschaften aufweisen, die in Bezug zur Abbildung und/oder PositionierungsInformation des zumindest einen realen Objekts beschrieben wurden. In einer weiteren vorteilhaften Ausführungsform des vorge schlagenen Verfahrens kann eine Information zu einer Blick richtung und/oder einem Blickfokus eines die Anzeigeeinheit durchblickenden Nutzers empfangen werden. Dabei kann die vir tuelle Anordnung und/oder die Unschärfe des zumindest einen virtuellen Objekts zusätzlich in Abhängigkeit der erfassten Blickrichtung und/oder des erfassten Blickfokus angepasst werden.
Wird die Unschärfe des zumindest einen virtuellen Objekts durch Anwenden der trainierten Funktion angepasst, können die (Trainings-)Eingabedaten der trainierten Funktion vorteilhaf terweise zusätzlich auf der Blickrichtung und/oder dem Blick fokus basieren. In einer weiteren vorteilhaften Ausführungsform des vorge schlagenen Verfahrens kann das zumindest eine virtuelle Ob jekt derart in Abhängigkeit der erfassten Blickrichtung ange ordnet werden, dass zumindest eines der erfassten realen
Objekte durch das zumindest eine virtuelle Objekt zumindest teilweise maskiert wird.
In einer weiteren vorteilhaften Ausführungsform des vorge- schlagenen Verfahrens kann das zumindest eine virtuelle Ob jekt teilweise transparent angezeigt werden. Dabei kann die Transparenz des zumindest einen virtuellen Objekts in Abhän gigkeit dessen virtueller Anordnung angepasst werden. In einer weiteren vorteilhaften Ausführungsform des vorge schlagenen Verfahrens kann eine Eingabe eines Nutzers empfan gen werden. Ferner kann anhand der Eingabe des Nutzers zumin dest eines der erfassten realen Objekte identifiziert werden. Zudem kann die Unschärfe des zumindest einen virtuellen Ob- jekts in Abhängigkeit von dessen virtueller Anordnung bezüg lich des zumindest einen identifizierten realen Objekts ange passt werden.
Die Erfindung betrifft in einem dritten Aspekt ein Computer- programmprodukt mit einem Computerprogramm, welches direkt in einen Speicher einer Verarbeitungseinheit ladbar ist, mit Programmabschnitten, um alle Schritte des vorgeschlagenen Verfahrens zum Bereitstellen einer erweiterten Realität aus zuführen, wenn die Programmabschnitte von der Verarbeitungs- einheit ausgeführt werden. Das Computerprogrammprodukt kann dabei eine Software mit einem Quellcode, der noch kompiliert und gebunden oder der nur interpretiert werden muss, oder ei nen ausführbaren Softwarecode umfassen, der zur Ausführung nur noch in die Verarbeitungseinheit zu laden ist. Durch das Computerprogrammprodukt kann das Verfahren zum Bereitstellen einer erweiterten Realität mittels einer Verarbeitungseinheit schnell, identisch wiederholbar und robust ausgeführt werden. Das Computerprogrammprodukt ist so konfiguriert, dass es mit tels der Verarbeitungseinheit die erfindungsgemäßen Verfah- rensschritte ausführen kann.
Die Vorteile des vorgeschlagenen Computerprogrammprodukts entsprechen im Wesentlichen den Vorteilen des vorgeschlagenen
Verfahrens zum Bereitstellen einer erweiterten Realität. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausfüh rungsformen können ebenso auch auf die anderen beanspruchten Gegenstände übertragen werden und umgekehrt.
Das Computerprogrammprodukt ist beispielsweise auf einem com puterlesbaren Speichermedium gespeichert oder auf einem Netz werk oder Server hinterlegt, von wo es in den Prozessor einer Verarbeitungseinheit geladen werden kann, der mit der Verar- beitungseinheit direkt verbunden oder als Teil der Verarbei tungseinheit ausgebildet sein kann. Weiterhin können Steuer informationen des Computerprogrammprodukts auf einem elektro nisch lesbaren Datenträger gespeichert sein. Die Steuerinfor mationen des elektronisch lesbaren Datenträgers können derart ausgestaltet sein, dass sie bei Verwendung des Datenträgers in einer Verarbeitungseinheit ein erfindungsgemäßes Verfahren durchführen. Beispiele für elektronisch lesbare Datenträger sind eine DVD, ein Magnetband oder ein USB-Stick, auf welchem elektronisch lesbare SteuerInformationen, insbesondere Soft- wäre, gespeichert ist. Wenn diese SteuerInformationen von dem Datenträger gelesen und in eine Verarbeitungseinheit gespei chert werden, können alle erfindungsgemäßen Ausführungsformen der vorab beschriebenen Verfahren durchgeführt werden. Die Erfindung kann ferner von einem Computerlesbaren Spei chermedium und/oder elektronisch lesbaren Datenträger ausge hen, auf welchem von einer Verarbeitungseinheit lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens zum Bereitstellen einer erweiterten Realität auszuführen, wenn die Programmabschnitte von der Verarbeitungseinheit ausgeführt werden.
Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher verwendete Verarbeitungseinheiten auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Ein solches Computerprogrammprodukt kann neben dem Computerpro gramm gegebenenfalls zusätzliche Bestandteile wie z.B. eine
Dokumentation und/oder zusätzliche Komponenten, sowie Hard ware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen. Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden im Folgenden näher beschrieben. In un terschiedlichen Figuren werden für gleiche Merkmale die glei chen BezugsZeichen verwendet. Es zeigen: Fig. 1 eine schematische Darstellung eines beispielhaf ten Anwendungsbeispiels für eine vorgeschlagene DarstellungsVorrichtung zur Anzeige einer erwei terten Realität, Fig. 2 eine schematische Darstellung einer beispielhaf ten erweiterten Realität aufweisend mehrere vir tuelle Objekte,
Fig. 3 bis 6 schematische Darstellungen verschiedener Ausfüh- rungsformen eines vorgeschlagenen Verfahrens zum
Bereitstellen einer erweiterten Realität.
In Fig. 1 ist ein beispielhaftes Anwendungsbeispiel für eine vorgeschlagene DarstellungsVorrichtung VIS zur Anzeige einer erweiterten Realität schematisch dargestellt. Dabei kann die DarstellungsVorrichtung VIS eine Erfassungseinheit RU und eine Anzeigeeinheit DU aufweisen. Ferner kann die Anzeigeein heit DU zumindest teilweise transparent ausgebildet sein. Ferner kann die Erfassungseinheit RU dazu ausgebildet sein, reale Objekte, beispielsweise ein auf einer Patientenlage rungsvorrichtung 32 angeordnetes Untersuchungsobjekt 31, in einem Blickfeld der DarstellungsVorrichtung VIS zu erfassen. Die DarstellungsVorrichtung VIS kann ferner eine Verarbei tungseinheit aufweisen (hier nicht gezeigt), welche dazu aus- gebildet ist, ein von der Erfassungseinheit RU in Abhängig keit der erfassten realen Objekte bereitgestelltes Signal zu verarbeiten. Ferner kann die Verarbeitungseinheit dazu ausge bildet sein, die erweiterte Realität AR aufweisend zumindest
ein virtuelles Objekt VO zu erzeugen. Des Weiteren kann die Anzeigeeinheit DU dazu ausgebildet sein, eine graphische Dar stellung der erweiterten Realität AR anzuzeigen, wobei die erweiterte Realität AR zumindest ein virtuelles Objekt VO aufweist. Die DarstellungsVorrichtung VIS kann dazu ausgebil det sein, das zumindest eine virtuelle Objekt VO in Abhängig keit der erfassten realen Objekte, insbesondere des Untersu chungsobjekts 31, in der erweiterten Realität AR anzuordnen. Ferner kann die DarstellungsVorrichtung VIS dazu ausgebildet sein, eine Unschärfe des zumindest einen virtuellen Objekts VO in Abhängigkeit von dessen virtueller Anordnung anzupas sen.
Fig. 2 zeigt eine schematische Darstellung einer beispielhaf- ten erweiterten Realität AR aufweisend mehrere virtuelle Ob jekte VO.1, VO.2 und VO.3. Vorteilhafterweise kann die Dar stellungsvorrichtung VIS zum Empfangen eines Bilddatensatzes aufweisend eine Abbildung und/oder ein Modell des Untersu chungsobjekts 31 ausgebildet sein. Ferner kann die Erfas- sungseinheit RU zum Erfassen zumindest eines Ausschnitts des Untersuchungsobjekts 31, beispielsweise einem Herz in einem chirurgischen Operationsfeld des Untersuchungsobjekts 31, als erstes reales Objekt RO in dem Blickfeld der DarstellungsVor richtung VIS ausgebildet sein. Die Erfassungseinheit RU kann zudem zum Erfassen weiterer realer Objekte, insbesondere wei terer Ausschnitte des Untersuchungsobjekts 31, beispielsweise einer Oberfläche des Untersuchungsobjekts 31, ausgebildet sein. Des Weiteren können die virtuellen Objekte VO.1 bis VO.3 jeweils eine graphische Information des Bilddatensatzes aufweisen. In Fig. 2 ist mittels einer Welligkeit von Linien schematisch illustriert, wie eine Unschärfe der virtuellen Objekte VO.1 bis VO.3 mit zunehmender räumlicher Distanz be züglich dem identifizierten realen Objekt RO vorteilhaft er höht werden kann. Mit einer höheren Anzahl von virtuellen Ob- jekten und/oder einer räumlich inhomogenen angepassten Un schärfe der virtuellen Objekte VO.1 bis VO.3 kann zudem eine graduell, insbesondere kontinuierlich, ansteigende Unschärfe mit zunehmender räumlicher Distanz bezüglich dem identifi-
zierten realen Objekt RO in der graphischen Darstellung der erweiterten Realität AR erzeugt werden.
Zudem kann die Erfassungseinheit RU zum Erfassen einer Blick- richtung und/oder eines Blickfokus V des die Anzeigeeinheit DU in einem Betriebszustand der Darstellungsvorrichtung durchblickenden Nutzers U ausgebildet sein. Dabei kann die DarstellungsVorrichtung VIS dazu ausgebildet sein, die virtu elle Anordnung und/oder die Unschärfe der virtuellen Ob ekte VO.l bis V0.3 zusätzlich in Abhängigkeit der erfassten Blick richtung und/oder des erfassten Blickfokus V anzupassen.
Die Darstellungsvorrichtung VIS kann ferner dazu ausgebildet sein, die virtuellen Objekte VO.1 bis VO.3 derart in Abhän- gigkeit der erfassten Blickrichtung V anzuordnen, dass zumin dest eines der realen Objekte, insbesondere die weiteren rea len Objekte, durch die virtuellen Objekte VO.1 bis VO.3 zu mindest teilweise maskiert wird. Die Anzeigeeinheit DU kann ferner dazu ausgebildet sein, die virtuellen Objekte VO.1 bis VO.3 teilweise transparent anzu zeigen (hier nicht gezeigt). Dabei kann die DarstellungsVor richtung dazu ausgebildet sein, die Transparenz der virtuel len Objekts VO.1 bis VO.3 in Abhängigkeit von deren jeweili- ger virtueller Anordnung anzupassen.
Vorteilhafterweise kann die Erfassungseinheit RU ferner zur Erfassung einer Eingabe des Nutzers U, beispielsweise anhand eines Eingabemittels IM, ausgebildet sein. Die Darstellungs- Vorrichtung VIS kann zudem dazu ausgebildet sein, anhand der Eingabe des Nutzers U zumindest eines der erfassten realen Objekte, insbesondere das erste reale Objekt RO, zu identifi zieren und die Unschärfe der virtuellen Objekts VO.1 bis VO.3 in Abhängigkeit von deren virtueller Anordnung bezüglich des identifizierten realen Objekts RO anzupassen.
In Fig. 3 ist eine vorteilhafte Ausführungsform eines vorge schlagenen Verfahrens zum Bereitstellen PROV-AR einer erwei-
terten Realität AR schematisch dargestellt. Dabei kann ein Datensatz DS aufweisend eine Abbildung und/oder eine Positio nierungsinformation zumindest eines realen Objekts, insbeson dere mehrerer realer Objekte, in dem Blickfeld der Darstel- lungsVorrichtung VIS empfangen werden REC-DS. Ferner kann die erweiterte Realität AR aufweisend das zumindest eine virtu elle Objekt VO bereitgestellt werden. Dabei kann das zumin dest eine virtuelle Objekt VO in Abhängigkeit des Datensatzes DS in der erweiterten Realität AR angeordnet werden POS-VO. Ferner kann die Unschärfe des zumindest einen virtuellen Ob jekts VO in Abhängigkeit von dessen virtueller Anordnung an gepasst werden ADJ-VO.
In Fig. 4 ist eine weitere vorteilhafte Ausführungsform des vorgeschlagenen Verfahrens zum Bereitstellen PROV-AR einer erweiterten Realität AR schematisch dargestellt. Dabei kann ein Bilddatensatz ID aufweisend eine Abbildung und/oder ein Modell des Untersuchungsobjekts 31 empfangen werden REC-ID. Ferner kann der Datensatz DS eine Abbildung und/oder eine Po- sitionierungsInformation zumindest eines Ausschnittes des Un tersuchungsobjekts 31 als das zumindest eine reale Objekt in dem Blickfeld der DarstellungsVorrichtung VIS aufweisen. Fer ner kann das zumindest eine virtuelle Objekt VO eine graphi sche Information des Bilddatensatzes ID aufweisen.
Fig. 5 zeigt eine schematische Darstellung einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens zum Bereitstellen PROV-AR einer erweiterten Realität AR. Da bei kann eine Information zu einer Blickrichtung und/oder ei- nem Blickfokus V des die Anzeigeeinheit DU durchblickenden Nutzers U empfangen werden REC-V. Ferner kann die virtuelle Anordnung und/oder die Unschärfe des zumindest einen virtuel len Objekts VO zusätzlich in Abhängigkeit der erfassten Blickrichtung und/oder des erfassten Blickfokus V angepasst werden ADJ-VO.
Insbesondere kann das zumindest eine virtuelle Objekt VO der art in Abhängigkeit der erfassten Blickrichtung V angeordnet
werden POS-VO, dass zumindest eines der erfassten realen Ob jekte durch das zumindest eine virtuelle Objekt VO zumindest teilweise, insbesondere vollständig, maskiert wird. Dabei kann das zumindest eine virtuelle Objekt VO teilweise trans- parent angezeigt werden. Ferner kann die Transparenz des zu mindest einen virtuellen Objekts VO in Abhängigkeit von des sen virtueller Anordnung angepasst werden.
In Fig. 6 ist eine weitere vorteilhafte Ausführungsform des vorgeschlagenen Verfahrens zum Bereitstellen PROV-AR einer erweiterten Realität AR schematisch dargestellt. Dabei kann eine Eingabe INP des Nutzers U empfangen werden REC-INP. Fer ner kann anhand der Eingabe INP des Nutzers U zumindest eines RO der erfassten realen Objekte identifiziert werden ID-RO. Dabei kann die Unschärfe des zumindest einen virtuellen Ob jekts VO zusätzlich in Abhängigkeit von dessen virtueller An ordnung bezüglich des zumindest einen identifizierten realen Objekts RO angepasst werden ADJ-VO. Die in den beschriebenen Figuren enthaltenen schematischen
Darstellungen bilden keinerlei Maßstab oder Größenverhältnis ab.
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorhergehend detailliert beschriebenen Verfahren und Vorrichtungen lediglich um Ausführungsbeispiele handelt, welche vom Fachmann in verschiedenster Weise modifiziert wer den können, ohne den Bereich der Erfindung zu verlassen. Wei terhin schließt die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht aus, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließen die Begriffe „Einheit" und „Element" nicht aus, dass die betreffenden Kom ponenten aus mehreren zusammenwirkenden Teil-Komponenten be stehen, die gegebenenfalls auch räumlich verteilt sein kön- nen.
Claims
1. Darstellungsvorrichtung (VIS) zur Anzeige einer erweiter ten Realität (AR), wobei die DarstellungsVorrichtung (VIS) eine Erfassungsein heit (RU) und eine Anzeigeeinheit (DU) aufweist, wobei die Anzeigeeinheit (DU) zumindest teilweise transparent ausgebildet ist, wobei die Erfassungseinheit (RU) dazu ausgebildet ist, reale Objekte in einem Blickfeld der DarstellungsVorrichtung (VIS) zu erfassen, wobei die Anzeigeeinheit (DU) dazu ausgebildet ist, eine gra phische Darstellung der erweiterten Realität (AR) anzuzeigen, wobei die erweiterte Realität (AR) zumindest ein virtuelles Objekt (VO) aufweist, wobei die DarstellungsVorrichtung (VIS) dazu ausgebildet ist: - das zumindest eine virtuelle Objekt (VO) in Abhängig keit der erfassten realen Objekte in der erweiterten Realität (AR) anzuordnen (POS-VO) und - eine Unschärfe des zumindest einen virtuellen Objekts
(VO) in Abhängigkeit von dessen virtueller Anordnung anzupassen (ADJ-VO).
2. DarstellungsVorrichtung (VIS) nach Anspruch 1, wobei die DarstellungsVorrichtung (VIS) ferner zum Empfangen (REC-ID) eines Bilddatensatzes (ID) ausgebildet ist, wobei der Bilddatensatz (ID) eine Abbildung und/oder ein Mo dell eines Untersuchungsobjekts (31) aufweist, wobei die Erfassungseinheit (RU) dazu ausgebildet ist, zumin- dest einen Ausschnitt des Untersuchungsobjekts (31) als rea les Objekt in dem Blickfeld der DarstellungsVorrichtung (VIS) zu erfassen, wobei das zumindest eine virtuelle Objekt (VO) eine graphi sche Information des Bilddatensatzes (ID) aufweist.
3. DarstellungsVorrichtung (VIS) nach Anspruch 1 oder 2,
wobei die Erfassungseinheit (RU) ferner zum Erfassen einer Blickrichtung und/oder eines Blickfokus (V) eines die Anzei geeinheit (DU) durchblickenden Nutzers (U) ausgebildet ist, wobei die DarstellungsVorrichtung (VIS) ferner dazu ausgebil- det ist, die virtuelle Anordnung und/oder die Unschärfe des zumindest einen virtuellen Objekts (VO) zusätzlich in Abhän gigkeit der erfassten Blickrichtung und/oder des erfassten Blickfokus (V) anzupassen (ADJ-VO).
4. DarstellungsVorrichtung (VIS) nach Anspruch 3, wobei die DarstellungsVorrichtung (VIS) dazu ausgebildet ist, das zumindest eine virtuelle Objekt (VO) derart in Abhängig keit der erfassten Blickrichtung (V) anzuordnen, dass zumin dest eines der realen Objekte durch das zumindest eine virtu- eile Objekt (VO) zumindest teilweise maskiert wird.
5. DarstellungsVorrichtung (VIS) nach einem der vorangehenden Ansprüche, wobei die Anzeigeeinheit (DU) dazu ausgebildet ist, das zu- mindest eine virtuelle Objekt (VO) teilweise transparent an zuzeigen, wobei die DarstellungsVorrichtung (VIS) dazu ausgebildet ist, die Transparenz des zumindest einen virtuellen Objekts (VO) in Abhängigkeit von dessen virtueller Anordnung anzupassen.
6. DarstellungsVorrichtung (VIS) nach einem der vorangehenden Ansprüche, wobei die Erfassungseinheit (RU) ferner zur Erfassung einer Eingabe (INP) eines Nutzers (U) ausgebildet ist, wobei die DarstellungsVorrichtung (VIS) dazu ausgebildet ist:
- anhand der Eingabe (INP) des Nutzers (U) zumindest ei nes der erfassten realen Objekte (RO) zu identifizie ren (ID-RO) und
- die Unschärfe des zumindest einen virtuellen Objekts (VO) zusätzlich in Abhängigkeit von dessen virtueller Anordnung bezüglich des zumindest einen identifizier ten realen Objekts (RO) anzupassen.
7. Darstellungsvorrichtung (VIS) nach einem der vorangehenden Ansprüche, wobei die DarstellungsVorrichtung (VIS) dazu aus- gebildet ist, durch die Anpassung der Unschärfe des zumindest einen virtuellen Objekts (VO) in Abhängigkeit von dessen vir tueller Anordnung eine Schärfentiefe der graphischen Darstel lung der erweiterten Realität (AR) aufweisend das zumindest eine virtuelle Ob ekt (VO) anzupassen.
8. Verfahren zum Bereitstellen (PROV-AR) einer erweiterten
Realität (AR), umfassend:
- Empfangen (REC-DS) eines Datensatzes (DS) aufweisend eine Abbildung und/oder eine PositionierungsInformation zumin dest eines realen Objekts in einem Blickfeld einer Darstel- lungsVorrichtung (VIS) zur Anzeige der erweiterten Realität
(AR),
- Bereitstellen (PROV-AR) der erweiterten Realität (AR) auf- weisend zumindest ein virtuelles Objekt (VO), wobei das zumindest eine virtuelle Objekt (VO) in Abhängig- keit des Datensatzes (DS) in der erweiterten Realität (AR) angeordnet wird (POS-VO), wobei eine Unschärfe des zumindest einen virtuellen Objekts (VO) in Abhängigkeit von dessen virtueller Anordnung ange passt wird (ADJ-VO).
9. Verfahren nach Anspruch 8, wobei ein Bilddatensatz (ID) aufweisend eine Abbildung und/oder ein Modell eines Untersuchungsobjekts (31) empfangen wird (REC-ID), wobei der Datensatz (DS) eine Abbildung und/oder eine Positi- onierungsInformation zumindest eines Ausschnitts des Untersu- chungsobjekts (31) als das zumindest eine reale Objekt in dem Blickfeld der DarsteilungsVorrichtung (VIS) aufweist, wobei das zumindest eine virtuelle Objekt (VO) eine graphi- sehe Information des Bilddatensatzes (ID) aufweist.
10. Verfahren nach Anspruch 8 oder 9,
wobei eine Information zu einer Blickrichtung und/oder einem Blickfokus (V) eines die Anzeigeeinheit (DU) durchblickenden Nutzers (U) empfangen wird (REC-V), wobei die virtuelle Anordnung und/oder die Unschärfe des zu- mindest einen virtuellen Objekts (VO) zusätzlich in Abhängig keit der erfassten Blickrichtung und/oder des erfassten Blickfokus (V) angepasst wird (ADJ-VO).
11. Verfahren nach Anspruch 10, wobei das zumindest eine virtuelle Objekt (VO) derart in Ab hängigkeit der erfassten Blickrichtung (V) angeordnet wird (POS-VO), dass zumindest eines der erfassten realen Objekte durch das zumindest eine virtuelle Objekt (VO) zumindest teilweise maskiert wird.
12. Verfahren nach einem der Ansprüche 8 bis 11, wobei das zumindest eine virtuelle Objekt (VO) teilweise transparent angezeigt wird, wobei die Transparenz des zumindest einen virtuellen Objekts (VO) in Abhängigkeit von dessen virtueller Anordnung ange passt wird.
13. Verfahren nach einem der Ansprüche 8 bis 12, wobei eine Eingabe (INP) eines Nutzers (U) empfangen wird (REC-INP), wobei anhand der Eingabe (INP) des Nutzers (U) zumindest ei nes der erfassten realen Objekte (RO) identifiziert wird (ID- RO), wobei die Unschärfe des zumindest einen virtuellen Objekts (VO) zusätzlich in Abhängigkeit von dessen virtueller Anord nung bezüglich des zumindest einen identifizierten realen Ob jekts (RO) angepasst wird (ADJ-VO).
14. Verfahren nach einem der Ansprüche 8 bis 13, wobei durch die Anpassung der Unschärfe des zumindest einen virtuellen
Objekts (VO) in Abhängigkeit von dessen virtueller Anordnung eine Schärfentiefe der graphischen Darstellung der
erweiterten Realität (AR) aufweisend das zumindest eine vir tuelle Objekt (VO) angepasst wird.
15. Computerprogrammprodukt mit einem Computerprogramm, wel- ches direkt in einen Speicher einer Verarbeitungseinheit lad bar ist, mit Programmabschnitten, um alle Schritte des Ver fahrens nach einem der Ansprüche 8 bis 14 auszuführen, wenn die Programmabschnitte von der Verarbeitungseinheit ausge führt werden.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021205700.4 | 2021-06-07 | ||
| DE102021205700.4A DE102021205700B4 (de) | 2021-06-07 | 2021-06-07 | Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022258266A1 true WO2022258266A1 (de) | 2022-12-15 |
Family
ID=81940604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2022/062188 WO2022258266A1 (de) | 2021-06-07 | 2022-05-05 | Darstellungsvorrichtung zur anzeige einer erweiterten realität und verfahren zum bereitstellen einer erweiterten realität |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102021205700B4 (de) |
| WO (1) | WO2022258266A1 (de) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102021206565A1 (de) | 2021-06-24 | 2022-12-29 | Siemens Healthcare Gmbh | Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130050432A1 (en) * | 2011-08-30 | 2013-02-28 | Kathryn Stone Perez | Enhancing an object of interest in a see-through, mixed reality display device |
| US20130245461A1 (en) * | 2010-11-12 | 2013-09-19 | Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts | Visualization of Anatomical Data by Augmented Reality |
| US20130335404A1 (en) * | 2012-06-15 | 2013-12-19 | Jeff Westerinen | Depth of field control for see-thru display |
| US20140275760A1 (en) * | 2013-03-13 | 2014-09-18 | Samsung Electronics Co., Ltd. | Augmented reality image display system and surgical robot system comprising the same |
| US20160086380A1 (en) * | 2014-09-22 | 2016-03-24 | Invuity, Inc | Hyperspectral imager |
| US20160225192A1 (en) * | 2015-02-03 | 2016-08-04 | Thales USA, Inc. | Surgeon head-mounted display apparatuses |
| US20160249989A1 (en) * | 2015-03-01 | 2016-09-01 | ARIS MD, Inc. | Reality-augmented morphological procedure |
| US20170172696A1 (en) * | 2015-12-18 | 2017-06-22 | MediLux Capitol Holdings, S.A.R.L. | Mixed Reality Imaging System, Apparatus and Surgical Suite |
| DE102015226669A1 (de) * | 2015-12-23 | 2017-06-29 | Siemens Healthcare Gmbh | Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information |
| US20180092698A1 (en) * | 2016-10-04 | 2018-04-05 | WortheeMed, Inc. | Enhanced Reality Medical Guidance Systems and Methods of Use |
| US20180275410A1 (en) * | 2017-03-22 | 2018-09-27 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| US10234687B2 (en) * | 2014-05-30 | 2019-03-19 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| US20190164336A1 (en) * | 2017-11-30 | 2019-05-30 | Microsoft Technology Licensing, Llc | Systems and methods of distance-based shaders for procedurally generated graphics |
| EP3534241A1 (de) * | 2018-03-01 | 2019-09-04 | Nokia Technologies Oy | Verfahren, vorrichtung, systeme, computerprogramme zur ermöglichung von vermittelter realität |
| US20190287495A1 (en) * | 2018-03-16 | 2019-09-19 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| US20200098184A1 (en) * | 2014-12-23 | 2020-03-26 | Meta View, Inc. | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
| WO2021061350A1 (en) * | 2019-09-27 | 2021-04-01 | Apple Inc. | Managing devices having additive displays |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11432877B2 (en) | 2017-08-02 | 2022-09-06 | Medtech S.A. | Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking |
| DE102019116834B4 (de) | 2019-06-21 | 2021-01-28 | RE'FLEKT GmbH | Augmentierte Fotoaufnahme |
-
2021
- 2021-06-07 DE DE102021205700.4A patent/DE102021205700B4/de active Active
-
2022
- 2022-05-05 WO PCT/EP2022/062188 patent/WO2022258266A1/de unknown
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130245461A1 (en) * | 2010-11-12 | 2013-09-19 | Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts | Visualization of Anatomical Data by Augmented Reality |
| US20130050432A1 (en) * | 2011-08-30 | 2013-02-28 | Kathryn Stone Perez | Enhancing an object of interest in a see-through, mixed reality display device |
| US20130335404A1 (en) * | 2012-06-15 | 2013-12-19 | Jeff Westerinen | Depth of field control for see-thru display |
| US20140275760A1 (en) * | 2013-03-13 | 2014-09-18 | Samsung Electronics Co., Ltd. | Augmented reality image display system and surgical robot system comprising the same |
| US10234687B2 (en) * | 2014-05-30 | 2019-03-19 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| US20160086380A1 (en) * | 2014-09-22 | 2016-03-24 | Invuity, Inc | Hyperspectral imager |
| US20200098184A1 (en) * | 2014-12-23 | 2020-03-26 | Meta View, Inc. | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
| US20160225192A1 (en) * | 2015-02-03 | 2016-08-04 | Thales USA, Inc. | Surgeon head-mounted display apparatuses |
| US20160249989A1 (en) * | 2015-03-01 | 2016-09-01 | ARIS MD, Inc. | Reality-augmented morphological procedure |
| US20170172696A1 (en) * | 2015-12-18 | 2017-06-22 | MediLux Capitol Holdings, S.A.R.L. | Mixed Reality Imaging System, Apparatus and Surgical Suite |
| DE102015226669A1 (de) * | 2015-12-23 | 2017-06-29 | Siemens Healthcare Gmbh | Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information |
| US20180092698A1 (en) * | 2016-10-04 | 2018-04-05 | WortheeMed, Inc. | Enhanced Reality Medical Guidance Systems and Methods of Use |
| US20180275410A1 (en) * | 2017-03-22 | 2018-09-27 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| US20190164336A1 (en) * | 2017-11-30 | 2019-05-30 | Microsoft Technology Licensing, Llc | Systems and methods of distance-based shaders for procedurally generated graphics |
| EP3534241A1 (de) * | 2018-03-01 | 2019-09-04 | Nokia Technologies Oy | Verfahren, vorrichtung, systeme, computerprogramme zur ermöglichung von vermittelter realität |
| US20190287495A1 (en) * | 2018-03-16 | 2019-09-19 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| WO2021061350A1 (en) * | 2019-09-27 | 2021-04-01 | Apple Inc. | Managing devices having additive displays |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102021205700A1 (de) | 2022-12-08 |
| DE102021205700B4 (de) | 2023-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220291741A1 (en) | Using Optical Codes with Augmented Reality Displays | |
| DE102015226669B4 (de) | Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information | |
| Booij et al. | Accuracy of automated patient positioning in CT using a 3D camera for body contour detection | |
| DE10322739B4 (de) | Verfahren zur markerlosen Navigation in präoperativen 3D-Bildern unter Verwendung eines intraoperativ gewonnenen 3D-C-Bogen-Bildes | |
| DE102011078212B4 (de) | Verfahren und Vorrichtung zum Darstellen eines Objektes | |
| EP2082686B1 (de) | Orientierte Wiedergabe von Aufnahmen | |
| DE102008025151A1 (de) | Bilderzeugungsapparat und -methode zur Nuklearbildgebung | |
| DE102010042278A1 (de) | Operationsnavigationssystem mit strukturiertem Licht | |
| DE112004002435B4 (de) | Bestimmung von patientenbezogenen Informationen zur Position und Orientierung von MR-Bildern durch Individualisierung eines Körpermodells | |
| DE102008003940A1 (de) | Automatische Erfassungs- und Markierungsvorrichtung für Koronarkalk in Arterien | |
| DE102007057094A1 (de) | Systeme und Verfahren zur visuellen Verifizierung einer CT Registrierung und Rückkopplung | |
| DE102008002864A1 (de) | Dynamisches Referenzverfahren und System für die Verwendung mit chirurgischen Verfahren | |
| Mastmeyer et al. | Evaluation of direct haptic 4d volume rendering of partially segmented data for liver puncture simulation | |
| DE19807884C2 (de) | Verfahren zur Kalibrierung einer Aufnahmevorrichtung zur Bestimmung von räumlichen Koordinaten anatomischer Zielobjekte und Vorrichtung zur Durchführung des Verfahrens | |
| DE102020201070A1 (de) | Darstellungsvorrichtung | |
| DE102013219470B4 (de) | Verfahren zur präoperativen Planung eines chirurgischen Eingriffes und Rechensystem | |
| DE60038730T2 (de) | Vorrichtung und verfahren zur messung anatomischer objekte mittels koordinierter fluoroskopie | |
| DE212012000054U1 (de) | Geräte, Aufbau, Schaltungen und Systeme zum Beurteilen, Einschätzen und/oder Bestimmen relativer Positionen, Ausrichtungen, Orientierungen und Rotationswinkel eines Teils eines Knochens und zwischen zwei oder mehreren Teilen eines oder mehrerer Knochen | |
| US20220202493A1 (en) | Alignment of Medical Images in Augmented Reality Displays | |
| DE102014102425B4 (de) | Mikroskopsystem und Mikroskopieverfahren unter Verwendung digitaler Marker | |
| WO2023097066A1 (en) | Image data set alignment for an ar headset using anatomic structures and data fitting | |
| WO2022258266A1 (de) | Darstellungsvorrichtung zur anzeige einer erweiterten realität und verfahren zum bereitstellen einer erweiterten realität | |
| DE102008054298B4 (de) | Verfahren und Vorrichtung zur 3D-Visualisierung eines Eingriffspfades eines medizinischen Instrumentes, eines medizinischen Instrumentes und/oder einer bestimmten Gewebestruktur eines Patienten | |
| DE102020205976A1 (de) | Anpassen einer erweiterten und/oder künstlichen Realität | |
| DE102019213813B4 (de) | Bereitstellen eines Prognosedatensatzes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22727872 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |