WO2021175727A1 - Kopfgetragenes visualisierungssystem - Google Patents

Kopfgetragenes visualisierungssystem Download PDF

Info

Publication number
WO2021175727A1
WO2021175727A1 PCT/EP2021/054900 EP2021054900W WO2021175727A1 WO 2021175727 A1 WO2021175727 A1 WO 2021175727A1 EP 2021054900 W EP2021054900 W EP 2021054900W WO 2021175727 A1 WO2021175727 A1 WO 2021175727A1
Authority
WO
WIPO (PCT)
Prior art keywords
visualization system
head
light
image
designed
Prior art date
Application number
PCT/EP2021/054900
Other languages
English (en)
French (fr)
Inventor
Christoph Hauger
Christoph Schaeff
Stefan Saur
Original Assignee
Carl Zeiss Meditec Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102020202624.6A external-priority patent/DE102020202624A1/de
Priority claimed from DE102020131029.3A external-priority patent/DE102020131029A1/de
Application filed by Carl Zeiss Meditec Ag filed Critical Carl Zeiss Meditec Ag
Priority to US17/909,265 priority Critical patent/US20230087402A1/en
Priority to JP2022552647A priority patent/JP7453403B2/ja
Priority to CN202180018008.9A priority patent/CN115398311A/zh
Publication of WO2021175727A1 publication Critical patent/WO2021175727A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining

Definitions

  • the present invention relates to a head-mounted visualization system, a surgical visualization system with a head-mounted visualization system and methods for visualization in a surgical environment.
  • HMDs head-mounted displays
  • Boom systems are compact digital eyepieces, which essentially consist of two microdisplays and two eyepieces and are attached to a tripod.
  • HMDs are head-mounted systems and are available in two versions: VR HMDs completely hide the real environment and show digital 3D data using microdisplays.
  • AR-HMDs allow a view of the real environment and allow the augmentation of digital content, which is presented in a fixed position overlaid on the real world.
  • a corresponding AR-HMD is offered by the company Magic Leap, for example.
  • the above-mentioned surgical use case requires operation that corresponds to a VR mode, because the surgeon stereoscopically stereoscopic the surgical site in the best possible way must be able to perceive.
  • numerous applications require the HMD to be operated in an AR mode: For example, at the beginning of the procedure it is helpful to superimpose the location of a craniotomy directly on the patient's skull.
  • An HMD should also enable the surgeon to see the real environment, e.g. a view of the sterile table with the instruments.
  • the use cases just mentioned therefore make an HMD appear necessary that can be switched between an AR and a VR mode. None of the currently available HMDs has such a technology with an image quality that is only nearly sufficient in VR mode. This is the second reason why no or hardly any HMDs have been used in microsurgery to date.
  • the present invention is intended to provide a head-mounted visualization system which is basically suitable for use in microsurgery.
  • the present invention is also intended to provide a surgical visualization system with a head-mounted visualization system and a method for visualization in a surgical environment using a head-mounted visualization system.
  • An image generation device which is designed to generate image information based on the image data supplied to the image generation device
  • the optical system being designed to supply image information generated by the image generation device to a person wearing the visualization system
  • a polarization unit which is designed to polarize light penetrating the optical system differently in two spatial areas.
  • the present invention is based on the basic idea of using a conventional AR-HMD in combination with a stereo monitor.
  • the polarization unit is therefore adapted so that the user can correctly perceive the image displayed on a stereo monitor with the HMD when looking through the optical system of the HMD.
  • the polarization unit can be designed to interact with polarizers of the stereo monitor.
  • the optical system that is transparent to light can be received or can be received on the carrying system or be arranged on this or be integrated in the carrying system.
  • the image generating device can be integrated in the carrying system or received on the carrying system or can be taken up or arranged on the carrying system.
  • the optical system can be designed, in the state recorded on the carrying system, to supply image information generated by the image generating device, which is also recorded on the carrying system or integrated therein, to a person wearing the visualization system.
  • the polarization unit can be received or recordable on the carrying system or be arranged on this or be integrated in the carrying system.
  • the polarization unit is detachable and detachable on the carrying system.
  • the user can use the visualization system without a polarization unit if he is disturbed by the light tab attenuation resulting from the polarization unit.
  • the polarization unit and the optical system permeable to light are accommodated on the carrying system such that they can be exchanged for one another.
  • the user can choose to use only the polarization unit if he does not need any augmentation information, or only use the optics system if he does want augmentation but does not require stereoscopic perception of the image displayed on a stereo monitor.
  • the user can use both the optical system and the polarization unit if he would like to perceive the image displayed on the stereo monitor stereoscopically as well as to receive additional augmentation information.
  • a further embodiment has a first optical system which is transparent to light for a left eye and a second optical system which is transparent to light for a right eye.
  • the polarization unit can have a first polarizer in front of the first optical system and a second polarizer in front of the second optical system.
  • the polarization unit is designed to polarize light penetrating the optical system in two different surface areas in directions perpendicular to one another.
  • the mutually perpendicular directions of polarization can be, for example, mutually perpendicular linear polarization directions or mutually orthogonal circular polarization directions, that is to say right-hand circular and left-hand circular.
  • the polarization unit comprises a linear polarization filter and a 1/4 plate, the 1/4 plate being arranged in the direction of a first eye of a user in front of the linear polarization filter, ie the 1/4 plate When the visualization system is worn on the head, it is arranged more out of the eye than the linear polarization filter.
  • the polarization unit can be designed to allow light to pass through with a left-hand circular polarization or with a right-hand circular polarization, with light having a linear polarization is present.
  • the light permeability of the optical system can be switched or varied in a controlled manner.
  • the light permeability of the optical system can be varied differently in different surface areas.
  • the light permeability can be adapted to the ambient conditions by switching different surface areas of the optical system to a different light permeability. For example, it is possible to reduce the light permeability in field areas in which a user perceives the augmentation information so that the augmentation information can be easily perceived in bright ambient light.
  • Corresponding layers with switchable light permeability can be implemented, for example, analogously to an LCD display or as an electrochromic layer that can be controlled pixel by pixel.
  • the light permeability of the optics system can be switched or controlled in a controlled manner with the help of a light tab.
  • a polarization filter is arranged in the polarization unit and a light tab is arranged weaker in the optical system.
  • the light attenuator is arranged behind the polarization filter in a direction of light towards the eye.
  • the arrangement of the light tab weaker behind the polarizer makes it possible to mask out partial areas of the natural field of vision without influencing the property of differently polarizing the light penetrating the optical system required for stereoscopic perception in two spatial areas.
  • the light tab weaker can have a controllable liquid crystal layer.
  • the liquid crystal layer can comprise one or more separately controllable liquid crystal pixels or liquid crystal segments. It can thereby be made possible to influence different locations of the liquid crystal layer in terms of their effect on incident light.
  • the light tab weaker can have a linear output polarization filter and a linear input polarization filter.
  • the input polarization filter of the light suppressor can be identical to the linear polarization filter of the polarization unit. In this way, optical elements of the optical system can optionally be saved. This can enable a lighter design and possibly more cost-effective production of the head-mounted visualization system.
  • the liquid crystal layer can be set up to supply the image information generated by the image generation device to a person wearing the visualization system.
  • liquid crystal pixels can be controlled differently in order to display further parameters to the user of the head-mounted visualization system.
  • the head-mounted visualization system can comprise a mirror in order to supply the image information generated by the image generation device to a person wearing the visualization system, the mirror being arranged more weakly in the light direction to the first eye of the user behind the light tab, ie in one at the head of the In the state of the visualization system worn by the person, the light tab is positioned farther from the eyes than the mirror.
  • the waveguide in order to supply the image information generated by the image generation device to a person wearing the visualization system, the waveguide being arranged more weakly behind the light tab in the light direction towards the first eye of the user, that is, in one at the head of the In the person-worn state of the visualization system, the light attenuator is arranged more out of the eye than the waveguide.
  • the light attenuator can lead to the displayed image information being better perceived, especially in a very bright environment.
  • the head-mounted visualization system can be particularly suitable for use during a surgical procedure.
  • the head-mounted visualization system can in particular be designed in such a way that it can be easily disinfected after an operation.
  • the proposed head-mounted visualization system can be designed more easily due to the lack of the need to generate the stereoscopic images in the head-mounted visualization system itself.
  • the head-mounted visualization system can therefore have a lower energy consumption than known head-mounted visualization systems, so that longer use during the operation or a lighter head-mounted visualization system can be provided with the same battery capacity.
  • a surgical visualization system comprises a head-mounted visualization system as described in the present patent application, a surgical microscope or endoscope with an image recording device and a stereo monitor designed for the stereoscopic display of image information recorded with the image recording device is.
  • the surgical visualization system can have a control device which is designed to supply image data to the image generation device.
  • the head-mounted visualization system has an eye tracker and the control device is designed that the To control image data supplied to the image generation device as a function of output data from the eye tracker.
  • the head-mounted visualization system has a microphone and the control device is designed to control the surgical microscope as a function of acoustic information recorded with the microphone.
  • the head-mounted visualization system has a microphone and the control device is designed to control the image data fed to the image generation device as a function of acoustic information recorded with the microphone.
  • the head-mounted visualization system has a gyroscopic see sensor for determining changes in alignment of the head-mounted visualization system in space and the control device is designed to control the surgical microscope as a function of output data from the gyroscopic see sensor.
  • the head-mounted visualization system has a gyroscopic see sensor for determining changes in the orientation of the head-mounted visualization system in space and the control device is designed to control the image data supplied to the image generation device as a function of output data from the gyroscopic see sensor.
  • the light permeability of the optics system can be switched differently in different surface areas and the control device is designed to reduce the light permeability of the optics system in surface areas in which image information generated by the image generation device is supplied to a person wearing the visualization system.
  • the head-mounted visualization system has a camera
  • the control device is designed to determine a position of the stereo monitor relative to a position of the head-mounted visualization system by means of image recognition.
  • the light permeability of the optical system be switchable differently in different surface areas and the control device can be designed to control the light transmission of the optical system as a function of the position of the stereo monitor relative to the position of the head-mounted visualization system.
  • a method for visualization in a surgical environment comprises the following steps: displaying an image of an operating area on a stereo monitor,
  • Provision of additional augmentation information by means of the head-mounted visualization system is provided.
  • the head-mounted visualization system generates control data and the augmentation information and / or image information displayed on the stereo monitor and / or movements of a motorized stand and / or functions of a surgical microscope are dependent on the visualization system generated control data controlled.
  • the association between the sensors of the head-mounted visualization system or the output signals of the sensors on the one hand and the augmentation information to be provided via the head-mounted visualization system can be configured by the user.
  • FIG. 1 a principle sketch of an embodiment of a head-mounted visualization system
  • FIG. 2 a principle sketch for an embodiment of a polarization unit with a light tab weaker for an optical system in a visualization system
  • FIG. 3 a principle sketch for a second embodiment of a polarization unit with a light tab weaker for an optical system in a visualization system
  • FIG. 4 a principle sketch for a third embodiment of a polarization unit with a light tab weaker for an optical system in a visualization system
  • FIG. 5 a principle sketch for a fourth embodiment of a polarization unit with a light tab weaker for an optical system in a visualization system;
  • FIG. 6 a principle sketch for a fifth embodiment of a polarization unit with a light tab weaker for an optical system in a visualization system
  • FIG. 7 a principle sketch of a surgical workstation with a visualization system.
  • the visualization system in FIG. 1 is essentially based on so-called augmented reality glasses (AR glasses) or so-called augmented reality head mounted display (AR-HMD).
  • the system has a carrying system 1, shown in FIG. 1 as a spectacle frame with a left and a right ear hook la, lb.
  • a module 11 with an optical system 6, 7 is accommodated on the stretcher system 1.
  • the optical system 6, 7 is at least partially transparent to light in the visible spectral range.
  • An image generating device 2 for example in the form of a microdisplay, is integrated in the carrying system 1 or is arranged on it.
  • the image generation device 2 can be controlled by a control computer 16 via a wireless interface 15, for example a Bluetooth interface or a WLAN interface, and supplied with image data to be displayed.
  • the image information reproduced with the image generation device 2 is directed via a lens 3 and a deflecting mirror 4 in the direction of a side surface of the optical system 6, 7.
  • the optical system 6, 7 has internal diffractive structures and so-called W avegui de-El emente (not shown), which the image information generated by the image generating device 2 and coupled into the optical system 6, 7 in the direction (line of sight axis 5) to an eye R an deflects the head carrying the visualization system and decouples it from the optical system 6, 7.
  • the optical system 6, 7 has a switchable coating 6a, 7a, with the aid of which the light permeability of the optical system 6, 7 can be switched.
  • the coating is like this designed so that the light permeability of the optical system can be set differently in different surface areas of the optical system transversely to the line of sight axis 5.
  • the transmission of the optical system 6, 7 can thereby be reduced in surface areas in which the image information generated by the image generating device appears superimposed on the ambient light passing through the optical system to a user.
  • the image information generated by the image generation device can also be perceived well in a bright environment.
  • the visualization system also has a further module 10, a polarization unit, with two polarization filters 8, 9.
  • the polarization direction of the ambient light that one of the polarization filters 8 transmits is polarized perpendicular to the polarization direction of the ambient light that passes through the other polarization filter. This is indicated in FIG. 1 by the two arrows 18, 19.
  • the polarization directions of 18, 19 of the polarization filters are matched to the polarization directions of a stereo monitor, not shown in FIG Stereo monitor that is intended for the left eye L, and that the second polarization filter 9 arranged in front of the right eye R of the user wearing the visualization system only or essentially only lets through the light of the stereo monitor that is intended for the right eye R is determined.
  • the module 11 with the optics system 6, 7 and the module 10 with the polarization filters can optionally be added to the carrying system 1 alternatively or in combination, so that the user has the choice of whether to use only the polarization filter module 10 or only with the the optical system 6, 7 having module 11 or with both modules 10, 11 would like to work simultaneously and arranged in series one behind the other.
  • the stretcher system 1 also has a few other sensors, in particular a forward-facing camera 12, a microphone 13 held on the portable system or integrated into the portable system 1, an eye tracker 17 and a gyroscopic sensor 14. See the gyroscopic sensor 14 Rotating and tilting movements of the carrying system 1 in space can be determined and such rotating and tilting movements characterizing output data can be generated. With the eye tracker 17, a movement of the eyes of a user wearing the visualization system can be recorded and output data can be generated that characterize this eye movement. The output data generated by the camera 12, the microphone 13, the eye tracker 17 and the gyroscopic see sensor 14 can be transmitted to the control computer via the wireless interface 15.
  • FIG. 1 has two optical systems 6, 7, of which a first is assigned to a left eye and a second is assigned to a right eye of a user wearing the visualization system.
  • the embodiment shown in FIG. 1 has only a single image generation device 2, and the image information reproduced with the image generation device 2 is only presented to a single eye R.
  • the image information reproduced with the image generation device 2 can also be presented to both eyes at the same time.
  • part of the light generated by the image generation device can be coupled into one optical system 6 and another portion of the light generated by the image generation device 2 can be coupled into the other optical system 7.
  • both optical systems must have integrated diffractive structures and W avegui de elements in order to direct light coupled into the optical system to the eye assigned to this optical system.
  • Image generating devices can be provided, one of which couples the light generated by it into a first of the two optical systems and the other couples the light generated by it into the other, second optical system.
  • FIG. 2 shows elements of a head-mounted visualization system in a higher degree of detail.
  • the head-mounted visualization system has a first optical channel 3100, which is assigned to a first eye of a user 1002, and a second optical channel 3200, which is assigned to a second eye of the user 1002.
  • the screen 1003 can display images with a first polarization and a second polarization at the same time.
  • the first polarization can be, for example, a vertical polarization, as is indicated in FIG. 2 with an arrow pointing upwards, and a horizontal polarization, as is shown in FIG. 2 is indicated with circles, act.
  • the head-mounted visualization system has a first polarizer 3110 in the first optical channel 3100 and a first light attenuator 3120 between the first polarizer 3110 and the eye of the user 1002.
  • the first polarizer 3110 comprises a first linear polarization filter 3111, which only allows vertically polarized light to pass.
  • the first light tab weaker 3120 has a first input polarization filter 3121 and a first output polarization filter 3123. Between the first input polarization filter 3121 and the first output polarization filter 3123, a first liquid crystal layer 3122 is arranged, which has a plurality of individually controllable liquid crystal pixels or liquid crystal segments (not shown).
  • the first liquid crystal layer 3122 causes a rotation of the vertical polarization, so that the light passing through the liquid crystal layer has a linear combination of a vertical and a horizontal polarization behind the first liquid crystal layer.
  • the degree of rotation can be changed by a corresponding control of the pixels or segments of the first liquid crystal layer 3122.
  • the first output polarization filter 3123 ensures that only light with vertical polarization is allowed through.
  • the first liquid crystal layer 3122 in combination with the first input polarization filter 3121 and the first output polarization filter 3123 causes a light tab attenuation.
  • the second optical channel 3200 comprises a second polarizer 3210 with a second linear polarization filter 3211 and a second light tab weaker 3210 with a second input polarization filter 3221, a second liquid crystal layer 3222 and a second output polarization filter 3223 second channel 3200 only permeable to light of the horizontal polarization.
  • a channel separation thus takes place, which allows the user of the head-mounted visualization system to perceive the images displayed on the screen 1003 stereoscopically.
  • FIG. 3 shows a further partially light-transmissive optical system with a first channel 4100 and a second channel 4200.
  • the first channel has a first polarizer 4110 and a first, weaker light tab 4120 arranged downstream.
  • the linear polarization filter 4111 of the first polarizer 4110 is thus identical to an input polarization filter of the first light attenuator 4120, ie the linear polarization filter 4111 of the first polarizer 4110 simultaneously forms the Input polarization filter of the first light attenuator 4120.
  • the first light attenuator 4120 further has a first liquid crystal layer 4122 and a first output polarization filter 4123.
  • the first channel 4100 is again essentially transparent to light with vertical polarization.
  • the optical system has a second channel 4200 with a second polarizer 4210 and a second light tab, weaker 4220.
  • the linear polarization filter 4211 of the second polarizer 4210 is in turn identical to the input polarization filter of the second light attenuator 4220, that is, the linear polarization filter 4211 of the second polarizer 4210 also forms the input polarization filter for the second light attenuator 4220 in the second channel.
  • the second light attenuator 4220 also has a second liquid crystal layer 4222 and a second output polarization filter 4223.
  • the second channel 4200 is essentially only permeable to light with horizontal polarization.
  • the optical system of FIG. 3 allows a linear polarization filter to be saved both in the first and in the second channel compared to the optical system in FIG.
  • FIG. 4 shows a further optical system which is suitable for 3-D monitors that generate images with left-hand circular polarization and right-hand circular polarization.
  • the use of circular polarizations offers the user of the head-mounted visualization system the advantage that even when the head is tilted, a clean separation of the images assigned to the left and right channels is still possible.
  • the optical system according to FIG. 4 has a first channel 5100 and a second channel 5200.
  • a first polarizer 5110 and a first light tab 5120 are arranged in the first channel 5100.
  • the first polarizer comprises a first linear polarization filter 5111 and a first 1/4 plate 5112.
  • the first linear polarization filter 5111 is arranged between the first 1/4 plate 5112 and the eye of the user 1002 of the head-mounted visualization system.
  • the first polarizer 5110 only allows light with right-hand circular polarization to pass through, so that vertically polarized light is present behind the polarizer 5110.
  • the light passing through the first light attenuator 5120 is attenuated with the aid of the first input polarizer 5121, the first liquid crystal layer 5122 and the first output polarization filter 5123.
  • the second channel 5200 has a second polarizer 5210 and a second light tab, weaker 5220.
  • the second polarizer 5210 comprises a second 1/4 plate 5212 and has a second linear polarization filter 5211 arranged between the second 1/4 plate 5212 and the eye of the user 1002 of the head-mounted visualization system.
  • the second polarizer 5210 has the effect that only left-hand circular light can pass through the second polarizer 5210 and is present as horizontally polarized light behind the second polarizer 5210.
  • the horizontally polarized light is then attenuated by means of the second input polarization filter 5221, the second liquid crystal layer 5222 and the second output polarization filter 5223.
  • FIG. 5 shows a further example of a head-mounted visualization system which can be used with circular polarization.
  • the optical system of the head-mounted visualization system in turn has a first channel 6100 and a second channel 6200.
  • the first polarizer 6110 of the first channel 6100 and the second polarizer 6210 of the second channel 6200 share a common single 1/4 plate 6112/6122. Furthermore, the input polarization filter of the first light attenuator 6120 is identical to the linear polarization filter 6111 of the first polarizer 6110 and the
  • Input polarization filter 6211 of the second Li chtab weaker 6220 identical to the linear polarization filter 6211 of the second polarizer 6210. Due to the different alignment of the two Li chtab weaker 6120 and 6220 in relation to the fast axis of the 1/4 plate 6112/6212, in the first channel 6100 only right circular light allowed through and in the second channel 6200 only left circular light.
  • FIG. 6 shows further details of a head-mounted visualization system.
  • the input polarization filter of the light attenuator 4120 is identical to the linear polarization filter 4111 of the polarizer 4110.
  • the exemplary embodiment according to FIG. 6 has a single input polarization filter 7111 of the light attenuator 7120 common to both channels, which at the same time also forms a single linear polarization filter of the polarizer 7110 common to both channels.
  • the light tab weaker 7120 of the first channel 7100 is thus identical to the light tab weaker 7220 of the second channel, ie the visualization system according to this Embodiment has only a single light attenuator common to both channels.
  • the optical system according to FIG. 6 also allows channel separation, so that the user of the head-mounted visualization system can perceive the three-dimensional image data displayed by a screen stereoscopically.
  • a surgical visualization system is shown in FIG. It has a head-mounted visualization device 20 as described above. It also has a stand 21 for a surgical microscope 22 or an endoscope (not shown). The stand has motor drives for the articulated connections 21a, 21b. For the sake of simplicity, only two articulated connections are shown in FIG Place and can be moved in any orientation.
  • the surgical microscope 22 or the endoscope has an image recording device 23, for example in the form of a stereo camera or two individual cameras, with which stereoscopic image information can be recorded from an operating field.
  • the stereoscopic image information recorded with the image recording unit 23 is read out by the control computer 16 and passed on from this to a stereo monitor 24.
  • a stereoscopic image of the operating field is accordingly displayed on the stereo monitor 24.
  • the stereo monitor 24 generates two stereoscopic partial images.
  • the light of the two partial images has a different polarization, so that the polarization of a right partial image is perpendicular or orthogonal to the polarization of a left partial image.
  • circular polarization can also be used.
  • a user wearing the head-mounted visualization system 20 can perceive the stereoscopic image displayed on the stereo monitor 24 in the correct direction and stereoscopically, because the polarization directions of the two polarization filters 8, 9 of the head-mounted visualization system 20 are adapted to the polarization directions of the stereo monitor 24.
  • the user can also directly observe the operating field or other objects in the vicinity, such as the sterile table with the instruments.
  • additional virtual information can be presented to the user in a superimposed manner, which would otherwise not be visually accessible to the user.
  • additional information can be information that originates from other devices in the operating room that are not in the user's field of vision or that was obtained before the operation, for example image information from computers or magnetic resonance tomograms that are stored in a memory 26.
  • the additional information can also be information that is provided by other people during the operation, for example by another expert or pathologist who is connected via video transmission from another location and to whom the video images recorded with the surgical microscope are made available via video transmission . This expert or pathologist can enter augmentation information on his video monitor, which is then transmitted to the control computer 16 via video retransmission.
  • the corresponding information is transmitted from the control computer to the head-mounted visualization system 20 via the wireless interface 15.
  • the sensors in the head-mounted visualization system are used to control the drives 21a, 21b of the stand 21, or other functions of the surgical microscope 22, or the type of information provided by the imaging device, in a defined and hands-free manner.
  • voice control of certain settings on the surgical microscope is possible. Since the microphone of the head-mounted visualization system is always at the same distance from the user's mouth, there is no dependency of the acoustic signals recorded with the microphone on the position or Orientation of the user. Therefore, very stable and reliable voice control can be ensured.
  • the acoustic signals recorded with the microphone are transmitted via the interface 15 to the control computer 16 and analyzed by the latter by means of a speech recognition program running on the control computer 16. According to the results of the speech analysis, the associated information is then selected by the control computer 16 and sent to the image generating device via the interface 15 or the motor drives of the stand 21 or motor drives of the surgical microscope 22 are controlled accordingly.
  • movements of the stand 21, motor functions of the surgical microscope 22 or endoscope or other functions can be seen via the other sensors, in particular the gyroscopic sensor and / or the eye tracker, of the head-mounted visualization system 20 being controlled.
  • the output signals of the eye tracker and the gyroscopic see sensor are transmitted via the interface 15 to the control computer 16 and evaluated by the latter by means of a computer program.
  • the computer 16 controls the functions of the stand or the surgical microscope assigned to the output signals, or the additional information corresponding to the evaluation is selected and sent via the interface 15 to the image generation device.
  • the assignment between the respective sensor signals and the voice control on the one hand and the function of the stand, the surgical microscope and / or the data made available to the image generation device can be largely freely configurable by the user and assigned in advance by the user as it suits him best suited.
  • Corresponding user profiles with regard to this assignment can also be stored for several users and called up from a memory at the beginning of an operation. Alternatively or additionally, corresponding user profiles can also be created for different types of surgical interventions, saved and called up at the beginning of a corresponding intervention.
  • the head-mounted visualization system has a front-facing camera 12.
  • a video stream is permanently generated Environment or recorded individual images of the environment at certain predetermined time intervals and transmitted via the interface 15 to the control computer.
  • An image analysis program runs on the control computer, which is designed such that the position of the stereo monitor 24 relative to the head-mounted visualization system is determined in the video stream or the series of individual images.
  • the control computer Based on this image analysis, the control computer generates control data for the switchable coating 6a, 7a, which have the effect that the switchable coating is switched to maximum light transmission in the surface areas of the optical systems in which the user perceives the stereo monitor, while the light transmission is switched on in other surface areas, for example in which the user perceives the image provided by the image generation system, is reduced.

Abstract

Die Erfindung betrifft ein kopfgetragenes Visualisierungssystem mit einem Tragesystem, mindestens einem für Licht durchlässigen Optiksystem, einer Bilderzeugungseinrichtung ausgebildet zur Erzeugung von Bildinformation basierend auf den der Bilderzeugungseinrichtung zugeführten Bilddaten, wobei das Optiksystem ausgebildet ist, von der Bilderzeugungseinrichtung erzeugte Bildinformation einer das Visualisierungssystem tragenden Person zuzuführen, und einer Polarisationseinheit, die ausgebildet ist, das Optiksystem durchdringendes Licht in zwei räumlichen Bereichen unterschiedlich zu polarisieren. Die Erfindung betrifft weiterhin ein chirurgisches Visualisierungssystem mit einem solchen kopfgetragenen Visualisierungssystem, sowie ein Visualisierungsverfahren für ein chirurgisches Umfeld.

Description

Kopfgetragenes Visualisierungssvstem
Die vorliegende Erfindung betrifft ein kopfgetragenes Visualisierungssystem, ein chirurgisches Visualisierungssystem mit einem kopfgetragenen Visualisierungssystem sowie Verfahren zur Visualisierung in einem chirurgischen Umfeld.
In der Mikrochirurgie werden Operationsmikroskope für eine vergrößerte Visualisierung des OP-Situs eingesetzt. Neben der Vergrößerung ist der stereoskopische Eindruck von entscheidender Bedeutung für den Erfolg des Eingriffs. Diese Anforderungen erfüllen analoge Operationsmikroskope seit vielen Jahren mit einer Stereooptik und einem Okulareinblick. Manche modernen Operationsmikroskope bieten neben dem Einblick in die Okulare zusätzlich eine digitale 3 D - Vi suali si erung mithilfe von Stereo-Monitoren .
Für die Visualisierung der stereoskopischen Videobilddaten kommen neben Stereo-Monitoren sogenannte Boom-Systeme und Head-Mounted-Di spl ay s (HMDs) in Frage. Boom-Systeme sind kompakte digitale Okulare, die im Wesentlichen aus zwei Mikrodisplays und zwei Okularen bestehen und an einem Stativ befestigt sind. HMDs hingegen sind kopfgetragene Systeme und in zwei Varianten verfügbar: VR-HMDs blenden die reale Umgebung komplett aus und zeigen digitale 3D-Daten mittels Mikrodisplays an. AR-HMDs hingegen ermöglichen den Blick auf die reale Umgebung und erlauben das Augmentieren von digitalen Inhalten, die ortsfest der realen Welt überlagert dargeboten werden. Ein entsprechendes AR-HMD wird beispielsweise von der Firma Magic Leap angeb oten.
Es gibt jedoch aktuell zwei Gründe, warum HMDs für die Mikrochirurgie noch nicht oder kaum eingesetzt werden:
Die Anforderungen an die Bildqualität für den sogenannten „Surgical Use Case“, d.h. die Darstellung der Bilddaten des OP-Situs während des Eingriffs für den Chirurgen, sind sehr hoch und werden von den aktuellen HMDs nicht erreicht. Das liegt zum einen daran, dass HMDs sehr leicht und kompakt sein müssen und dadurch Kompromisse bei der Bildqualität eingegangen werden müssen. Zum anderen liegt es daran, dass die Anforderungen an eine hohe Bildqualität für typische Consumer- Anwendungen nicht notwendig sind.
Der genannte Surgical Use Case erfordert bei den heutigen HMDs einen Betrieb, der einem VR-Modus entspricht, weil der Chirurg den OP-Situs bestmöglich stereoskopisch wahmehmen können muss. Zahlreiche Anwendungen erfordern hingegen den Betrieb des HMDs in einem AR-Modus: Es ist z.B. zu Beginn des Eingriffs hilfreich, den Ort einer Kraniotomie direkt dem Patientenschädel zu überlagern. Ein HMD sollte auch den Blick des Chirurgen auf die reale Umgebung ermöglichen, z.B. den Blick auf den Steriltisch mit den Instrumenten. Die eben genannten Use Cases lassen daher ein HMD erforderlich erscheinen, das zwischen einem AR- und einem VR-Modus um schaltbar ist. Keines der aktuell verfügbaren HMDs verfügt über eine solche Technologie mit einer nur annähernd ausreichenden Bildqualität im VR-Modus. Dies ist der zweite Grund, warum bisher keine oder kaum HMDs in der Mikrochirurgie eingesetzt werden.
Die vorliegende Erfindung soll ein kopfgetragenes Visualisierungssystem bereitstellen, das für einen Einsatz in der Mikrochirurgie grundsätzlich geeignet ist. Die vorliegende Erfindung soll weiterhin ein chirurgisches Visualisierungssystem mit einem kopfgetragenen Visualisierungssystem sowie Verfahren zur Visualisierung in einem chirurgischen Umfeld unter Ausnutzung eines kopfgetragenen Visualisierungssystems bereitstellen.
Die vorgenannten Aufgaben werden durch ein kopfgetragenes Visualisierungssystem mit den Merkmalen des Anspruchs 1 und ein chirurgisches Visualisierungssystem mit den Merkmalen des Anspruchs 10 und ein Visuali si erungsverfahren mit den Merkmalen des Anspruchs 20 gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den Merkmalen der abhängigen Ansprüche.
Eine Ausführungsform eines kopfgetragenen Visualisierungssystems weist auf:
• ein Tragesystem,
• mindestens ein für Licht durchlässiges Optiksystem,
• eine Bilderzeugungseinrichtung, die ausgebildet ist zur Erzeugung von Bildinformation basierend auf der der Bilderzeugungseinrichtung zugeführten Bilddaten,
• wobei das Optiksystem ausgebildet ist, von der Bilderzeugungseinrichtung erzeugte Bildinformation einer das Vi suali si erungs sy stem tragenden Person zuzuführen, und
• eine Polarisationseinheit, die ausgebildet ist, das Optiksystem durchdringendes Licht in zwei räumlichen Bereichen unterschiedlich zu polarisieren.
Die vorliegende Erfindung basiert auf dem Grundgedanken, ein herkömmliches AR-HMD in Kombination mit einem Stereo-Monitor einzusetzen. Die Polarisationseinheit ist daher angepasst, dass der Benutzer das auf einem Stereo-Monitor dargestellte Bild mit dem HMD in Durchsicht durch das Optiksystem des HMD stereoskopisch richtig wahrnehmen kann. Dazu kann die Polarisationseinheit zum Zusammenwirken mit Polarisatoren des Stereo-Monitors ausgebildet sein.
Das für Licht durchlässige Optiksystem kann am Tragesystem aufgenommen oder aufnehmbar sein oder an diesem angeordnet sein oder im Tragesystem integriert sein.
Die Bilderzeugungseinrichtung kann im Tragesystem integriert oder am Tragesystem aufgenommen oder aufnehmbar sein oder am Tragesystem angeordnet sein.
Darüber hinaus kann das Optiksystem ausgebildet sein, im am Tragesystem aufgenommenen Zustand von der ebenfalls am Tragesystem aufgenommenen oder darin integrierten Bilderzeugungseinrichtung erzeugte Bildinformation einer das Visualisierungssystem tragenden Person zuzuführen.
Die Polarisationseinheit kann am Tragesystem aufgenommen oder aufnehmbar sein oder an diesem angeordnet sein oder im Tragesystem integriert sein.
Bei einer Ausführungsform ist die Polarisationseinheit ab- und aufnehmbar am Tragesystem ausgebildet. Bei dieser Ausführungsform kann der Benutzer das Visualisierungssystem ohne Polarisationseinheit verwenden, wenn ihn die durch die Polarisationseinheit resultierende Li chtab Schwächung stört.
Bei einer weiteren Ausführungsform sind die Polarisationseinheit und das für Licht durchlässige Optiksystem gegeneinander austauschbar am Tragesystem aufgenommen. Bei dieser Ausführungsform kann der Benutzer wahlweise nur die Polarisationseinheit verwenden, wenn er keine Augmentierungsinformation benötigt, oder nur das Optiksystem verwenden, wenn er zwar eine Augmentierung wünscht, aber keine stereoskopische Wahrnehmung des auf einem Stereo-Monitor dargestellten Bilds benötigt. In der dritten Variante kann der Benutzer sowohl das Optiksystem als auch die Polarisationseinheit verwenden, wenn er sowohl das auf dem Stereo-Monitor dargestellte Bild stereoskopisch wahmehmen möchte als auch zusätzliche Augmentierungsinformation erhalten möchte. Eine weitere Ausführungsform weist ein erstes für Licht durchlässiges Optiksystem für ein linkes Auge und ein zweites für Licht durchlässiges Optiksystem für ein rechtes Auge auf. Bei dieser Ausführungsform kann die Polarisationseinheit einen ersten Polarisator vor dem ersten Optiksystem und einen zweiten Polarisator vor dem zweiten Optiksystem aufweisen.
Bei einer Ausführungsform ist die Polarisationseinheit ausgebildet, das Optiksystem durchdringendes Licht in zwei unterschiedlichen Fl ächenb ereichen in zu einander senkrechten Richtungen zu polarisieren. Die zu einander senkrechten Polarisationsrichtungen können dabei beispielsweise zueinander senkrechte lineare Pol ari sati onsrichtungen oder zu einander orthogonale zirkulare Polarisationsrichtungen, also rechtszirkular und linkszirkular, sein.
Eine andere Ausgestaltung sieht vor, dass die Polarisationseinheit einen linearen Polarisationsfilter und ein l/4 -Plättchen umfasst, wobei das l/4-Plättchen in Richtung eines ersten Auges eines Benutzers vor dem linearen Polarisationsfilter angeordnet ist, d.h. das l/4- Plättchen ist im am Kopf getragenen Zustand des Visualisierungssystems augenfemer angeordnet als der lineare Polarisationsfilter. Je nach Orientierung der schnellen Achse des l/4-Plättchens in Bezug auf die Ausrichtung des nachfolgenden linearen Polarisationsfilters kann die Polarisationseinheit dazu ausgebildet sein, Licht mit einer linkszirkularen Polarisation oder mit einer rechtszirkularen Polarisation durchzulassen, wobei nach Durchtritt durch den linearen Polarisationsfilter Licht mit einer linearen Polarisation vorliegt.
Bei einer weiteren Ausführungsform ist die Lichtdurchlässigkeit des Optiksystems schaltbar bzw. gesteuert variierbar. Insbesondere kann die Lichtdurchlässigkeit des Optiksystems in verschiedenen Flächenbereichen unterschiedlich variierbar sein. Bei dieser Ausführungsform kann die Li chtdurchl äs sigkeit an die Umgebungsbedingungen angepasst werden, indem unterschiedliche Flächenbereiche des Optiksystems auf eine unterschiedliche Li chtdurchl ässigkeit geschaltet werden. Beispielsweise ist es möglich, die Li chtdurchl ässigkeit in Feldbereichen, in denen ein Benutzter die Augmentierungsinformation wahmimmt, zu reduzieren, damit die Augmentierungsinformation bei einem hellen Umgebungslicht gut wahrnehmbar ist. Andererseits ist es möglich, die Lichtdurchlässigkeit in Feldbereichen, in denen ein Benutzter das Stereo-Display wahmimmt, besonders hoch zu schalten. Entsprechende Schichten mit schaltbarer Lichtdurchlässigkeit können beispielsweise analog zu einem LCD-Display oder als pixel weise ansteuerbare elektrochrome Schicht realisiert sein.
Die Li chtdurchl äs sigkeit des Optiksystems kann mithilfe eines Li chtab schwächer s schaltbar bzw. gesteuert variierbar sein. Hierfür ist ein Polarisationsfilter in der Polarisationseinheit und ein Li chtab schwächer in dem Optiksystem angeordnet. Der Lichtabschwächer ist dabei in einer Lichtrichtung zum Auge hin hinter dem Polarisationsfilter angeordnet. Die Anordnung des Li chtab schwächer s hinter dem Polarisator ermöglicht es, Teilbereiche des natürlichen Sichtfelds auszublenden, ohne die Eigenschaft, das für die stereoskopische Wahrnehmung erforderliche Optiksystem durchdringende Licht in zwei räumlichen Bereichen unterschiedlich zu polarisieren, zu beeinflussen.
Der Li chtab schwächer kann eine ansteuerbare Flüssigkristallschicht aufweisen. Die Flüssigkristallschicht kann ein oder mehrere getrennt ansteuerbare Flüssigkristallpixel oder Flüssigkristallsegmente umfassen. Dabei kann es ermöglicht werden, unterschiedliche Stellen der Flüssigkristallschicht in ihrer Wirkung auf einfallendes Licht zu beeinflussen.
Der Li chtab schwächer kann einen linearen Ausgangspolarisationsfilter und einen linearen Eingangspolarisationsfilter aufweisen. In Ausführungsbeispielen kann der Eingangspolarisationsfilter des Li chtab sch wächers mit dem linearen Polarisationsfilter der Polarisationseinheit identisch sein. Auf diese Weise können gegebenenfalls optische Elemente des Optiksystems eingespart werden. Dieses kann eine leichtere Ausgestaltung und gegebenenfalls kostengünstigere Herstellung des kopfgetragenen Visualisierungssystems ermöglichen.
Die Flüssigkristallschicht kann dazu eingerichtet sein, die von der Bilderzeugungseinrichtung erzeugte Bildinformation einer das Vi suali si erung ssy stem tragenden Person zuzuführen. Beispielsweise können Flüssigkristallpixel unterschiedlich angesteuert werden, um dem Verwender des kopfgetragenen Visualisierungssystems weitere Parameter anzuzeigen.
Das kopfgetragene Visualisierungssystem kann einen Spiegel umfassen, um die von der Bilderzeugungseinrichtung erzeugte Bildinformation einer das Visualisierungssystem tragenden Person zuzuführen, wobei der Spiegel in der Lichtrichtung zum ersten Auge des Verwenders hin hinter dem Li chtab schwächer angeordnet ist, d.h., in einem am Kopf der Person getragenen Zustand des Visualisierungssystems ist der Li chtab schwächer augenferner als der Spiegel angeordnet.
Ebenso ist es denkbar, einen Wellenleiter vorzusehen, um die von der Bilderzeugungseinrichtung erzeugte Bildinformation einer das Visualisierungssystem tragenden Person zuzuführen, wobei der Wellenleiter in der Lichtrichtung zum ersten Auge des Verwenders hin hinter dem Li chtab schwächer angeordnet ist, d.h., in einem am Kopf der Person getragenen Zustand des Visualisierungssystems ist der Lichtabschwächer augenfemer als der Wellenleiter angeordnet. Folglich kann der Lichtabschwächer gerade in einer sehr hellen Umgebung dazu führen, dass die angezeigten Bildinformationen besser wahrgenommen werden können.
Das kopfgetragene Visualisierungssystem kann insbesondere für die Verwendung während eines operativen Eingriffs geeignet sein. Das kopfgetragene Visualisierungssystem kann insbesondere so gestaltet sein, dass es sich nach einem operativen Eingriff einfach desinfizieren lässt. Weiter kann das vorgeschlagene kopfgetragene Visualisierungssystem aufgrund der fehlenden Notwendigkeit, die stereoskopischen Bilder in dem kopfgetragenen Visualisierungssystem selbst erzeugen zu müssen, leichter gestaltet werden. Das kopfgetragene Visualisierungssystem kann daher gegenüber bekannten kopfgetragenen Visualisierungssystemen einen geringeren Energieverbrauch aufweisen, so dass bei gleicher Batteriekapazität eine längere Verwendung während der Operation oder ein leichteres kopfgetragenes Visualisierungssystem bereitgestellt werden kann.
Eine Ausführungsform eines chirurgisches Vi suali si erungs sy stem s umfasst ein kopfgetragenes Visualisierungssystem wie in der vorliegenden Patentanmeldung beschrieben, ein Operationsmikroskop oder Endoskop mit einer Bildaufnahmeeinrichtung und einen Stereo-Monitor, der zur stereoskopischen Wiedergabe von Bildinformation, die mit der Bildaufnahmeeinrichtung aufgezeichnet wird, ausgebildet ist.
Das chirurgisches Visualisierungssystem kann eine Steuerungseinrichtung aufweisen, die ausgebildet ist, der Bilderzeugungseinrichtung Bilddaten zuzuführen.
Bei einer weiteren Ausführungsform weist das kopfgetragene Visualisierungssystem einen Eye-Tracker auf und die Steuerungseinrichtung ist ausgebildet, die der Bilderzeugungseinrichtung zugeführten Bilddaten in Abhängigkeit von Ausgangsdaten des Eye-Trackers zu steuern.
Bei einer weiteren Ausführungsform weist das kopfgetragene Visualisierungssystem ein Mikrofon auf und die Steuerungseinrichtung ist ausgebildet, das Operationsmikroskop in Abhängigkeit von mit dem Mikrofon aufgenommenen akustischen Informationen zu steuern.
Bei einer weiteren Ausführungsform weist das kopfgetragene Visualisierungssystem ein Mikrofon auf und die Steuerungseinrichtung ist ausgebildet, die der Bilderzeugungseinrichtung zugeführten Bilddaten in Abhängigkeit von mit dem Mikrofon aufgenommenen akustischen Informationen zu steuern.
Bei einer weiteren Ausführungsform weist das kopfgetragene Visualisierungssystem einen gyroskopi sehen Sensor zur Bestimmung von Ausrichtungsänderungen des kopfgetragenen Visualisierungssystems im Raum auf und die Steuerungseinrichtung ist ausgebildet, das Operationsmikroskop in Abhängigkeit von Ausgangsdaten des gyroskopi sehen Sensors zu steuern.
Bei einer weiteren Ausführungsform weist das kopfgetragene Visualisierungssystem einen gyroskopi sehen Sensor zur Bestimmung von Ausrichtungsänderungen des kopfgetragenen Visualisierungssystems im Raum auf und die Steuerungseinrichtung ist ausgebildet, die der Bilderzeugungseinrichtung zugeführten Bilddaten in Abhängigkeit von Ausgangsdaten des gyroskopi sehen Sensors zu steuern.
Bei einer weiteren Ausführungsform ist die Lichtdurchlässigkeit des Optiksystems in verschiedenen Flächenbereichen unterschiedlich schaltbar und die Steuerungseinrichtung ist ausgebildet, die Lichtdurchlässigkeit des Optiksystems in Flächenbereichen zu reduzieren, in denen von der Bilderzeugungseinrichtung erzeugte Bildinformation einer das Visualisierungssystem tragenden Person zugeführt wird.
Bei einer weiteren Ausführungsform weist das kopfgetragene Visualisierungssystem eine Kamera auf, und die Steuerungseinrichtung ist ausgebildet, eine Position des Stereo-Monitors relativ zu einer Position des kopfgetragenen Vi suali si erungs sy stem s mittels Bildererkennung zu bestimmen. Bei dieser Ausführungsform kann die Li chtdurchl äs sigkeit des Optiksystems in verschiedenen Flächenbereichen unterschiedlich schaltbar sein und die Steuerungseinrichtung kann ausgebildet sein, die Lichtdurchlässigkeit des Optiksystems in Abhängigkeit von der Position des Stereo-Monitors relativ zu der Position des kopfgetragene Visualisierungssystems zu steuern.
Ein Verfahren zur Visualisierung in einem chirurgischen Umfeld umfasst die Schritte: Darstellen eines Bilds eines Operationsgebiets auf einem Stereo-Monitor,
Beobachten des auf dem Stereo-Monitor dargestellten Bilds durch ein kopfgetragenes Visualisierungssystem mit Polarisationsfiltern, und
Bereitstellen zusätzlicher Augmentierungsinformation mittels des kopfgetragenen Visualisi erungssy stem s .
Bei einer Ausführungsform des Verfahrens zur Visualisierung erzeugt das kopfgetragene Visualisierungssystem Steuerungsdaten und die Augmentierungsinformation und/oder auf dem Stereo-Monitor dargestellte Bildinformation und/oder Bewegungen eines motorischen Stativs und/oder Funktionen eines Operationsmikroskops werden in Abhängigkeit von den vom Vi suali si erungs sy stem erzeugten Steuerungsdaten gesteuert.
Bei einer Ausführungsform des Verfahrens kann die Zuordnung zwischen den Sensoren des kopfgetragenen Visualisierungssystems oder den Ausgangssignalen der Sensoren einerseits und der über das kopfgetragene Visualisierungssystem bereitzustellenden Augmentierungsinformation vom Benutzer konfigurierbar sein.
Nachfolgend wird ein Vi suali si erungssy stem und ein chirurgischer Arbeitsplatz mit einem Visualisierungssystem anhand der Figuren näher erläutert. Dabei zeigen:
Figur 1: eine Prinzip-Skizze einer Ausführungsform eines kopfgetragenen Visualisierungssystems;
Figur 2: eine Prinzip-Skizze für eine Ausführungsform einer Polarisationseinheit mit einem Li chtab schwächer für ein Optiksystem in einem Vi suali sierungssy stem;
Figur 3: eine Prinzip-Skizze für eine zweite Ausführungsform einer Polarisationseinheit mit einem Li chtab schwächer für ein Optiksystem in einem Visualisierungssystem; Figur 4: eine Prinzip-Skizze für eine drite Ausführungsform einer Polarisationseinheit mit einem Li chtab schwächer für ein Optiksystem in einem Visualisierungssystem;
Figur 5: eine Prinzip-Skizze für eine vierte Ausführungsform einer Polarisationseinheit mit einem Li chtab schwächer für ein Optiksystem in einem Visualisierungssystem;
Figur 6: eine Prinzip-Skizze für eine fünfte Ausführungsform einer Polarisationseinheit mit einem Li chtab schwächer für ein Optiksystem in einem Visualisierungssystem; und
Figur 7: eine Prinzip-Skizze eines chirurgischen Arbeitsplatzes mit einem Visualisierungssystem.
Das Visualisierungssystem in Figur 1 basiert im Wesentlichen auf einer sogenannten Augmented Reality Brille (AR-Brille) oder einem sogenannten Augmented Reality Head Mounted Display (AR-HMD). Das System hat ein Tragesystem 1, in der Figur 1 dargestellt als Brillengestell mit einem linken und einem rechten Ohrbügel la, lb. Am Trage System 1 ist ein Modul 11 mit einem Optiksystem 6, 7 aufgenommen. Das Optiksystem 6, 7 ist mindestens teilweise transparent für Licht im sichtbaren Spektralbereich.
Im Tragesystem 1 ist eine Bilderzeugungseinrichtung 2 beispielsweise in Form eines Mikrodisplays integriert oder an diesem angeordnet. Die Bilderzeugungseinrichtung 2 kann über eine kabellose Schnittstelle 15, beispielsweise eine B luetooth- S chnittstell e oder eine WLAN-Schnitstelle, von einem Steuerungs-Computer 16 angesteuert und mit darzustellenden Bilddaten versorgt werden. Die mit der Bilderzeugungseinrichtung 2 wiedergegebene Bildinformation wird über eine Linse 3 und einen Umlenkspiegel 4 in Richtung einer Seitenfläche des Optiksystems 6, 7 gelenkt. Das Optiksystem 6, 7 weist interne diffraktive Strukturen und sogenannte W avegui de-El emente (nicht dargestellt) auf, die die von der Bilderzeugungseinrichtung 2 erzeugte und in das Optiksystem 6, 7 eingekoppelte Bildinformation in Richtung (Blickrichtungsachse 5) auf ein Auge R eines das Visualisierungssystems tragenden Kopfes umlenkt und aus dem Optiksystem 6, 7 auskoppelt.
Das Optiksystem 6, 7 weist eine schaltbare Beschichtung 6a, 7a auf, mit deren Hilfe die Li chtdurchl ässigkeit des Optiksystems 6, 7 schaltbar ist. Dabei ist die Beschichtung so ausgebildet, dass die Lichtdurchlässigkeit des Optiksystems in unterschiedlichen Flächenbereichen des Optiksystems quer zur Blickrichtungsachse 5 unterschiedlich einstellbar ist. Beispielsweise kann dadurch die Transmission des Optiksystems 6, 7 in Fl ächenb er eichen, in denen einem Benutzer die von der Bilderzeugungseinrichtung erzeugte Bildinformation dem durch das Optiksystem hindurchtretenden Umgebungslicht überlagert erscheint, reduziert sein. Dadurch kann die von der Bilderzeugungseinrichtung erzeugte Bildinformation auch in einer hellen Umgebung gut wahrgenommen werden.
Weiterhin weist das Visualisierungssystem ein weiteres Modul 10, eine Polarisationseinheit, mit zwei Polarisationsfiltern 8, 9 auf. Die Polarisationsrichtung des Umgebungslichts, das eines der Polarisationsfilter 8 transmittiert, ist dabei senkrecht zu der Polarisationsrichtung des Umgebungslichts polarisiert, das das andere Pol ari sati onsfilter passiert. Dieses ist in der Figur 1 durch die beiden Pfeile 18, 19 angedeutet. Die Polarisationsrichtungen der 18, 19 der Polarisationsfilter sind dabei auf die Polarisationsrichtungen eines in der Figur 1 nicht dargestellten Stereo-Monitors abgestimmt, so dass das vor dem linken Auge L eines das Visualisierungssystem tragenden Benutzers angeordnete erste Polarisationsfilter 8 nur oder im Wesentlichen nur das Licht des Stereo-Monitors durchlässt, das für das linke Auge L bestimmt ist, und dass das vor dem rechten Auge R des das Visualisierungssystem tragenden Benutzers angeordnete zweite Polarisationsfilter 9 nur oder im Wesentlichen nur das Licht des Stereo-Monitors durchlässt, das für das rechte Auge R bestimmt ist.
Das Modul 11 mit dem Optiksystem 6, 7 und das Modul 10 mit den Polarisationsfiltern können wahlweise alternativ oder in Kombination an dem Tragesystem 1 aufgenommen werden, so dass der Benutzer die Wahl hat, ob er nur mit dem Polarisationsfilter-Modul 10, nur mit dem das Optiksystem 6, 7 aufweisenden Modul 11 oder mit beiden Modulen 10, 11 gleichzeitig und seriell hintereinander angeordnet arbeiten möchte.
Das Trage System 1 weist noch einige weitere Sensoren auf, insbesondere eine nach vorne gerichtete Kamera 12, ein am Tragesystem gehaltenes oder in das Tragesystem 1 integriertes Mikrofon 13, einen Eye-Tracker 17 und einen gyroskopi sehen Sensor 14. Mit dem gyroskopi sehen Sensor 14 können Dreh- und Kippbewegungen des Tragesystems 1 im Raum bestimmt und solche Dreh- und Kippbewegungen charakteri si er ende Ausgangsdaten erzeugt werden. Mit dem Eye-Tracker 17 kann eine Bewegung der Augen eines das Visualisierungssystem tragenden Benutzers erfasst und Ausgangsdaten erzeugt werden, die diese Augenb ewegung charakterisieren. Die von der Kamera 12, dem Mikrofon 13, dem Eye- Tracker 17 und dem gyroskopi sehen Sensor 14 erzeugten Ausgangsdaten können über die kabellose Schnittstelle 15 an den Steuerungsrechner übermittelt werden.
Die in der Figur 1 dargestellte Ausführungsform weist zwei Optiksysteme 6, 7 auf, von denen ein erstes einem linken Auge und ein zweites einem rechten Auge eines das Visualisierungssystem tragenden Benutzers zugeordnet ist. Bei einer alternativen Ausführungsform kann dagegen nur ein einziges Optiksystem vorhanden sein, das die Sehfelder beider Augen des das Visualisierungssystem tragenden Benutzers überdeckt.
Die in der Figur 1 dargestellte Ausführungsform weist nur eine einzige Bilderzeugungseinrichtung 2 auf, und die mit der Bilderzeugungseinrichtung 2 wiedergegebene Bildinformation wird nur einem einzigen Auge R dargeboten. Bei einer alternativen Ausführungsform kann die mit der Bilderzeugungseinrichtung 2 wiedergegebene Bildinformation auch beiden Augen gleichzeitig dargeboten werden. In diesem Fall kann ein Teil des von der Bilderzeugungseinrichtung erzeugten Lichts in das eine Optiksysteme 6, und ein anderer Teil des von der Bilderzeugungseinrichtung 2 erzeugten Lichts in das andere Optiksysteme 7 eingekoppelt werden. In diesem Fall müssen beide Optiksysteme integrierte diffraktive Strukturen und W avegui de-El emente aufweisen, um in das Optiksystem eingekoppeltes Licht zu dem diesem Optiksystem zugeordneten Auge zu lenken.
Bei einer weiteren alternativen Ausführungsform können auch zwei
Bilderzeugungseinrichtungen vorgesehen sein, von denen eine von ihr erzeugtes Licht in ein erstes der beiden Optiksysteme einkoppelt und die andere das von ihr erzeugte Licht in das andere, zweite Optiksystem einkoppelt.
Figur 2 zeigt Elemente eines kopfgetragenen Visualisierungssystems in einem höheren Detailgrad. Das kopfgetragene Visualisierungssystem weist dabei einen ersten optischen Kanal 3100, welcher einem ersten Auge eines Verwenders 1002 zugeordnet ist, und einen zweiten optischen Kanal 3200, welcher einem zweiten Auge des Verwenders 1002 zugeordnet ist, auf. Von dem Bildschirm 1003 können Bilder mit einer ersten Polarisation und einer zweiten Polarisation gleichzeitig dargestellt werden. Bei der ersten Polarisation kann es sich beispielsweise um eine vertikale Polarisation, wie es in der Figur 2 mit einem nach oben gerichtetem Pfeil angedeutet ist, und um eine horizontale Polarisation, wie es in der Figur 2 mit Kreisen angedeutet ist, handeln. Das kopfgetragene Vi suali si erungssy stem weist im ersten optischen Kanal 3100 einen ersten Polarisator 3110 und zwischen dem ersten Polarisator 3110 und dem Auge des Verwenders 1002 einen ersten Lichtabschwächer 3120 auf. Der erste Polarisator 3110 umfasst einen ersten linearen Polarisationsfilter 3111, welcher nur vertikal polarisiertes Licht passieren lässt. Der erste Li chtab schwächer 3120 weist einen ersten Eingangspolarisationsfilter 3121 und einen ersten Ausgangspolarisationsfilter 3123 auf. Zwischen dem ersten Eingangspolarisationsfilter 3121 und dem ersten Ausgangspolarisationsfilter 3123 ist eine erste Flüssigkristallschicht 3122 angeordnet, die mehrere einzeln ansteuerbare Flüssigkeitskri stallpixel oder Flüssigkeitskri stall Segmente (nicht gezeigt) aufweist. Die erste Flüssigkristallschicht 3122 bewirkt eine Drehung der vertikalen Polarisation, so dass das durch die Flüssigkristallschicht hindurchtretende Licht hinter der ersten Flüssigkristallschicht eine Linearkombination einer vertikalen und einer horizontalen Polarisation aufweist. Der Grad der Drehung kann dabei durch eine entsprechende Ansteuerung der Pixel oder Segmente der ersten Flüssigkristallschicht 3122 geändert werden. Der erste Ausgangspolarisationsfilter 3123 sorgt dafür, dass nur Licht mit vertikaler Polarisation durchgelassen wird. Dementsprechend bewirkt die erste Flüssigkristallschicht 3122 in Kombination mit dem ersten Eingangspolarisationsfilter 3121 und dem ersten Ausgangspolarisationsfilter 3123 eine Li chtab Schwächung .
In vergleichbarer Weise umfasst der zweite optische Kanal 3200 einen zweiten Polarisator 3210 mit einem zweiten linearen Polarisationsfilter 3211 sowie einen zweiten Li chtab schwächer 3210 mit einem zweiten Eingangspolarisationsfilter 3221, einer zweiten Flüssigkristallschicht 3222 und einem zweiten Ausgangspolarisationsfilter 3223. Im Unterschied zum ersten Kanal 3100 ist der zweite Kanal 3200 nur für Licht der horizontalen Polarisation durchlässig. Somit findet eine Kanaltrennung statt, die es dem Verwender des kopfgetragenen Visualisierungssystems erlaubt, die vom Bildschirm 1003 angezeigten Bilder stereoskopisch wahrzunehmen.
Figur 3 zeigt ein weiteres teilweise lichtdurchlässiges Optiksystem mit einem ersten Kanal 4100 und einem zweiten Kanal 4200. Der erste Kanal weist einen ersten Polarisator 4110 und einen nachfolgend angeordneten ersten Li chtab schwächer 4120 auf. Der lineare Polarisationsfilter 4111 des ersten Polarisators 4110 ist damit mit einem Eingangspolarisationsfilter des ersten Li chtab schwächers 4120 identisch, d.h. der lineare Polarisationsfilter 4111 des ersten Polarisators 4110 bildet gleichzeitig den Eingangspolarisationsfilter des ersten Li chtab schwächers 4120. Der erste Lichtabschwächer 4120 weist weiter eine erste Flüssigkristallschicht 4122 und einen ersten Ausgangspolarisationsfilter 4123 auf.
Der erste Kanal 4100 ist wiederum für Licht mit vertikaler Polarisation im Wesentlichen durchlässig. Weiter weist das Optiksystem einen zweiten Kanal 4200 mit einem zweiten Polarisator 4210 und einem zweiten Li chtab schwächer 4220 auf. Der lineare Polarisationsfilter 4211 des zweiten Polarisators 4210 ist wiederum mit dem Eingangspolarisationsfilter des zweiten Li chtab schwächer s 4220 identisch, d.h. auch im zweiten Kanal bildet der lineare Polarisationsfilter 4211 des zweiten Polarisators 4210 gleichzeitig den Eingangspolarisationsfilter des zweiten Lichtabschwächers 4220. Der zweite Li chtab schwächer 4220 weist zudem eine zweite Flüssigkeitskristallschicht 4222 und einen zweiten Ausgangspolarisationsfilter 4223 auf. Im Unterschied zum ersten Kanal 4100 ist der zweite Kanal 4200 im Wesentlichen nur für Licht mit horizontaler Polarisation durchlässig.
Das Optiksystem der Figur 3 erlaubt es gegenüber dem Optiksystem der Figur 2 sowohl im ersten als auch im zweiten Kanal einen linearen Polarisationsfilter einzusparen.
Figur 4 zeigt ein weiteres Optiksystem, welches sich für 3D-Monitore eignet, die Bilder mit linkszirkularer Polarisation und rechtszirkularer Polarisation erzeugen. Die Verwendung von zirkularen Polarisationen bietet für den Verwender des kopfgetragenen Visualisierungssystems den Vorteil, dass auch bei gekipptem Kopf eine saubere Trennung der jeweils dem linken und rechten Kanal zugeordneten Bilder möglich bleibt.
Das Optiksystem nach Figur 4 weist einen ersten Kanal 5100 und einen zweiten Kanal 5200 auf. Im ersten Kanal 5100 sind ein erster Polarisator 5110 und ein erster Li chtab schwächer 5120 angeordnet. Der erste Polarisator umfasst einen ersten linearen Polarisationsfilter 5111 und ein erstes l/4-Plättchen 5112. Der erste lineare Polarisationsfilter 5111 ist dabei zwischen dem ersten l/4-Plättchen 5112 und dem Auge des Verwenders 1002 des kopfgetragenen Visualisierungssystems angeordnet. Der erste Polarisator 5110 lässt nur Licht mit rechtszirkularer Polarisation durch, so dass hinter dem Polarisator 5110 vertikal polarisiertes Licht vorliegt. Mithilfe des ersten Eingangspolarisators 5121, der ersten Flüssigkristallschicht 5122 und dem ersten Ausgangspolarisationsfilter 5123 wird das durch den ersten Lichtabschwächer 5120 hindurchtretende Licht abgeschwächt. In vergleichbarer Weise weist der zweite Kanal 5200 einen zweiten Polarisator 5210 und einen zweiten Li chtab schwächer 5220 auf. Der zweite Polarisator 5210 umfasst ein zweites l/4-Plättchen 5212 und weist einen zwischen dem zweiten l/4-Plättchen 5212 und dem Auge das Verwenders 1002 des kopfgetragenen Visualisierungssystems angeordneten zweiten linearen Polarisationsfilter 5211 auf. Der zweite Polarisator 5210 bewirkt, dass nur linkszirkulares Licht den zweiten Polarisator 5210 passieren kann und hinter dem zweiten Polarisator 5210 als horizontal polarisiertes Licht vorliegt. Das horizontal polarisierte Licht wird anschließend mittels des zweiten Eingangspolarisationsfilters 5221, der zweiten Flüssigkristallschicht 5222 und des zweiten Ausgangspolarisationsfilters 5223 abgeschwächt.
Figur 5 zeigt ein weiteres Beispiel eines kopfgetragenen Visualisierungssystems, welche mit zirkularer Polarisation verwendet werden kann. Das optische System des kopfgetragenen Visualisierungssystems weist wiederum einen ersten Kanal 6100 und einen zweiten Kanal 6200 auf.
Der erste Polarisator 6110 des ersten Kanals 6100 und der zweite Polarisator 6210 des zweiten Kanals 6200 teilen sich dabei ein gemeinsames einziges l/4-Plättchen 6112/6122. Weiter ist der Eingangspolarisationsfilter des ersten Li chtab schwächers 6120 identisch zum linearen Polarisationsfilter 6111 des ersten Polarisators 6110 und der
Eingangspolarisationsfilter 6211 des zweiten Li chtab schwächer s 6220 identisch zum linearen Polarisationsfilter 6211 des zweiten Polarisators 6210. Aufgrund der unterschiedlichen Ausrichtung der beiden Li chtab schwächer 6120 und 6220 in Bezug auf die schnelle Achse des l/4-Plättchens 6112/6212 wird im ersten Kanal 6100 nur rechtszirkulares Licht durchgelassen und im zweiten Kanal 6200 nur linkszirkulares Licht.
Figur 6 zeigt weitere Details eines kopfgetragenen Vi suali si erungs sy stem s .
Ähnlich wie in der Figur 3 ist der Eingangspolarisationsfilter des Li chtab schwächers 4120 identisch zum linearen Polarisationsfilter 4111 des Polarisators 4110 ist. Das Ausführungsbeispiel gemäß Fig. 6 weist einen einzigen, für beide Kanäle gemeinsamen Eingangspolarisationsfilter 7111 des Li chtab schwächers 7120 auf, der gleichzeitig auch einen für beide Kanäle gemeinsamen einzigen linearen Polarisationsfilter des Polarisators 7110 bildet. Der Li chtab schwächer 7120 des ersten Kanals 7100 ist somit identisch zum Li chtab schwächer 7220 des zweiten Kanals, d.h, das Visualisierungssystem gemäß dieser Ausführungsform weist nur einen einzigen, für beide Kanäle gemeinsamen Lichtabschwächer auf. Aufgrund einer unterschiedlichen Ausrichtung des ersten l/4-Plättchens 7112 des ersten Kanals und des zweiten l/4-Plättchens 7212 des zweiten Kanals in Bezug auf den linearen Eingangspolarisationsfilter 7111/7211 wird im ersten Kanal 7100 Licht, welches mit einer rechtszirkularen Polarisation auf das erste l/4-Plättchen 7112 fällt im rechten Kanal 7100 durchgelassen und Licht, welches mit einer linkszirkularen Polarisation auf das zweite l/4- Plättchen 7212 trifft, im zweiten Kanal 7200 durchgelassen. Dementsprechend erlaubt auch das optische System gemäß Figur 6 eine Kanaltrennung, so dass der Verwender des kopfgetragenen Visualisierungssystems die von einem Bildschirm angezeigten dreidimensionalen Bilddaten stereoskopisch wahrnehmen kann.
In der Figur 7 ist ein chirurgisches Visulisierungssystem dargestellt. Es weist eine vorstehend beschriebene kopfgetragene Vi suali sierungseinri chtung 20 auf. Des Weiteren weist sie ein Stativ 21 für ein Operationsmikroskop 22 oder ein Endoskop (nicht dargestellt) auf. Das Stativ hat für die gelenkigen Verbindungen 21a, 21b motorische Antriebe. Zur Vereinfachung sind in der Figur 2 nur zwei gelenkige Verbindungen dargestellt, in der Regel weist ein solches Stativ mindestes sechs gelenkige Verbindungen mit zugeordneten Antriebsmotoren auf, so dass ein am Stativ 21 aufgenommenes Operationsmikroskop 22 oder Endoskop in seinen sechs Freiheitsgraden frei bewegbar ist und an jede Stelle und in jede Orientierung fahrbar ist.
Das Operationsmikroskop 22 oder das Endoskop weist eine Bildaufnahmeeinrichtung 23, beispielsweise in Form von einer Stereokamera oder zwei Einzelkameras auf, mit denen stereoskopische Bildinformation von einem Operationsfeld aufgenommen werden kann. Die mit der Bildaufnahmeeinheit 23 aufgezeichnete stereoskopische Bildinformation wird von dem Steuerungscomputer 16 ausgelesen und von diesem an einen Stereo-Monitor 24 weitergegeben. Auf dem Stereo-Monitor 24 wird dementsprechend ein stereoskopisches Bild des Operationsfelds dargestellt. Der Stereo-Monitor 24 erzeugt dabei zwei stereoskopische Teilbilder. Das Licht der beiden Teilbilder weist dabei eine unterschiedliche Polarisation auf, so dass die Polarisation eines rechten Teilbilds senkrecht oder orthogonal zu der Polarisation eines linken Teilbilds ist. Alternativ zur Trennung der beiden stereoskopischen Teilbilder mit linearer Polarisation kann auch zirkulare Polarisation verwendet werden. Ein das kopfgetragene Vi suali si erungs sy stem 20 tragender Benutzer kann das auf dem Stereomonitor 24 wiedergegebene stereoskopische Bild seitenrichtig und stereoskopisch wahmehmen, weil die Polarisationsrichtungen der beiden Polarisationsfilter 8, 9 des kopfgetragenen Visualisierungssystems 20 an die Polarisationsrichtungen des Stereo- Monitors 24 angepasst sind. Gleichzeitig kann der Benutzer durch das Optiksystem und die Polarisationsfilter des kopfgetragene Visualisierungssystem 20 auch direkt das Operationsfeld oder andere Gegenstände in der Umgebung, wie den Steril-Tisch mit den Instrumenten, beobachten.
Über die Bilderzeugungseinrichtung im kopfgetragenen Visualisierungssystem kann dem Benutzer zusätzliche virtuelle Information überlagert dargeboten werden, die für den Benutzer sonst nicht visuell zugänglich wäre. Solche Zusatzinformation kann Information sein, die von anderen, nicht im Sichtfeld des Benutzers befindlichen Geräten im Operationssaal stammen oder die vor der Operation gewonnen wurde, beispielsweise Bildinformation aus Computer oder Kernspin-Tomogrammen, die in einem Speicher 26 gespeichert sind. Die Zusatzinformation kann aber auch Information sein, die während der Operation von anderen Personen bereitgestellt wird, beispielsweise von einem weiteren Experten oder Pathologen, der per Videoübertragung von einem anderen Ort zugeschaltet ist und dem die mit dem Operationsmikroskop aufgezeichneten Videobilder per Videoüb ertragung zur Verfügung gestellt werden. Dieser Experte oder Pathologe kann auf seinem Videomonitor Augmentierungsinformation eingeben, die dann per Video-Rückübertragung an den Steuerungscomputer 16 übermittelt wird. Die entsprechende Information wird vom Steuerungscomputer über die kabellose Schnittstelle 15 an das kopfgetragene Visualisierungssystem 20 übermittelt.
Die Sensoren in dem kopfgetragenen Visualisierungssystem dienen dazu, die Antriebe 21a, 21b des Stativs 21, oder andere Funktionen des Operationsmikroskops 22, oder die Art der von der Bilderzeugungseinrichtung bereitgestellten Information definiert und freihändig zu steuern.
Beispielsweise ist eine Sprachsteuerung bestimmter Einstellungen am Operationsmikroskop möglich. Da sich das Mikrofon des kopfgetragenen Visualisierungssystems immer in derselben Entfernung vom Mund des Benutzers befindet, ergibt sich hier keine Abhängigkeit der mit dem Mikrofon aufgezeichneten akustischen Signale von der Position oder Orientiemng des Benutzers. Deshalb kann eine sehr stabile und zuverlässige Sprachsteuerung gewährleistet werden. Alternativ ist es möglich, die von der Bilderzeugungseinrichtung bereitgestellten Information mittels Sprachsteuerung auszuwählen. Die mit dem Mikrofon aufgezeichneten akustischen Signale werden dazu über die Schnittstelle 15 an den Steuerungscomputer 16 übermittelt und von diesem mittels eines auf dem Steuerungscomputer 16 ablaufenden Spracherkennungsprogramms analysiert. Entsprechend der Ergebnisse der Sprachanalyse wird dann vom Steuerungscomputer 16 die zugehörige Information ausgewählt und über die Schnittstelle 15 an die Bilderzeugungseinrichtung gesendet oder es werden die motorischen Antriebe des Stativs 21 oder motorische Antriebe des Operationsmikrokops 22 entsprechend angesteuert.
Alternativ oder zusätzlich zu einer Sprachsteuerung können Bewegungen des Stativs 21, motorische Funktionen des Operationsmikroskops 22 oder Endoskops oder andere Funktionen über die anderen Sensoren, insbesondere dem gyroskopi sehen Sensor und/oder dem Eye- Tracker, des kopfgetragenen Vi suali si erungs sy stem s 20 gesteuert werden. Dazu werden die Ausgangssignale des Eye-Trackers und des gyroskopi sehen Sensors über die Schnittstelle 15 an den Steuerungscomputer 16 übermittelt und von diesem mittels eines C omputerprogramm s ausgewertet. Je nach Ergebnis der Auswertung werden dann vom Computer 16 die den Ausgangssignalen zugeordneten Funktionen des Stativs oder des Operationsmikroskops angesteuert, oder die der Auswertung entsprechende Zusatzinformation ausgewählt und über die Schnittstelle 15 an die Bilderzeugungseinrichtung gesendet.
Die Zuordnung zwischen den jeweiligen Sensorsignalen und der Sprachsteuerung einerseits und die darüber gesteuerte Funktion des Stativs, des Operationsmikroskops und/oder der jeweils der Bilderzeugungseinrichtung zur Verfügung gestellten Daten kann vom Benutzer weitgehend frei konfigurierbar sein und vorab vom Benutzer so zugeordnet werden, wie es ihm individuell am besten zusagt. Entsprechende Benutzerprofile bezüglich dieser Zuordnung können auch für mehrere Benutzer abgespeichert werden und zu Beginn einer Operation aus einem Speicher aufgerufen werden. Alternativ oder zusätzlich können entsprechende Benutzerprofile auch für unterschiedliche Arten von chirurgischen Eingriffen angelegt, abgespeichert und zu Beginn eines entsprechenden Eingriffs aufgerufen werden.
Wie bereits oben beschrieben, weist das kopfgetragene Vi suali sierungssy stem eine nach vorne gerichtete Kamera 12 auf. Mittels dieser Kamera 12 wird permanent ein Video- Stream der Umgebung oder in bestimmten vorgegebenen Zeitintervallen Einzelbilder von der Umgebung aufgezeichnet und über die Schnittstelle 15 an den Steuerungscomputer übermittelt. Auf dem Steuerungscomputer läuft ein Bildanalyseprogramm ab, das so ausgebildet ist, dass in dem Video- Stream oder der Serie an Einzelbil dem j eweil s die Position des Stereo-Monitors 24 relativ zu dem kopfgetragene Visualisierungssystem bestimmt wird. Basierend auf dieser Bildanalyse erzeugt der Steuerungscomputer Steuerdaten für die schaltbare Beschichtung 6a, 7a, die bewirken, dass die schaltbare Beschichtung in den Flächenbereichen der Optiksysteme, in denen der Benutzer den Stereo-Monitor wahrnimmt, auf maximale Li chtdurchl ässigkeit geschaltet wird, während die Lichtdurchlässigkeit in anderen Fl ächenb er ei chen, beispielsweise in denen der Benutzer das vom Bilderzeugungssystem bereitgestellte Bild wahrnimmt, reduziert ist.

Claims

Patentansprüche
1. Kopfgetragenes Visualisierungssystem mit einem Tragesystem, mindestens einem für Licht durchlässigen Optiksystem, einer Bilderzeugungseinrichtung ausgebildet zur Erzeugung von Bildinformation basierend auf den der Bilderzeugungseinrichtung zugeführten Bilddaten, wobei das Optiksystem ausgebildet ist, von der Bilderzeugungseinrichtung erzeugte Bildinformation einer das Visualisierungssystem tragenden Person zuzuführen, und einer Polarisationseinheit, die ausgebildet ist, das Optiksystem durchdringendes Licht in zwei räumlichen Bereichen unterschiedlich zu polarisieren.
2. Kopfgetragenes Visualisierungssystem nach Anspruch 1, wobei die Polarisationseinheit ab- und aufnehmbar ausgebildet ist.
3. Kopfgetragenes Visualisierungssystem nach Anspruch 1, wobei die Polarisationseinheit und das für Licht durchlässige Optiksystem gegeneinander austauschbar am Tragesystem aufgenommen sind.
4. Kopfgetragenes Visualisierungssystem nach einem der Ansprüche 1 bis 3, wobei ein erstes für Licht durchlässiges Optiksystem für ein linkes Auge und ein zweites für Licht durchlässiges Optiksystem für ein rechtes Auge vorhanden ist.
5. Kopfgetragenes Visualisierungssystem nach Anspruch 4, wobei die Polarisationseinheit einen ersten Polarisator vor dem ersten Optiksystem und einen zweiten Polarisator vor dem zweiten Optiksystem aufweist.
6. Kopfgetragenes Visualisierungssystem nach einem der Ansprüche 1 bis 5, wobei die Polarisationseinheit ausgebildet ist, das Optiksystem durchdringendes Licht in zu einander senkrechten Richtungen zu polarisieren.
7. Kopfgetragenes Visualisierungssystem nach einem der Ansprüche 1 bis 5, wobei die Polarisationseinheit ausgebildet ist, das Optiksystem durchdringendes Licht in zirkular entgegengesetzten Richtungen zu polarisieren.
8. Kopfgetragenes Visulisierungssystem nach einem der Ansprüche 1 bis 7, wobei die Lichtdurchlässigkeit des Optiksystems schaltbar ist.
9. Kopfgetragenes Visulisierungssystem nach Anspruch 8, wobei die Lichtdurchlässigkeit des Optiksystems in verschiedenen Flächenbereichen unterschiedlich schaltbar ist.
10. Chirurgisches Visualisierungssystem umfassend ein kopfgetragenes Visulisierungssystem nach einem der Ansprüche 1 bis 9, ein Operationsmikroskop oder Endoskop mit einer Bildaufnahmeeinrichtung und einen Stereo-Monitor, der zur stereoskopischen Wiedergabe von mit der Bildaufnahmeeinrichtung aufgezeichneter Bildinformation ausgebildet ist.
11. Chirurgisches Visualisierungssystem nach Anspruch 10, ferner umfassend eine Steuerungseinrichtung, die ausgebildet ist, der Bilderzeugungseinrichtung Bilddaten zuzuführen.
12. Chirurgisches Visualisierungssystem nach Anspruch 11, wobei das kopfgetragene Visualisierungssystem einen Eye-Tracker aufweist und die Steuerungseinrichtung ausgebildet ist, die der Bilderzeugungseinrichtung zugeführten Bilddaten in Abhängigkeit von Ausgangsdaten des Eye-Trackers zu steuern.
13. Chirurgisches Visualisierungssystem nach Anspruch 11 oder 12, wobei das kopfgetragene Visualisierungssystem ein Mikrofon aufweist und die Steuerungseinrichtung ausgebildet ist, das Operationsmikroskop in Abhängigkeit von mit dem Mikrofon aufgenommenen akustischen Informationen zu steuern.
14. Chirurgisches Visualisierungssystem nach Anspruch 11 oder 12, wobei das kopfgetragene Visualisierungssystem ein Mikrofon aufweist und die Steuerungseinrichtung ausgebildet ist, die der Bilderzeugungseinrichtung zugeführten Bilddaten in Abhängigkeit von mit dem Mikrofon aufgenommenen akustischen Informationen zu steuern.
15. Chirurgisches Visualisierungssystem nach einem der Ansprüche 11 bis 14, wobei das kopfgetragene Visualisierungssystem einen gyroskopi sehen Sensor zur Bestimmung von Ausrichtungsänderungen des kopfgetragenen Visualisierungssystems im Raum aufweist und die Steuerungseinrichtung ausgebildet ist, das Operationsmikroskop oder Endoskop in Abhängigkeit von Ausgangsdaten des gyroskopi sehen Sensors zu steuern.
16. Chirurgisches Visualisierungssystem nach einem der Ansprüche 11 bis 14, wobei das kopfgetragene Visualisierungssystem einen gyroskopi sehen Sensor zur Bestimmung von Ausrichtungsänderungen des kopfgetragenen Visualisierungssystems im Raum aufweist und die Steuerungseinrichtung ausgebildet ist, die der
Bilderzeugungseinrichtung zugeführten Bilddaten in Abhängigkeit von Ausgangsdaten des gyroskopi sehen Sensors zu steuern.
17. Chirurgisches Visualisierungssystem nach einem der Ansprüche 11 bis 16, wobei die Lichtdurchlässigkeit des Optiksystems in verschiedenen Flächenbereichen unterschiedlich schaltbar ist und wobei die Steuerungseinrichtung ausgebildet ist, die Lichtdurchlässigkeit des Optiksystems in Flächenbereichen zu reduzieren, in denen von der Bilderzeugungseinrichtung erzeugte Bildinformation einer das Visualisierungssystem tragenden Person zugeführt wird.
18. Chirurgisches Visualisierungssystem nach einem der Ansprüche 11 bis 17, wobei das kopfgetragene Visualisierungssystem eine Kamera aufweist, und wobei die Steuerungseinrichtung ausgebildet ist, eine Position des Stereo-Monitors relativ zu einer Position des kopfgetragenen Visualisierungssystems mittels Bildererkennung zu bestimmen.
19. Chirurgisches Visualisierungssystem nach Anspruch 18, wobei die Li chtdurchl äs sigkeit des Optiksystems in verschiedenen Flächenbereichen unterschiedlich schaltbar ist, und wobei die Steuerungseinrichtung ausgebildet ist, die Lichtdurchlässigkeit des Optiksystems in Abhängigkeit von der Position des Stereo-Monitors relativ zu der Position des kopfgetragenen Visualisierungssystems zu steuern.
20. Verfahren zur Visualisierung in einem chirurgischen Umfeld, bei dem ein Bild eines Operationsgebiets auf einem Stereo-Monitor dargestellt wird, das auf dem Stereo-Monitor dargestellte Bild durch ein kopfgetragenes Visualisierungssystem mit Polarisationsfiltern beobachtet wird, und zusätzliche Augm enti erungsinformati on mittels des kopfgetragenen Visualisierungssystems bereitgestellt wird.
21. Verfahren nach Anspruch 20, wobei das kopfgetragene Visualisierungssystem Steuerungsdaten erzeugt und die Augmentierungsinformation und/oder auf dem Stereo- Monitor dargestellte Bildinformation und/oder Bewegungen eines motorischen Stativs und/oder Funktionen eines Operationsmikroskops in Abhängigkeit von den vom Visualisierungssystem erzeugten Steuerungsdaten gesteuert wird.
22. Verfahren nach Anspruch 21, weiterhin umfassend ein Konfigurieren einer Zuordnung zwischen Sensoren und/oder Ausgangsdaten von Sensoren des kopfgetragenen Visualisierungssystems und bereitzustellender Augmentierungsinformation.
23. Verfahren nach einem der Ansprüche 20 bis 22, wobei die Augmentierungsinformation mittels Vi deoüb ertragung übermittelt wird.
PCT/EP2021/054900 2020-03-02 2021-02-26 Kopfgetragenes visualisierungssystem WO2021175727A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/909,265 US20230087402A1 (en) 2020-03-02 2021-02-26 Head-mounted visualisation system
JP2022552647A JP7453403B2 (ja) 2020-03-02 2021-02-26 ヘッドマウント可視化システム
CN202180018008.9A CN115398311A (zh) 2020-03-02 2021-02-26 头戴式可视化系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102020202624.6A DE102020202624A1 (de) 2020-03-02 2020-03-02 Kopfgetragenes Visualisierungssystem
DE102020202624.6 2020-03-02
DE102020131029.3 2020-11-24
DE102020131029.3A DE102020131029A1 (de) 2020-11-24 2020-11-24 Kopftragbare Visualisierungseinheit und Visualisierungssystem

Publications (1)

Publication Number Publication Date
WO2021175727A1 true WO2021175727A1 (de) 2021-09-10

Family

ID=74797951

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/EP2021/054900 WO2021175727A1 (de) 2020-03-02 2021-02-26 Kopfgetragenes visualisierungssystem
PCT/EP2021/055034 WO2021175776A1 (de) 2020-03-02 2021-03-01 Kopftragbare visualisierungseinheit und visualisierungssystem

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/055034 WO2021175776A1 (de) 2020-03-02 2021-03-01 Kopftragbare visualisierungseinheit und visualisierungssystem

Country Status (4)

Country Link
US (2) US20230087402A1 (de)
JP (1) JP7453403B2 (de)
CN (2) CN115398311A (de)
WO (2) WO2021175727A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11953687B2 (en) 2020-03-02 2024-04-09 Carl Zeiss Meditec Ag Head-mounted visualization unit and visualization system comprising light-transmissive optical system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170184894A1 (en) * 2015-12-28 2017-06-29 Hitachi-Lg Data Storage, Inc. Dimmer and video display device using the same
US20170323482A1 (en) * 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
WO2019049997A1 (ja) * 2017-09-10 2019-03-14 カイロス株式会社 内視鏡システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286141A (ja) 1995-04-14 1996-11-01 Canon Inc 注視点検出システム及びそれを用いた制御システム
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
JP2002090694A (ja) 2000-09-14 2002-03-27 Minolta Co Ltd 映像表示装置
JP4098535B2 (ja) 2002-02-28 2008-06-11 オリンパス株式会社 医療用立体表示装置
KR20140030343A (ko) 2010-06-25 2014-03-12 프론트 스트릿 인베스트먼트 매니지먼트 아이엔씨. 에즈 메니저 포 프론트 스트릿 다이버시파이드 인컴 클래스 3 차원 이미지 정보를 발생시키는 방법 및 장치
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
EP2806781B1 (de) 2012-01-23 2018-03-21 Washington University Brillenbildgebungssysteme und -verfahren
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US10849710B2 (en) 2014-02-21 2020-12-01 The University Of Akron Imaging and display system for guiding medical interventions
JP6391952B2 (ja) 2014-03-17 2018-09-19 ソニー株式会社 表示装置及び光学装置
JP2016032227A (ja) 2014-07-29 2016-03-07 日立マクセル株式会社 映像表示システム、三次元映像ポインティング装置、および映像表示装置
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US11016302B2 (en) 2015-03-17 2021-05-25 Raytrx, Llc Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses
US10033991B2 (en) 2016-02-24 2018-07-24 Arris Enterprises Llc Video display for viewing through polarized active shutter glasses
JP2017203952A (ja) 2016-05-13 2017-11-16 株式会社リコー 画像表示装置、眼鏡型画像表示装置及び両眼型画像表示装置
KR20180034116A (ko) 2016-09-27 2018-04-04 삼성전자주식회사 증강 현실 영상을 제공하는 방법, 디바이스 및 기록매체
US20180224923A1 (en) 2017-02-08 2018-08-09 Intel Corporation Low power key phrase detection
WO2018168626A1 (ja) 2017-03-17 2018-09-20 パナソニックＩｐマネジメント株式会社 表示装置
DE102017123894B3 (de) 2017-10-13 2019-02-07 Carl Zeiss Meditec Ag Scheibe für ein HMD und HMD mit wenigstens einer Scheibe
JP2019144415A (ja) 2018-02-21 2019-08-29 矢崎総業株式会社 投影装置及び車両用表示装置
US10659772B1 (en) * 2019-04-23 2020-05-19 Disney Enterprises, Inc. Augmented reality system for layering depth on head-mounted displays using external stereo screens
CN115398311A (zh) 2020-03-02 2022-11-25 卡尔蔡司医疗技术股份公司 头戴式可视化系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170184894A1 (en) * 2015-12-28 2017-06-29 Hitachi-Lg Data Storage, Inc. Dimmer and video display device using the same
US20170323482A1 (en) * 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
WO2019049997A1 (ja) * 2017-09-10 2019-03-14 カイロス株式会社 内視鏡システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11953687B2 (en) 2020-03-02 2024-04-09 Carl Zeiss Meditec Ag Head-mounted visualization unit and visualization system comprising light-transmissive optical system

Also Published As

Publication number Publication date
US11953687B2 (en) 2024-04-09
US20230088437A1 (en) 2023-03-23
CN115398312A (zh) 2022-11-25
WO2021175776A1 (de) 2021-09-10
JP2023520306A (ja) 2023-05-17
US20230087402A1 (en) 2023-03-23
JP2023521281A (ja) 2023-05-24
CN115398311A (zh) 2022-11-25
JP7453403B2 (ja) 2024-03-19

Similar Documents

Publication Publication Date Title
EP3108282B1 (de) Operationsmikroskop und erzeugung eines beobachtungsbildes eines objektbereichs in einem operationsmikroskop
DE102006036768B4 (de) Stereomikroskop nach Greenough
DE19640936C2 (de) Positionsadaptiver Autostereoskoper Monitor (PAM)
EP2446812B1 (de) Augenuntersuchungsgerät mit digitaler Bildausgabe
DE102017105941B3 (de) Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops
DE10204430A1 (de) Stereo-Mikroskopieverfahren und Stereo-Mikroskopiesystem
WO2009149961A1 (de) Optisches beobachtungsgerät mit mehrkanal-dateneinblendung
DE102015205167A1 (de) Verfahren und Steuergerät zum Betreiben eines autostereoskopischen Sichtfeldanzeigegeräts für ein Fahrzeug
DE102013208306A1 (de) Stereoskopisches Mikroskop
DE102017102922A1 (de) Kameravorrichtung
DE102017123894B3 (de) Scheibe für ein HMD und HMD mit wenigstens einer Scheibe
JP4508569B2 (ja) 双眼立体観察装置、電子画像実体顕微鏡、電子画像立体観察装置、電子画像観察装置
DE60133693T2 (de) Stereoskopische Bildanzeigevorrichtung
WO2005098508A2 (de) Bildaufnahmesystem, bildwiedergabesystem und bildaufnahme/-wiedergabesystem
DE102014223181B3 (de) Visualisierungsvorrichtung für einen Operationssitus
DE102015100765A1 (de) Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
WO2021175727A1 (de) Kopfgetragenes visualisierungssystem
EP2831662A1 (de) Visualisierungssystem für dreidimensionale bilder
DE10021063A1 (de) Stereomikroskop
DE19720851A1 (de) Ophthalmologisches Untersuchungsgerät sowie Verfahren zu dessen Betrieb
DE102020202624A1 (de) Kopfgetragenes Visualisierungssystem
EP1379906B1 (de) Erweiterte blendensteuerung für bildeinblendungen in einem stereomikroskop
DE102018110642B4 (de) Mikroskopieverfahren zur Abbildung eines Objekts sowie Mikroskop
DE102012108249A1 (de) Verfahren und Vorrichtung zur Verbesserung der Wiedergabe stereoskopischer Bilder
DE102021126980B4 (de) Stereobrille, Stereoprojektionssystem und Verfahren zur kombinierten Erzeugung und/oder Betrachtung von Bildern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21708645

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2022552647

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21708645

Country of ref document: EP

Kind code of ref document: A1