WO2019007936A1 - Visual output device with a camera and presentation method - Google Patents

Visual output device with a camera and presentation method Download PDF

Info

Publication number
WO2019007936A1
WO2019007936A1 PCT/EP2018/067894 EP2018067894W WO2019007936A1 WO 2019007936 A1 WO2019007936 A1 WO 2019007936A1 EP 2018067894 W EP2018067894 W EP 2018067894W WO 2019007936 A1 WO2019007936 A1 WO 2019007936A1
Authority
WO
WIPO (PCT)
Prior art keywords
output device
visual output
image
camera
virtual object
Prior art date
Application number
PCT/EP2018/067894
Other languages
German (de)
French (fr)
Inventor
Thomas Oberhofer
Jeronimo DZAACK
Original Assignee
Atlas Elektronik Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102017114914.7A external-priority patent/DE102017114914A1/en
Priority claimed from DE102017114905.8A external-priority patent/DE102017114905A1/en
Application filed by Atlas Elektronik Gmbh filed Critical Atlas Elektronik Gmbh
Priority to EP18736893.1A priority Critical patent/EP3649539A1/en
Publication of WO2019007936A1 publication Critical patent/WO2019007936A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G01S7/62—Cathode-ray tube displays
    • G01S7/6245—Stereoscopic displays; Three-dimensional displays; Pseudo-three dimensional displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G01S7/62—Cathode-ray tube displays
    • G01S7/6281—Composite displays, e.g. split-screen, multiple images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images

Definitions

  • the invention relates to a visual output device with a camera, several uses of such a visual output device and a method for presenting information by means of such a visual output device.
  • DE 102014018056 A1 shows a visual output device in the form of virtual reality glasses (VR glasses) 12 with two displays 16. If a person 10 wears these VR glasses 12, then each display 16 is arranged in front of one eye.
  • a display device of the VR glasses 12 is capable of displaying a virtual environment.
  • a camera system 14 is mounted with one or more cameras. Each camera produces a camera image of the person's real environment 10.
  • the VR glasses 12 normally display the virtual environment.
  • a detection device monitors whether the person 10 a predetermined movement, such as a
  • the VR glasses 12 on the displays 16 shows a camera image of the real environment of the person 10th
  • DE 102015006612 A1 shows a data goggle 12 which displays images of a night-vision camera to a motorist.
  • This data glasses 12 can be considered a visual
  • a controller 12b is capable of displaying images or objects on the
  • a night vision camera 16 a is disposed on the data glasses 12. Images from this night vision camera are displayed in the form of a night vision image on the display surface 12 built-glasses 12, for example, superimposed with the real image.
  • a night vision camera 16b is mounted on the motor vehicle.
  • a communication module 14 transmits signals from this night vision camera 16b to the data glasses 12. Thanks to these indulgence cameras 16A, 16B It is possible to realize a visual perception of the real environment even in dim light or darkness.
  • the stereo camera 105 detects movements of a user's hand 155.
  • Stereo camera 105 is a camera that captures images from the hand 155.
  • various icons are shown, including a virtual joystick 1 17 and a virtual hand 1 15.
  • the virtual hand 1 15 is displayed in accordance with the movements of the real hand 155 detected by the stereo camera 105 changed. In this way, the user can change the order of three-dimensional sonar data 1 13 on the display area 109 of the screen 103.
  • the representation of the virtual hand 1 15 on the screen is changed depending on the measured values of the camera 105.
  • the object of the invention is to provide a visual output device having the features of the preamble of claim 1 and a presentation method having the features of the preamble of claim 21, which facilitates communication between two people.
  • the visual output device comprises
  • the display device is attached to the carrier.
  • the visual output device is designed to be carried by a human using the carrier.
  • the visual output device provides a visually dense space in front of the eyes of a human wearing the visual output device.
  • the visual output device is designed to prevent light from penetrating from the real environment into the optically dense space provided.
  • the first camera is capable of producing an image of the environment of the visual output device.
  • the receiving device is capable of receiving signals from a remote transmitting device.
  • the display device is capable of generating at least one virtual object, depending on a signal received by the receiving device.
  • This virtual object represents information in a form that a human can visually perceive. The information depends on the signal.
  • the presentation device continues to present a common representation in the visually dense space.
  • This common representation includes the virtual object representing the information and an image generated by the first camera.
  • the presentation method according to the invention comprises the corresponding steps which are carried out while a person is wearing the visual output device according to the invention.
  • the first camera produces an image of the real environment of the visual output device.
  • the presentation device represents this image. Because the visual output device is worn on the head of the person to whom this image is shown, the output device moves when the human moves his head together with the support and thus the presentation device. Is prevented, that the different sense organs of this person provide contradictory information, namely on the one hand the eyes, which see the represented image, and on the other hand other sense organs, which perceive the spatial position, orientation and movement of the person in the space.
  • the presentation device represents an image of the real environment. This image follows a head movement of the human being, the visual one
  • Output device carries. This prevents the risk that the human being one
  • Travel sickness or so-called VR disease (Simulator Disease, Virtual Reality Sickness) suffers, which can occur in particular when the person is moving in a moving real environment or him. This may in particular occur aboard a watercraft and assume a shape similar to a seasickness.
  • a first person can communicate with another person while the first person is carrying the output device.
  • the other person can appeal to the first person. Thanks to the output device according to the solution, the first person carrying the output device can not only hear words spoken by the other person, but also perceive the gestures and facial expressions of the other person.
  • the visual output device is able to output information in a form visually perceptible by a human and thus to represent a virtual reality.
  • a variety of information can be displayed become.
  • the presentation device represents this virtual reality virtually on a screen or on the human retina. Because this screen
  • the solution according to the visual output device prevents the need to switch between a representation of the real environment and a representation of a virtual reality. Such switching may confuse a person carrying the visual output device, particularly when the switching is abrupt or when the human is moving relative to the depicted real environment, but not the virtual reality depicted.
  • the solution according to the visual output device allows the person who carries the output device to perceive the real environment and the virtual environment simultaneously, without the
  • the visual output device is able to present additional information as if this information were present in the environment that the person carrying the visual output device would see if he were not wearing the visual output device.
  • the visual output device of the present invention allows a person carrying the visual output device to make user or operator interventions on a machine or system, the first camera producing an image of that machine and the presentation device displaying that image of the machine in the common representation , At the same time, a measured value from a sensor is displayed as a virtual object in the common representation.
  • the measured value may be from a variable size of the machine itself or from another variable variable.
  • the human being is enabled to use the measured value in the user input without having to take his eyes off the machine and in particular without having to look at a physical display device for the measured value.
  • Man can choose for himself which distance from the machine he wants to keep. Is that the person wearing the output device uses remote control to control the machine. As a result, humans can remain at a safe distance from the machine.
  • the visual output device encloses a visually dense space in front of the eyes of a person who is carrying the output device.
  • the visual output device prevents light from entering the optically dense space from the real environment. Because an optically dense space is provided, the common representation is the only optical information for a human carrying the output device.
  • the solution according to the output device prevents light impressions from the outside to overlap the common representation.
  • These light impressions can cause people to become confused or to recognize certain segments of the common representation, in particular virtual objects, not at all or only poorly, or that the eyes become overloaded and fatigue quickly. This unwanted effect can occur especially when the impressions due to
  • a presentation device can be configured such that it displays differently bright images of the camera less differently.
  • at least one virtual object and thus a virtual reality are superimposed with the image of the real environment.
  • the real environment is rendered weaker or more powerful than the virtual reality information. It is possible for a person to do that
  • Output device carries a semi-transparent overlay of the virtual reality with the illustrated real environment perceives.
  • the receiving device receives a first measured value.
  • This first reading comes from a first sensor that has measured a variable in time.
  • the presentation device uses this received first measurement value as a first signal and generates a first virtual object.
  • This first virtual object represents the received first measured value visually.
  • the presentation device presents this first virtual object, which represents the first measured value, together with an image from the first camera.
  • This embodiment enables a first person carrying the output device to communicate with another person and to perceive the first measured value during the communication. It is not necessary for the first person to twist his head during communication in order to temporarily view the other person and, at times, a remote indicator for the first reading.
  • the design also allows the first human to perceive the first reading while looking at an output device for a second reading. This output device, which represents the second reading, is shown in the image which produces the first camera and which displays the presentation device in the common representation.
  • the receiving device additionally receives a second measured value originating from a second sensor.
  • the presentation device generates a second virtual object, which contains the visually represents the received second measured value. Presentation device presents in the common representation the first and the second virtual object and the image from the first camera.
  • the presentation device presents the common representation to a human wearing the visual output device.
  • the presentation device comprises a first screen. This first screen adjoins the optically dense space and is located in front of an eye or both eyes of a person wearing the output device. The presentation device is able to present the common presentation on the first screen.
  • the common representation is displayed on a first screen, which adjoins the optically dense space. This type of presentation is often perceived by a human as less disturbing or threatening than other types of presentation, such as a projection on the retina.
  • one area of the first screen to be used to represent the image of the real environment, and another area to represent the virtual object or objects.
  • the visual output device includes a single screen adjacent to the optically dense space and simultaneously positioned in front of both eyes of a human carrying the output device.
  • the output device comprises two screens. Each screen adjoins the optically dense space and is positioned in front of each human eye.
  • the presentation device comprises a so-called retina projector.
  • This retina projector projects the joint image onto the retina of at least one eye of a person carrying the output device.
  • This embodiment saves a screen.
  • the first camera which is attached to the support of the visual output device, has a viewing direction. In one embodiment, this line of sight coincides with the standard viewing direction of a person wearing the output device.
  • the standard direction of view is the direction in which a person looks.
  • the viewing direction of the first camera coincides with the standard viewing direction of a person wearing the visual output device.
  • the first camera is mounted on the support so that it faces away from the human face and is oriented outwards in the standard viewing direction into the real environment.
  • the images provided by the thus-arranged first camera show the real environment from the same viewpoint from which the human being would perceive the real environment if he did not wear the visual output device.
  • the depicted images of the first camera even better match the spatial position and movement of the human head. Contradictory information from different sensory organs of humans are prevented with even greater certainty.
  • the often unpleasant impression is that a person wearing the visual output device can not see what is in front of him. In particular, it is ensured that the human being has the security of recognizing an obstacle when moving in the standard viewing direction.
  • the first camera and additionally a second camera are mounted on the carrier of the visual output device.
  • the presentation device is able to produce a stereoscopic representation of the real environment from the images of these two cameras.
  • the presentation device is able to present this stereoscopic representation together with the or a virtual object in the common representation.
  • the first camera has a smaller horizontal viewing angle than the second camera.
  • the presentation device is able to present an image of the first camera and a virtual object in the common representation additionally at least temporarily insert an image of the second camera in this common representation.
  • This embodiment can further reduce the risk that the person carrying the output device suffers from motion sickness or VR disease. It is possible that the first camera produces an image in the near range, for example from another person who communicates with the first person. The second camera creates an image of the background, which is farther away. This second image is at least temporarily inserted into the common representation with the virtual object. This second image reduces the risk of VR disease.
  • the visual output device comprises an image intensifier.
  • the image intensifier is capable of amplifying an image which has produced the first and / or the second camera.
  • the presentation device is able to present an image amplified by the image intensifier in the common representation.
  • an image intensifier can amplify the image from the first camera.
  • the presentation device is the enhanced image. This design makes it easier to use the visual output device in situations where there is less or even no natural illumination, as well as less or no artificial illumination. This is the case, for example, in closed rooms without windows and with only poor lighting or when used outdoors at dusk or at night, and especially when strong lighting is not desired.
  • the image intensifier can be, for example, a residual light amplifier.
  • the output device comprises a conversion device.
  • This conversion device is capable of converting an image in the infrared light region into an image in the visible light region.
  • the presentation device is able to present in the shared representation an image enhanced by the conversion device.
  • the first camera receives and / or generates images in the infrared light range.
  • an infrared light source illuminates the real environment.
  • the design with the infrared image makes it easier to use the visual output device in low light conditions.
  • the conversion device converts an infrared image into an image in the visible light range. In the common representation, this image is then displayed in the visible range. This representation is easier to grasp for a human than if infrared images were displayed directly.
  • the output device comprises a compensation device.
  • This compensation device is capable of calculating the respective average brightness of at least two images produced one after the other by the first camera.
  • the equalizer may lighten the temporal successive image if its average brightness is smaller than that of the temporally preceding image, and darken the temporally subsequent image if its average brightness is greater than that of the temporally preceding image.
  • the presentation device is able to present an image lightened or darkened by the equalization device.
  • the visual output device is in data communication with an input device.
  • This input device may be part of the visual output device and, for example, mounted on the carrier of the output device, or be spatially separate from the output device.
  • the input device is capable of capturing at least one input of a human, in particular a human, who carries the visual output device.
  • the presentation device can present a joint presentation.
  • the presentation device is able to change this common representation, in response to a corresponding input, which the user has made with the input device and which has detected the input device. For example, the presentation device initially presents a Representation of an image, which has generated the first camera.
  • the presentation device After detecting a corresponding user input, the presentation device adds a virtual object and then presents a common representation. Or the presentation device removes the or at least one virtual object after a corresponding user input from a common representation. Or the presentation device alters a virtual object, for example, enlarges or reduces it, or presents it brighter or darker or another point in the common representation. It is also possible that, in response to a detected user input, the presentation device alters, for example enlarges or reduces, or rotates, or presents it lighter or darker, the emptied image from the first camera.
  • the human who carries the visual output device and uses the input device, can change the common representation of the image and the virtual object without having to set down the visual output device.
  • humans can increase or decrease the scale of the image or change the brightness of the image.
  • the input device may comprise, for example, a mouse or a joy stick or a switch or a touchpad.
  • the input device may be configured to detect a head movement of the human, for example by means of a localization sensor, motion sensor or acceleration sensor.
  • the input unit can also include a visual evaluation unit, which detects a human gesture and derives therefrom a user input of this person, for example by pattern recognition.
  • the input device is capable of locating and / or determining and / or classifying a head movement of a person who carries the output device.
  • the visual output device is capable of detecting an identifier of a person carrying the output device. For example, humans identify themselves biometrically (fingerprint) or by using a passwort.
  • the presentation device presents in the shared representation the or at least one virtual object depending on the detected identifier. It is possible that a virtual object, which represents a confidential information visually, is presented only to a certain group of people.
  • a virtual object may represent information, such as a measurement, in a manner visually perceptible by a human. It is possible that it depends on a security level and / or the position and or the function of the person, which information is visually displayed as virtual objects and / or in a soft way they are displayed.
  • the configuration that an identifier of the person wearing the visual output device is detected makes it possible to generate the virtual objects depending on this security level or function or position of the person and, in particular, to display certain information only for specific people.
  • the visual output device is a virtual reality glasses (VR glasses).
  • VR glasses are also called video glasses, helmet displays or VR helmets.
  • the visual output device can also be designed as augmented reality glasses (AR glasses).
  • AR glasses augmented reality glasses
  • the visual output device is configured such that at least the carrier, the first camera and at least one component of the presentation device is located on the head of a person who carries the visual output device.
  • Embodiment are also the receiving device and / or the presentation device attached to the carrier. Man carries the head on his head
  • the receiving device is spatially separated from the carrier and a data connection communicates with the presentation device, for example via a cable.
  • the person also carries the receiving device or a component of the display device on the body, for example, in a bag or strapped to a body part.
  • the first camera and the optional second camera are capable of generating static or moving optical images of the real environment, in particular one
  • each camera repeatedly generates images, for example at a predetermined sampling rate or sampling frequency.
  • the or each camera is configured as a digital camera with a CCD chip.
  • a lens system guides light on this CCD chip.
  • the first camera uses data on this CCD chip and in the common representation to represent the image of the real environment.
  • the first camera may be configured as an SD camera comprising spaced-apart lenses or similar optical imaging units.
  • the receiving device of the visual output device is capable of receiving signals from a spatially remote transmitting device.
  • the receiving device may be configured to change the signals via a wired transmission channel, for example via an electrical line or an optical waveguide.
  • the receiving device may alternatively also
  • the signals via a wired or wireless
  • Transmission channel to receive, for example by electromagnetic waves.
  • a wireless transmission channel for example, electromagnetic waves, mobile radio, Bluetooth, WLAN, near-field communication and / or optical directional radio can be used. If the dispenser is used aboard a vessel, the vessel's on-board network may be used to provide a portion of the transmission channel.
  • the invention can be implemented in an arrangement which includes a solution-based visual output device, a first sensor and a first transmission device includes.
  • the first sensor is capable of measuring a value of a first variable magnitude and generating a first signal. This first signal depends on the measured value.
  • the first transmission device is capable of transmitting the generated first signal to the receiving device of the visual output device.
  • the presentation device is capable of generating a first virtual object. This virtual object represents the received first measured value visually.
  • the presentation device is able to present the first virtual object together with an image generated by the first camera in a shared representation.
  • a human wearing the inventive visual output device will be able to perceive the value of the first variable magnitude while remaining at a spatial distance from the first sensor.
  • the first sensor may be in a location that is dangerous to humans. Possible, but thanks to the supported visual output device, it is not necessary for the measured first value to be displayed on a physical output device. As a result, a person does not need to move to a fixed physical output device and does not need to carry a portable physical output device and is still informed of the measured value of the first size.
  • the first person can coincide with another at the same time or overlapping one another
  • the first sensor may be arranged aboard a watercraft and
  • an active sonar system for example, an active sonar system, a passive sonar system, a
  • Towed antenna a radar system, a geoposition receiver, a measuring device for a vehicle speed and / or a device for the wind direction or the wind speed include.
  • the arrangement comprises a second sensor and a second transmission device.
  • the second sensor generates a second signal, which depends on a second measured value.
  • the second transmitter transmits the second signal to the visual output device.
  • the presentation device generates a second visual object and presents in the common representation the first virtual object, the second virtual object and the image.
  • FIG. 1 shows a person wearing a solution-based visual output device in the form of VR glasses and an input device
  • Fig. 2 is a schematic representation of what the VR glasses presented to a person wearing the VR glasses on the screen.
  • the invention is used on board a manned watercraft, wherein the watercraft may be an overwater vehicle or an underwater vehicle.
  • a crewmember uses a solution-based visual output device, which in the exemplary embodiment has the form of a virtual reality (VR) goggle.
  • VR virtual reality
  • an Oculus Rift® is used as VR glasses, which is extended in accordance with the solution.
  • a human M.1 wears a VR goggles 101.
  • These VR glasses 101 comprise a carrier which comprises a preferably elastic and variable in length tension belt 107 and a frame 106.
  • the tension belt 107 is guided around the head K.1 of the person M.1 and carries the frame 106.
  • the tension belt 107 ensures a secure fit of VR glasses 101.
  • the frame 106 carries a plate-shaped and preferably flexible holding element 105.
  • two camera lenses 103 are embedded, which belong to two digital cameras of the VR glasses 101.
  • Each digital camera is capable of producing an image of the real environment of VR glasses 101.
  • the viewing direction of each digital camera preferably coincides with the standard viewing direction of the person M.1 who wears the VR glasses 101.
  • the two digital cameras with the lenses 103 virtually form the "eyes of reality" of humans.
  • a screen 21 1 is provided on the inside of the holding element 105, that is to say on the surface of the holding element 105 facing the human M.1, a screen 21 1 is provided.
  • Fig. 2 shows schematically this screen 21 1 in the viewing direction, in which the human M.1, who wears the VR glasses 101, on the holding member 105 and thus on the screen 21 1 looks.
  • two screens 21 1 are provided, namely one screen in front of each human eye M.1.
  • An illustrative device described below is capable of generating images and presenting them to the human M.1 on these two screens 21 1.
  • the screens 21 1 belong to the display device.
  • a computer 1 15 of the display device is mounted on the frame 106 and includes a computer which evaluates the signals from the camera lenses 103 and generates an image of the real environment.
  • the computer 1 15 automatically causes this image to be presented on the or each screen 21 1.
  • computer 1 15 generates a stereoscopic representation of the real environment and uses signals from both digital cameras 103 for this purpose.
  • This stereoscopic display is presented on screen 21 1.
  • FIG. 2 shows by way of example an image 215 presented on a screen 21 1.
  • the person M.1 who wears the VR glasses 101 looks at another human M.2, for example another crew member of the watercraft.
  • the image 215 shows the head K.2 and the upper body of this other human.
  • the person M.1 who wears the VR glasses 101 can perceive gestures and the facial expressions of the other person without having to set down the VR glasses 101. This allows the two people M.1 and M.2 communicate visually with each other. This visual communication can complement or even replace acoustic communication when acoustic communication is not possible.
  • the VR glasses 101 are opaque, i. it encloses a visually dense space in front of the eyes of the person wearing the VR glasses 101. This optically dense space is bounded by the holding element 105, in the frame 106 and the head K.1 of the human M.1. In particular, the holding element 105 is configured with the two camera lenses 103 completely opaque. The VR glasses 101 prevent light from the real environment from entering the optically dense space in front of the head K.1 of the first human M.1.
  • a sonar system On board the vessel is a sonar system with an underwater antenna.
  • This sonar system aims at a sound source that emits sound waves under water, and in particular determines the direction and / or the distance from the vessel to this sound source. Depending on the measured values (eg direction and distance and sound intensity as a function of time and / or frequency), this sonar system generates signals. These signals are transmitted via the wired electrical system of the vessel to a central computer 220.
  • the central computer 220 is connected to a transmitter 127.
  • This transmitter 127 wirelessly transmits these signals to a receiving device 1 17, which is also arranged on the frame 106 or on the holding member 105 of the VR glasses 101.
  • the receiving device 1 17 receives the signals at a fixed frequency.
  • the computer 1 15 of the display device evaluates the received signals and generates virtual objects in the form of virtual instruments 213.
  • the Computer 1 15 of the presentation device 15 generates a joint representation which simultaneously presents the image 215 of the real environment and a plurality of virtual objects in the form of virtual instruments 213.
  • the computer 1 15 updates the virtual instruments 213 at the frequency at which the receiving device 1 17 receives the signals.
  • the or at least some signals contain presentation information. If a measured value is outside a predetermined range, for example, if the distance to a sound source falls below a predetermined barrier, then the corresponding virtual instrument 213 is highlighted. As a result, the attention of the human M.1 is directed to this virtual instrument 213 for a relevant measurement.
  • the person M.1 uses the human M.2, for example because the crew member M.2 has previously addressed the crew member M.1.
  • the human M.1 sees on the screen 21 1 on the one hand an image 215 which shows the human M.2, and on the other hand the virtual instruments 213, cf. 2.
  • the human M.1 can thereby perceive the measured values from the sonar system, which are displayed with the aid of the virtual instruments 213, and at the same time communicate visually with the human M.2.
  • the two people M.1, M.2 additionally each carry a voice input unit, for example a microphone, and a voice output unit (not shown).
  • the voice output unit using the first human M.1 may be integrated with the frame 106 or the strap 107 of the VR glasses 101.
  • the voice output unit that uses the second human M.2, for example, may belong to a headphone. Thanks to the speech input units and the speech output units, the two people M.1 and M.2 can additionally communicate acoustically with one another, even if considerable ambient noise makes acoustical communication without aids difficult.
  • the human M.1 carries an input device 109 in his left hand. With the aid of the input device 109, the human M.1 can make user input.
  • the human M.1 operates a button or button or a touch-sensitive panel on the input device 109.
  • the input device 109 has a motion sensor or an acceleration sensor that registers a certain left-hand movement.
  • the presentation device 105 is able to change the common representation of the image 215 and of the virtual instruments 213 depending on user input, for example to increase or decrease the magnification of the shared representation (zoom) or to lighten or darken it.
  • 101 VR glasses acts as a visual output device, includes the strap 107, the frame 106, the support member 105, the camera lenses 103, the display device with the computer 1 15 and the screen 21 1 and the receiving device 1 17, from worn the first person M.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a visual output device (101) with a camera (103) and to a method for presenting information with the aid of a visual output device (101) of this kind. A representation device (115, 211) and a camera (103) are secured to a carrier of the visual output device (101). The visual output device (101) can be carried by a person (M.1). The visual output device (101) provides an optically sealed space in front of the eyes of this person (M.1). Light from the real environment cannot infiltrate this optically sealed space. The camera (103) generates an image (215) of the surroundings of the visual output device (101). A receiving device (117) of the output device (101) receives a signal. The representation device (115, 211) generates a virtual object (213) depending on the received signal, which virtual object represents information visually. The representation device (115, 211) presents a common representation to the person, said representation comprising an image (215) from the camera (103) and the virtual object (213).

Description

Visuelles Ausgabegerät mit einer Kamera und Präsentations-Verfahren  Visual output device with a camera and presentation method
Die Erfindung betrifft ein visuelles Ausgabegerät mit einer Kamera, mehrere Verwendungen eines solchen visuellen Ausgabegeräts sowie ein Verfahren zur Präsentation von Informationen mit Hilfe eines solchen visuellen Ausgabegeräts. The invention relates to a visual output device with a camera, several uses of such a visual output device and a method for presenting information by means of such a visual output device.
Verschiedene visuelle Ausgabegeräte sind aus dem Stand der Technik bekannt. Various visual output devices are known in the art.
DE 102014018056 A1 zeigt ein visuelles Ausgabegerät in Form einer Virtual-Reality- Brille (VR-Brille) 12 mit zwei Displays 16. Falls eine Person 10 diese VR-Brille 12 trägt, so ist jedes Display 16 vor jeweils einem Auge angeordnet. Eine Anzeigeeinrichtung der VR-Brille 12 vermag eine virtuelle Umgebung anzuzeigen. An der VR-Brille 12 ist ein Kamerasystem 14 mit einer Kamera oder auch mehreren Kameras montiert. Jede Kamera erzeugt ein Kamerabild von der realen Umgebung der Person 10. Die VR-Brille 12 zeigt normalerweise die virtuelle Umgebung an. Eine Erfassungseinrichtung überwacht, ob die Person 10 eine vorgegebene Bewegung, beispielsweise eine DE 102014018056 A1 shows a visual output device in the form of virtual reality glasses (VR glasses) 12 with two displays 16. If a person 10 wears these VR glasses 12, then each display 16 is arranged in front of one eye. A display device of the VR glasses 12 is capable of displaying a virtual environment. On the VR glasses 12, a camera system 14 is mounted with one or more cameras. Each camera produces a camera image of the person's real environment 10. The VR glasses 12 normally display the virtual environment. A detection device monitors whether the person 10 a predetermined movement, such as a
Kopfbewegung, ausgeführt hat. Sobald entdeckt wird, dass diese vorgegebene Head movement, executed. As soon as it is discovered that given
Bewegung ausgeführt wurde, zeigt die VR-Brille 12 auf den Displays 16 ein Kamerabild von der realen Umgebung der Person 10. Movement has been performed, the VR glasses 12 on the displays 16 shows a camera image of the real environment of the person 10th
DE 102015006612 A1 zeigt eine Datenbrille 12, die einem Kraftfahrer Bilder von einer Nachtsicht-Kamera dargestellt. Diese Datenbrille 12 lässt sich als ein visuelles DE 102015006612 A1 shows a data goggle 12 which displays images of a night-vision camera to a motorist. This data glasses 12 can be considered a visual
Ausgabegerät in Form eines Head-Mounted-Displays bezeichnen. Auf eine Designate output device in the form of a head-mounted display. On a
Anzeigefläche 12a der Datenbrille 12 kann der Benutzer die reale Umgebung sehen. Außerdem vermag eine Steuereinrichtung 12b Bilder oder Objekte auf der Display area 12a of the data glasses 12, the user can see the real environment. In addition, a controller 12b is capable of displaying images or objects on the
Anzeigefläche 12a einblenden. Eine Nachtsichtkamera 16a ist an der Datenbrille 12 angeordnet. Bilder von dieser Nachtsichtkamera werden in Form eines Nachtsichtbildes auf der Anzeigefläche 12 bebauten Brille 12 angezeigt, beispielsweise überlagert mit dem realen Bild. In einer weiteren Ausführungsform ist eine Nachtsichtkamera 16b am Kraftfahrzeug montiert. Ein Kommunikationsmodul 14 überträgt Signale von dieser Nachtsichtkamera 16b an die Datenbrille 12. Dank dieser Nachsichtkameras 16A, 16B lässt sich eine visuelle Wahrnehmung der realen Umgebung auch bei Dämmerlicht oder Dunkelheit realisieren. Show display area 12a. A night vision camera 16 a is disposed on the data glasses 12. Images from this night vision camera are displayed in the form of a night vision image on the display surface 12 built-glasses 12, for example, superimposed with the real image. In another embodiment, a night vision camera 16b is mounted on the motor vehicle. A communication module 14 transmits signals from this night vision camera 16b to the data glasses 12. Thanks to these indulgence cameras 16A, 16B It is possible to realize a visual perception of the real environment even in dim light or darkness.
DE 10201410721 1 A1 zeigt eine Vorrichtung 101 , die an ein aktives Sonar 181 angeschlossen ist und einen Bildschirm 103 und eine Stereokamera 105 aufweist. Die Stereokamera 105 erfasst Bewegungen einer Hand 155 eines Benutzers. Die Shows a device 101, which is connected to an active sonar 181 and a screen 103 and a stereo camera 105 has. The stereo camera 105 detects movements of a user's hand 155. The
Stereokamera 105 ist eine Kamera, welche Bilder von der Hand 155 erfasst. In einem Anzeigebereich 109 des Bildschirms 103 sind verschiedene Symbole dargestellt, unter anderem ein virtueller Joystick 1 17 und eine virtuelle Hand 1 15. Die virtuelle Hand 1 15 wird entsprechend den von der Stereokamera 105 erfassten Bewegungen der realen Hand 155 verändert dargestellt. Auf diese Weise kann der Benutzer die Bestellung von dreidimensionalen Sonardaten 1 13 auf dem Anzeigebereich 109 des Bildschirms 103 verändern. Die Darstellung der virtuellen Hand 1 15 auf dem Bildschirm wird abhängig von Messwerten der Kamera 105 verändert. Stereo camera 105 is a camera that captures images from the hand 155. In a display area 109 of the screen 103, various icons are shown, including a virtual joystick 1 17 and a virtual hand 1 15. The virtual hand 1 15 is displayed in accordance with the movements of the real hand 155 detected by the stereo camera 105 changed. In this way, the user can change the order of three-dimensional sonar data 1 13 on the display area 109 of the screen 103. The representation of the virtual hand 1 15 on the screen is changed depending on the measured values of the camera 105.
Aufgabe der Erfindung ist es, ein visuelles Ausgabegerät mit den Merkmalen des Oberbegriffs des Anspruchs 1 und ein Präsentations-Verfahren mit den Merkmalen des Oberbegriffs des Anspruchs 21 bereitzustellen, welche die Kommunikation zwischen zwei Menschen erleichtert. The object of the invention is to provide a visual output device having the features of the preamble of claim 1 and a presentation method having the features of the preamble of claim 21, which facilitates communication between two people.
Gelöst wird diese Aufgabe durch ein visuelles Ausgabegerät mit den in Anspruch 1 angegebenen Merkmalen und ein Präsentations-Verfahren mit den Merkmalen des Anspruchs 21 . Vorteilhafte Weiterbildungen ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den Zeichnungen. This object is achieved by a visual output device having the features specified in claim 1 and a presentation method having the features of claim 21. Advantageous developments emerge from the subclaims, the following description and the drawings.
Das erfindungsgemäße visuelle Ausgabegerät umfasst The visual output device according to the invention comprises
- einen Träger,  a carrier,
- eine Darstellungs-Einrichtung,  a presentation device,
- eine erste Kamera und  - a first camera and
- eine Empfangs-Einrichtung. Die Darstellungs-Einrichtung ist an dem Träger befestigt. Das visuelle Ausgabegerät ist dazu ausgestaltet, mit Hilfe des Trägers von einem Menschen getragen zu werden. - a reception facility. The display device is attached to the carrier. The visual output device is designed to be carried by a human using the carrier.
Das visuelle Ausgabegerät stellt einen optisch dichten Raum vor den Augen eines Menschen, der das visuelle Ausgabegerät trägt, bereit. Das visuelle Ausgabegerät ist so ausgestaltet, dass verhindert wird, dass Licht von der realen Umgebung in den bereitgestellten optisch dichten Raum eindringt. The visual output device provides a visually dense space in front of the eyes of a human wearing the visual output device. The visual output device is designed to prevent light from penetrating from the real environment into the optically dense space provided.
Die erste Kamera vermag ein Abbild von der Umgebung des visuellen Ausgabegeräts zu erzeugen. Die Empfangs-Einrichtung vermag Signale von einer räumlich entfernten Sende-Einrichtung zu empfangen. The first camera is capable of producing an image of the environment of the visual output device. The receiving device is capable of receiving signals from a remote transmitting device.
Die Darstellungs-Einrichtung vermag mindestens ein virtuelles Objekt zu erzeugen, und zwar abhängig von einem Signal, welches die Empfangs-Einrichtung empfangen hat. Dieses virtuelle Objekt stellt eine Information in einer Form dar, die ein Mensch visuell wahrnehmen kann. Die Information hängt von dem Signal ab. The display device is capable of generating at least one virtual object, depending on a signal received by the receiving device. This virtual object represents information in a form that a human can visually perceive. The information depends on the signal.
Die Darstellungs-Einrichtung vermag weiterhin in dem optisch dichten Raum eine gemeinsame Darstellung zu präsentieren. Diese gemeinsame Darstellung enthält das virtuelle Objekt, welches die Information darstellt, sowie ein Abbild, welches von der ersten Kamera erzeugt ist. The presentation device continues to present a common representation in the visually dense space. This common representation includes the virtual object representing the information and an image generated by the first camera.
Das lösungsgemäße Präsentations-Verfahren umfasst die entsprechenden Schritte, die durchgeführt werden, während ein Mensch das erfindungsgemäße visuelle Ausgabegerät trägt. The presentation method according to the invention comprises the corresponding steps which are carried out while a person is wearing the visual output device according to the invention.
Lösungsgemäß erzeugt die erste Kamera ein Abbild von der realen Umgebung des visuellen Ausgabegeräts. Die Darstellungs-Einrichtung stellt dieses Abbild dar. Weil das visuelle Ausgabegerät am Kopf des Menschen, dem dieses Abbild gezeigt wird, getragen wird, bewegt das Ausgabegerät sich mit, wenn der Mensch seinen Kopf mitsamt dem Träger und damit der Darstellungs-Einrichtung bewegt. Verhindert wird, dass die unterschiedlichen Sinnesorgane dieses Menschen widersprüchliche Informationen liefern, nämlich einerseits die Augen, die das dargestellte Abbild sehen, und andererseits weitere Sinnesorgane, die die räumliche Lage, Orientierung und Bewegung des Menschen im Raum wahrnehmen. According to the solution, the first camera produces an image of the real environment of the visual output device. The presentation device represents this image. Because the visual output device is worn on the head of the person to whom this image is shown, the output device moves when the human moves his head together with the support and thus the presentation device. Is prevented, that the different sense organs of this person provide contradictory information, namely on the one hand the eyes, which see the represented image, and on the other hand other sense organs, which perceive the spatial position, orientation and movement of the person in the space.
Lösungsgemäß stellt die Darstellungs-Einrichtung ein Abbild von der realen Umgebung dar. Dieses Abbild folgt einer Kopfbewegung des Menschen, der das visuelle According to the solution, the presentation device represents an image of the real environment. This image follows a head movement of the human being, the visual one
Ausgabegerät trägt. Dadurch wird das Risiko verhindert, dass der Mensch eine Output device carries. This prevents the risk that the human being one
Reisekrankheit oder so genannte VR-Krankheit (Simulator-Krankheit, Virtual Reality Sickness) erleidet, die insbesondere dann auftreten kann, wenn der Mensch sich in einer bewegten realen Umgebung bewegt oder ihn ihr steht. Dies kann insbesondere an Bord eines Wasserfahrzeugs auftreten und eine Form ähnlich einer Seekrankheit annehmen. Travel sickness or so-called VR disease (Simulator Disease, Virtual Reality Sickness) suffers, which can occur in particular when the person is moving in a moving real environment or him. This may in particular occur aboard a watercraft and assume a shape similar to a seasickness.
Möglich ist, dass ein erster Mensch mit einem anderen Menschen kommuniziert, während der erste Mensch das Ausgabegerät trägt. Der andere Mensch kann den ersten Menschen ansprechen. Dank des lösungsgemäßen Ausgabegeräts kann der das Ausgabegerät tragende erste Mensch nicht nur Worte hören, die der andere Mensch spricht, sondern auch die Gestik und Mimik des anderen Menschen wahrnehmen. It is possible for a first person to communicate with another person while the first person is carrying the output device. The other person can appeal to the first person. Thanks to the output device according to the solution, the first person carrying the output device can not only hear words spoken by the other person, but also perceive the gestures and facial expressions of the other person.
Bekanntlich können zwei Menschen besser miteinander kommunizieren, wenn sie sich nicht nur hören können, sondern jeder zusätzlich auch Gestik und Mimik des anderen wahrnehmen kann. Dieser gewünschte Effekt lässt sich erzielen, ohne dass der erste Mensch den Träger des Ausgabegeräts abzunehmen braucht. Außerdem ist eine Kommunikation zwischen den beiden Menschen beispielsweise mittels Gesten möglich, wenn eine akustische Kommunikation nicht möglich ist, beispielsweise wegen starker Umgebungsgeräuschen oder einem akustischen Hindernis. As we all know, two people can communicate better with one another if they can not only hear each other, but everyone can also perceive each other's gestures and facial expressions. This desired effect can be achieved without the first person needing to remove the carrier of the output device. In addition, a communication between the two people, for example by means of gestures is possible when an acoustic communication is not possible, for example due to strong ambient noise or an acoustic barrier.
Indem die Darstellungs-Einrichtung mindestens ein virtuelles Objekt anzeigt, vermag das visuelle Ausgabegerät eine Information in einer von einem Menschen visuell wahrnehmbaren Form auszugeben und damit eine virtuelle Realität darzustellen. In der dargestellten virtuellen Realität können eine Vielzahl von Informationen angezeigt werden. Die Darstellungs-Einrichtung stellt diese virtuelle Realität quasi auf einem Bildschirm oder auf der Netzhaut des Menschen dar. Weil dieser Bildschirm ein By the display device indicates at least one virtual object, the visual output device is able to output information in a form visually perceptible by a human and thus to represent a virtual reality. In the illustrated virtual reality, a variety of information can be displayed become. The presentation device represents this virtual reality virtually on a screen or on the human retina. Because this screen
Bestandteil der am Kopf getragenen visuellen Ausgabegerät ist, wandert dieser Part of the head-worn visual output device, this wanders
Bildschirm mit, wenn der Mensch seinen Kopf bewegt. Dieses Merkmal gewährleistet, dass der Mensch die dargestellte virtuelle Realität stets vor Augen hat. Screen with when man moves his head. This feature ensures that the human always has the presented virtual reality in mind.
Das lösungsgemäße visuelle Ausgabegerät verhindert die Notwendigkeit, zwischen einer Darstellung der realen Umgebung und einer Darstellung einer virtuellen Realität umschalten zu müssen. Ein solches Umschalten kann einen Menschen, der das visuelle Ausgabegerät trägt, verwirren, insbesondere wenn das Umschalten abrupt erfolgt oder wenn der Mensch sich zwar relativ zur dargestellten realen Umgebung bewegt, aber nicht zu der dargestellten virtuellen Realität. Das lösungsgemäße visuelle Ausgabegerät ermöglicht es dem Menschen, der das Ausgabegerät trägt, die realen Umgebung und die virtuelle Umgebung gleichzeitig wahrzunehmen, ohne das The solution according to the visual output device prevents the need to switch between a representation of the real environment and a representation of a virtual reality. Such switching may confuse a person carrying the visual output device, particularly when the switching is abrupt or when the human is moving relative to the depicted real environment, but not the virtual reality depicted. The solution according to the visual output device allows the person who carries the output device to perceive the real environment and the virtual environment simultaneously, without the
Ausgabegerät vom Kopf zu müssen. Viele Information kann daher der Mensch wahrnehmen und dabei das lösungsgemäße visuelle Ausgabegerät auf dem Kopf lassen, während er ein herkömmliches Ausgabegerät absetzen müsste, um eine zusätzliche Information zu erhalten, die nicht im Abbild der realen Umgebung dargestellt wird. Output device from the head. Therefore, a lot of information can be perceived by the human being while turning the solution-based visual output device upside down, while having to place a conventional output device in order to obtain additional information which is not displayed in the image of the real environment.
Das lösungsgemäße visuelle Ausgabegerät vermag in vielen Anwendungen eine zusätzliche Information so darzustellen, als sei diese Information in der Umgebung vorhanden, die der Mensch, das visuelle Ausgabegerät trägt, sehen würde, wenn er das visuelle Ausgabegerät nicht tragen würde. In many applications, the visual output device according to the invention is able to present additional information as if this information were present in the environment that the person carrying the visual output device would see if he were not wearing the visual output device.
Wenn ein erster Mensch, der das visuelle Ausgabegerät trägt, mit einem anderen Menschen kommuniziert, so kann er einerseits den anderen Menschen und dessen Gestik und Mimik wahrnehmen und andererseits gleichzeitig mindestens ein virtuelles Objekt sehen, welches die Darstellungs-Einrichtung in der gemeinsamen Darstellung anzeigt. Das lösungsgemäße visuelle Ausgabegerät ermöglicht es einem Menschen, der das visuelle Ausgabegerät trägt, Benutzereingaben oder Stelleingriffe an einer Maschine oder Anlage oder System vorzunehmen, wobei die erste Kamera ein Abbild dieser Maschine erzeugt und die Darstellungs-Einrichtung dieses Abbild der Maschine in der gemeinsamen Darstellung darstellt. Zugleich wird ein Messwert von einem Sensor als ein virtuelles Objekt in der gemeinsamen Darstellung dargestellt. Der Messwert kann von einer veränderlichen Größe der Maschine selber oder von einer sonstigen veränderlichen Größe stammen. When a first person wearing the visual output device communicates with another person, he or she can, on the one hand, perceive the other person and their gestures and facial expressions and, on the other hand, at the same time see at least one virtual object, which the presentation device displays in the common representation. The visual output device of the present invention allows a person carrying the visual output device to make user or operator interventions on a machine or system, the first camera producing an image of that machine and the presentation device displaying that image of the machine in the common representation , At the same time, a measured value from a sensor is displayed as a virtual object in the common representation. The measured value may be from a variable size of the machine itself or from another variable variable.
Durch die präsentierte gemeinsame Darstellung wird der Mensch in die Lage versetzt, den Messwert bei der Benutzereingabe zu verwenden, ohne seinen Blick von der Maschine wegnehmen zu müssen und insbesondere ohne auf ein physikalisches Anzeigegerät für den Messwert blicken zu müssen. Der Mensch kann selber wählen, welchen Abstand von der Maschine er einhalten will. Ist, dass der Mensch, der das Ausgabegerät trägt, Fernbedienung zum Steuern der Maschine benutzt. Dadurch kann der Mensch in sicherer Entfernung von der Maschine verbleiben. Through the presented common representation, the human being is enabled to use the measured value in the user input without having to take his eyes off the machine and in particular without having to look at a physical display device for the measured value. Man can choose for himself which distance from the machine he wants to keep. Is that the person wearing the output device uses remote control to control the machine. As a result, humans can remain at a safe distance from the machine.
Lösungsgemäß umschließt das visuelle Ausgabegerät einen optisch dichten Raum vor den Augen eines Menschen, der das Ausgabegerät trägt. Das visuelle Ausgabegerät verhindert, dass Licht von der realen Umgebung in den optisch dichten Raum eindringt. Weil ein optisch dichter Raum bereitgestellt wird, ist die gemeinsame Darstellung die einzige optische Information für einen Menschen, der das Ausgabegerät trägt. According to the solution, the visual output device encloses a visually dense space in front of the eyes of a person who is carrying the output device. The visual output device prevents light from entering the optically dense space from the real environment. Because an optically dense space is provided, the common representation is the only optical information for a human carrying the output device.
Insbesondere verhindert das lösungsgemäße Ausgabegerät, dass Lichteindrücke von außen die gemeinsame Darstellung überlagern. Diese Lichteindrücke können dazu führen, dass der Mensch verwirrt wird oder bestimmte Segmente der gemeinsamen Darstellung, insbesondere virtuelle Objekte, überhaupt nicht oder nur schlecht erkennen kann oder dass die Augen überlastet werden und schnell ermüden. Dieser ungewollte Effekt kann insbesondere dann eintreten, wenn die Eindrücke aufgrund von In particular, the solution according to the output device prevents light impressions from the outside to overlap the common representation. These light impressions can cause people to become confused or to recognize certain segments of the common representation, in particular virtual objects, not at all or only poorly, or that the eyes become overloaded and fatigue quickly. This unwanted effect can occur especially when the impressions due to
wechselnder Helligkeiten in der Umgebung über der Zeit stark oder schnell variieren. Eine Darstellungs-Einrichtung lässt sich so ausgestalten, dass sie unterschiedlich helle Bilder von der Kamera weniger stark unterschiedlich darstellt. Lösungsgemäß wird in der gemeinsamen Darstellung mindestens ein virtuelles Objekt und somit eine virtuelle Realität mit dem Abbild der realen Umgebung überlagert. In einer Ausgestaltung wird die reale Umgebung schwächer oder stärker dargestellt als die Informationen der virtuellen Realität. Ermöglicht wird, dass ein Mensch, der das vary rapidly or rapidly over time in the environment. A presentation device can be configured such that it displays differently bright images of the camera less differently. According to the solution, in the common representation, at least one virtual object and thus a virtual reality are superimposed with the image of the real environment. In one embodiment, the real environment is rendered weaker or more powerful than the virtual reality information. It is possible for a person to do that
Ausgabegerät trägt, eine teiltransparente Überlagerung der virtuellen Realität mit der dargestellten realen Umgebung wahrnimmt. Output device carries a semi-transparent overlay of the virtual reality with the illustrated real environment perceives.
In einer Ausgestaltung empfängt die Empfangs-Einrichtung einen ersten Messwert. Dieser erste Messwert stammt von einem ersten Sensor, der eine zeitlich veränderliche Größe gemessen hat. Die Darstellungs-Einrichtung verwendet diesen empfangenen ersten Messwert als ein erstes Signal und erzeugt ein erstes virtuelles Objekt. Dieses erste virtuelle Objekt stellt den empfangenen ersten Messwert visuell dar. Die Darstellungs-Einrichtung präsentiert in der gemeinsamen Darstellung dieses erste virtuelle Objekt, welches den ersten Messwert darstellt, gemeinsam mit einem Abbild von der ersten Kamera. In one embodiment, the receiving device receives a first measured value. This first reading comes from a first sensor that has measured a variable in time. The presentation device uses this received first measurement value as a first signal and generates a first virtual object. This first virtual object represents the received first measured value visually. In the common representation, the presentation device presents this first virtual object, which represents the first measured value, together with an image from the first camera.
Diese Ausgestaltung ermöglicht es einem ersten Menschen, der das Ausgabegerät trägt, mit einem weiteren Menschen zu kommunizieren und während der Kommunikation den ersten Messwert wahrzunehmen. Nicht erforderlich ist, dass der erste Mensch während der Kommunikation seinen Kopf verdreht, um zeitweise den weiteren Menschen und zeitweise ein räumlich entfernte Anzeigegerät für den ersten Messwert zu betrachten. Die Ausgestaltung ermöglicht es dem ersten Menschen auch, den ersten Messwert wahrzunehmen und dabei auf ein Ausgabegerät für einen zweiten Messwert zu schauen. Dieses Ausgabegerät, welches den zweiten Messwert darstellt, wird in dem Abbild gezeigt, welches die erste Kamera erzeugt und welches die Darstellungs-Einrichtung in der gemeinsamen Darstellung anzeigt. This embodiment enables a first person carrying the output device to communicate with another person and to perceive the first measured value during the communication. It is not necessary for the first person to twist his head during communication in order to temporarily view the other person and, at times, a remote indicator for the first reading. The design also allows the first human to perceive the first reading while looking at an output device for a second reading. This output device, which represents the second reading, is shown in the image which produces the first camera and which displays the presentation device in the common representation.
In einer Fortbildung dieser Ausgestaltung empfängt die Empfangs-Einrichtung zusätzlich einen zweiten Messwert, der von einem zweiten Sensor stammt. Die Darstellungs-Einrichtung erzeugt ein zweites virtuelles Objekt, welches den empfangenen zweiten Messwert visuell darstellt. Darstellungs-Einrichtung präsentiert in der gemeinsamen Darstellung das erste und das zweite virtuelle Objekt und das Abbild von der ersten Kamera. In a further development of this embodiment, the receiving device additionally receives a second measured value originating from a second sensor. The presentation device generates a second virtual object, which contains the visually represents the received second measured value. Presentation device presents in the common representation the first and the second virtual object and the image from the first camera.
Verschiedene Ausgestaltungen sind möglich, wie die Darstellungs-Einrichtung die gemeinsame Darstellung einem Menschen, der das visuelle Ausgabegerät trägt, präsentiert. In einer Ausgestaltung umfasst die Darstellungs-Einrichtung einen ersten Bildschirm. Dieser erste Bildschirm grenzt an den optisch dichten Raum an und befindet sich vor einem Auge oder vor beiden Augen eines Menschen, der das Ausgabegerät trägt. Die Darstellungs-Einrichtung vermag auf dem ersten Bildschirm die gemeinsame Darstellung zu präsentieren. Various embodiments are possible as the presentation device presents the common representation to a human wearing the visual output device. In one embodiment, the presentation device comprises a first screen. This first screen adjoins the optically dense space and is located in front of an eye or both eyes of a person wearing the output device. The presentation device is able to present the common presentation on the first screen.
In einer Ausgestaltung wird die gemeinsame Darstellung auf einem ersten Bildschirm dargestellt, welcher an den optisch dichten Raum angrenzt. Diese Art der Darstellung wird häufig von einem Menschen als weniger störend oder bedrohlich empfunden als andere Arten der Darstellung, beispielsweise als eine Projektion auf die Netzhaut. In one embodiment, the common representation is displayed on a first screen, which adjoins the optically dense space. This type of presentation is often perceived by a human as less disturbing or threatening than other types of presentation, such as a projection on the retina.
Möglich ist, dass ein Bereich des ersten Bildschirms dafür verwendet wird, das Abbild der realen Umgebung darzustellen, und ein weiterer Bereich dafür, das virtuelle Objekt oder die virtuellen Objekte darzustellen. It is possible for one area of the first screen to be used to represent the image of the real environment, and another area to represent the virtual object or objects.
In einer Ausgestaltung umfasst das visuelle Ausgabegerät einen einzigen Bildschirm, der an den optisch dichten Raum angrenzt und gleichzeitig vor beiden Augen eines Menschen, der das Ausgabegerät trägt, positioniert ist. In einer abweichenden Ausgestaltung umfasst das Ausgabegerät zwei Bildschirme. Jeder Bildschirm grenzt an den optisch dichten Raum an und ist vor jeweils einem Auge des Menschen positioniert. In one embodiment, the visual output device includes a single screen adjacent to the optically dense space and simultaneously positioned in front of both eyes of a human carrying the output device. In a different embodiment, the output device comprises two screens. Each screen adjoins the optically dense space and is positioned in front of each human eye.
In einer anderen Ausgestaltung umfasst die Darstellungs-Einrichtung einen sogenannten Netzhaut-Projektor. Dieser Netzhaut-Projektor projiziert die gemeinsame Darstellung auf die Netzhaut mindestens eines Auges eines Menschen, der das Ausgabegerät trägt. Diese Ausgestaltung spart einen Bildschirm ein. Die erste Kamera, welche am Träger des visuellen Ausgabegeräts befestigt ist, hat eine Blickrichtung. In einer Ausgestaltung stimmt diese Blickrichtung mit der Standard- Blickrichtung eines Menschen, der das Ausgabegerät trägt, überein. Unter der Standard-Blickrichtung wird die Richtung verstanden, in die ein Mensch blickt. In another embodiment, the presentation device comprises a so-called retina projector. This retina projector projects the joint image onto the retina of at least one eye of a person carrying the output device. This embodiment saves a screen. The first camera, which is attached to the support of the visual output device, has a viewing direction. In one embodiment, this line of sight coincides with the standard viewing direction of a person wearing the output device. The standard direction of view is the direction in which a person looks.
In einer Ausgestaltung stimmt die Blickrichtung der ersten Kamera mit der Standard- Blickrichtung eines Menschen, der das visuelle Ausgabegerät trägt, überein. Beispielsweise ist die erste Kamera so am Träger montiert, dass sie vom Gesicht des Menschen abgewandt ist und nach außen in der Standard-Blickrichtung in die reale Umgebung ausgerichtet ist. Die Abbilder, welche die dergestalt angeordnete erste Kamera liefert, zeigen die reale Umgebung aus der gleichen Blickrichtung, aus welcher der Mensch die reale Umgebung wahrnehmen würde, wenn er das visuelle Ausgabegerät nicht tragen würde. Dadurch stimmen die dargestellten Abbilder von der ersten Kamera mit der räumlichen Lage und Bewegung des Kopfes des Menschen noch besser überein. Widersprüchliche Informationen von unterschiedlichen Sinnesorganen des Menschen werden mit noch größerer Sicherheit verhindert. Verhindert wird der oft als unangenehm empfundene Eindruck, dass ein Mensch, der das visuelle Ausgabegerät trägt, nicht sehen kann, was sich vor ihm befindet. Insbesondere wird sichergestellt, dass der Mensch die Sicherheit hat, bei einer Bewegung in die Standard-Blickrichtung ein Hindernis zu erkennen. In one embodiment, the viewing direction of the first camera coincides with the standard viewing direction of a person wearing the visual output device. For example, the first camera is mounted on the support so that it faces away from the human face and is oriented outwards in the standard viewing direction into the real environment. The images provided by the thus-arranged first camera show the real environment from the same viewpoint from which the human being would perceive the real environment if he did not wear the visual output device. As a result, the depicted images of the first camera even better match the spatial position and movement of the human head. Contradictory information from different sensory organs of humans are prevented with even greater certainty. The often unpleasant impression is that a person wearing the visual output device can not see what is in front of him. In particular, it is ensured that the human being has the security of recognizing an obstacle when moving in the standard viewing direction.
In einer Ausgestaltung sind am Träger des visuellen Ausgabegeräts die erste Kamera und zusätzlich eine zweite Kamera montiert. Die Darstellungs-Einrichtung vermag aus den Abbildern von diesen beiden Kameras eine stereoskopische Darstellung der realen Umgebung zu erzeugen. Die Darstellungs-Einrichtung vermag diese stereoskopische Darstellung gemeinsam mit dem oder einem virtuelle Objekt in der gemeinsamen Darstellung zu präsentieren. In one embodiment, the first camera and additionally a second camera are mounted on the carrier of the visual output device. The presentation device is able to produce a stereoscopic representation of the real environment from the images of these two cameras. The presentation device is able to present this stereoscopic representation together with the or a virtual object in the common representation.
In einer Ausgestaltung hat die erste Kamera einen kleineren horizontalen Blickwinkel als die zweite Kamera. Die Darstellungs-Einrichtung vermag in der gemeinsamen Darstellung ein Abbild von der ersten Kamera und ein virtuelles Objekt zu präsentieren zusätzlich wenigstens zeitweise ein Abbild von der zweiten Kamera in diese gemeinsame Darstellung einzufügen. In one embodiment, the first camera has a smaller horizontal viewing angle than the second camera. The presentation device is able to present an image of the first camera and a virtual object in the common representation additionally at least temporarily insert an image of the second camera in this common representation.
Diese Ausgestaltung vermag weiter das Risiko zu verringern, dass der Mensch, der das Ausgabegerät trägt der Reisekrankheit oder der VR-Krankheit leidet. Möglich ist, dass die erste Kamera ein Abbild im Nahbereich erzeugt, beispielsweise von einem weiteren Menschen, der mit dem ersten Menschen kommuniziert. Die zweite Kamera erzeugt ein Abbild vom Hintergrund, welches weiter entfernt ist. Dieses zweite Abbild wird wenigstens zeitweise in die gemeinsame Darstellung mit dem virtuellen Objekt eingefügt. Dieses zweite Abbild reduziert die Gefahr einer VR-Krankheit. This embodiment can further reduce the risk that the person carrying the output device suffers from motion sickness or VR disease. It is possible that the first camera produces an image in the near range, for example from another person who communicates with the first person. The second camera creates an image of the background, which is farther away. This second image is at least temporarily inserted into the common representation with the virtual object. This second image reduces the risk of VR disease.
In einer Ausgestaltung umfasst das visuelle Ausgabegerät einen Bildverstärker. Der Bildverstärker vermag ein Abbild, welches die erste und / oder die zweite Kamera erzeugt hat, zu verstärken. Die Darstellungs-Einrichtung vermag in der gemeinsamen Darstellung ein vom Bildverstärker verstärktes Abbild zu präsentieren. In one embodiment, the visual output device comprises an image intensifier. The image intensifier is capable of amplifying an image which has produced the first and / or the second camera. The presentation device is able to present an image amplified by the image intensifier in the common representation.
In dieser Ausgestaltung vermag ein Bildverstärker das Abbild von der ersten Kamera zu verstärken. Die Darstellungs-Einrichtung stellt das verstärkte Abbild dar. Diese Ausgestaltung erleichtert es, das visuelle Ausgabegerät in Situationen einzusetzen, in denen sowohl weniger oder sogar überhaupt keine natürliche Beleuchtung als auch weniger oder überhaupt keine künstliche Beleuchtung vorhanden ist. Dies ist beispielsweise in geschlossenen Räumen ohne Fenster und mit nur schwacher Beleuchtung oder bei einem Einsatz im freien bei Dämmerung oder zur Nacht der Fall und insbesondere dann, wenn eine starke Beleuchtung nicht gewünscht ist. Der Bildverstärker kann beispielsweise ein Restlichtverstärker sein. In this embodiment, an image intensifier can amplify the image from the first camera. The presentation device is the enhanced image. This design makes it easier to use the visual output device in situations where there is less or even no natural illumination, as well as less or no artificial illumination. This is the case, for example, in closed rooms without windows and with only poor lighting or when used outdoors at dusk or at night, and especially when strong lighting is not desired. The image intensifier can be, for example, a residual light amplifier.
In einer Ausgestaltung umfasst das Ausgabegerät eine Umwandlungs-Einrichtung. Diese Umwandlungs-Einrichtung vermag ein Abbild im Infrarot-Lichtbereich in ein Abbild im sichtbaren Lichtbereich umzuwandeln. Die Darstellungs-Einrichtung vermag in der gemeinsamen Darstellung ein von der Umwandlungs-Einrichtung verstärktes Abbild zu präsentieren. In dieser Ausgestaltung empfängt und / oder erzeugt die erste Kamera Abbilder im Infrarot-Lichtbereich. Beispielsweise beleuchtet eine Infrarot-Lichtquelle die reale Umgebung. Die Ausgestaltung mit dem Infrarot-Abbild der erleichtert es, das visuelle Ausgabegerät bei schlechten Lichtverhältnissen einzusetzen. Die Umwandlungs- Einrichtung setzt ein Infrarot-Abbild in ein Abbild im sichtbaren Lichtbereich um. In der gemeinsamen Darstellung wird dann dieses Abbild im sichtbaren Bereich dargestellt. Diese Darstellung ist für einen Menschen leichter zu erfassen, als wenn direkt Infrarot- Abbilder dargestellt werden würden. In one embodiment, the output device comprises a conversion device. This conversion device is capable of converting an image in the infrared light region into an image in the visible light region. The presentation device is able to present in the shared representation an image enhanced by the conversion device. In this embodiment, the first camera receives and / or generates images in the infrared light range. For example, an infrared light source illuminates the real environment. The design with the infrared image makes it easier to use the visual output device in low light conditions. The conversion device converts an infrared image into an image in the visible light range. In the common representation, this image is then displayed in the visible range. This representation is easier to grasp for a human than if infrared images were displayed directly.
In einer Ausgestaltung umfasst das Ausgabegerät eine Ausgleichs-Einrichtung. Diese Ausgleichs-Einrichtung vermag die jeweilige durchschnittliche Helligkeit von mindestens zwei Abbildern, die nacheinander von der ersten Kamera erzeugt sind, zu berechnen. Weiterhin vermag die Ausgleichs-Einrichtung das zeitlich nachfolgende Abbild aufzuhellen, wenn dessen durchschnittliche Helligkeit kleiner als die des zeitlich vorausgehenden Abbilds ist, und das zeitlich nachfolgende Abbild abzudunkeln, wenn dessen durchschnittliche Helligkeit größer als die des zeitlich vorausgehenden Abbilds ist. Die Darstellungs-Einrichtung vermag in der gemeinsamen Darstellung ein von der Ausgleichs-Einrichtung aufgehelltes oder verdunkeltes Abbild zu präsentieren. In one embodiment, the output device comprises a compensation device. This compensation device is capable of calculating the respective average brightness of at least two images produced one after the other by the first camera. Furthermore, the equalizer may lighten the temporal successive image if its average brightness is smaller than that of the temporally preceding image, and darken the temporally subsequent image if its average brightness is greater than that of the temporally preceding image. In the common representation, the presentation device is able to present an image lightened or darkened by the equalization device.
In einer Ausgestaltung steht das visuelle Ausgabegerät in Datenverbindung mit einem Eingabegerät. Dieses Eingabegerät kann zum visuellen Ausgabegerät gehören und beispielsweise am Träger des Ausgabegeräts montiert sein, oder räumlich getrennt vom Ausgabegerät sein. Das Eingabegerät vermag mindestens eine Eingabe eines Menschen zu erfassen, insbesondere eines Menschen, welcher das visuelle Ausgabegerät trägt. Lösungsgemäß vermag die Darstellungs-Einrichtung eine gemeinsame Darstellung zu präsentieren. Gemäß der Ausgestaltung mit dem Eingabegerät vermag die Darstellungs-Einrichtung diese gemeinsame Darstellung zu verändern, und zwar als Reaktion auf eine entsprechende Eingabe, welche der Benutzer mit dem Eingabegerät vorgenommen hat und welche das Eingabegerät erfasst hat. Beispielsweise präsentiert die Darstellungs-Einrichtung zunächst eine Darstellung eines Abbilds, welches die erste Kamera erzeugt hat. Nach Erfassung einer entsprechenden Benutzer-Eingabe fügt die Darstellungs-Einrichtung ein virtuelles Objekt hinzu und präsentiert danach eine gemeinsame Darstellung. Oder die Darstellungs-Einrichtung entfernt nach einer entsprechenden Benutzer-Eingabe aus einer gemeinsamen Darstellung das oder mindestens ein virtuelles Objekt. Oder die Darstellungs-Einrichtung verändert ein virtuelles Objekt, beispielsweise vergrößert oder verkleinert es oder präsentiert es heller oder dunkler oder ein einer anderen Stelle in der gemeinsamen Darstellung. Möglich ist auch, dass die Darstellungs-Einrichtung als Reaktion auf eine erfasste Benutzer-Eingabe das entleerte Abbild von der ersten Kamera verändert, beispielsweise vergrößert oder verkleinert oder es dreht oder es heller oder dunkler präsentiert. In one embodiment, the visual output device is in data communication with an input device. This input device may be part of the visual output device and, for example, mounted on the carrier of the output device, or be spatially separate from the output device. The input device is capable of capturing at least one input of a human, in particular a human, who carries the visual output device. According to the solution, the presentation device can present a joint presentation. According to the embodiment with the input device, the presentation device is able to change this common representation, in response to a corresponding input, which the user has made with the input device and which has detected the input device. For example, the presentation device initially presents a Representation of an image, which has generated the first camera. After detecting a corresponding user input, the presentation device adds a virtual object and then presents a common representation. Or the presentation device removes the or at least one virtual object after a corresponding user input from a common representation. Or the presentation device alters a virtual object, for example, enlarges or reduces it, or presents it brighter or darker or another point in the common representation. It is also possible that, in response to a detected user input, the presentation device alters, for example enlarges or reduces, or rotates, or presents it lighter or darker, the emptied image from the first camera.
Der Mensch, der das visuelle Ausgabegerät trägt und das Eingabegerät benutzt, kann die gemeinsame Darstellung des Abbildes und des virtuellen Objekts verändern, ohne das visuelle Ausgabegerät absetzen zu müssen. Insbesondere kann der Mensch den Abbildungs-Maßstab vergrößern oder verkleinern oder die Helligkeit der Darstellung verändern. The human, who carries the visual output device and uses the input device, can change the common representation of the image and the virtual object without having to set down the visual output device. In particular, humans can increase or decrease the scale of the image or change the brightness of the image.
Das Eingabegerät kann beispielsweise eine Maus oder ein Joy Stick oder ein Schalter oder ein Berührungsfeld umfassen. Das Eingabegerät kann dazu ausgestaltet sein, eine Kopfbewegung des Menschen zu erfassen, beispielsweise mit Hilfe eines Lokalisierungs-Sensors, Bewegungs-Sensors oder Beschleunigungs-Sensors. Die Eingabeeinheit kann auch eine visuelle Auswerteeinheit umfassen, welche eine Geste des Menschen erfasst und hieraus eine Benutzer-Eingabe dieses Menschen ableitet, beispielsweise per Mustererkennung. The input device may comprise, for example, a mouse or a joy stick or a switch or a touchpad. The input device may be configured to detect a head movement of the human, for example by means of a localization sensor, motion sensor or acceleration sensor. The input unit can also include a visual evaluation unit, which detects a human gesture and derives therefrom a user input of this person, for example by pattern recognition.
In einer Ausgestaltung vermag das Eingabegerät eine Kopfbewegung eines Menschen, welcher das Ausgabegerät trägt, zu lokalisieren und / oder zu ermitteln und / oder zu klassifizieren. Die Form, wie ein Mensch eine Benutzereingabe vornehmen kann, ohne hierbei eine Hand zu benutzen. Mit seinen Händen kann der Mensch gleichzeitig eine andere Aufgabe ausführen. In einer Ausgestaltung vermag das visuelle Ausgabegerät eine Kennung eines Menschen zu erfassen, welcher das Ausgabegerät trägt. Beispielsweise identifiziert der Menschen sich biometrisch (Fingerabdruck) oder mithilfe eines Passierworts. Die Darstellungs-Einrichtung präsentiert in der gemeinsamen Darstellung das oder mindestens ein virtuelles Objekt abhängig von der erfassten Kennung. Möglich ist, dass ein virtuelles Objekt, welches eine vertrauliche Information visuell darstellt, nur einem bestimmten Personenkreis präsentiert wird. In one embodiment, the input device is capable of locating and / or determining and / or classifying a head movement of a person who carries the output device. The way a human can make a user input without using a hand. At the same time, humans can perform another task with their hands. In one embodiment, the visual output device is capable of detecting an identifier of a person carrying the output device. For example, humans identify themselves biometrically (fingerprint) or by using a passwort. The presentation device presents in the shared representation the or at least one virtual object depending on the detected identifier. It is possible that a virtual object, which represents a confidential information visually, is presented only to a certain group of people.
Ein virtuelles Objekt kann eine Information, beispielsweise einen Messwert, in einer von einem Menschen visuell wahrnehmbaren Weise darstellen. Möglich ist, dass es von einer Sicherheitsstufe und / oder der Stellung und oder der Funktion des Menschen abhängt, welche Informationen visuell als virtuelle Objekte dargestellt werden und / oder auf weiche Weise diese dargestellt werden. Die Ausgestaltung, dass eine Kennung des Menschen, der das visuelle Ausgabegerät trägt, erfasst wird, ermöglicht es, die virtuellen Objekte abhängig von dieser Sicherheitsstufe oder Funktion oder Stellung des Menschen zu erzeugen und insbesondere, bestimmte Informationen nur für bestimmte Menschen darzustellen. A virtual object may represent information, such as a measurement, in a manner visually perceptible by a human. It is possible that it depends on a security level and / or the position and or the function of the person, which information is visually displayed as virtual objects and / or in a soft way they are displayed. The configuration that an identifier of the person wearing the visual output device is detected makes it possible to generate the virtual objects depending on this security level or function or position of the person and, in particular, to display certain information only for specific people.
In einer Ausgestaltung ist das visuelle Ausgabegerät eine Virtual-Reality-Brille (VR- Brille). Eine solche VR-Brille wird auch Videobrille, Helmdisplays oder VR-Helme genannt. Das visuelle Ausgabegerät kann auch als Augmented-Reality-Brille (AR-Brille) ausgestaltet sein. In one embodiment, the visual output device is a virtual reality glasses (VR glasses). Such VR glasses are also called video glasses, helmet displays or VR helmets. The visual output device can also be designed as augmented reality glasses (AR glasses).
Bevorzugt ist das visuelle Ausgabegerät so ausgestaltet, dass sich wenigstens der Träger die erste Kamera und wenigstens ein Bestandteil der Darstellungs-Einrichtung am Kopf eines Menschen befindet, der das visuelle Ausgabegerät trägt. In einer Preferably, the visual output device is configured such that at least the carrier, the first camera and at least one component of the presentation device is located on the head of a person who carries the visual output device. In a
Ausgestaltung sind auch die Empfangs-Einrichtung und / oder die Darstellungs- Einrichtung an dem Träger befestigt. Der Mensch trägt an seinem Kopf die Embodiment are also the receiving device and / or the presentation device attached to the carrier. Man carries the head on his head
Darstellungs-Einrichtung sowie die Empfangs-Einrichtung. Möglich ist auch, dass die Empfangs-Einrichtung räumlich vom Träger getrennt ist und über eine Datenverbindung mit der Darstellungs-Einrichtung in Verbindung steht, beispielsweise über ein Kabel. Bevorzugt trägt der Mensch auch die Empfangs-Einrichtung oder einen Bestandteil der die Darstellungs-Einrichtung am Körper, beispielsweise in einer Tasche oder um einen Körperteil geschnallt. Presentation device and the reception device. It is also possible that the receiving device is spatially separated from the carrier and a data connection communicates with the presentation device, for example via a cable. Preferably, the person also carries the receiving device or a component of the display device on the body, for example, in a bag or strapped to a body part.
Die erste Kamera und die optionale zweite Kamera vermögen statische oder bewegte optische Bilder von der realen Umgebung zu erzeugen, insbesondere eine The first camera and the optional second camera are capable of generating static or moving optical images of the real environment, in particular one
Videosequenz. Vorzugsweise erzeugt jede Kamera wiederholt Abbilder, beispielsweise mit einer vorgegebenen Abtastrate oder Abtastfrequenz. In einer Ausgestaltung ist die oder jede Kamera als eine digitale Kamera mit einem CCD-Chip ausgestaltet. Ein Linsensystem leitet Licht auf diesem CCD-Chip. Die Darstellungs-Einrichtung Video sequence. Preferably, each camera repeatedly generates images, for example at a predetermined sampling rate or sampling frequency. In one embodiment, the or each camera is configured as a digital camera with a CCD chip. A lens system guides light on this CCD chip. The presentation device
verwendet Daten auf diesem CCD-Chip und in der gemeinsamen Darstellung das Abbild von der realen Umgebung darzustellen. Die erste Kamera kann als eine SD- Kamera ausgestaltet sein, welche zueinander beabstandete Linsen oder ähnliche optische Abbildungseinheiten umfasst. uses data on this CCD chip and in the common representation to represent the image of the real environment. The first camera may be configured as an SD camera comprising spaced-apart lenses or similar optical imaging units.
Die Empfangs-Einrichtung des visuellen Ausgabegeräts vermag lösungsgemäß Signale von einer räumlich entfernten Sende-Einrichtung zu empfangen. Die Empfangs- Einrichtung kann dazu ausgestaltet sein, die Signale über einen drahtgebundenen Übertragungskanal zu verändern, beispielsweise über eine elektrische Leitung oder einen Lichtwellenleiter. Die Empfangs-Einrichtung kann alternativ auch dazu The receiving device of the visual output device is capable of receiving signals from a spatially remote transmitting device. The receiving device may be configured to change the signals via a wired transmission channel, for example via an electrical line or an optical waveguide. The receiving device may alternatively also
ausgestaltet sein, die Signale über einen kabelgebundenen oder drahtlosen be configured, the signals via a wired or wireless
Übertragungskanal zu empfangen, beispielsweise durch elektromagnetische Wellen. Als drahtloser Übertragungskanal lassen sich beispielsweise elektromagnetische Wellen, Mobilfunk, Bluetooth, WLAN, Nahfeld-Kommunikation und / oder optischer Richtfunk verwenden. Falls das Ausgabegerät an Bord eines Wasserfahrzeugs verwendet wird, so lässt sich das Bordnetz des Wasserfahrzeugs dafür verwenden, einen Teil des Übertragungskanals bereitzustellen. Transmission channel to receive, for example by electromagnetic waves. As a wireless transmission channel, for example, electromagnetic waves, mobile radio, Bluetooth, WLAN, near-field communication and / or optical directional radio can be used. If the dispenser is used aboard a vessel, the vessel's on-board network may be used to provide a portion of the transmission channel.
Die Erfindung lässt sich in eine Anordnung realisieren, welche ein lösungsgemäßes visuelles Ausgabegerät, einen ersten Sensor und eine erste Übermittlungs-Einrichtung umfasst. Der erste Sensor vermag einen Wert einer ersten veränderlichen Größe zu messen und ein erstes Signal zu erzeugen. Dieses erste Signal hängt von dem gemessenen Wert ab. Die erste Übermittlungs-Einrichtung vermag das erzeugte erste Signal an die Empfangs-Einrichtung des visuellen Ausgabegeräts zu übermitteln. Die Darstellungs-Einrichtung vermag ein erstes virtuelles Objekt zu erzeugen. Dieses virtuelle Objekt stellt den empfangenen ersten Messwert visuell dar. Die Darstellungs- Einrichtung vermag in einer gemeinsamen Darstellung das erste virtuelle Objekt gemeinsam mit einem von der ersten Kamera erzeugten Abbild zu präsentieren. The invention can be implemented in an arrangement which includes a solution-based visual output device, a first sensor and a first transmission device includes. The first sensor is capable of measuring a value of a first variable magnitude and generating a first signal. This first signal depends on the measured value. The first transmission device is capable of transmitting the generated first signal to the receiving device of the visual output device. The presentation device is capable of generating a first virtual object. This virtual object represents the received first measured value visually. The presentation device is able to present the first virtual object together with an image generated by the first camera in a shared representation.
Ein Mensch, der das lösungsgemäße visuelle Ausgabegerät trägt, wird in die Lage versetzt, den Wert der ersten veränderlichen Größe wahrzunehmen und dabei in einer räumlichen Entfernung von dem ersten Sensor zu bleiben. Der erste Sensor kann sich an einem Ort befinden, der für Menschen gefährlich ist. Möglich, aber dank des getragenen visuellen Ausgabegeräts nicht erforderlich ist es, dass der gemessene erste Wert auf einem physikalischen Ausgabegerät angezeigt wird. Dadurch braucht der Mensch sich nicht zu einem ortsfesten physikalischen Ausgabegerät zu bewegen und braucht kein tragbares physikalisches Ausgabegerät mit sich führen und wird trotzdem über den gemessenen Wert der ersten Größe informiert. A human wearing the inventive visual output device will be able to perceive the value of the first variable magnitude while remaining at a spatial distance from the first sensor. The first sensor may be in a location that is dangerous to humans. Possible, but thanks to the supported visual output device, it is not necessary for the measured first value to be displayed on a physical output device. As a result, a person does not need to move to a fixed physical output device and does not need to carry a portable physical output device and is still informed of the measured value of the first size.
Der erste Mensch kann zeitgleich oder zeitlich überlappend mit einem weiteren The first person can coincide with another at the same time or overlapping one another
Menschen kommunizieren und dadurch nicht nur Worte, die der weitere Mensch spricht, hören, sondern zusätzlich die Gestik und Mimik des weiteren Menschen wahrnehmen, welche in der präsentierten Darstellung gezeigt werden. Dies führt bekanntlich zu einer besseren Kommunikation als eine rein akustische Wahrnehmung. Eine Kommunikation über Gesten und Mimik ist auch dann möglich, wenn eine akustische Kommunikation nicht möglich ist, beispielsweise wegen starken Umgebungsgeräuschen oder einem akustischen Hindernis People communicate and thereby not only hear words that the other person speaks, but also perceive the gestures and facial expressions of the other people, which are shown in the presented presentation. This is known to lead to better communication than a purely acoustic perception. Communication via gestures and facial expressions is also possible if acoustic communication is not possible, for example because of strong ambient noise or an acoustic obstacle
Der erste Sensor kann an Bord eines Wasserfahrzeugs angeordnet sein und The first sensor may be arranged aboard a watercraft and
beispielsweise eine aktive Sonar-Anlage, eine passive Sonaranlage, eine For example, an active sonar system, a passive sonar system, a
Schleppantenne, eine Radaranlage, einen Geopositions-Empfänger, ein Messgerät für eine Fahrzeug-Geschwindigkeit und/oder ein Messgerät für die Windrichtung oder die Windgeschwindigkeit umfassen. Towed antenna, a radar system, a geoposition receiver, a measuring device for a vehicle speed and / or a device for the wind direction or the wind speed include.
In einer Fortbildung dieser Ausgestaltung umfasst die Anordnung einen zweiten Sensor und eine zweite Übermittlungs-Einrichtung. Der zweite Sensor erzeugt ein zweites Signal, welches von einem zweiten Messwert abhängt. Die zweite Übermittlungseinrichtung übermittelt das zweite Signal an die visuelle Ausgabe Einrichtung. Die Darstellungs-Einrichtung erzeugt ein zweites visuelles Objekt und präsentiert in der gemeinsamen Darstellung das erste virtuelle Objekt, das zweite virtuelle Objekt und das Abbild. In a further development of this embodiment, the arrangement comprises a second sensor and a second transmission device. The second sensor generates a second signal, which depends on a second measured value. The second transmitter transmits the second signal to the visual output device. The presentation device generates a second visual object and presents in the common representation the first virtual object, the second virtual object and the image.
Nachfolgend ist das erfindungsgemäße visuelle Ausgabegerät anhand eines in den Zeichnungen dargestellten Ausführungsbeispiels näher erläutert. Hierbei zeigen: Below, the visual output device according to the invention is explained in more detail with reference to an embodiment shown in the drawings. Hereby show:
Fig. 1 einen Menschen, der ein lösungsgemäßes visuelles Ausgabegerät in Form einer VR-Brille sowie ein Eingabegerät trägt; 1 shows a person wearing a solution-based visual output device in the form of VR glasses and an input device;
Fig. 2 in einer schematischen Darstellung, was die VR-Brille einem Mensch, der die VR-Brille trägt, auf dem Bildschirm präsentiert.  Fig. 2 is a schematic representation of what the VR glasses presented to a person wearing the VR glasses on the screen.
Im Ausführungsbeispiel wird die Erfindung an Bord eines bemannten Wasserfahrzeugs eingesetzt, wobei das Wasserfahrzeug ein Überwasserfahrzeug oder ein Unterwasserfahrzeug sein kann. Ein Besatzungsmitglied verwendet ein lösungsgemäßes visuelles Ausgabegerät, welches im Ausführungsbeispiel die Form einer Virtual-Reality-Bnlle (VR-Brille) hat. In einer Ausgestaltung wird als VR-Brille eine Oculus Rift® verwendet, welche lösungsgemäß erweitert ist. In the exemplary embodiment, the invention is used on board a manned watercraft, wherein the watercraft may be an overwater vehicle or an underwater vehicle. A crewmember uses a solution-based visual output device, which in the exemplary embodiment has the form of a virtual reality (VR) goggle. In one embodiment, an Oculus Rift® is used as VR glasses, which is extended in accordance with the solution.
In Fig. 1 trägt ein Mensch M.1 eine VR-Brille 101 . Diese VR-Brille 101 umfasst einen Träger, der einen bevorzugt elastischen und in der Länge veränderlichen Spanngurt 107 sowie einen Rahmen 106 umfasst. Der Spanngurt 107 ist um den Kopf K.1 des Menschen M.1 herum geführt und trägt den Rahmen 106. Der Spanngurt 107 gewährleistet einen sicheren Sitz der VR-Brille 101 . Der Rahmen 106 trägt ein plattenförmiges und vorzugsweise flexibles Halteelement 105. In dieses Halteelement 105 sind zwei Kameraobjektive 103 eingelassen, welche zu zwei digitalen Kameras der VR-Brille 101 gehören. Jede digitale Kamera vermag ein Abbild der realen Umgebung der VR-Brille 101 zu erzeugen. Bevorzugt stimmt die Blickrichtung jeder digitalen Kamera mit der Standard-Blickrichtung des Menschen M.1 , der die VR-Brille 101 trägt, überein. Die beiden digitalen Kameras mit den Objektiven 103 bilden quasi die„Augen der Realität" des Menschen. In Fig. 1, a human M.1 wears a VR goggles 101. These VR glasses 101 comprise a carrier which comprises a preferably elastic and variable in length tension belt 107 and a frame 106. The tension belt 107 is guided around the head K.1 of the person M.1 and carries the frame 106. The tension belt 107 ensures a secure fit of VR glasses 101. The frame 106 carries a plate-shaped and preferably flexible holding element 105. In this holding element 105, two camera lenses 103 are embedded, which belong to two digital cameras of the VR glasses 101. Each digital camera is capable of producing an image of the real environment of VR glasses 101. The viewing direction of each digital camera preferably coincides with the standard viewing direction of the person M.1 who wears the VR glasses 101. The two digital cameras with the lenses 103 virtually form the "eyes of reality" of humans.
Auf der Innenseite des Halteelements 105, also auf der zum Menschen M.1 zeigenden Oberfläche des Halteelements 105, wird ein Bildschirm 21 1 bereitgestellt. Fig. 2 zeigt schematisch diesen Bildschirm 21 1 in der Blickrichtung, in welcher der Mensch M.1 , der die VR-Brille 101 trägt, auf das Halteelement 105 und damit auf den Bildschirm 21 1 schaut. In einer Ausgestaltung werden zwei Bildschirme 21 1 bereitgestellt, nämlich jeweils ein Bildschirm vor jedem Auge des Menschen M.1 . Eine im folgende beschrieben Darstellungs-Einrichtung vermag Bilder zu erzeugen und diese dem Menschen M.1 auf diesen beiden Bildschirmen 21 1 zu präsentieren. Die Bildschirme 21 1 gehören zur Darstellungs-Einrichtung. On the inside of the holding element 105, that is to say on the surface of the holding element 105 facing the human M.1, a screen 21 1 is provided. Fig. 2 shows schematically this screen 21 1 in the viewing direction, in which the human M.1, who wears the VR glasses 101, on the holding member 105 and thus on the screen 21 1 looks. In one embodiment, two screens 21 1 are provided, namely one screen in front of each human eye M.1. An illustrative device described below is capable of generating images and presenting them to the human M.1 on these two screens 21 1. The screens 21 1 belong to the display device.
Die Signale von den Kameraobjektiven 103 werden auf CCD-Chips aufgezeichnet. Dadurch lassen sich optische Bilder, welche die Kameraobjektive 103 erzeugen, aufzeichnen. Ein Rechner 1 15 der Darstellungs-Einrichtung ist an dem Rahmen 106 montiert und umfasst einen Rechner, welcher die Signale von den Kameraobjektiven 103 auswertet und ein Abbild von der realen Umgebung erzeugt. Der Rechner 1 15 veranlasst automatisch, dass dieses Abbild auf dem oder jedem Bildschirm 21 1 präsentiert wird. In einer Ausgestaltung erzeugt der Rechner 1 15 eine stereoskopische Darstellung der realen Umgebung und verwendet hierfür Signale von beiden digitalen Kameras 103. Diese stereoskopische Darstellung wird auf dem Bildschirm 21 1 präsentiert. Fig. 2 zeigt beispielhaft ein auf einem Bildschirm 21 1 präsentiertes Abbild 215. In diesem Beispiel schaut der Mensch M.1 , der die VR-Brille 101 trägt, einen anderen Menschen M.2 an, beispielsweise ein anderes Besatzungsmitglied des Wasserfahrzeugs. Das Abbild 215 zeigt den Kopf K.2 und den Oberkörper dieses anderen Menschen. Der Mensch M.1 , der die VR-Brille 101 trägt, kann Gesten und die Mimik des anderen Menschen wahrnehmen, ohne die VR-Brille 101 absetzen zu müssen. Dadurch können die beiden Menschen M.1 und M.2 visuell miteinander kommunizieren. Diese visuelle Kommunikation kann eine akustische Kommunikation ergänzen oder auch ersetzen, wenn die akustische Kommunikation nicht möglich ist. The signals from the camera lenses 103 are recorded on CCD chips. As a result, optical images which generate the camera lenses 103 can be recorded. A computer 1 15 of the display device is mounted on the frame 106 and includes a computer which evaluates the signals from the camera lenses 103 and generates an image of the real environment. The computer 1 15 automatically causes this image to be presented on the or each screen 21 1. In one embodiment, computer 1 15 generates a stereoscopic representation of the real environment and uses signals from both digital cameras 103 for this purpose. This stereoscopic display is presented on screen 21 1. FIG. 2 shows by way of example an image 215 presented on a screen 21 1. In this example, the person M.1 who wears the VR glasses 101 looks at another human M.2, for example another crew member of the watercraft. The image 215 shows the head K.2 and the upper body of this other human. The person M.1 who wears the VR glasses 101 can perceive gestures and the facial expressions of the other person without having to set down the VR glasses 101. This allows the two people M.1 and M.2 communicate visually with each other. This visual communication can complement or even replace acoustic communication when acoustic communication is not possible.
Die VR-Brille 101 ist blickdicht, d.h. sie umschließt einen optisch dichten Raum vor den Augen des Menschen, welcher die VR-Brille 101 trägt. Dieser optisch dichte Raum wird von dem Halteelement 105, im Rahmen 106 und dem Kopf K.1 des Menschen M.1 begrenzt. Insbesondere ist das Halteelement 105 mit den beiden Kameraobjektiven 103 vollständig lichtundurchlässig ausgestaltet. Die VR-Brille 101 verhindert, dass Licht aus der realen Umgebung in den optisch dichten Raum vor dem Kopf K.1 des ersten Menschen M.1 eindringt. The VR glasses 101 are opaque, i. it encloses a visually dense space in front of the eyes of the person wearing the VR glasses 101. This optically dense space is bounded by the holding element 105, in the frame 106 and the head K.1 of the human M.1. In particular, the holding element 105 is configured with the two camera lenses 103 completely opaque. The VR glasses 101 prevent light from the real environment from entering the optically dense space in front of the head K.1 of the first human M.1.
An Bord des Wasserfahrzeugs ist eine Sonaranlage mit einer Unterwasserantenne angeordnet. Diese Sonaranlage peilt eine Schallquelle, die unter Wasser Schallwellen absenden, und ermittelt insbesondere die Richtung und / oder die Entfernung von dem Wasserfahrzeug zu dieser Schallquelle. Diese Sonaranlage erzeugt abhängig von den Messwerten (z.B. Richtung und Entfernung sowie Schallintensität abhängig von der Zeit und / oder der Frequenz) Signale. Diese Signale werden über das kabelgebundene Bordnetz des Wasserfahrzeugs an einen zentralen Rechner 220 übermittelt. Der zentrale Rechner 220 ist mit einem Sender 127 verbunden. Dieser Sender 127 übermittelt drahtlos diese Signale an eine Empfangs-Einrichtung 1 17, welche ebenfalls am Rahmen 106 oder an dem Halteelement 105 der VR-Brille 101 angeordnet ist. Vorzugsweise erhält die Empfangs-Einrichtung 1 17 die Signale mit einer festen Frequenz. Der Rechner 1 15 der Darstellungs-Einrichtung wertet die empfangenen Signale aus und erzeugt virtuelle Objekte in Form von virtuellen Instrumenten 213. Der Rechner 1 15 der Darstellungs-Einrichtung 1 15 erzeugt eine gemeinsame Darstellung, welche gleichzeitig das Abbild 215 von der realen Umgebung und mehrere virtuelle Objekte in Form von virtuellen Instrumenten 213 präsentiert. On board the vessel is a sonar system with an underwater antenna. This sonar system aims at a sound source that emits sound waves under water, and in particular determines the direction and / or the distance from the vessel to this sound source. Depending on the measured values (eg direction and distance and sound intensity as a function of time and / or frequency), this sonar system generates signals. These signals are transmitted via the wired electrical system of the vessel to a central computer 220. The central computer 220 is connected to a transmitter 127. This transmitter 127 wirelessly transmits these signals to a receiving device 1 17, which is also arranged on the frame 106 or on the holding member 105 of the VR glasses 101. Preferably, the receiving device 1 17 receives the signals at a fixed frequency. The computer 1 15 of the display device evaluates the received signals and generates virtual objects in the form of virtual instruments 213. The Computer 1 15 of the presentation device 15 generates a joint representation which simultaneously presents the image 215 of the real environment and a plurality of virtual objects in the form of virtual instruments 213.
Vorzugsweise aktualisiert der Rechner 1 15 die virtuellen Instrumente 213 mit der Frequenz, mit der die Empfangs-Einrichtung 1 17 die Signale empfängt. In einer Ausgestaltung enthalten die oder wenigstens einige Signale eine Darstellungs- Information. Falls ein Messwert außerhalb eines vorgegebenen Bereichs liegt, falls beispielsweise die Entfernung zu einer Schallquelle unterhalb einer vorgegebenen Schranke fällt, so wird das entsprechende virtuelle Instrument 213 hervorgehoben dargestellt. Dadurch wird die Aufmerksamkeit des Menschen M.1 auf dieses virtuelle Instrument 213 für einen relevanten Messwert gelenkt. Preferably, the computer 1 15 updates the virtual instruments 213 at the frequency at which the receiving device 1 17 receives the signals. In one embodiment, the or at least some signals contain presentation information. If a measured value is outside a predetermined range, for example, if the distance to a sound source falls below a predetermined barrier, then the corresponding virtual instrument 213 is highlighted. As a result, the attention of the human M.1 is directed to this virtual instrument 213 for a relevant measurement.
Im Ausführungsbeispiel wendet der Mensch M.1 sich der Menschen M.2 zu, beispielsweise weil das Besatzungsmitglied M.2 zuvor das Besatzungsmitglied M.1 angesprochen hat. Der Mensch M.1 sieht auf dem Bildschirm 21 1 einerseits ein Abbild 215, welches den Menschen M.2 zeigt, und andererseits die virtuellen Instrumente 213, vgl. Fig. 2. Der Mensch M.1 kann dadurch die Messwerte von der Sonar-Anlage, die mit Hilfe der virtuellen Instrumente 213 dargestellt werden, wahrnehmen und zugleich mit dem Menschen M.2 visuell kommunizieren. In the exemplary embodiment, the person M.1 uses the human M.2, for example because the crew member M.2 has previously addressed the crew member M.1. The human M.1 sees on the screen 21 1 on the one hand an image 215 which shows the human M.2, and on the other hand the virtual instruments 213, cf. 2. The human M.1 can thereby perceive the measured values from the sonar system, which are displayed with the aid of the virtual instruments 213, and at the same time communicate visually with the human M.2.
Möglich ist, dass die beiden Menschen M.1 , M.2 zusätzlich jeweils eine Spracheingabeeinheit, beispielsweise ein Mikrofon, und eine Sprachausgabeeinheit tragen (nicht gezeigt). Die Sprachausgabeeinheit, die der erste Mensch M.1 benutzt, kann in den Rahmen 106 oder den Spanngurt 107 der VR-Brille 101 integriert sein. Die Sprachausgabeeinheit, die der zweite Mensch M.2 benutzt, kann beispielsweise zu einem Kopfhörer gehören. Dank der Spracheingabeeinheiten und der Sprachausgabeeinheiten können die beiden Menschen M.1 und M.2 zusätzlich akustisch miteinander kommunizieren, auch wenn beträchtliche Umgebungsgeräusche eine akustische Kommunikation ohne Hilfsmittel erschweren. In einer Ausgestaltung trägt der Mensch M.1 in seiner linken Hand ein Eingabegerät 109. Mit Hilfe des Eingabegeräts 109 kann der Mensch M.1 Benutzereingaben vornehmen. Beispielsweise betätigt der Mensch M.1 eine Taste oder einen Knopf oder ein berührungssensitives Feld auf dem Eingabegerät 109. Oder das Eingabegerät 109 besitzt einen Bewegungssensor oder einen Beschleunigungssensor, der eine bestimmte Bewegung der linken Hand registriert. Die Darstellungs-Einrichtung 105 vermag in diese Ausgestaltung die gemeinsame Darstellung des Abbilds 215 und der virtuellen Instrumente 213 abhängig von Benutzereingaben zu verändern, beispielsweise den Abbildungsmaßstab der gemeinsame Darstellung zu vergrößern oder zu verkleinern (zoomen) oder aufzuhellen oder zu verdunkeln. It is possible that the two people M.1, M.2 additionally each carry a voice input unit, for example a microphone, and a voice output unit (not shown). The voice output unit using the first human M.1 may be integrated with the frame 106 or the strap 107 of the VR glasses 101. The voice output unit that uses the second human M.2, for example, may belong to a headphone. Thanks to the speech input units and the speech output units, the two people M.1 and M.2 can additionally communicate acoustically with one another, even if considerable ambient noise makes acoustical communication without aids difficult. In one embodiment, the human M.1 carries an input device 109 in his left hand. With the aid of the input device 109, the human M.1 can make user input. For example, the human M.1 operates a button or button or a touch-sensitive panel on the input device 109. Or, the input device 109 has a motion sensor or an acceleration sensor that registers a certain left-hand movement. In this embodiment, the presentation device 105 is able to change the common representation of the image 215 and of the virtual instruments 213 depending on user input, for example to increase or decrease the magnification of the shared representation (zoom) or to lighten or darken it.
Bezugszeichen reference numeral
101 VR-Brille, fungiert als visuelles Ausgabegerät, umfasst den Spanngurt 107, den Rahmen 106, das Halteelement 105, die Kameraobjektive 103, die Darstellungs-Einrichtung mit dem Rechner 1 15 und dem Bildschirm 21 1 und die Empfangs-Einrichtung 1 17, von dem ersten Menschen M.1 getragen 101 VR glasses, acts as a visual output device, includes the strap 107, the frame 106, the support member 105, the camera lenses 103, the display device with the computer 1 15 and the screen 21 1 and the receiving device 1 17, from worn the first person M.1
103 Kameraobjektive der beiden digitalen Kameras der VR-Brille 101 , in das 103 camera lenses of the two digital cameras of VR glasses 101, in the
Halteelement 105 eingelassen  Retaining element 105 inserted
105 lichtundurchlässiges flächiges Halteelement der VR-Brille 101 , trägt die beiden Kameraobjektive 103  105 opaque planar retaining element of the VR glasses 101, carries the two camera lenses 103rd
106 Rahmen der VR-Brille 101 , vom Spanngurt 107 gehalten, trägt das  106 frame of the VR glasses 101, held by the tension belt 107, wearing the
Halteelement 105  Retaining element 105th
107 Spanngurt der VR-Brille 101 , trägt den Rahmen 106  107 strap of the VR glasses 101, carries the frame 106
109 Eingabegerät, mit welchem der Mensch M.1 die Darstellung auf dem  109 input device, with which the human M.1 the representation on the
Bildschirm 21 1 verändern kann  Screen 21 1 can change
1 15 Rechner der Darstellungs-Einrichtung der VR-Brille 101 , am Rahmen 106 angeordnet  1 15 computer of the display device of the VR glasses 101, arranged on the frame 106
1 17 Empfangs-Einrichtung der VR-Brille 101 , am Rahmen 106 angeordnet 1 17 receiving device of the VR glasses 101, arranged on the frame 106
127 Sender am zentralen Rechner 220, übermittelt Signale von der Sonaranlage an die VR-Brille 101 127 transmitters on the central computer 220, transmit signals from the sonar system to the VR glasses 101
21 1 Bildschirm der VR-Brille 101 , an der Innenseite des Halteelements 105 angeordnet, gehört zur Darstellungs-Einrichtung, erzeugt die gemeinsame Darstellung mit dem Abbild 215 und den virtuellen Instrumenten 213 21 1 screen of the VR glasses 101, arranged on the inside of the holding element 105, belongs to the presentation device, generates the common representation with the image 215 and the virtual instruments 213
213 virtuelle Objekte in Form von virtuellen Instrumenten, auf dem Bildschirm 213 virtual objects in the form of virtual instruments, on the screen
21 1 dargestellt  21 1 shown
215 Abbild von den beiden digitalen Kameras, zeigen den ersten Menschen M.1 , werden auf dem Bildschirm 21 1 dargestellt  215 image of the two digital cameras, showing the first human M.1, are displayed on the screen 21 1
220 zentraler Rechner, mit dem Sender 127 verbunden, übermittelt Signale von der Sonaranlage an die VR-Brille 101  220 central computer, connected to the transmitter 127, transmits signals from the sonar system to the VR glasses 101st
K.1 Kopf des ersten Menschen M.1  K.1 Head of the first person M.1
K.2 Kopf des zweiten Menschen M.2 M.1 erster Mensch, trägt die VR-Brille 101K.2 Second Man's Head M.2 M.1 first person, wearing the VR glasses 101st
M.2 zweiter Mensch, im Abbild 215 dargestellt M.2 second human, shown in image 215

Claims

Patentansprüche claims
1 . Visuelles Ausgabegerät (101 ) umfassend 1 . Comprising a visual output device (101)
- einen Träger (106, 107),  a carrier (106, 107),
- eine Darstellungs-Einrichtung (1 15, 21 1 ) und  - A presentation device (1 15, 21 1) and
- eine am Träger (106, 107) befestigte erste Kamera (103), wobei das visuelle Ausgabegerät (101 ) dazu ausgestaltet ist, von einem Menschen (M.1 ) getragen zu werden,  a first camera (103) attached to the support (106, 107), the visual output device (101) being adapted to be carried by a human (M.1),
wobei die erste Kamera (103) dazu ausgestaltet ist, ein Abbild (215) von der wherein the first camera (103) is adapted to capture an image (215) of the
Umgebung des visuellen Ausgabegeräts (101 ) zu erzeugen, und Environment of the visual output device (101), and
wobei die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist, ein von der ersten Kamera (103) erzeugtes Abbild (215) einem Menschen (M.1 ), der das visuelle Ausgabegerät (101 ) trägt, zu präsentieren,  wherein the presentation device (1 15, 21 1) is adapted to present an image (215) generated by the first camera (103) to a human (M.1) carrying the visual output device (101),
dadurch gekennzeichnet, dass  characterized in that
das visuelle Ausgabegerät (101 ) eine Empfangs-Einrichtung (1 17) umfasst, welche dazu ausgestaltet ist, mindestens ein Signal von einer räumlich entfernten Sende- Einrichtung zu empfangen,  the visual output device (101) comprises a receiving device (1 17) which is designed to receive at least one signal from a spatially remote transmitting device,
das visuelle Ausgabegerät (101 )  the visual output device (101)
- einen optisch dichten Raum vor den Augen eines Menschen (M.1 ), der das  - a visually dense space in front of the eyes of a human being (M.1), who is the one
visuelle Ausgabegerät (101 ) trägt, bereitstellt und  carries, provides and visual output device (101)
- das Eindringen von Licht von der realen Umgebung in den bereitgestellten  - The penetration of light from the real environment in the provided
optisch dichten Raum verhindert, wobei die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist,  prevents optically dense space, the display device (1 15, 21 1) is designed to
- abhängig von einem Signal, welches die Empfangs-Einrichtung (1 17) empfangen hat, mindestens ein virtuelles Objekt (213) zu erzeugen, welches eine  depending on a signal which the receiving device (1 17) has received, to generate at least one virtual object (213) which has a
Information in einer von einem Menschen visuell wahrnehmbaren Form darstellt, und  Represents information in a form visually perceptible by a human, and
- das oder mindestens ein virtuelles Objekt (213) gemeinsam mit dem von der ersten Kamera (103) erzeugten Abbild (215) in einer gemeinsamen Darstellung in dem optisch dichten Raum zu präsentieren. - Present the or at least one virtual object (213) together with the image (215) generated by the first camera (103) in a common representation in the optically dense space.
2. Visuelles Ausgabegerät (101 ) nach Anspruch 1 , 2. A visual output device (101) according to claim 1,
dadurch gekennzeichnet, dass  characterized in that
die Empfangs-Einrichtung (1 17) dazu ausgestaltet ist, als ein erstes Signal einen ersten Messwert von einem ersten Sensor zu empfangen, und  the receiving device (17) is configured to receive as a first signal a first measured value from a first sensor, and
die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist,  the presentation device (1 15, 21 1) is designed to
- als ein erstes virtuelles Objekt (213) eine visuelle Darstellung des empfangenen ersten Messwerts zu erzeugen und  to generate as a first virtual object (213) a visual representation of the received first measured value and
- gemeinsam mit dem von der ersten Kamera (103) erzeugten Abbild (215) in einer gemeinsamen Darstellung zu präsentieren.  - Present together with the first camera (103) generated image (215) in a common representation.
3. Visuelles Ausgabegerät (101 ) nach Anspruch 2, 3. A visual output device (101) according to claim 2,
dadurch gekennzeichnet, dass  characterized in that
die Empfangs-Einrichtung (1 17) dazu ausgestaltet ist, als ein zweites Signal einen zweiten Messwert von einem zweiten Sensor zu empfangen, und  the receiving device (17) is configured to receive as a second signal a second measured value from a second sensor, and
die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist,  the presentation device (1 15, 21 1) is designed to
- als ein zweites virtuelles Objekt (213) eine visuelle Darstellung des empfangenen zweiten Messwerts zu erzeugen und  to generate as a second virtual object (213) a visual representation of the received second measured value and
- gemeinsam mit dem ersten virtuellen Objekt (213) und mit dem von der Kamera (103) erzeugten Abbild (215) in der gemeinsamen Darstellung darzustellen.  - Represent together with the first virtual object (213) and with the camera (103) generated image (215) in the common representation.
4. Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, 4. Visual output device (101) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die Darstellungs-Einrichtung (1 15, 21 1 ) einen ersten Bildschirm (21 1 ) umfasst, welcher an den optisch dichten Raum angrenzt,  the presentation device (1 15, 21 1) comprises a first screen (21 1) which adjoins the optically dense space,
wobei der erste Bildschirm (21 1 ) sich vor einem Auge eines Menschen (M.1 ), der das Ausgabegerät (101 ) trägt, befindet,  wherein the first screen (21 1) is located in front of an eye of a human (M.1) carrying the output device (101),
wobei die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist, auf dem ersten Bildschirm (21 1 )  wherein the display device (1 15, 21 1) is adapted to be displayed on the first screen (21 1).
- das von der Kamera (103) erzeugte Abbild (215) und  - The image generated by the camera (103) (215) and
- das oder mindestens ein virtuelles Objekt (213) in einer gemeinsamen Darstellung zu präsentieren. the or at least one virtual object (213) to present in a joint presentation.
5. Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, 5. Visual output device (101) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist,  the presentation device (1 15, 21 1) is designed to
- das von der Kamera (103) erzeugte Abbild (215) und  - The image generated by the camera (103) (215) and
- das oder mindestens ein virtuelles Objekt (213) in einer gemeinsamen Darstellung auf die Netzhaut mindestens eines Auges eines Menschen (M.1 ), der das visuelle Ausgabegerät (101 ) trägt, zu projizieren.  to project the or at least one virtual object (213) in a common representation onto the retina of at least one human eye (M.1) carrying the visual output device (101).
6. Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, 6. Visual output device (101) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die Blickrichtung der ersten Kamera (103) mit der Standard-Blickrichtung eines Menschen (M.1 ), der das Ausgabegerät (101 ) trägt, übereinstimmt.  the viewing direction of the first camera (103) coincides with the standard viewing direction of a person (M.1) carrying the output device (101).
7. Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, 7. A visual output device (101) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
das Ausgabegerät (101 ) eine am Träger (106, 107) montierte zweite Kamera umfasst,  the output device (101) comprises a second camera mounted on the carrier (106, 107),
wobei die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist,  wherein the display device (1 15, 21 1) is designed to
aus den Abbildern von der beiden Kameras eine stereoskopische Darstellung zu erzeugen und  from the images of the two cameras to produce a stereoscopic view and
als Teil der gemeinsamen Darstellung zu präsentieren.  to present as part of the common presentation.
8. Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, 8. A visual output device (101) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
das Ausgabegerät (101 ) eine zweite am Träger (106, 107) montierte Kamera umfasst,  the output device (101) comprises a second camera mounted on the carrier (106, 107),
wobei der horizontale Blickwinkel der ersten Kamera (103) kleiner als der horizontale Blickwinkel der zweiten Kamera ist und wobei die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist, wenigstens zeitweise ein von der zweiten Kamera erzeugtes Abbild in die gemeinsame wherein the horizontal viewing angle of the first camera (103) is smaller than the horizontal viewing angle of the second camera, and wherein the display device (1 15, 21 1) is configured, at least temporarily, an image generated by the second camera in the common
Darstellung einzufügen.  Insert presentation.
9. Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, 9. Visual output device (101) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
das Ausgabegerät (101 ) einen Bildverstärker umfasst, welcher dazu ausgestaltet ist, ein von der ersten Kamera (103) erzeugtes Abbild (215) zu verstärken,  the output device (101) comprises an image intensifier which is designed to amplify an image (215) generated by the first camera (103),
wobei die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist, ein vom  wherein the displaying means (1 15, 21 1) is adapted to receive one of
Bildverstärker verstärktes Abbild (215) zu präsentieren.  Image intensifier image (215) to present.
10. Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, 10. Visual output device (101) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
das Ausgabegerät (101 ) eine Umwandlungs-Einrichtung umfasst,  the output device (101) comprises a conversion device,
welche dazu ausgestaltet ist, ein Abbild im Infrarot-Lichtbereich in ein Abbild im sichtbaren Lichtbereich umzuwandeln,  which is designed to convert an image in the infrared light region into an image in the visible light region,
wobei die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist, ein von der Umwandlungs-Einrichtung umgewandeltes Abbild (215) zu präsentieren.  wherein the presentation means (1 15, 21 1) is arranged to present an image (215) converted by the conversion means.
1 1 .Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, 1 1 .Visuales output device (101) according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
das visuelle Ausgabegerät (101 ) eine Ausgleichs-Einrichtung umfasst,  the visual output device (101) comprises a compensation device,
welche dazu ausgestaltet ist,  which is designed to
- die jeweilige durchschnittliche Helligkeit von mindestens zwei Abbildern, die  - the average brightness of at least two images, the
nacheinander von der ersten Kamera (103) erzeugt sind, zu berechnen,  successively generated by the first camera (103),
- das zeitlich nachfolgende Abbild aufzuhellen, wenn dessen durchschnittliche Helligkeit kleiner als die des zeitlich vorausgehenden Abbilds ist, und  to lighten the temporally succeeding image if its average brightness is smaller than that of the temporally preceding image, and
- das zeitlich nachfolgende Abbild abzudunkeln, wenn dessen durchschnittliche Helligkeit größer als die des zeitlich vorausgehenden Abbilds ist, wobei die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist, ein von der Ausgleichs-Einrichtung bereitgestelltes Abbild zu präsentieren. to darken the temporally successive image if its average brightness is greater than that of the temporally preceding image, wherein the presentation device (15, 21 1) is designed to present an image provided by the compensation device.
12. Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, 12. Visual output device (101) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
das Ausgabegerät (101 ) in Datenverbindung mit einem Eingabegerät (109) steht, wobei das Eingabegerät (109) dazu ausgestaltet ist, mindestens eine Eingabe eines Menschen (M.1 ) zu erfassen, und  the output device (101) is in data communication with an input device (109), wherein the input device (109) is adapted to detect at least one input of a human (M.1), and
wobei die Darstellung-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist, als Reaktion auf eine entsprechende erfasste Eingabe die gemeinsame Darstellung zu verändern.  wherein the presentation means (1 15, 21 1) is arranged to change the common representation in response to a corresponding detected input.
13. Visuelles Ausgabegerät (101 ) nach Anspruch 12, 13. A visual output device (101) according to claim 12,
dadurch gekennzeichnet, dass  characterized in that
die Darstellungs-Einrichtung (1 15, 21 1 ) dazu ausgestaltet ist, als Reaktion auf eine entsprechende erfasste Eingabe  the display means (1 15, 21 1) is adapted thereto in response to a corresponding detected input
- in einer Darstellung eines von der ersten Kamera (103) erzeugten Abbilds (215) mindestens ein virtuelles Objekt (213) einzufügen und / oder  - Insert in a representation of one of the first camera (103) generated image (215) at least one virtual object (213) and / or
- aus einer gemeinsamen Darstellung des Abbilds (215) und mindestens eines virtuellen Objekts das oder ein virtuelles Objekt zu entfernen.  - Remove from a common representation of the image (215) and at least one virtual object or a virtual object.
14. Visuelles Ausgabegerät (101 ) nach Anspruch 12 oder Anspruch 13, 14. A visual output device (101) according to claim 12 or claim 13,
dadurch gekennzeichnet, dass  characterized in that
die Darstellung-Einrichtung dazu ausgestaltet ist,  the presentation device is designed to
als Reaktion auf eine entsprechende erfasste Eingabe das dargestellte Abbild (215) von der ersten Kamera (103) zu vergrößern oder zu verkleinern.  in response to a corresponding detected input, enlarging or reducing the displayed image (215) from the first camera (103).
15. Visuelles Ausgabegerät (101 ) nach einem der Ansprüche 12 bis 14, 15. A visual output device (101) according to any one of claims 12 to 14,
dadurch gekennzeichnet, dass  characterized in that
die Eingabeeinheit dazu ausgestaltet ist,  the input unit is designed to
eine Kopfbewegung eines Menschen, der das Ausgabegerät (101 ) trägt, zu lokalisieren und / oder zu ermitteln und / oder zu klassifizieren.  to locate and / or detect and / or classify a head movement of a person carrying the output device (101).
16. Visuelles Ausgabegerät (101 ) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass 16. Visual output device (101) according to one of the preceding claims, characterized in that
das Ausgabegerät (101 ) dazu ausgestaltet ist,  the output device (101) is designed to
- eine Kennung eines Menschen zu erfassen, welcher das Ausgabegerät (101 ) trägt, und  to detect an identification of a person carrying the output device 101, and
- das oder mindestens ein virtuelles Objekt (213) abhängig von der erfassten  - The or at least one virtual object (213) depending on the detected
Kennung zu präsentieren.  Present identifier.
17. Anordnung umfassend 17. Arrangement comprising
- einen ersten Sensor,  a first sensor,
- eine erste Übermittlungs-Einrichtung und  a first transmission facility and
- ein visuelles Ausgabegerät (101 ) nach einem der Ansprüche 1 bis Error!  - A visual output device (101) according to one of claims 1 to Error!
Reference source not found., wobei der erste Sensor dazu ausgestaltet ist,  Reference source not found., Where the first sensor is designed to
- einen Wert einer ersten veränderlichen Größe zu messen und  to measure a value of a first variable variable and
- abhängig vom gemessenen Wert ein erstes Signal zu erzeugen,  to generate a first signal depending on the measured value,
wobei die erste Übermittlungs-Einrichtung dazu ausgestaltet ist, das erste Signal an das visuelle Ausgabegerät (101 ) zu übermitteln, und  wherein the first transmission means is adapted to transmit the first signal to the visual output device (101), and
die Darstellungs-Einrichtung (1 15, 21 1 ) des visuellen Ausgabegeräts (101 ) dazu ausgestaltet ist,  the presentation device (1 15, 21 1) of the visual output device (101) is designed to
- als ein erstes virtuelles Objekt (213) eine visuelle Darstellung des empfangenen ersten Messwerts zu erzeugen und  to generate as a first virtual object (213) a visual representation of the received first measured value and
- das erste virtuelle Objekt (213) gemeinsam mit dem von der ersten Kamera (103) erzeugten Abbild (215) in einer gemeinsamen Darstellung zu präsentieren.  - Present the first virtual object (213) together with the image (215) generated by the first camera (103) in a common representation.
18. Anordnung nach Anspruch 17, 18. Arrangement according to claim 17,
dadurch gekennzeichnet, dass  characterized in that
die Anordnung  the order
- einen zweiten Sensor und  a second sensor and
- eine zweite Übermittlungs-Einrichtung umfasst, - a second transmission facility includes,
wobei der zweite Sensor dazu ausgestaltet ist, einen Wert einer zweiten  wherein the second sensor is configured to have a value of a second one
veränderlichen Größe zu messen und abhängig vom gemessenen Wert ein zweites Signal zu erzeugen,  variable size and generate a second signal depending on the measured value,
wobei die zweite Übermittlungs-Einrichtung dazu ausgestaltet ist, das zweite Signal an das visuelle Ausgabegerät (101 ) zu übermitteln, und  wherein the second transmission means is adapted to transmit the second signal to the visual output device (101), and
die Darstellungs-Einrichtung (1 15, 21 1 ) des visuelle Ausgabegeräts (101 ) dazu ausgestaltet ist,  the presentation device (1 15, 21 1) of the visual output device (101) is designed to
- als ein zweites virtuelles Objekt (213) eine visuelle Darstellung des empfangenen zweiten Messwerts zu erzeugen und  to generate as a second virtual object (213) a visual representation of the received second measured value and
- das zweite virtuelle Objekt (213) gemeinsam mit dem ersten virtuellen Objekt (213) und dem von der ersten Kamera (103) erzeugten Abbild (215) in einer gemeinsamen Darstellung zu präsentieren.  - Present the second virtual object (213) together with the first virtual object (213) and the image (215) generated by the first camera (103) in a common representation.
19. Verwendung eines visuellen Ausgabegeräts (101 ) nach einem der Ansprüche 1 bis 16 19. Use of a visual output device (101) according to one of claims 1 to 16
an Bord eines Wasserfahrzeugs.  on board a watercraft.
20. Verwendung eines visuellen Ausgabegeräts (101 ) nach einem der Ansprüche 1 bis 16 20. Use of a visual output device (101) according to one of claims 1 to 16
zur Steuerung einer Maschine durch einen Menschen in Abhängigkeit von einem Messwert, wobei der Mensch das visuelle Ausgabegerät (101 ) trägt,  for controlling a machine by a person in dependence on a measured value, wherein the person carries the visual output device (101),
wobei die erste Kamera (103) ein Abbild von der Maschine erzeugt,  the first camera (103) producing an image of the machine,
wobei die Darstellungs-Einrichtung (1 15, 21 1 )  wherein the presentation device (1 15, 21 1)
- als das oder ein virtuelles Objekt (213) eine visuelle Darstellung des Messwerts erzeugt und  - As the or a virtual object (213) generates a visual representation of the measured value and
- das Abbild von der Maschine und die visuelle Darstellung des Messwerts als eine gemeinsame Darstellung präsentiert. Verfahren zur visuellen Präsentation von Informationen an einen Menschen unter Verwendung eines visuellen Ausgabegeräts (101 ) mit presenting the image from the machine and the visual representation of the measurement as a common representation. A method of visually presenting information to a human using a visual output device (101)
- einem Träger,  a carrier,
- einer Darstellungs-Einrichtung (1 15, 21 1 ) und  - A presentation device (1 15, 21 1) and
- einer am Träger befestigten ersten Kamera (103), wobei das Verfahren die Schritte umfasst, dass  a first camera (103) attached to the carrier, the method comprising the steps of
ein Mensch das visuelle Ausgabegerät (101 ) trägt, a human wearing the visual output device (101),
die erste Kamera (103) ein Abbild (215) von der Umgebung des visuellen Ausgabegeräts (101 ) erzeugt und the first camera (103) generates an image (215) of the environment of the visual output device (101) and
die Darstellungs-Einrichtung (1 15, 21 1 ) das von der ersten Kamera (103) erzeugte Abbild (215) dem Menschen, der das visuelle Ausgabegerät (101 ) trägt, präsentiert, dadurch gekennzeichnet, dass the presentation device (1 15, 21 1) presents the image (215) generated by the first camera (103) to the person wearing the visual output device (101), characterized in that
das visuelle Ausgabegerät (101 ) the visual output device (101)
- eine Empfangs-Einrichtung (1 17) umfasst und  - comprises a receiving device (1 17) and
- einen optisch dichten Raum vor den Augen eines Menschen, der das visuelle Ausgabegerät (101 ) trägt, bereitstellt,  providing an optically dense space in front of the eyes of a human wearing the visual output device (101),
wobei der bereitgestellte optisch dichte Raum das Eindringen von Licht von der realen Umgebung in den bereitgestellten optisch dichten Raum verhindert und das Verfahren die weiteren Schritte umfasst, dass wherein the provided optically dense space prevents the penetration of light from the real environment into the provided optically dense space and the method comprises the further steps of
- die Empfangs-Einrichtung (1 17) mindestens ein Signal von einer räumlich entfernten Sende-Einrichtung empfängt,  the receiving device (17) receives at least one signal from a spatially remote transmitting device,
- die Darstellungs-Einrichtung (1 15, 21 1 ) abhängig von dem oder einem empfangenen Signale mindestens ein virtuelles Objekt (213) erzeugt, welches eine Information in einer von einem Menschen visuell wahrnehmbaren Form darstellt, und  - The display device (1 15, 21 1) depending on the or a received signals generated at least one virtual object (213), which represents information in a form visually perceptible by a human, and
- die Darstellungs-Einrichtung (1 15,  - the presentation device (1 15,
21 1 ) das oder mindestens ein virtuelles Objekt (213) gemeinsam mit dem von der ersten Kamera (103) erzeugten Abbild (215) in einer gemeinsamen Darstellung in dem optisch dichten Raum präsentiert. 21 1) presents the or at least one virtual object (213) together with the image (215) generated by the first camera (103) in a common representation in the optically dense space.
22. Verfahren nach Anspruch 21 , 22. The method according to claim 21,
dadurch gekennzeichnet, dass  characterized in that
ein erster Sensor eine veränderliche Größe misst und dadurch einen ersten Messwert erzeugt,  a first sensor measures a variable variable and thereby generates a first measured value,
der erste Messwert als ein erstes Signal an die Empfangs-Einrichtung (1 17) übertragen wird,  the first measured value is transmitted as a first signal to the receiving device (1 17),
die Darstellungs-Einrichtung (1 15, 21 1 ) als ein erstes virtuelles Objekt (213) eine visuelle Darstellung des empfangenen ersten Messwerts erzeugt und  the presentation device (1 15, 21 1) generates as a first virtual object (213) a visual representation of the received first measured value and
die Darstellungs-Einrichtung (1 15, 21 1 ) in der gemeinsamen Darstellung das erste virtuelle Objekt (213) und das Abbild (215) von der ersten Kamera (103) präsentiert.  the presentation device (1 15, 21 1) in the common representation presents the first virtual object (213) and the image (215) from the first camera (103).
PCT/EP2018/067894 2017-07-04 2018-07-03 Visual output device with a camera and presentation method WO2019007936A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP18736893.1A EP3649539A1 (en) 2017-07-04 2018-07-03 Visual output device with a camera and presentation method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102017114914.7 2017-07-04
DE102017114914.7A DE102017114914A1 (en) 2017-07-04 2017-07-04 Visual output device and operating system
DE102017114905.8A DE102017114905A1 (en) 2017-07-04 2017-07-04 Communication device and operating system
DE102017114905.8 2017-07-04

Publications (1)

Publication Number Publication Date
WO2019007936A1 true WO2019007936A1 (en) 2019-01-10

Family

ID=64950631

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/EP2018/067892 WO2019007934A1 (en) 2017-07-04 2018-07-03 Assembly and method for communicating by means of two visual output devices
PCT/EP2018/067894 WO2019007936A1 (en) 2017-07-04 2018-07-03 Visual output device with a camera and presentation method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/067892 WO2019007934A1 (en) 2017-07-04 2018-07-03 Assembly and method for communicating by means of two visual output devices

Country Status (2)

Country Link
EP (2) EP3649539A1 (en)
WO (2) WO2019007934A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031292A (en) * 2019-12-26 2020-04-17 北京中煤矿山工程有限公司 Coal mine safety production real-time monitoring system based on VR technique

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140306994A1 (en) * 2013-04-12 2014-10-16 Cameron G. Brown Personal holographic billboard
DE102014107211A1 (en) 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Device for displaying a virtual reality as well as measuring device
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
DE102014018056A1 (en) 2014-12-05 2016-06-09 Audi Ag Method of operating a virtual reality glasses and virtual reality glasses
WO2016089545A1 (en) * 2014-12-05 2016-06-09 Illinois Tool Works Inc. Augmented and mediated reality welding helmet systems
DE102015006612A1 (en) 2015-05-21 2016-11-24 Audi Ag Method for operating data glasses in a motor vehicle and system with data glasses

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
DE102004019989B3 (en) * 2004-04-23 2005-12-15 Siemens Ag Arrangement and method for carrying out videoconferencing
US20070030211A1 (en) * 2005-06-02 2007-02-08 Honeywell International Inc. Wearable marine heads-up display system
DE202009010719U1 (en) 2009-08-07 2009-10-15 Eckardt, Manuel communication system
EP2611152A3 (en) * 2011-12-28 2014-10-15 Samsung Electronics Co., Ltd. Display apparatus, image processing system, display method and imaging processing thereof
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9904054B2 (en) 2015-01-23 2018-02-27 Oculus Vr, Llc Headset with strain gauge expression recognition system
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
DE202016000449U1 (en) 2016-01-26 2016-03-08 Johannes Schlemmer Communication system for the remote support of seniors
US10019131B2 (en) 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140306994A1 (en) * 2013-04-12 2014-10-16 Cameron G. Brown Personal holographic billboard
DE102014107211A1 (en) 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Device for displaying a virtual reality as well as measuring device
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
DE102014018056A1 (en) 2014-12-05 2016-06-09 Audi Ag Method of operating a virtual reality glasses and virtual reality glasses
WO2016089545A1 (en) * 2014-12-05 2016-06-09 Illinois Tool Works Inc. Augmented and mediated reality welding helmet systems
DE102015006612A1 (en) 2015-05-21 2016-11-24 Audi Ag Method for operating data glasses in a motor vehicle and system with data glasses

Also Published As

Publication number Publication date
WO2019007934A1 (en) 2019-01-10
EP3649539A1 (en) 2020-05-13
EP3649538A1 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
EP3426366B1 (en) Determining a position, aligning a virtual reality headset, and an amusement ride with a virtual reality headset
EP2901225B1 (en) Operator system for a machine for processing beverages
EP3394708B1 (en) Method for operating a virtual reality system, and virtual reality system
DE102010038341A1 (en) Video surveillance system and method for configuring a video surveillance system
DE102014206626A1 (en) Fatigue detection using data glasses (HMD)
DE102016207009A1 (en) Operating system for a machine of the food industry, in particular the beverage industry
DE102016206154A1 (en) Method and device for generating an image signal and display system for a vehicle
DE102014213021A1 (en) Localization of an HMD in the vehicle
WO2016169554A1 (en) Method for detecting vibrations of a device and vibration detection system
DE102014006732A1 (en) Image overlay of virtual objects in a camera image
EP3619074A1 (en) Mobile sensor apparatus for a head-worn visual output device usable in a vehicle, and method for operating a display system
DE102005045973A1 (en) Device for camera-based tracking has processing arrangement for determining movement information for evaluating images, whereby information characterizes object position change within time interval
WO2019007936A1 (en) Visual output device with a camera and presentation method
DE102018218728A1 (en) System for controlling a machine with a "wearable display"
DE102015006610B4 (en) Method for operating data glasses in a motor vehicle and system with data glasses
DE102014009699B4 (en) Method for operating a display device and system with a display device
DE102016210056A1 (en) Camera arrangement for determining the optical flow, driver assistance system and surveillance camera with the camera arrangement
DE102014206625A1 (en) Positioning of an HMD in the vehicle
DE102017211555A1 (en) Method for monitoring at least one occupant of a motor vehicle, wherein the method is used in particular for monitoring and detecting possible dangerous situations for at least one occupant
DE112021003465T5 (en) INFORMATION PROCESSOR, INFORMATION PROCESSING METHOD AND STORAGE MEDIUM
DE102019131640A1 (en) Method and device for operating a display system with data glasses
DE102014019357B4 (en) Display system for a protective helmet
EP3568737A1 (en) Method for operating a display system with augmented reality glasses in a motor vehicle
DE102016125459B3 (en) Image acquisition method on an image capture system
WO2020161106A1 (en) Security system with sensor device and method of security checking

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18736893

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018736893

Country of ref document: EP

Effective date: 20200204