WO2021020069A1 - 表示装置、表示方法、及び、プログラム - Google Patents

表示装置、表示方法、及び、プログラム Download PDF

Info

Publication number
WO2021020069A1
WO2021020069A1 PCT/JP2020/026959 JP2020026959W WO2021020069A1 WO 2021020069 A1 WO2021020069 A1 WO 2021020069A1 JP 2020026959 W JP2020026959 W JP 2020026959W WO 2021020069 A1 WO2021020069 A1 WO 2021020069A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual information
display
user
display device
control unit
Prior art date
Application number
PCT/JP2020/026959
Other languages
English (en)
French (fr)
Inventor
津田　崇基
松一郎 守屋
大介 吉森
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/627,830 priority Critical patent/US11854444B2/en
Publication of WO2021020069A1 publication Critical patent/WO2021020069A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Definitions

  • the present technology relates to a display device, a display method, and a program, and particularly to a display device, a display method, and a program of a direct drawing method of the retina.
  • the retina direct drawing type display device an image including visual information is projected on the user's retina, and the image is drawn directly on the retina, so that the visual information is superimposed and displayed in the real world within the user's field of view. Further, in the display device of the direct drawing type of the retina, the visual information is always in focus even if the user's field of view moves. Therefore, even in a situation where the visual information is originally out of focus and blurred, the visual information is in focus, and the user may feel uncomfortable and the visibility may be deteriorated.
  • This technology was made in view of such a situation, and is intended to realize AR with excellent visibility by using a display device of the direct retina drawing method.
  • the display device on one aspect of the present technology has a display unit that projects a visual information image including visual information onto the user's retina and superimposes the visual information on the user's field of view, and a display unit that displays the visual information. It includes a visual information control unit that controls the display, and the display unit displays the blurred visual information according to the situation.
  • a display device that projects a visual information image including visual information onto the user's retina and superimposes the visual information on the user's field of view is blurred depending on the situation.
  • the visual information is displayed.
  • the program of one aspect of the present technology is blurred depending on the situation by a computer of a display device that projects a visual information image including visual information onto the user's retina and superimposes the visual information on the user's field of view.
  • the process of displaying the visual information is executed.
  • a visual information image including visual information is projected onto the user's retina, the visual information is superimposed on the user's field of view, and the blurred visual information is displayed depending on the situation. Will be done.
  • Embodiment >> Embodiments of the present technology will be described with reference to FIGS. 1 to 26.
  • FIG. 1 is a block diagram showing an embodiment of a display device 101 to which the present technology is applied.
  • the display device 101 is an eyewear-type display device that draws directly on the retina.
  • the display device 101 projects an image containing visual information (hereinafter referred to as a visual information image) onto the user's retina while being worn on the user's head like glasses, and directly projects the visual information image on the user's retina.
  • a visual information image an image containing visual information
  • Draw an image containing visual information
  • the visual information is superimposed on the real world in the user's field of view, and the user can see the visual information superimposed on the real world.
  • the display device 101 includes an input unit 111, a photographing unit 112, a voice detection unit 113, a sensor unit 114, a control unit 115, a display unit 116, an output unit 117, a communication unit 118, and a storage unit 119.
  • the input unit 111, the photographing unit 112, the voice detection unit 113, the sensor unit 114, the control unit 115, the display unit 116, the output unit 117, the communication unit 118, and the storage unit 119 are connected to each other via the bus 131. There is.
  • the input unit 111 includes input devices such as buttons and switches.
  • the input unit 111 is used, for example, for operating the display device 101 and inputting various data and instructions.
  • the photographing unit 112 includes, for example, an image sensor such as a CMOS sensor.
  • the photographing unit 112 photographs a range including the field of view of the user.
  • the photographing unit 112 outputs data (hereinafter referred to as photographed image data) of an image (hereinafter referred to as a photographed image) obtained as a result of photographing.
  • the voice detection unit 113 includes, for example, a plurality of microphones. Microphones are provided, for example, at least in front, left, and right of the eyewear type display device 101 so that the position of the sound source around the user can be detected. Specifically, for example, microphones are provided at least in the central portion of the front surface of the eyewear-type display device 101 and at least three locations on the left and right temples.
  • the voice detection unit 113 detects the voice around the user and outputs the detected voice data (hereinafter, referred to as voice data).
  • the sensor unit 114 includes a position sensor that receives a GNSS signal from an IMU (Inertial Measurement Unit) including an acceleration sensor and an angular velocity sensor, a GNSS (Global Navigation Satellite System) satellite, and detects the current position.
  • the sensor unit 114 outputs data (hereinafter, referred to as sensor data) indicating the detection result of each sensor.
  • the control unit 115 includes, for example, a processor including a CPU (Central Processing Unit) or the like.
  • the control unit 115 controls each unit of the display device 101, generates a visual information image, controls the display of visual information, shares visual information with other display devices, and the like.
  • CPU Central Processing Unit
  • the display unit 116 projects the visual information image onto the user's retina to superimpose and display the visual information in the user's field of view. Further, as will be described later, the display unit 116 displays blurred visual information according to the situation. A specific configuration example of the display unit 116 will be described later with reference to FIG. 2 and the like.
  • the output unit 117 includes, for example, an output device such as a display, a light emitting element, and a speaker.
  • the output unit 117 outputs information indicating the state of the display device 101 or the like by, for example, an image, light, sound, or the like. Further, for example, the output unit 117 includes an output terminal for outputting image data, audio data, and the like.
  • the communication unit 118 is equipped with a communication device and performs wireless communication with surrounding devices.
  • the communication method of the communication unit 118 is not particularly limited, and for example, short-range wireless communication such as Bluetooth (registered trademark) and NFC (Near Field Communication) is adopted. Further, the communication unit 118 may support a plurality of communication methods.
  • the storage unit 119 includes, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic storage device such as a flash memory, a semiconductor storage device, an optical storage device, or an optical magnetic storage device.
  • the storage unit 119 stores various programs, data, and the like used for processing of the display device 101.
  • ⁇ Configuration example of projection system 201> 2 and 3 show a configuration example of the projection system 201 provided in the display unit 116 of the display device 101 of FIG.
  • a in FIG. 2 is a schematic diagram showing a configuration example of the projection system 201.
  • B of FIG. 2 is an enlarged view of region A of A of FIG. Note that FIG. 2 schematically shows the main ray and the peripheral ray emitted from the projection optical system 221.
  • the projection system 201 includes a projection device 211 and an optical element 212. Since the projection system 201 is used in a state where the positional relationship between the optical element 212 and the eyeball 202 is fixed, the distance between the optical element 212 and the rotation center of the eyeball 202 does not change even if the eyeball 202 rotates. Therefore, it is not necessary to adjust the projected light according to the movement of the eyeball, and it is not necessary to provide an eye tracking device.
  • the projection device 211 includes a projection optical system 221.
  • the projection optical system 221 includes a two-dimensional array display element 231, a lens 232, and a lens 233.
  • the two-dimensional array display element 231 is composed of, for example, an LCD (Liquid Crystal Display), an LCOS (Liquid Crystal On Silicon), or an OLED (Organic Light-Emitting Diode).
  • the two-dimensional array display element 231 forms and emits projected light for displaying a visual information image from the illumination light emitted from a light source (not shown) under the control of the control unit 115.
  • an imaging system and a color separation synthesis system may be provided on the optical path between the light source and the two-dimensional array display element 231.
  • the lens 232 and the lens 233 are provided between the two-dimensional array display element 231 and the optical element 212. As shown in FIG. 2A, the projected light emitted from the two-dimensional array display element 231 is refracted by the lens 232 and further refracted by the lens 233 to enter the optical element 212.
  • the projection system 201 is configured such that the projected light refracted by the lens 233 is focused at the positions P1 to P3 immediately before the optical element 212.
  • the optical element 212 can focus the peripheral light rays near the pupil and project a bright image onto the retina 242.
  • the distance between the focal point and the optical element 212 is set according to the amount of peripheral light rays to be incident on the pupil.
  • the main ray of the projected light incident on the optical element 212 is preferably oriented so that the projected light can be focused in the vicinity of the pupil after being incident on the optical element 212, and is substantially parallel to the optical axis. More preferably. That is, it is preferable that the main ray of the projected light reaches the optical element 212 as a telecentric ray. Therefore, it is preferable that the projection optical system 221 is configured so that the projected light whose main ray is substantially parallel to the optical axis is incident on the optical element 212.
  • the projected light can be focused in the vicinity of the pupil even if the positions of the optical element 212 and the eyeball 202 change. It will be possible. For example, even if the optical element 212 and the eyeball 202 move from the position shown in A of FIG. 3 to the position shown in B or C of FIG. 3, the projected light is focused near the pupil and guided to the retina 242. Can be done. Further, when the main ray of the projected light is substantially parallel to the optical axis, the angle and position of the main ray of the projected light incident on the optical element 212 always change even if the positions of the optical element 212 and the eyeball 202 change. Absent. Therefore, even if the eyeball 202 is moved, it is possible to prevent the resolving power of the central portion of the visual field recognized by the user from changing.
  • the projection optical system 221 is configured so that the projected light is focused near the pupil and reaches the retina 242. That is, the projected light is projected onto the retina 242 by so-called Maxwell vision.
  • the projected light emitted from the projection optical system 221 is diffracted by the optical element 212.
  • the diffracted projected light is focused near the pupil and reaches the retina 242.
  • the Maxwell visual optical system since one dot (minimum display unit) in the image passes through one point on the crystalline lens 241, the one-dot image on the retina is not easily affected by the state of the crystalline lens 241. Therefore, even a user having myopia, hyperopia, astigmatism, etc. can clearly recognize the image.
  • the virtual image that appears to float in space is focus-free, and the virtual image is in focus at any distance from the eye.
  • the optical element 212 collects the projected light near the pupil and reaches the retina 242.
  • the optical element 212 is used in a state where the positional relationship with the eyeball 202 is fixed. As shown in FIG. 2, it is preferable that the optical element 212 is provided in contact with the eyeball 202 and is used in a state where the positional relationship between the optical element 212 and the pupil is fixed. Further, the optical element 212 may have a curved surface, and the center of curvature of the curved surface and the center of rotation of the eyeball 202 may be concentric.
  • the optical element 212 is composed of, for example, a contact lens-like optical element, preferably a contact lens-like holographic optical element.
  • a contact lens-like optical element When the optical element 212 is composed of a contact lens-like optical element, it is possible to enlarge the field of view in which the image by the projected light can be recognized. Further, since the optical element 212 is composed of a contact lens-like optical element, the eye box (that is, the spatial region around the eyeball in which the image by the projected light can be recognized) can be easily enlarged.
  • the projection system 201 by projecting the projected light representing the visual information image onto the retina 242, a virtual image of the visual information appears to float in space. That is, virtual visual information is superimposed and displayed on the real world within the user's field of view.
  • the projection system 201 may be provided for both eyes of the user, or may be provided only for one eye.
  • the former can use stereoscopic vision, and the user can feel the perspective of visual information more naturally.
  • FIG. 4 shows, for example, a configuration example of an information processing unit 301 realized by the control unit 115 of the display device 101 of FIG. 1 executing a program.
  • the information processing unit 301 includes a space recognition unit 311, a voice recognition unit 312, an operation recognition unit 313, a visual information control unit 314, an output control unit 315, a device control unit 316, and a communication control unit 317.
  • the space recognition unit 311 is a user who uses the display device 101 based on the photographed image data supplied from the imaging unit 112, the audio data supplied from the audio detection unit 113, and the sensor data supplied from the sensor unit 114.
  • Various recognition processes are performed on the space including the field of view of the above, that is, the space on which the visual information is superimposed by the display device 101.
  • the space recognition unit 311 performs recognition processing of the type, position, posture, size, shape, feature point, and the like of an object in the space. Further, for example, the space recognition unit 311 performs recognition processing such as the range and movement of the user's field of view, and the direction and movement of the line of sight.
  • the voice recognition unit 312 performs voice recognition processing on the voice data supplied from the voice detection unit 113.
  • the voice recognition unit 312 performs recognition processing such as the position of a sound source around the user, the state of the sound emitted from the sound source (for example, type, volume, pitch, timbre, sound quality, etc.), and the content of the utterance.
  • the operation recognition unit 313 recognizes the user's operation on the visual information based on the recognition results by the space recognition unit 311 and the voice recognition unit 312. For example, the operation recognition unit 313 recognizes an operation on visual information based on the movement of the user's hand recognized by the space recognition unit 311. Further, for example, the operation recognition unit 313 recognizes an operation on the visual information based on the user's voice recognized by the voice recognition unit 312.
  • the visual information control unit 314 generates visual information and controls the display of visual information by the display unit 116. As will be described later, the visual information control unit 314 blurs the visual information depending on the situation.
  • the visual information control unit 314 includes an image processing unit 321, a display control unit 322, and a shared control unit 323.
  • the image processing unit 321 generates a visual information image including visual information. As will be described later, the image processing unit 321 generates a visual information image including blurred visual information depending on the situation.
  • the display control unit 322 supplies visual information image data (hereinafter referred to as visual information image data) to the display unit 116, and controls the display unit 116 to control the position and timing of displaying the visual information. To do.
  • visual information image data hereinafter referred to as visual information image data
  • the sharing control unit 323 controls the processing of sharing visual information with other display devices.
  • sharing the visual information with another display device for example, among the visual information displayed on the other display device, the visual information virtually existing in the user's field of view of the display device 101 is displayed. It is displayed on the device 101.
  • the visual information virtually existing in the user's field of view of the other display device is displayed on the other display device.
  • the output control unit 315 controls the output of various information and data by the output unit 117.
  • the device control unit 316 controls devices around the user (for example, electric appliances). For example, the device control unit 316 transmits a control signal to devices around the user according to the user's operation on the visual information, and controls the device.
  • devices around the user for example, electric appliances.
  • the device control unit 316 transmits a control signal to devices around the user according to the user's operation on the visual information, and controls the device.
  • the communication control unit 317 controls the communication by the communication unit 118.
  • This process starts when the power of the display device 101 is turned on, and ends when the power of the display device 101 is turned off, for example.
  • step S1 the display device 101 determines whether or not the window display is instructed.
  • the space recognition unit 311 performs hand detection processing in the captured image supplied from the photographing unit 112.
  • the space recognition unit 311 detects a hand
  • the space recognition unit 311 further performs a hand shape detection process.
  • the operation recognition unit 313 performs gesture recognition processing based on the detection result of the hand shape. Then, the operation recognition unit 313 recognizes the gesture, and if the recognized gesture matches the gesture instructing the display of the window, it determines that the display of the window has been instructed, and the process proceeds to step S2.
  • the operation recognition unit 313 when the operation recognition unit 313 recognizes a gesture that has been stationary for a predetermined time or longer with the palm 401 facing upward, it determines that the window display has been instructed.
  • step S2 the display device 101 displays a window.
  • the image processing unit 321 generates a visual information image including a window which is one of the visual information.
  • the display control unit 322 supplies the visual information image data to the display unit 116 and controls the display unit 116 to display the window in the user's field of view according to the position where the gesture is performed.
  • the window 402 is displayed in the user's field of view in accordance with the position of the palm 401.
  • an animation of the dinosaur 403 and a description of the dinosaur 403 are displayed in the window 402.
  • step S1 if the operation recognition unit 313 does not recognize the gesture instructing the display of the window, it determines that the display of the window is not instructed, the process of step S2 is skipped, and the process is step S3. Proceed to.
  • step S3 the space recognition unit 311 determines whether or not the user's field of view or line of sight has moved. For example, the space recognition unit 311 may view the user's field of view or based on the captured image data supplied from the photographing unit 112 and the sensor data of each speed sensor and acceleration sensor included in the sensor data supplied from the sensor unit 114. Determine if the line of sight has moved. If it is determined that the user's field of view or line of sight has moved, the process proceeds to step S4.
  • step S4 the display device 101 controls the display of visual information according to the user's visual field or movement of the line of sight. Specifically, by the same process as in step S2, visual information such as a window is displayed in the user's field of view.
  • the image processing unit 321 and the display control unit 322 generate a visual information image in consideration of the visual information that follows the movement of the user's visual field and the visual information that does not follow the movement of the user's visual field. Control the display position of each visual information. Further, the image processing unit 321 blurs the visual information as needed.
  • FIG. 7 shows an example of displaying visual information when the user's field of view moves upward from the state of FIG.
  • the window 402 is superimposed and displayed at the same position in the real space without following the movement of the user's field of view.
  • the display position of the window 402 is set based on, for example, feature points in the real space.
  • the dinosaur 403 existing in the window 402 follows the movement of the user's field of view, and is animated and displayed at substantially the same position as the example of FIG. 6 in the user's field of view.
  • the dinosaur 403 is fixed in a predetermined position in the field of view (following the movement of the field of view), and the window 402 is fixed in a predetermined position in the real space (fixed with respect to the real space). looks like. Also, to the user, the dinosaur 403 appears to have popped out of the window 402. Further, to the user, the dinosaur 403 appears to have moved from near (eg, palm 401) to far (eg, background of dinosaur 403 in FIG. 7 not shown).
  • the image processing unit 321 intentionally blurs the window 402. This allows the user to feel the movement of the dinosaur 403 more naturally.
  • the image processing unit 321 When the user returns the field of view to the state shown in FIG. 6, the image processing unit 321 returns the dinosaur 403 into the window 402, for example, and focuses on both the window 402 and the dinosaur 403.
  • the image processing unit 321 focuses on the window 402 and blurs the dinosaur 403. That is, the visual information in the direction of the user's line of sight is focused, and other visual information is blurred.
  • all the visual information may be blurred. As a result, for example, it is possible to prevent the visual information from being always in focus within the user's field of view, and it is possible to reduce the fatigue of the user's eyes.
  • the content (content of visual information) displayed in the window 402 may be changed based on the movement of at least one of the user's head and line of sight.
  • the content when the content is represented by a hierarchical structure, when the user's head or line of sight moves downward, the lower layer content is displayed in the window 402, and the user's head or line of sight moves upward. If it moves to, the contents of the upper hierarchy may be displayed in the window 402.
  • the content in the window 402 may be scrolled in the direction in which the user's head or line of sight moves.
  • step S3 determines whether the user's field of view and line of sight are moving. If it is determined in step S3 that the user's field of view and line of sight are not moving, the process of step S4 is skipped and the process proceeds to step S5.
  • step S5 the display device 101 determines whether or not the movement of the window is instructed. For example, if the user's gesture is recognized by the same process as in step S1 and the recognized gesture matches the gesture instructing the movement of the window, it is determined that the movement of the window is instructed, and the process proceeds to step S6. ..
  • step S6 the display device 101 moves the position of the window. That is, the display unit 116 stops the display of the window under the control of the visual information control unit 314. As a result, for example, in the example of FIG. 6, the window 402 moves following the movement of the palm 401, or moves to the position where the gesture instructing the display of the window is recognized.
  • step S5 determines whether the movement of the window is not instructed. If it is determined in step S5 that the movement of the window is not instructed, the process of step S6 is skipped and the process proceeds to step S7.
  • step S7 the display device 101 determines whether or not the window deletion is instructed. For example, if the user's gesture is recognized by the same process as in step S1 and the recognized gesture matches the gesture instructing to delete the window, it is determined that the window is instructed to be deleted, and the process proceeds to step S8. ..
  • step S8 the display device 101 erases the window. That is, the display unit 116 stops the display of the window under the control of the visual information control unit 314. This clears the window from the user's field of view.
  • step S1 After that, the process returns to step S1, and the processes after step S1 are executed.
  • step S7 determines whether the window deletion is not instructed. If it is determined in step S7 that the window deletion is not instructed, the process returns to step S1 and the processes after step S1 are executed.
  • the user can display or move the window at a desired position by a simple hand movement. Further, by making a part of the visual information follow the movement of the user's visual field, the visibility of the visual information is improved. Further, by focusing on the visual information in the direction of the user's line of sight and blurring other visual information, it is possible to realize a natural AR with excellent visibility without disturbing the perspective of the user.
  • the auditory cognitive support process is, for example, a process of supporting the cognition of auditory information by using visual information for a user who has an auditory abnormality.
  • This process starts when the power of the display device 101 is turned on, and ends when the power of the display device 101 is turned off, for example.
  • step S101 the voice recognition unit 312 determines whether or not the voice has been detected based on the voice data supplied from the voice detection unit 113. This determination process is repeatedly executed until it is determined that the voice has been detected, and when it is determined that the voice has been detected, the process proceeds to step S102.
  • the voice recognition unit 312 performs voice recognition. Specifically, the voice recognition unit 312 performs voice recognition processing on the voice data supplied from the voice detection unit 113, and recognizes the position of the sound source from which the voice is emitted relative to the user. In addition, the voice recognition unit 312 recognizes states such as voice type, volume, pitch, timbre, and sound quality. Further, the voice recognition unit 312 recognizes the utterance content when the type of voice is a human voice.
  • step S103 the display device 101 displays the auditory cognitive support information.
  • the image processing unit 321 generates a visual information image including auditory cognitive support information which is visual information related to the sound emitted from a sound source around the user.
  • the display control unit 322 supplies the visual information image data to the display unit 116, and controls the projection system 201 to display the auditory cognitive support information according to the position of the sound source in the user's field of view.
  • step S101 After that, the process returns to step S101, and the processes after step S101 are executed.
  • FIG. 9 shows a display example of auditory cognitive support information.
  • the voice state information 511 which is visual information indicating the voice state of the recognized person 501
  • the voice state information 513 which is visual information indicating the voice state of the recognized person 502
  • the voice state information 513 indicating the voice state of the recognized person 502 is displayed immediately to the left of the person 502.
  • utterance information 514 indicating the utterance content of the person 502 is displayed.
  • the voice state information 511 and the voice state information 513 visually represent the state of the voice by the shape, size, number, color, line thickness, etc. of the waveform.
  • FIG. 10 shows an example of expression of voice state information with respect to volume.
  • a of FIG. 10 shows an example of voice state information in the case of silence
  • B of FIG. 10 shows an example of voice state information for a normal quiet sound
  • C of FIG. 10 shows a voice state for a normal loud sound.
  • An example of the information is shown.
  • the voice state information is represented by one circle (hereinafter referred to as a basic circle).
  • a basic circle On the other hand, if it is not silent, a plurality of curves representing the volume are superimposed on the basic circle. Further, the louder the volume, the larger the distortion (amplitude) of the curve.
  • FIG. 11 shows an example of expression of voice state information with respect to the number of sounds included in the voice.
  • a of FIG. 11 shows an example of voice state information for a voice containing many sounds
  • B of FIG. 11 shows an example of voice state information including only one sound.
  • the number of sounds increases, so does the number of curves that overlap the base circle.
  • FIG. 12 shows an example of voice state information with respect to pitch.
  • a of FIG. 12 shows an example of voice state information for a low sound
  • B of FIG. 12 shows an example of voice state information for a high-pitched sound.
  • the lower the sound the thicker the curve representing the voice state information.
  • the curve representing the voice state information changes drastically.
  • the voice state information may represent an emotion recognized from the human voice. For example, for a calm voice, the color of the curve representing the voice state information is set to green, and for a sad voice, the color of the curve representing the voice state information is set to blue, making the voice angry. On the other hand, the color of the curve representing the voice state information is set to red.
  • a user with an auditory abnormality can recognize more detailed and accurate auditory information.
  • the user can recognize the utterance contents of the person 501 and the person 502 by the utterance information 512 and the utterance information 514.
  • the user can recognize the position of the sound source of each voice, that is, the position of the subject of each conversation, from the positions of the voice state information 511 and the utterance information 512, and the voice state information 513 and the utterance information 514.
  • the user can recognize the voice state that cannot be recognized only by the utterance information 512 and the utterance information 514 by the voice state information 511 and the voice state information 513.
  • the display position of the voice state information does not necessarily have to be accurately adjusted to the position of the sound source, and the direction of the sound source may be roughly known. Further, the display position of the audio state information may not correspond to the position in the vertical direction of the sound source, but may correspond only to the position in the horizontal direction.
  • This process starts when the power of the display device 101 is turned on, and ends when the power of the display device 101 is turned off, for example.
  • step S201 the space recognition unit 311 determines whether or not the keyboard has been detected. This determination process is repeatedly executed until the space recognition unit 311 determines that the keyboard has been detected, and when the space recognition unit 311 determines that the keyboard has been detected, the process proceeds to step S202.
  • step S202 the display device 101 displays a virtual display according to the position of the keyboard.
  • the image processing unit 321 generates a visual information image including a virtual display which is one of the visual information.
  • the display control unit 322 supplies visual information image data to the display unit 116 and controls the display unit 116 to display a virtual display in the user's field of view according to the position of the keyboard.
  • FIG. 14 shows a display example of the virtual display 603.
  • the keyboard 602 is placed on the desk 601 in the real space within the user's field of view. No information is printed on the key top of each key of the keyboard 602.
  • the display control unit 322 sets the display position of the virtual display 603 based on the feature points of the keyboard 602 recognized by the space recognition unit 311 (for example, the four corners of the keyboard 602). For example, the display position of the virtual display 603 is set to a position that is easy for the user to see while using the keyboard 602. Then, the display control unit 322 controls the display unit 116 to display the virtual display 603 at the set display position in the user's field of view.
  • the image processing unit 321 may generate a visual information image in which the periphery of the virtual display 603 is blurred.
  • the vicinity of the boundary between the virtual display 603 and the real world is blurred in the user's field of view.
  • the user receives the impression that the virtual display 603 is spatially expanded from the actual size, and is prevented from receiving the illusion that information is lost near the boundary of the virtual display 603.
  • the user's visibility and workability are improved.
  • step S203 the display control unit 322 determines whether or not the display of the key top is set to the variable mode. If it is determined that the display of the key top is set to the variable mode, the process proceeds to step S204.
  • variable mode is a mode in which the information displayed on the key top of each key of the keyboard changes according to the situation.
  • step S204 the space recognition unit 311 determines whether or not the finger has approached the key top. If it is determined that the finger approaches the key top, the process proceeds to step S205.
  • step S205 the display device 101 displays the key top.
  • the image processing unit 321 generates a visual information image including visual information to be displayed on the key top as operation support information for supporting the operation of the keyboard.
  • the display control unit 322 supplies the visual information image data to the display unit 116 and controls the display unit 116 to display the visual information on the key top of each key of the keyboard in the user's field of view.
  • the visual information displayed on the key top changes depending on the situation.
  • the visual information displayed on the key top changes according to the information displayed on the virtual display and the function being operated.
  • the characters and symbols assigned to each key, or the name and icon of the function assigned to each key are displayed on the key top of each key in the user's view.
  • the visual information may be displayed only on the key tops of the keys close to the user's finger and the keys around the key.
  • step S204 determines whether the finger is close to the key top. If it is determined in step S204 that the finger is not close to the key top, the process of step S205 is skipped and the process proceeds to step S207.
  • step S203 If it is determined in step S203 that the key top display is set to the fixed mode, the process proceeds to step S206.
  • the fixed mode is a mode in which the information displayed on the key top of each key of the keyboard does not change according to the situation and is fixed.
  • step S206 the key top is displayed in the same manner as in the process of step S205.
  • the visual information displayed on the key top of each key is fixed.
  • characters and symbols printed on the key tops of each key of a commercially available keyboard are displayed on the key tops of each key in the user's field of view.
  • step S207 the space recognition unit 311 determines whether or not the key top is hidden by hand. If there is a key on the keyboard whose key top cannot be seen by the user's hand in the user's field of view, the space recognition unit 311 determines that the key top is hidden by the hand, and the process proceeds to step S208. ..
  • step S208 the display device 101 superimposes and displays the visual information of the hidden portion of the key top on the hand.
  • the image processing unit 321 generates a visual information image including visual information for a key whose key top cannot be seen by the user's hand and which needs to display visual information in the user's field of view.
  • the display control unit 322 supplies the visual information image data to the display unit 116, and by controlling the display unit 116, provides visual information for the key in which the key top is hidden in the user's field of view. It is displayed overlaid on.
  • FIG. 15 shows an example in which the visual information of the key top is superimposed and displayed on the user's hand.
  • some keys on the keyboard 602 are hidden by the user's left hand 611L and right hand 611R.
  • the visual information for the key top of the hidden key is displayed superimposed on the left hand 611L and the right hand 611R.
  • the characters printed on the key top of a commercially available keyboard and the outer frame of the key are displayed on top of the left hand 611L and the right hand 611R.
  • the visual information for the key pressed by the user may be displayed separately from the visual information for other keys.
  • the visual information for the key is different from the visual information for other keys (for example, different colors). It may be displayed.
  • step S201 After that, the process returns to step S201, and the processes after step S201 are executed.
  • step S207 determines whether the key top is hidden by hand. If it is determined in step S207 that the key top is not hidden by hand, the process returns to step S201, and the processes after step S201 are executed.
  • the user can display the virtual display 603 at an appropriate position in the field of view simply by placing the keyboard 602 in the field of view, and can perform work or the like using the keyboard 602 and the virtual display 603. ..
  • the virtual display 603 does not occupy physical space. Therefore, for example, the user can easily carry out the work at a desired place as long as he / she carries the keyboard 602 and has a space where the keyboard 602 can be placed. Further, since the virtual display 603 is visible only to the user and invisible to others, for example, the user can perform highly confidential work even in a public place.
  • This process starts when the power of the display device 101 is turned on, and ends when the power of the display device 101 is turned off, for example.
  • step S301 the display device 101 shares information regarding the user's field of view with the surrounding display devices.
  • the communication unit 118 transmits information on the user's field of view to the surrounding display device under the control of the communication control unit 317. Further, the communication unit 118 receives information on the user's field of view of the surrounding display device from the surrounding display device under the control of the communication control unit 317.
  • the information regarding the user's field of view includes, for example, captured image data in a range including the user's field of view, acceleration and angular velocity of the display device, and sensor data indicating the current position.
  • the former when distinguishing between the user of the display device 101 and the user of the surrounding display device, the former is referred to as a local user and the latter is referred to as another user.
  • the shared control unit 323 calculates the positional relationship of the field of view of each user. Specifically, the shared control unit 323 calculates the range of the field of view of the own user in the real world based on the captured image, acceleration, angular velocity, and current position of the display device 101. In addition, the shared control unit 323 calculates the range of the field of view of another user in the real world based on the captured image, acceleration, angular velocity, and current position of the surrounding display device. Further, the sharing control unit 323 calculates a shared area where the visual fields overlap between the users based on the visual field range of the own user and the visual field range of the other user.
  • FIG. 17 schematically shows the range of the field of view of each user.
  • the area Ra indicates the range of the field of view of the user A who is the user (own user) of the display device 101.
  • the area Rb indicates the range of view of the user B of the surrounding display device B.
  • the region Rc indicates the range of view of the user C of the surrounding display device C.
  • the shared area Rall where the areas Ra, the area Rb, and the area Rc overlap is an area where the fields of view of the users A to C overlap.
  • the shared area Rab where only the area Ra and the area Rb overlap is an area where the fields of view of the user A and the user B overlap.
  • the shared area Rbc in which only the area Rb and the area Rc overlap is an area in which the fields of view of the user B and the user C overlap.
  • the shared area Rca where only the area Rc and the area Ra overlap is an area where the fields of view of the user C and the user A overlap.
  • step S303 the display device 101 shares visual information with surrounding display devices.
  • the shared control unit 323 includes image data for displaying visual information existing within the visual range of another user among the visual information displayed by the display device 101, and the visual information.
  • Generate visual information sharing data including display position in the real world.
  • the display position of the visual information in the real world indicates the position where the visual information is superimposed and displayed in the real world within the field of view of the own user.
  • the communication unit 118 transmits the visual information sharing data to the surrounding display devices under the control of the communication control unit 317.
  • the communication unit 118 receives the same visual information sharing data from the surrounding display devices under the control of the communication control unit 317.
  • the display device 101 used by the user A is included in the shared area Rall and the shared area Rab among the visual information virtually displayed in the area Ra.
  • the visual information sharing data regarding the visually displayed visual information is transmitted to the display device B.
  • the display device 101 displays the visual information sharing data related to the visual information virtually displayed in the shared area Rall and the shared area Rca among the visual information virtually displayed in the area Ra. Send to.
  • the display device 101 is provided with visual information sharing data relating to the visual information virtually displayed in the shared area Rall and the shared area Rab among the visual information virtually displayed in the area Rb by the display device B. Is received from the display device B. Further, the display device 101 has visual information sharing data relating to the visual information virtually displayed in the shared area Rall and the shared area Rca among the visual information virtually displayed in the area Rc by the display device C. Is received from the display device C.
  • the former is referred to as original visual information and the latter is referred to as ambient visual information.
  • step S304 the display device 101 displays visual information.
  • the image processing unit 321 generates a visual information image including original visual information and surrounding visual information.
  • the display control unit 322 supplies the visual information image data to the display unit 116 and controls the display unit 116 to display the original visual information and the surrounding visual information within the user's field of view.
  • step S301 After that, the process returns to step S301, and the processes after step S301 are executed.
  • FIG. 18 schematically shows the state of view of the own user of the display device 101.
  • the desk 701 and the desk 702 exist in the field of view of the own user.
  • the user 703 sits on the other side of the desk 702, and the user 703 operates the keyboard 704 on the desk 702.
  • the building group 705 and the window 706 are displayed as visual information in the field of view of the own user.
  • the building group 705 in the shared area R is the visual information shared between the own user and the user 703. That is, the building group 705 is visually recognized by the own user and the user 703 from different directions via the respective display devices.
  • the own user and the user 703 can have a conversation or the like while looking at a virtual building group 705 that does not exist in the real world.
  • window 706 is only visible to the user. Therefore, the own user can perform various operations using the window 706 without being seen by surrounding users.
  • the window 706 is shifted to the left from the line-of-sight direction of the own user, so it may be blurred.
  • each visual information may be shown by which user.
  • FIG. 19 shows a display example of visual information 721 in the field of view of the own user.
  • the shadow 722a and the shadow 722b which are visual information indicating the user sharing the visual information 721, that is, the user viewing the visual information 721 (hereinafter referred to as a viewer), are the shadows of the visual information 721.
  • the shadow 722a extends in the direction of the own user (display device 101)
  • the shadow 722b extends in the direction of another user (display device) sharing the visual information 721.
  • the shadows 722a and 722b have different patterns (for example, colors, patterns, etc.) so that the corresponding users can identify them. Further, when a plurality of visual informations are shared, the shadow pattern is distinguished for each user so that each user can be uniquely identified, and the shadow pattern for the same user is unified.
  • visual information indicating the owner of each visual information may be displayed.
  • the owner of the visual information is the user of the display device displaying the original visual information. Therefore, among the viewers of a certain visual information, the owner is looking at the original visual information corresponding to the visual information, and the user other than the owner is looking at the shared visual information corresponding to the visual information. become.
  • FIG. 20 shows a display example of visual information 731 and visual information 732 in the field of view of the own user.
  • the visual information 731 is the original visual information
  • the visual information 732 is the surrounding visual information.
  • a glow 733 which is visual information for identifying the own user who is the owner of the visual information 731, is displayed around the visual information 731. Further, around the visual information 732, a glow 734 for identifying another user who is the owner of the visual information 732 is displayed.
  • Glow 733 and Glow 734 are distinguished so that the owner can be identified. Further, the glow pattern is distinguished for each user so that the owner of each visual information can be uniquely identified, and the glow pattern of the same owner is unified.
  • visual information can be shared between users.
  • each user can move the position of the original visual information by a predetermined operation.
  • each user cannot move the position of the shared visual information. Therefore, each user can supply the original visual information with another user or cancel the sharing with the other user by moving the position of the original visual information.
  • each user can select a user who shares the original visual information by moving the position of the original visual information.
  • This process starts when the power of the display device 101 is turned on, and ends when the power of the display device 101 is turned off, for example.
  • step S401 the display device 101 determines whether or not the display of the operation tool is instructed. For example, by the same process as step S1 of FIG. 5, when the user's gesture is recognized and the recognized gesture matches the gesture instructing the display of the operation tool, it is determined that the display of the operation tool is instructed and the process is performed. Proceeds to step S2.
  • step S402 the display device 101 displays the operation tool.
  • the image processing unit 321 generates a visual information image including an operation tool which is one of the visual information.
  • the display control unit 322 supplies visual information image data to the display unit 116, and controls the display unit 116 to display a virtual operation tool in the user's field of view.
  • the operation tool is displayed, for example, in the user's field of view so as to overlap one of the devices that can be operated by the operation tool, or in the vicinity of the device. Then, the device becomes an operation target by the operation tool.
  • the device to be operated by the operation tool will be referred to as the device to be operated.
  • the operation tool is displayed at a position specified by the user in the user's field of view.
  • FIG. 22 shows a display example of the operation tool.
  • the air conditioner 801 and the TV 802 are present in the user's field of view as devices that can be operated by the operation tool. Then, when the user stands still for a while with the palm 803 up, the operation tool 804 is displayed on the right side of the TV 802.
  • the operation tool 804 is translucent and circular. In this example, an example is shown in which the operation target of the operation tool 804 is set to the TV 802, and the operation tool 804 enables the operation of the power supply and the volume of the TV 802. Further, visual information 805 indicating that the operation target device is the TV 802 and the volume is set to 30 is displayed on the right side of the field of view.
  • FIG. 23 shows a display example of the operation tool 804 in each state.
  • a in FIG. 23 shows a display example of the operation tool 804 in the standby state.
  • the standby state is a state in which the operation tool 804 cannot be operated before it is activated.
  • FIG. 23 shows a display example when the operation tool 804 is activated and is in an operable state.
  • the curve around the operation tool 804 is thicker than in the standby state, and the word "ready" is displayed in the center.
  • FIG. 23 shows a display example when the operation tool 804 is superimposed on a specific device.
  • a display example when the operation tool 804 is superimposed on the TV is shown.
  • the curve of the operation tool 804 becomes thicker, and a display effect is applied around the curve.
  • the name of the device on which the operation tool 804 is overlapped and the operation target is displayed.
  • step S401 determines whether the display of the operation tool is not instructed. If it is determined in step S401 that the display of the operation tool is not instructed, the process of step S402 is skipped and the process proceeds to step S403.
  • step S403 the operation recognition unit 313 determines whether or not an operation has been performed on the operation tool. For example, if the user's gesture is recognized by the same process as in step S1 of FIG. 5, and the recognized gesture matches the gesture representing the operation for the operation tool, it is determined that the operation for the operation tool has been performed, and step S404 Proceed to.
  • step S404 the display device 101 performs a process corresponding to the operation content.
  • the image processing unit 321 generates a visual information image in which the display of the operation tool is updated according to the operation content.
  • the display control unit 322 supplies the visual information image data to the display unit 116, and controls the display unit 116 to display the operation tool at a position corresponding to the operation content in the user's field of view.
  • FIG. 24 shows a display example when various operations are performed on the operation tool 804 of FIG. 22.
  • FIG. 24A shows a display example when the operation tool 804 is pinched.
  • the curve around the operation tool 804 is deformed and the word "Grip" is displayed in the center.
  • FIG. 24 shows a display example when the operation tool 804 is pressed from the right side.
  • the curve around the operation tool 804 is distorted to the left, and an arrow to the left is displayed in the center.
  • C in FIG. 24 shows a display example when the operation tool 804 is grasped.
  • the curve around the operation tool 804 is tripled, and the thick curve is sandwiched between the two thin curves.
  • the word "Grab" is displayed in the center. In this state, for example, the user can move the display position of the operation tool by moving the hand that virtually grasps the operation tool.
  • the device control unit 316 generates a control signal corresponding to the operation content when the operation target device is operated by using the operation tool.
  • the communication unit 118 transmits a control signal to the operation target device under the control of the communication control unit 317.
  • the operation target device performs processing based on the control signal.
  • the user can operate the operation target device by using the operation tool.
  • the device control unit 316 changes the operation target device to the device when the operation tool is overlapped or brought close to the device different from the operation target device.
  • step S403 determines whether operation has been performed on the operation tool. If it is determined in step S403 that no operation has been performed on the operation tool, the process of step S404 is skipped and the process proceeds to step S405.
  • step S405 the display device 101 determines whether or not the operation tool is instructed to be erased. For example, by the same process as in step S1 of FIG. 5, when the user's gesture is recognized and the recognized gesture matches the gesture instructing the deletion of the operation tool, it is determined that the deletion of the operation tool has been instructed, and the step. Proceed to S406.
  • step S406 the display device 101 erases the operation tool. That is, the display unit 116 stops the display of the operation tool under the control of the visual information control unit 314. This removes the operating tools from the user's field of view.
  • step S401 After that, the process returns to step S401, and the processes after step S401 are executed.
  • step S405 determines whether the operation tool is not instructed to be deleted. If it is determined in step S405 that the operation tool is not instructed to be deleted, the process returns to step S401, and the processes after step S401 are executed.
  • the user can operate various devices by operating the operation tool virtually displayed in the field of view.
  • the distance between the user and the display position of the operation tool is not particularly limited. Therefore, the operation tool can be displayed near the user, and the operability is improved.
  • the visual information remote display process is a process of externally controlling the visual information displayed on the display device 101.
  • step S501 the display device 101 transmits an image of the user's field of view.
  • the communication unit 118 transmits the captured image data supplied from the photographing unit 112 to an external device under the control of the communication control unit 317.
  • the external device is not particularly limited.
  • the external device is composed of a PC (Personal Computer), a tablet terminal, a smartphone, a mobile phone, a server, and the like.
  • the display device 101 may directly communicate with an external device or may communicate via a network.
  • step S502 the display device 101 receives the visual information superimposed on the user's field of view.
  • a remote user uses the external device to generate visual information to be displayed in the user's field of view of the display device 101 and acquire it from the display device 101. Specify the display position of the visual information in the captured image. Then, the external device generates image data for displaying the visual information and remote visual information data including the display position of the visual information in the captured image, and transmits the remote visual information data to the display device 101.
  • the communication unit 118 of the display device 101 receives the remote visual information data under the control of the communication control unit 317.
  • step S503 the display device 101 displays the received visual information.
  • the image processing unit 321 generates a visual information image including visual information received from an external device.
  • the display control unit 322 supplies the visual information image data to the display unit 116 and controls the display unit 116 to display the visual information received from the external device in the user's field of view.
  • the display control unit 322 controls the display position of the visual information so as to substantially match the position designated on the captured image in the user's field of view.
  • FIG. 26 shows an example of displaying visual information in this process.
  • the cityscape exists in the user's field of view. Then, in the upper left corner of the user's field of view, a map 901, which is one of the visual information, is displayed. A pointer 911 indicating a destination is displayed in the map 901. Further, a pointer 902, which is visual information indicating a destination, is displayed on the central building in the user's field of view.
  • the remote user instructs the user of the destination and guides the user to the destination by displaying the map 901 and the pointer 902 in the user's field of view of the display device 101 from an external device. can do.
  • the remote user can give an instruction or provide information to the user from a distance, for example, by remotely controlling the visual information in the user's field of view.
  • FIG. 27 shows a configuration example of the display system 1001 to which the present technology is applied.
  • the display system 1001 includes a display device 1011 and an information processing device 1012, and a server 1013.
  • the information processing apparatus 1012 and the server 1013 can be connected to each other and communicate with each other via the network 1021. Further, the display device 1011 and the information processing device 1012 can directly communicate with each other.
  • the display device 1011 has, for example, at least the same function as the display unit 116 of the display device 101 of FIG. 1, and can display visual information superimposed in the user's field of view. On the other hand, the display device 1011 does not have a function of generating a visual information image. Then, the display device 1011 receives the visual information image data from the information processing device 1012, or receives the visual information image data from the server 1013 via the network 1021 and the information processing device 1012. Then, the display device 1011 displays the visual information based on the visual information image data received from the outside.
  • the information processing device 1012 or the server 1013 may include functions other than the visual information image generation function among the functions provided in the display device 101.
  • the type of the information processing device 1012 is not particularly limited.
  • the information processing device 1012 is composed of a PC, a tablet terminal, a smartphone, a mobile phone, and the like.
  • FIG. 28 shows a configuration example of the projection system 1101, which is a first modification of the projection system.
  • the parts corresponding to the projection system 201 of FIG. 2 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the projection system 1101 includes a projection device 1111 and an optical element 212.
  • the projection device 1111 includes a projection optical system 1121.
  • the projection optical system 1121 includes a light source 1131, a scanning mirror 1132, and a lens 1133.
  • the light source 1131 irradiates a light beam toward the scanning mirror 1132.
  • the light source 1131 for example, an LED (Light Emitting Diode), an LD (Laser Diode), or the like is used.
  • the scanning mirror 1132 two-dimensionally scans the laser beam emitted from the light source 1131 to bring the laser beam to the optical element 212.
  • a MEMS (Micro Electro Mechanical Systems) mirror is used for the scanning mirror 1132.
  • the scanning mirror 1132 can move the direction of the laser beam at high speed so that an image is formed on the retina 242.
  • the lens 1133 is provided between the light source 1131 and the optical element 212.
  • the laser light (projected light) projected from the light source 1131 is refracted by the lens 1133 and incident on the optical element 212.
  • FIG. 29 shows a configuration example of the projection system 1201, which is a second modification of the projection system.
  • the parts corresponding to the projection system 201 of FIG. 2 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the projection system 1201 is different from the projection system 201 in that it includes an optical element 1211 instead of the optical element 212.
  • the optical element 1211 is used in a state where it does not come into contact with the surface of the eyeball.
  • FIG. 30 shows a configuration example of the projection system 1251, which is a third modification of the projection system.
  • the parts corresponding to the projection system 1201 in FIG. 29 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the projection system 1251 is different from the projection system 1201 in that it includes an optical element 1261 instead of the optical element 1211.
  • the optical element 1261 is similar to the optical element 1211 in that it is used in a state where it does not come into contact with the surface of the eyeball, but is different in that it has a curved surface.
  • the projection system is not limited to the above-mentioned configuration as long as the direct drawing of the retina can be realized.
  • FIGS. 13 to 15 show an example in which the virtual display 603 is displayed on the keyboard 602, the virtual display 603 may be displayed on other operating devices. As other operation devices, for example, switches, buttons, mice, keys, knobs, operation consoles, etc., or combinations thereof are assumed.
  • the operation support information for supporting the operation of the operation device may be displayed as visual information in the user's field of view.
  • the operation support information the function of the operation device, the operation method, and the like are assumed.
  • the window or virtual display in the direction of the user's line of sight may be in the active state, and the other window or virtual display may be in the inactive state. Then, the window or virtual display in the active state may be focused, and the window or virtual display in the inactive state may be blurred.
  • this technique can be applied to, for example, a case where AR is realized by using a display device other than the direct drawing method of the retina, except for the embodiment of blurring visual information.
  • the series of processes described above can be executed by hardware or by software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • the program executed by the computer can be recorded and provided on a removable medium such as a package media (for example, the removable media constituting the storage unit 119 of FIG. 1). Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program executed by the computer may be a program that is processed in chronological order in the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a display unit that projects a visual information image including visual information onto the user's retina and superimposes the visual information on the user's field of view. It is provided with a visual information control unit that controls the display of the visual information by the display unit.
  • the display unit is a display device that displays the visual information that is blurred according to the situation.
  • the display unit displays the visual information blurred based on the direction of the line of sight of the user.
  • the visual information control unit makes the display position of the first visual information follow the movement of the user's visual field and fixes the display position of the second visual information with respect to the real world. apparatus.
  • the display device changes the content of the visual information based on the movement of at least one of the user's head and line of sight.
  • the visual information control unit displays the visual information at a position corresponding to the position of the hand in the user's field of view based on the movement of the user's hand in any of the above (1) to (8).
  • the display device described. The visual information includes a virtual operation tool used for operating the device.
  • the display device according to (9) above, further comprising a device control unit that controls the device based on an operation on the operation tool.
  • the display device according to any one of (1) to (10) above, wherein the visual information control unit controls a display position of the visual information regarding a sound emitted from the sound source based on the position of the sound source.
  • the visual information indicates the state of the voice.
  • the visual information includes a virtual display.
  • the display device according to any one of (1) to (12) above, wherein the display unit displays the virtual display at a position corresponding to an operation device in the user's field of view.
  • the visual information includes operation support information for supporting an operation on the operation device.
  • the display device 13), wherein the visual information control unit controls the display of the operation support information based on the movement of the user's hand with respect to the operation device.
  • the display device according to any one of (1) to (14), wherein the visual information control unit controls sharing of the visual information with another display device.
  • the display unit displays the visual information displayed in the field of view of another user who uses the other display device so as to overlap with the field of view of the user in the field of view of the user.
  • the display device according to 15).
  • the visual information control unit controls the display of at least one of the information indicating the owner of the visual information and the information indicating the viewer of the visual information.
  • the visual information control unit controls the display of the visual information received from the outside.
  • a display device that projects a visual information image including visual information onto the user's retina and superimposes the visual information on the user's field of view.
  • a computer of a display device that projects a visual information image including visual information onto the user's retina and superimposes the visual information on the user's field of view.
  • a program that executes a process to display the blurred visual information according to the situation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、網膜直描方式の表示装置を用いて、視認性に優れたＡＲを実現することができるようにする表示装置、表示方法、及び、プログラムに関する。 表示装置は、視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示部と、前記表示部による前記視覚情報の表示を制御する視覚情報制御部とを備え、前記表示部は、状況に応じてぼかされた前記視覚情報を表示する。本技術は、例えば、アイウエア型の表示装置に適用できる。

Description

表示装置、表示方法、及び、プログラム
　本技術は、表示装置、表示方法、及び、プログラムに関し、特に、網膜直描方式の表示装置、表示方法、及び、プログラムに関する。
　従来、網膜直描方式の表示装置を用いて、ＡＲ（Augmented Reality：拡張現実）を実現することが提案されている（例えば、特許文献１参照）。
特開２０１５－１１８８３２号公報
　網膜直描方式の表示装置では、視覚情報を含む画像がユーザの網膜に投影され、直接網膜に画像が描かれることにより、ユーザの視界内の現実世界に視覚情報が重ねて表示される。また、網膜直描方式の表示装置では、ユーザの視界が動いても常に視覚情報にピントがあった状態になる。そのため、本来ピントが合わずにぼけるような状況においても視覚情報にピントが合ってしまうため、却ってユーザが違和感を覚え、視認性が低下するおそれがある。
　本技術は、このような状況に鑑みてなされたものであり、網膜直描方式の表示装置を用いて、視認性に優れたＡＲを実現するようにするものである。
　本技術の一側面の表示装置は、視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示部と、前記表示部による前記視覚情報の表示を制御する視覚情報制御部とを備え、前記表示部は、状況に応じてぼかされた前記視覚情報を表示する。
　本技術の一側面の表示方法は、視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示装置が、状況に応じてぼかされた前記視覚情報を表示する。
　本技術の一側面のプログラムは、視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示装置のコンピュータに、状況に応じてぼかされた前記視覚情報を表示する処理を実行させる。
　本技術の一側面においては、視覚情報を含む視覚情報画像がユーザの網膜に投影され、前記視覚情報が前記ユーザの視界に重ねて表示され、状況に応じてぼかされた前記視覚情報が表示される。
本技術を適用した表示装置の構成例を示すブロック図である。 図１の表示装置の表示部を構成する投影システムの構成例を示す図である。 光学素子と投影光との関係を示す図である。 図１の表示装置の制御部により実現される情報処理部の構成例を示すブロック図である。 ウインドウ表示制御処理を説明するためのフローチャートである。 ウインドウの表示例を示す図である。 ウインドウの表示例を示す図である。 聴覚認知サポート処理を説明するためのフローチャートである。 聴覚認知サポート情報の表示例を示す図である。 音声状態情報の表示例を示す図である。 音声状態情報の表示例を示す図である。 音声状態情報の表示例を示す図である。 仮想ディスプレイ表示処理を説明するためのフローチャートである。 仮想ディスプレイの表示例を示す図である。 キーボードのキートップの表示例を示す図である。 視覚情報共有処理を説明するためのフローチャートである。 各ユーザの視界の範囲の例を示す模式図である。 視覚情報の共有方法を説明するための図である。 視覚情報の閲覧者の表示例を示す図である。 視覚情報の所有者の表示例を示す図である。 機器制御処理を説明するためのフローチャートである。 操作ツールの表示例を示す図である。 操作ツールの表示例を示す図である。 操作ツールの表示例を示す図である。 視覚情報遠隔表示処理を説明するためのフローチャートである。 視覚情報の遠隔表示の例を示す図である。 本技術を適用した表示システムの構成例を示すブロック図である。 投影システムの第１の変形例を示す図である。 投影システムの第２の変形例を示す図である。 投影システムの第３の変形例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　＜＜１．実施の形態＞＞
　図１乃至図２６を参照して、本技術の実施の形態について説明する。
　　＜表示装置の構成例＞
　図１は、本技術を適用した表示装置１０１の一実施の形態を示すブロック図である。
　表示装置１０１は、網膜直描方式のアイウエア型の表示装置である。表示装置１０１は、眼鏡のようにユーザの頭部に装着された状態で、視覚情報を含む画像（以下、視覚情報画像と称する）をユーザの網膜に投影し、直接ユーザの網膜に視覚情報画像を描く。これにより、ユーザの視界内において、視覚情報が現実世界に重ねて表示され、ユーザは視覚情報を現実世界に重ねて見ることができる。
　表示装置１０１は、入力部１１１、撮影部１１２、音声検出部１１３、センサ部１１４、制御部１１５、表示部１１６、出力部１１７、通信部１１８、及び、記憶部１１９を備える。入力部１１１、撮影部１１２、音声検出部１１３、センサ部１１４、制御部１１５、表示部１１６、出力部１１７、通信部１１８、及び、記憶部１１９は、バス１３１を介して相互に接続されている。
　入力部１１１は、ボタン、スイッチ等の入力デバイスを備える。入力部１１１は、例えば、表示装置１０１の操作、並びに、各種のデータ及び指示等の入力に用いられる。
　撮影部１１２は、例えば、ＣＭＯＳセンサ等のイメージセンサを備える。撮影部１１２は、ユーザの視界を含む範囲の撮影を行う。撮影部１１２は、撮影の結果得られた画像（以下、撮影画像と称する）のデータ（以下、撮影画像データと称する）を出力する。
　音声検出部１１３は、例えば、複数のマイクロフォンを備える。マイクロフォンは、例えば、ユーザの周囲の音源の位置を検出できるように、少なくともアイウエア型の表示装置１０１の前、左、右の３カ所に設けられる。具体的には、例えば、マイクロフォンは、アイウエア型の表示装置１０１の正面の中央部、並びに、左及び右のテンプルの３カ所に少なくとも設けられる。音声検出部１１３は、ユーザの周囲の音声の検出を行い、検出した音声のデータ（以下、音声データと称する）を出力する。
　センサ部１１４は、加速度センサ及び角速度センサを含むＩＭＵ（Inertial Measurement Unit）、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信し、現在位置を検出する位置センサ等を備える。センサ部１１４は、各センサの検出結果を示すデータ（以下、センサデータと称する）を出力する。
　制御部１１５は、例えば、ＣＰＵ（Central Processing Unit）等からなるプロセッサ等を備える。制御部１１５は、表示装置１０１の各部を制御したり、視覚情報画像の生成、視覚情報の表示の制御、他の表示装置との視覚情報の共有等の処理を行ったりする。
　表示部１１６は、視覚情報画像をユーザの網膜に投影することにより、ユーザの視界内に視覚情報を重ねて表示する。また、後述するように、表示部１１６は、状況に応じてぼかされた視覚情報を表示する。なお、表示部１１６の具体的な構成例は、図２等を参照して後述する。
　出力部１１７は、例えば、ディスプレイ、発光素子、スピーカ等の出力デバイスを備える。出力部１１７は、例えば、画像、光、音声等により、表示装置１０１の状態等を示す情報を出力する。また、例えば、出力部１１７は、画像データ、音声データ等を出力するための出力端子を備える。
　通信部１１８は、通信デバイスを備え、周囲の機器と無線通信を行う。なお、通信部１１８の通信方式は、特に限定されず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）等の近距離無線通信が採用される。また、通信部１１８は、複数の通信方式に対応していてもよい。
　記憶部１１９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は、光磁気記憶デバイス等を備える。記憶部１１９は、表示装置１０１の処理に用いる各種のプログラムやデータ等を記憶する。
　　＜投影システム２０１の構成例＞
　図２及び図３は、図１の表示装置１０１の表示部１１６に設けられる投影システム２０１の構成例を示している。
　図２のＡは、投影システム２０１の構成例を示す模式図である。図２のＢは、図２のＡの領域Ａの拡大図である。なお、図２では、投影光学系２２１から照射される主光線及び周辺光線を模式的に示している。
　投影システム２０１は、投影装置２１１及び光学素子２１２を備える。投影システム２０１は、光学素子２１２と眼球２０２との位置関係が固定された状態で使用されるため、眼球２０２が回転しても、光学素子２１２と眼球２０２の回転中心との距離が変化しない。そのため、眼球の動きに応じて投影光を調整する必要がなく、アイトラッキング装置を設ける必要がない。
　投影装置２１１は、投影光学系２２１を備えている。投影光学系２２１は、２次元配列表示素子２３１、レンズ２３２、及び、レンズ２３３を備えている。
　２次元配列表示素子２３１は、例えば、ＬＣＤ（Liquid Crystal Display）、ＬＣＯＳ（Liquid Crystal On Silicon）、又は、ＯＬＥＤ（Organic Light-Emitting Diode）により構成される。２次元配列表示素子２３１は、例えば、制御部１１５の制御の下に、光源（図示せず）から出射された照明光から、視覚情報画像を表示するための投影光を形成し、出射する。光源と２次元配列表示素子２３１との間の光路上には、例えば、結像系及び色分離合成系が設けられてもよい。
　レンズ２３２及びレンズ２３３は、２次元配列表示素子２３１と光学素子２１２との間に設けられる。図２のＡに示すように、２次元配列表示素子２３１から出射された投影光は、レンズ２３２で屈折し、さらにレンズ２３３で屈折して光学素子２１２に入射する。
　図２のＢに示されるように、投影システム２０１は、レンズ２３３によって屈折した投影光が光学素子２１２の直前の位置Ｐ１乃至Ｐ３で焦点を結ぶように構成されている。投影光が光学素子２１２の直前で焦点を結ぶことで、周辺光線が瞳孔にけられることを抑えることができ、周辺光線を十分に瞳孔に入射させることができる。すなわち、光学素子２１２が周辺光線を瞳孔付近に集光し、明るい像を網膜２４２に投影することができる。なお、焦点と光学素子２１２との間の距離は、瞳孔に入射させたい周辺光線の量に応じて設定される。
　なお、光学素子２１２に入射する投影光の主光線は、投影光が光学素子２１２に入射したあと瞳孔付近に集光可能であるような向きであることが好ましく、光軸に対して略平行であることがより好ましい。すなわち、投影光の主光線はテレセントリック光線として光学素子２１２に到達することが好ましい。従って、投影光学系２２１は、主光線が光軸に対して略平行である投影光を光学素子２１２に入射させるように構成されることが好ましい。
　図３に示すように、投影光の主光線が光軸に対して略平行であることにより、光学素子２１２及び眼球２０２の位置が変化しても、投影光を瞳孔付近で集光させることが可能となる。例えば、図３のＡに示される位置から、図３のＢ又はＣに示される位置に光学素子２１２及び眼球２０２が移動しても、投影光を瞳孔付近で集光させ、網膜２４２に導くことができる。また、投影光の主光線が光軸に対して略平行であると、光学素子２１２及び眼球２０２の位置が変化しても光学素子２１２に入射する投影光の主光線の角度や位置は常に変わらない。そのため、眼球２０２を動かしても、ユーザが認識する視野の中央部の解像力が変化しないようにすることが可能となる。
　また、投影光学系２２１は、投影光が瞳孔付近で集光され、網膜２４２に到達されるように構成される。すなわち、投影光は、いわゆるマックスウェル視によって網膜２４２に投影される。例えば、図２のＡに示すように、投影光学系２２１から出射された投影光は、光学素子２１２により回折される。回折された投影光は、瞳孔付近で集光され、網膜２４２に到達する。
　マックスウェル視光学系においては、画像中の１ドット（最小表示単位）が水晶体２４１上の１点を通るので、網膜上の１ドットの像が水晶体２４１の状態による影響を受けにくい。よって、例えば近視、遠視又は乱視などを有するユーザであっても、画像をはっきりと認識することができる。また、空間に浮かんで見える虚像はフォーカスフリーであり、虚像が眼からどの距離にあってもピントが合う。
　光学素子２１２は、投影光を瞳孔付近に集光させ、網膜２４２に到達させる。光学素子２１２は、眼球２０２との位置関係が固定された状態で使用される。図２に示されるように、光学素子２１２は、例えば、眼球２０２に接して設けられ、光学素子２１２と瞳孔との位置関係が固定された状態で使用されることが好ましい。また、光学素子２１２は、曲面を有していてもよく、曲面の曲率中心と眼球２０２の回転中心とが同心であってもよい。光学素子２１２と瞳孔との位置関係が固定されることによって、眼球２０２が回転して瞳孔の位置が変化しても、レンズ２３３で屈折した投影光を瞳孔付近で集光させることができる。
　光学素子２１２は、例えば、コンタクトレンズ様光学素子により構成され、好ましくはコンタクトレンズ様のホログラフィック光学素子により構成される。光学素子２１２がコンタクトレンズ様光学素子により構成されることにより、投影光による画像を認識可能な視野（field of view）を拡大することができる。また、光学素子２１２がコンタクトレンズ様光学素子により構成されることにより、アイボックス（すなわち、投影光による画像を認識可能な眼球周囲の空間領域）を容易に拡大することができる。
　このように、投影システム２０１では、視覚情報画像を表す投影光を網膜２４２に投影することにより、視覚情報の虚像が、空間に浮かんで見える。すなわち、ユーザの視界内の現実世界に仮想の視覚情報が重ねて表示される。
　なお、投影システム２０１は、ユーザの両目に対してそれぞれ設けるようにしてもよいし、片目に対してのみ設けるようにしてもよい。なお、前者の方が、立体視を用いることができ、ユーザは、視覚情報の遠近感をより自然に感じることができる。
　　＜情報処理部３０１の構成例＞
　図４は、例えば、図１の表示装置１０１の制御部１１５がプログラムを実行することにより実現される情報処理部３０１の構成例を示している。
　情報処理部３０１は、空間認識部３１１、音声認識部３１２、操作認識部３１３、視覚情報制御部３１４、出力制御部３１５、機器制御部３１６、及び、通信制御部３１７を備える。
　空間認識部３１１は、撮影部１１２から供給される撮影画像データ、音声検出部１１３から供給される音声データ、及び、センサ部１１４から供給されるセンサデータに基づいて、表示装置１０１を使用するユーザの視界を含む空間、すなわち、表示装置１０１により視覚情報が重畳される空間に対する各種の認識処理を行う。例えば、空間認識部３１１は、空間内の物体の種類、位置、姿勢、大きさ、形状、特徴点等の認識処理を行う。また、例えば、空間認識部３１１は、ユーザの視界の範囲及び動き、並びに、視線の向き及び動き等の認識処理を行う。
　音声認識部３１２は、音声検出部１１３から供給される音声データに対して音声認識処理を行う。例えば、音声認識部３１２は、ユーザの周囲の音源の位置、音源から発せられる音声の状態（例えば、種類、音量、高さ、音色、音質等）、発話内容等の認識処理を行う。
　操作認識部３１３は、空間認識部３１１及び音声認識部３１２による認識結果に基づいて、視覚情報に対するユーザの操作を認識する。例えば、操作認識部３１３は、空間認識部３１１により認識されたユーザの手の動きに基づいて、視覚情報に対する操作を認識する。また、例えば、操作認識部３１３は、音声認識部３１２により認識されたユーザの音声に基づいて、視覚情報に対する操作を認識する。
　視覚情報制御部３１４は、視覚情報の生成、及び、表示部１１６による視覚情報の表示の制御等を行う。なお、後述するように、視覚情報制御部３１４は、状況に応じて視覚情報をぼかす。視覚情報制御部３１４は、画像処理部３２１、表示制御部３２２、及び、共有制御部３２３を備える。
　画像処理部３２１は、視覚情報を含む視覚情報画像を生成する。なお、後述するように、画像処理部３２１は、状況に応じてぼかした視覚情報を含む視覚情報画像を生成する。
　表示制御部３２２は、表示部１１６に視覚情報画像のデータ（以下、視覚情報画像データと称する）を供給するとともに、表示部１１６を制御することにより、視覚情報を表示する位置及びタイミング等を制御する。
　共有制御部３２３は、他の表示装置との視覚情報の共有処理の制御を行う。他の表示装置と視覚情報の共有処理を行うことにより、例えば、他の表示装置に表示されている視覚情報のうち、表示装置１０１のユーザの視界内に仮想的に存在する視覚情報が、表示装置１０１に表示される。また、逆に、表示装置１０１に表示されている視覚情報のうち、他の表示装置のユーザの視界内に仮想的に存在する視覚情報が、当該他の表示装置に表示される。
　出力制御部３１５は、出力部１１７による各種の情報やデータの出力を制御する。
　機器制御部３１６は、ユーザの周囲の機器（例えば、電化製品等）の制御を行う。例えば、機器制御部３１６は、視覚情報に対するユーザ操作に従って、ユーザの周囲の機器に制御信号を送信し、当該機器の制御を行う。
　通信制御部３１７は、通信部１１８による通信の制御を行う。
　　＜表示装置１０１の処理＞
　次に、図５乃至図２６を参照して、表示装置１０１の処理について説明する。
　　　＜ウインドウ表示制御処理＞
　まず、図５のフローチャートを参照して、表示装置１０１により実行されるウインドウ表示制御処理について説明する。
　この処理は、例えば、表示装置１０１の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ１において、表示装置１０１は、ウインドウの表示が指示されたか否かを判定する。
　例えば、空間認識部３１１は、撮影部１１２から供給される撮影画像内において手の検出処理を行う。空間認識部３１１は、手を検出した場合、さらに手の形の検出処理を行う。
　操作認識部３１３は、手の形の検出結果に基づいて、ジェスチャの認識処理を行う。そして、操作認識部３１３は、ジェスチャを認識し、さらに、認識したジェスチャがウインドウの表示を指示するジェスチャと一致する場合、ウインドウの表示が指示されたと判定し、処理はステップＳ２に進む。
　例えば、操作認識部３１３は、図６に示されるように、手のひら４０１が上に向けられた状態で所定の時間以上静止したジェスチャを認識した場合、ウインドウの表示が指示されたと判定する。
　ステップＳ２において、表示装置１０１は、ウインドウを表示する。
　具体的には、画像処理部３２１は、視覚情報の１つであるウインドウを含む視覚情報画像を生成する。
　表示制御部３２２は、視覚情報画像データを表示部１１６に供給するとともに、表示部１１６を制御することにより、ユーザの視界内において、ジェスチャが行われた位置に合わせてウインドウを表示させる。
　これにより、例えば、図６に示されるように、ユーザの視界内において、手のひら４０１の位置に合わせて、ウインドウ４０２が表示される。この例では、ウインドウ４０２内に、恐竜４０３のアニメーション及び恐竜４０３に関する説明文が表示されている。
　その後、処理はステップＳ３に進む。
　一方、ステップＳ１において、操作認識部３１３は、ウインドウの表示を指示するジェスチャを認識しなかった場合、ウインドウの表示が指示されていないと判定し、ステップＳ２の処理はスキップされ、処理はステップＳ３に進む。
　ステップＳ３において、空間認識部３１１は、ユーザの視界又は視線が動いたか否かを判定する。例えば、空間認識部３１１は、撮影部１１２から供給される撮影画像データ、並びに、センサ部１１４から供給されるセンサデータに含まれる各速度センサ及び加速度センサのセンサデータに基づいて、ユーザの視界又は視線が動いたか否かを判定する。ユーザの視界又は視線が動いたと判定された場合、処理はステップＳ４に進む。
　ステップＳ４において、表示装置１０１は、ユーザの視界又は視線の動きに合わせて、視覚情報の表示を制御する。具体的には、ステップＳ２と同様の処理により、ユーザの視界内にウインドウ等の視覚情報が表示される。このとき、画像処理部３２１及び表示制御部３２２は、ユーザの視界の動きに追従する視覚情報と、ユーザの視界の動きに追従しない視覚情報とを考慮して、視覚情報画像を生成するとともに、各視覚情報の表示位置を制御する。また、画像処理部３２１は、必要に応じて視覚情報をぼかす。
　図７は、図６の状態からユーザの視界が上方向に移動した場合の視覚情報の表示例を示している。
　この例では、ウインドウ４０２は、ユーザの視界の動きに追従せずに、実空間の同じ位置に重ねて表示されている。なお、ウインドウ４０２の表示位置は、例えば、実空間内の特徴点に基づいて設定される。
　一方、図６の例において、ウインドウ４０２内に存在していた恐竜４０３は、ユーザの視界の動きに追従し、ユーザの視界内において図６の例と略同じ位置にアニメーション表示されている。
　従って、ユーザには、恐竜４０３が視界内の所定の位置に固定され（視界の動きに追従し）、ウインドウ４０２が実空間内の所定の位置に固定（実空間に対して固定）されているように見える。また、ユーザには、恐竜４０３がウインドウ４０２から飛び出したように見える。さらに、ユーザには、恐竜４０３が近く（例えば、手のひら４０１）から遠く（例えば、図示しない図７の恐竜４０３の背景）に移動したように見える。
　ここで、恐竜４０３が近くから遠くに移動したにも関わらず、遠くの恐竜４０３と近くのウインドウ４０２の両方にピントが合っていると、ユーザの遠近感が狂い、ユーザが違和感を覚える恐れがある。そこで、例えば、画像処理部３２１は、ウインドウ４０２を意図的にぼかす。これにより、ユーザは、恐竜４０３の動きをより自然に感じるようになる。
　なお、ユーザが視界を図６の状態に戻すと、画像処理部３２１は、例えば、ウインドウ４０２内に恐竜４０３を戻し、ウインドウ４０２及び恐竜４０３の両方にピントを合わす。
　また、例えば、図７の状態において、ユーザが視線をウインドウ４０２の方に向けた場合、画像処理部３２１は、ウインドウ４０２にピントを合わし、恐竜４０３をぼかす。すなわち、ユーザの視線方向にある視覚情報にピントが合わせられ、他の視覚情報がぼかされる。
　なお、ユーザの視線がいずれの視覚情報にも向けられていない場合、全ての視覚情報をぼかすようにしてもよい。これにより、例えば、ユーザの視界内において常に視覚情報にピントがあった状態となることが防止され、ユーザの目の疲れを軽減することができる。
　また、例えば、ユーザの頭部及び視線のうち少なくとも１つの動きに基づいて、ウインドウ４０２内に表示されるコンテンツ（視覚情報の内容）を変化させるようにしてもよい。
　例えば、コンテンツの内容が階層構造で表される場合、ユーザの頭部又は視線が下方向に動いた場合、下位の階層のコンテンツがウインドウ４０２内に表示され、ユーザの頭部又は視線が上方向に動いた場合、上位の階層のコンテンツがウインドウ４０２内に表示されるようにしてもよい。
　さらに、例えば、ウインドウ４０２内のコンテンツが、ユーザの頭部又は視線が動いた方向にスクロールするようにしてもよい。
　その後、処理はステップＳ５に進む。
　一方、ステップＳ３において、ユーザの視界及び視線が動いていないと判定された場合、ステップＳ４の処理はスキップされ、処理はステップＳ５に進む。
　ステップＳ５において、表示装置１０１は、ウインドウの移動が指示されたか否かを判定する。例えば、ステップＳ１と同様の処理により、ユーザのジェスチャが認識され、認識されたジェスチャがウインドウの移動を指示するジェスチャと一致する場合、ウインドウの移動が指示されたと判定され、処理はステップＳ６に進む。
　ステップＳ６において、表示装置１０１は、ウインドウの位置を移動する。すなわち、表示部１１６は、視覚情報制御部３１４の制御の下に、ウインドウの表示を停止する。これにより、例えば、図６の例において、ウインドウ４０２が、手のひら４０１の動きに追従して移動したり、ウインドウの表示を指示するジェスチャを認識した位置に移動したりする。
　その後、処理はステップＳ７に進む。
　一方、ステップＳ５において、ウインドウの移動が指示されていないと判定された場合、ステップＳ６の処理はスキップされ、処理はステップＳ７に進む。
　ステップＳ７において、表示装置１０１は、ウインドウの消去が指示されたか否かを判定する。例えば、ステップＳ１と同様の処理により、ユーザのジェスチャが認識され、認識されたジェスチャがウインドウの消去を指示するジェスチャと一致する場合、ウインドウの消去が指示されたと判定され、処理はステップＳ８に進む。
　ステップＳ８において、表示装置１０１は、ウインドウを消去する。すなわち、表示部１１６は、視覚情報制御部３１４の制御の下に、ウインドウの表示を停止する。これにより、ユーザの視界からウインドウが消去される。
　その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
　一方、ステップＳ７において、ウインドウの消去が指示されていないと判定された場合、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
　以上のように、ユーザは、簡単な手の動きにより、所望の位置にウインドウを表示させたり、移動させたりすることができる。また、視覚情報の一部をユーザの視界の動きに追従させることにより、当該視覚情報の視認性が向上する。さらに、ユーザの視線方向にある視覚情報にピントを合わせ、他の視覚情報をぼかすことにより、ユーザの遠近感が狂うことなく、視認性に優れた自然なＡＲを実現することができる。
　　　＜聴覚認知サポート処理＞
　次に、図８のフローチャートを参照して、表示装置１０１により実行される聴覚認知サポート処理について説明する。
　聴覚認知サポート処理とは、例えば、聴覚に異常があるユーザのために、視覚情報を用いて聴覚情報の認知を支援する処理のことである。
　この処理は、例えば、表示装置１０１の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ１０１において、音声認識部３１２は、音声検出部１１３から供給される音声データに基づいて、音声が検出されたか否かを判定する。この判定処理は、音声が検出されたと判定されるまで繰り返し実行され、音声が検出されたと判定された場合、処理はステップＳ１０２に進む。
　ステップＳ１０２において、音声認識部３１２は、音声認識を行う。具体的には、音声認識部３１２は、音声検出部１１３から供給される音声データに対して音声認識処理を行い、音声が発せられた音源のユーザに対する相対位置を認識する。また、音声認識部３１２は、音声の種類、音量、高さ、音色、音質等の状態を認識する。また、音声認識部３１２は、音声の種類が人の声である場合、発話内容を認識する。
　ステップＳ１０３において、表示装置１０１は、聴覚認知サポート情報を表示する。具体的には、画像処理部３２１は、ユーザの周囲の音源から発せられた音声に関する視覚情報である聴覚認知サポート情報を含む視覚情報画像を生成する。表示制御部３２２は、視覚情報画像データを表示部１１６に供給するとともに、投影システム２０１を制御することにより、ユーザの視界内において、音源の位置に合わせて聴覚認知サポート情報を表示させる。
　その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
　図９は、聴覚認知サポート情報の表示例を示している。
　この例では、ユーザの視界内の人５０１及び人５０２が会話している。なお、人５０２は、ユーザの視界内に腕の一部のみ含まれ、顔は見えていない。また、認識された人５０１の音声の状態を示す視覚情報である音声状態情報５１１が、人５０１に重ねて表示されている。さらに、音声状態情報５１１の下に、人５０１の発話内容を示す視覚情報である発話情報５１２が表示されている。また、認識された人５０２の音声の状態を示す音声状態情報５１３が、人５０２のすぐ左に表示されている。さらに、音声状態情報５１３の下方に、人５０２の発話内容を示す発話情報５１４が表示されている。
　音声状態情報５１１及び音声状態情報５１３は、音声の状態を、波形の形、大きさ、数、色、線の太さ等により視覚的に表現する。
　図１０乃至図１２は、音声状態情報の表現例を示している。
　図１０は、音量に対する音声状態情報の表現例を示している。図１０のＡは、無音の場合の音声状態情報の例を示し、図１０のＢは、通常の小さな音に対する音声状態情報の例を示し、図１０のＣは、通常の大きな音に対する音声状態情報の例を示している。この例では、無音の場合、音声状態情報は、１つの円（以下、基本円と称する）で表されている。一方、無音でない場合、音量を表す複数の曲線が基本円に重ねられる。また、音量が大きくなるほど、曲線の歪み（振幅）が大きくなる。
　図１１は、音声に含まれる音の数に対する音声状態情報の表現例を示している。図１１のＡは、たくさんの音が含まれる音声に対する音声状態情報の例を示し、図１１のＢは、１つの音のみが含まれる音声状態情報の例を示している。この例では、音の数が増えるほど、基本円に重ねられる曲線の数が多くなる。
　なお、たくさんの音が含まれる音声としては、例えば、多くの人が同じ場所で会話している場合や、多くの楽器の音が含まれる場合等が想定される。
　図１２は、音の高さに対する音声状態情報の例を示している。図１２のＡは、低い音に対する音声状態情報の例を示し、図１２のＢは、甲高い音に対する音声状態情報の例を示している。この例では、音が低くなるほど、音声状態情報を表す曲線が太くなっている。また、音が甲高くなると、音声状態情報を表す曲線が激しく変化するようになる。
　また、音声が人の声である場合、例えば、音声状態情報は、人の声から認識される感情を表すようにしてもよい。例えば、穏やかな声に対しては、音声状態情報を表す曲線の色が緑に設定され、悲しい声に対しては、音声状態情報を表す曲線の色が青に設定され、怒っている声に対しては、音声状態情報を表す曲線の色が赤に設定される。
　以上のようにして、例えば、聴覚に異常があるユーザが、より詳細で正確な聴覚情報を認知することが可能になる。例えば、ユーザは、発話情報５１２及び発話情報５１４により、人５０１及び人５０２の発話内容を認識することができる。また、ユーザは、音声状態情報５１１及び発話情報５１２、並びに、音声状態情報５１３及び発話情報５１４の位置により、各音声の音源の位置、すなわち、各会話の主体の位置を認識することができる。さらに、ユーザは、音声状態情報５１１及び音声状態情報５１３により、発話情報５１２及び発話情報５１４のみでは認識できない音声の状態を認識することができる。
　なお、音声状態情報の表示位置は、必ずしも音源の位置に正確に合わせる必要はなく、音源の方向が大体分かる程度でもよい。また、音声状態情報の表示位置が、音源の上下方向の位置に対応せずに、左右方向の位置のみに対応するようにしてもよい。
　　　＜仮想ディスプレイ表示処理＞
　次に、図１３のフローチャートを参照して、表示装置１０１により実行される仮想ディスプレイ表示処理について説明する。
　この処理は、例えば、表示装置１０１の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ２０１において、空間認識部３１１は、キーボードを検出したか否かを判定する。この判定処理は、空間認識部３１１が、キーボードを検出したと判定するまで繰り返し実行され、空間認識部３１１が、キーボードを検出したと判定した場合、処理はステップＳ２０２に進む。
　ステップＳ２０２において、表示装置１０１は、キーボードの位置に合わせて、仮想ディスプレイを表示する。
　具体的には、画像処理部３２１は、視覚情報の１つである仮想ディスプレイを含む視覚情報画像を生成する。表示制御部３２２は、視覚情報画像データを表示部１１６に供給するとともに、表示部１１６を制御することにより、ユーザの視界内において、キーボードの位置に合わせて仮想ディスプレイを表示させる。
　図１４は、仮想ディスプレイ６０３の表示例を示している。
　この例では、ユーザの視界内の現実空間において、机６０１の上にキーボード６０２が置かれている。キーボード６０２の各キーのキートップには、何の情報も印字されていない。
　表示制御部３２２は、空間認識部３１１により認識されるキーボード６０２の特徴点（例えば、キーボード６０２の四隅等）に基づいて、仮想ディスプレイ６０３の表示位置を設定する。例えば、仮想ディスプレイ６０３の表示位置は、ユーザがキーボード６０２を使用しながら見やすい位置に設定される。そして、表示制御部３２２は、表示部１１６を制御して、ユーザの視界内において、設定された表示位置に仮想ディスプレイ６０３を表示させる。
　なお、例えば、画像処理部３２１は、仮想ディスプレイ６０３の周囲をぼかした視覚情報画像を生成するようにしてもよい。これにより、ユーザの視界内において、仮想ディスプレイ６０３の現実世界との境界付近がぼかされる。そして、ユーザは、仮想ディスプレイ６０３が実際の大きさより空間的に広がった印象を受けるとともに、仮想ディスプレイ６０３の境界付近で情報が消失している錯覚を受けることが防止される。その結果、ユーザの視認性及び作業性が向上する。
　ステップＳ２０３において、表示制御部３２２は、キートップの表示が可変モードに設定されているか否かを判定する。キートップの表示が可変モードに設定されていると判定された場合、処理はステップＳ２０４に進む。
　ここで、可変モードとは、キーボードの各キーのキートップ上に表示される情報が状況に応じて変化するモードである。
　ステップＳ２０４において、空間認識部３１１は、キートップに指が接近したか否かを判定する。キートップに指が接近したと判定された場合、処理はステップＳ２０５に進む。
　ステップＳ２０５において、表示装置１０１は、キートップの表示を行う。
　具体的には、画像処理部３２１は、キーボードの操作を支援するための操作支援情報としてキートップに表示する視覚情報を含む視覚情報画像を生成する。表示制御部３２２は、視覚情報画像データを表示部１１６に供給するとともに、表示部１１６を制御することにより、ユーザの視界内において、キーボードの各キーのキートップ上に視覚情報を表示させる。
　このとき、キートップに表示される視覚情報は、状況に応じて変化する。例えば、キートップに表示される視覚情報は、仮想ディスプレイに表示されている情報や、操作中の機能に応じて変化する。例えば、各キーに割り当てられている文字や記号、又は、各キーに割り当てられている機能の名称やアイコン等が、ユーザの視界内において各キーのキートップ上に表示される。
　また、必ずしもキーボードの全てのキーに視覚情報を表示する必要はない。例えば、ユーザの指が接近したキー、及び、その周辺のキーのキートップ上のみに、視覚情報が表示されるようにしてもよい。
　その後、処理はステップＳ２０７に進む。
　一方、ステップＳ２０４において、キートップに指が接近していないと判定された場合、ステップＳ２０５の処理はスキップされ、処理はステップＳ２０７に進む。
　また、ステップＳ２０３において、キートップの表示が固定モードに設定されていると判定された場合、処理はステップＳ２０６に進む。
　ここで、固定モードとは、キーボードの各キーのキートップ上に表示される情報が状況に応じて変化せずに、固定されているモードである。
　ステップＳ２０６において、ステップＳ２０５の処理と同様に、キートップの表示が行われる。
　このとき、各キーのキートップ上に表示される視覚情報は、固定である。例えば、市販のキーボードの各キーのキートップに印字されている文字や記号が、ユーザの視界内において各キーのキートップ上に表示される。
　その後、処理はステップＳ２０７に進む。
　ステップＳ２０７において、空間認識部３１１は、キートップが手で隠れているか否かを判定する。空間認識部３１１は、ユーザの視界内において、キーボードのキーのうちユーザの手によりキートップが見えないキーが存在する場合、キートップが手で隠れていると判定し、処理はステップＳ２０８に進む。
　ステップＳ２０８において、表示装置１０１は、キートップの隠れている部分の視覚情報を手の上に重ねて表示する。
　具体的には、画像処理部３２１は、ユーザの視界内において、ユーザの手によりキートップが見えないキーのうち視覚情報を表示する必要のあるキーに対する視覚情報を含む視覚情報画像を生成する。表示制御部３２２は、視覚情報画像データを表示部１１６に供給するとともに、表示部１１６を制御することにより、ユーザの視界内において、キートップが隠れているキーに対する視覚情報をユーザの手の上に重ねて表示する。
　図１５は、キートップの視覚情報をユーザの手の上に重ねて表示した例を示している。この例では、キーボード６０２の一部のキーが、ユーザの左手６１１Ｌ及び右手６１１Ｒにより隠れている。そして、隠れているキーのキートップに対する視覚情報が、左手６１１Ｌ及び右手６１１Ｒの上に重ねて表示されている。この例では、市販のキーボードのキートップに印字されている文字及びキーの外枠が、左手６１１Ｌ及び右手６１１Ｒの上に重ねて表示されている。
　なお、例えば、ユーザが押下しているキーに対する視覚情報が、他のキーに対する視覚情報と区別して表示されるようにしてもよい。例えば、図１５の”４”の文字が視覚情報として表示されているキーが押下されている場合、当該キーに対する視覚情報が、他のキーに対する視覚情報と異なる態様（例えば、異なる色等）で表示されるようにしてもよい。
　その後、処理はステップＳ２０１に戻り、ステップＳ２０１以降の処理が実行される。
　一方、ステップＳ２０７において、キートップが手で隠れていないと判定された場合、処理はステップＳ２０１に戻り、ステップＳ２０１以降の処理が実行される。
　このようにして、例えば、ユーザは、キーボード６０２を視界内に置くだけで、視界内の適切な位置に仮想ディスプレイ６０３が表示され、キーボード６０２及び仮想ディスプレイ６０３を用いて作業等を行うことができる。
　また、仮想ディスプレイ６０３は物理的な空間を占めない。従って、例えば、ユーザは、キーボード６０２を持ち歩き、キーボード６０２を置くことができるスペースさえあれば、好きな場所で気軽に作業を行うことができる。さらに、仮想ディスプレイ６０３は、ユーザしか見えず、他者からは見えないため、例えば、ユーザは、公衆の場でも機密性の高い作業を行うことができる。
　　　＜視覚情報共有処理＞
　次に、図１６のフローチャートを参照して、表示装置１０１により実行される視覚情報共有処理について説明する。
　この処理は、例えば、表示装置１０１の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ３０１において、表示装置１０１は、周囲の表示装置とユーザの視界に関する情報を共有する。具体的には、通信部１１８は、通信制御部３１７の制御の下に、ユーザの視界に関する情報を周囲の表示装置に送信する。また、通信部１１８は、通信制御部３１７の制御の下に、周囲の表示装置のユーザの視界に関する情報を周囲の表示装置から受信する。
　ユーザの視界に関する情報は、例えば、ユーザの視界を含む範囲の撮影画像データ、並びに、表示装置の加速度、角速度、及び、現在位置を示すセンサデータを含む。
　なお、以下、表示装置１０１のユーザと、周囲の表示装置のユーザとを区別する場合、前者を自ユーザと称し、後者を他ユーザと称する。
　ステップＳ３０２において、共有制御部３２３は、各ユーザの視界の位置関係を計算する。具体的には、共有制御部３２３は、表示装置１０１の撮影画像、加速度、角速度、及び、現在位置に基づいて、現実世界における自ユーザの視界の範囲を計算する。また、共有制御部３２３は、周囲の表示装置の撮影画像、加速度、角速度、及び、現在位置に基づいて、現実世界における他ユーザの視界の範囲を計算する。さらに、共有制御部３２３は、自ユーザの視界の範囲と、他ユーザの視界の範囲に基づいて、ユーザ間で視界が重なる共有エリアを計算する。
　図１７は、各ユーザの視界の範囲を模式的に示している。領域Ｒａは、表示装置１０１のユーザ（自ユーザ）であるユーザＡの視界の範囲を示している。領域Ｒｂは、周囲の表示装置ＢのユーザＢの視界の範囲を示している。領域Ｒｃは、周囲の表示装置ＣのユーザＣの視界の範囲を示している。
　従って、領域Ｒａ、領域Ｒｂ、及び、領域Ｒｃが重なる共有エリアＲａｌｌは、ユーザＡ乃至ユーザＣの視界が重なる領域となる。領域Ｒａと領域Ｒｂのみが重なる共有エリアＲａｂは、ユーザＡとユーザＢの視界が重なる領域となる。領域Ｒｂと領域Ｒｃのみが重なる共有エリアＲｂｃは、ユーザＢとユーザＣの視界が重なる領域となる。領域Ｒｃと領域Ｒａのみが重なる共有エリアＲｃａは、ユーザＣとユーザＡの視界が重なる領域となる。
　ステップＳ３０３において、表示装置１０１は、周囲の表示装置と視覚情報を共有する。具体的には、共有制御部３２３は、表示装置１０１が表示している視覚情報のうち、他ユーザの視界の範囲内に存在する視覚情報を表示するための画像データ、及び、当該視覚情報の現実世界における表示位置を含む視覚情報共有データを生成する。視覚情報の現実世界における表示位置は、自ユーザの視界内の現実世界において視覚情報が重ねて表示されている位置を示す。通信部１１８は、通信制御部３１７の制御の下に、周囲の表示装置に視覚情報共有データを送信する。
　また、通信部１１８は、通信制御部３１７の制御の下に、周囲の表示装置から、同様の視覚情報共有データを受信する。
　例えば、図１７の例の場合、ユーザＡ（自ユーザ）が使用している表示装置１０１は、領域Ｒａ内に仮想的に表示している視覚情報のうち、共有エリアＲａｌｌ及び共有エリアＲａｂ内に仮想的に表示している視覚情報に関する視覚情報共有データを表示装置Ｂに送信する。また、表示装置１０１は、領域Ｒａ内に仮想的に表示している視覚情報のうち、共有エリアＲａｌｌ及び共有エリアＲｃａ内に仮想的に表示している視覚情報に関する視覚情報共有データを表示装置Ｃに送信する。
　さらに、表示装置１０１は、表示装置Ｂにより領域Ｒｂ内に仮想的に表示されている視覚情報のうち、共有エリアＲａｌｌ及び共有エリアＲａｂ内に仮想的に表示されている視覚情報に関する視覚情報共有データを表示装置Ｂから受信する。また、表示装置１０１は、表示装置Ｃにより領域Ｒｃ内に仮想的に表示されている視覚情報のうち、共有エリアＲａｌｌ及び共有エリアＲｃａ内に仮想的に表示されている視覚情報に関する視覚情報共有データを表示装置Ｃから受信する。
　なお、以下、表示装置１０１が表示している視覚情報と、周囲の表示装置が表示している視覚情報とを区別する場合、前者をオリジナル視覚情報と称し、後者を周囲視覚情報と称する。
　ステップＳ３０４において、表示装置１０１は、視覚情報を表示する。
　具体的には、画像処理部３２１は、オリジナル視覚情報及び周囲視覚情報を含む視覚情報画像を生成する。表示制御部３２２は、視覚情報画像データを表示部１１６に供給するとともに、表示部１１６を制御することにより、ユーザの視界内において、オリジナル視覚情報及び周囲視覚情報を表示する。
　その後、処理はステップＳ３０１に戻り、ステップＳ３０１以降の処理が実行される。
　図１８は、表示装置１０１の自ユーザの視界の様子を模式的に示している。自ユーザの視界内に、机７０１及び机７０２が存在する。また、机７０２の向こう側にユーザ７０３が座っており、ユーザ７０３は、机７０２の上のキーボード７０４を操作している。さらに、自ユーザの視界内に、建物群７０５及びウインドウ７０６が視覚情報として表示されている。
　そして、共有エリアＲ内の建物群７０５が、自ユーザとユーザ７０３との間で共有されている視覚情報である。すなわち、建物群７０５は、自ユーザ及びユーザ７０３から、それぞれの表示装置を介して、異なる方向から視認されている。
　これにより、例えば、自ユーザとユーザ７０３とが、現実世界にない仮想の建物群７０５を見ながら、会話等を行うことができる。
　一方、ウインドウ７０６は自ユーザしか見えていない。従って、自ユーザは、周囲のユーザに見られることなく、ウインドウ７０６を用いて、各種の作業を行うことができる。
　なお、ウインドウ７０６は、自ユーザの視線方向から左にずれているので、ぼかすようにしてもよい。
　ここで、共有エリアが明確に分かるように、例えば、図１８の共有エリアＲを示す視覚情報を、自ユーザ及びユーザ７０３の視界内にそれぞれ表示するようにすることが望ましい。
　また、例えば、図１９に示されるように、各視覚情報が、どのユーザから見えているのかを示すようにしてもよい。
　例えば、図１９は、自ユーザの視界内における視覚情報７２１の表示例を示している。この例では、視覚情報７２１を共有しているユーザ、すなわち、視覚情報７２１を見ているユーザ（以下、閲覧者と称する）を示す視覚情報である影７２２ａ及び影７２２ｂが、視覚情報７２１の影として表示されている。例えば、影７２２ａは自ユーザ（表示装置１０１）の方向に伸びており、影７２２ｂは、視覚情報７２１を共有している他ユーザ（の表示装置）の方向に伸びている。
　なお、影７２２ａ及び影７２２ｂは、対応するユーザが識別できるように、パターン（例えば、色や模様等）が区別される。また、複数の視覚情報が共有されている場合、各ユーザを一意に識別できるように、影のパターンがユーザ毎に区別されるとともに、同じユーザに対する影のパターンは統一される。
　さらに、例えば、図２０に示されるように、各視覚情報の所有者を示す視覚情報を表示するようにしてもよい。視覚情報の所有者とは、そのオリジナル視覚情報を表示している表示装置のユーザのことである。従って、ある視覚情報の閲覧者のうち、所有者は、当該視覚情報に対応するオリジナル視覚情報を見ており、所有者以外のユーザは、当該視覚情報に対応する共有視覚情報を見ていることになる。
　例えば、図２０は、自ユーザの視界内における視覚情報７３１及び視覚情報７３２の表示例を示している。なお、視覚情報７３１はオリジナル視覚情報とされ、視覚情報７３２は周囲視覚情報とされる。
　この例では、視覚情報７３１の周囲に、視覚情報７３１の所有者である自ユーザを識別するための視覚情報である光彩７３３が表示されている。また、視覚情報７３２の周囲に、視覚情報７３２の所有者である他ユーザを識別するための光彩７３４が表示されている。
　なお、光彩７３３及び光彩７３４は、所有者を識別できるようにパターンが区別される。また、各視覚情報の所有者を一意に識別できるように、光彩のパターンがユーザ毎に区別されるとともに、同じ所有者の光彩のパターンは統一される。
　以上のようにして、ユーザ間で視覚情報を共有することができる。
　なお、各ユーザは、所定の操作により、それぞれオリジナル視覚情報の位置を動かすことが可能である。一方、各ユーザは、共有視覚情報の位置を動かすことができない。従って、各ユーザは、オリジナル視覚情報の位置を動かすことにより、オリジナル視覚情報を他のユーザと供給したり、他のユーザとの共有を解消したりすることができる。また、各ユーザは、オリジナル視覚情報の位置を動かすことにより、オリジナル視覚情報を共有するユーザを選択することができる。
　　　＜機器制御処理＞
　次に、図２１のフローチャートを参照して、表示装置１０１により実行される機器制御処理について説明する。
　この処理は、例えば、表示装置１０１の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ４０１において、表示装置１０１は、操作ツールの表示が指示されたか否かを判定する。例えば、図５のステップＳ１と同様の処理により、ユーザのジェスチャが認識され、認識されたジェスチャが操作ツールの表示を指示するジェスチャと一致する場合、操作ツールの表示が指示されたと判定され、処理はステップＳ２に進む。
　ステップＳ４０２において、表示装置１０１は、操作ツールを表示する。
　具体的には、画像処理部３２１は、視覚情報の１つである操作ツールを含む視覚情報画像を生成する。表示制御部３２２は、視覚情報画像データを表示部１１６に供給するとともに、表示部１１６を制御することにより、ユーザの視界内において、仮想の操作ツールを表示させる。
　なお、操作ツールは、例えば、ユーザの視界内おいて、操作ツールにより操作可能な機器のうちの１つの機器と重なるように、又は、当該機器の近傍に表示される。そして、当該機器が、操作ツールによる操作対象となる。
　なお、以下、操作ツールによる操作対象となる機器を操作対象機器と称する。
　又は、操作ツールは、ユーザの視界内において、ユーザにより指定された位置に表示される。
　図２２は、操作ツールの表示例を示している。
　この例では、ユーザの視界内に、操作ツールにより操作可能な機器として、エアコンディショナ８０１及びＴＶ８０２が存在する。そして、ユーザが、手のひら８０３を上にした状態でしばらく静止することにより、ＴＶ８０２の右横に操作ツール８０４が表示される。
　操作ツール８０４は、半透明かつ円形である。この例では、操作ツール８０４の操作対象がＴＶ８０２に設定され、操作ツール８０４により、ＴＶ８０２の電源及び音量の操作が可能になっている例が示されている。また、操作対象機器がＴＶ８０２であり、音量が３０に設定されていることを示す視覚情報８０５が、視界の右側に表示されている。
　図２３は、各状態における操作ツール８０４の表示例を示している。
　図２３のＡは、待機状態の操作ツール８０４の表示例を示している。待機状態とは、操作ツール８０４がアクティベートされる前で操作できない状態である。
　図２３のＢは、操作ツール８０４がアクティベートされ、操作可能な状態になったときの表示例を示している。この例では、待機状態の場合と比較して、操作ツール８０４の周囲の曲線が太くなり、中央に"ready"の文字が表示されている。
　図２３のＣは、特定の機器の上に操作ツール８０４が重ねられたときの表示例を示している。この例では、操作ツール８０４がＴＶの上に重ねられたときの表示例を示している。待機状態と比較して、操作ツール８０４の曲線が太くなるとともに、曲線の周囲に表示効果が施される。また、操作ツール８０４の中央に、操作ツール８０４が重ねられ操作対象となった機器の名称が表示されている。
　その後、処理はステップＳ４０３に進む。
　一方、ステップＳ４０１において、操作ツールの表示が指示されていないと判定された場合、ステップＳ４０２の処理はスキップされ、処理はステップＳ４０３に進む。
　ステップＳ４０３において、操作認識部３１３は、操作ツールに対して操作が行われたか否かを判定する。例えば、図５のステップＳ１と同様の処理により、ユーザのジェスチャが認識され、認識されたジェスチャが操作ツールに対する操作を表すジェスチャと一致する場合、操作ツールに対する操作が行われたと判定し、ステップＳ４０４に進む。
　ステップＳ４０４において、表示装置１０１は、操作内容に対応する処理を行う。
　例えば、画像処理部３２１は、操作内容に応じて、操作ツールの表示を更新した視覚情報画像を生成する。表示制御部３２２は、視覚情報画像データを表示部１１６に供給するとともに、表示部１１６を制御することにより、ユーザの視界内において、操作内容に対応した位置に操作ツールを表示させる。
　図２４は、図２２の操作ツール８０４に対して各種の操作が行われた場合の表示例を示している。
　図２４のＡは、操作ツール８０４がつままれた場合の表示例を示している。この例では、操作ツール８０４の周囲の曲線が変形するとともに、中央に"Grip"の文字が表示されている。
　図２４のＢは、操作ツール８０４が右側から押された場合の表示例を示している。この例では、操作ツール８０４の周囲の曲線が、左方向に歪み、中央に左方向の矢印が表示されている。
　図２４のＣは、操作ツール８０４がつかまれた場合の表示例を示している。この例の場合、操作ツール８０４の周囲の曲線が三重になり、太い曲線が２本の細い曲線により挟まれている。また、中央に"Grab"の文字が表示されている。この状態において、例えば、ユーザは、操作ツールを仮想的につかんだ手を動かすことにより、操作ツールの表示位置を動かすことができる。
　また、機器制御部３１６は、操作ツールを用いて操作対象機器に対する操作が行われた場合、操作内容に対応した制御信号を生成する。通信部１１８は、通信制御部３１７の制御の下に、操作対象機器に制御信号を送信する。
　これに対して、操作対象機器は、制御信号に基づいて処理を行う。これにより、ユーザは、操作ツールを用いて、操作対象機器の操作を行うことができる。
　さらに、機器制御部３１６は、操作ツールが操作対象機器と異なる機器に重ねられたり、近接されたりした場合、当該機器に操作対象機器を変更する。
　その後、処理は、ステップＳ４０５に進む。
　一方、ステップＳ４０３において、操作ツールに対して操作が行われていないと判定された場合、ステップＳ４０４の処理はスキップされ、処理はステップＳ４０５に進む。
　ステップＳ４０５において、表示装置１０１は、操作ツールの消去が指示されたか否かを判定する。例えば、図５のステップＳ１と同様の処理により、ユーザのジェスチャが認識され、認識されたジェスチャが操作ツールの消去を指示するジェスチャと一致する場合、操作ツールの消去が指示されたと判定し、ステップＳ４０６に進む。
　ステップＳ４０６において、表示装置１０１は、操作ツールを消去する。すなわち、表示部１１６は、視覚情報制御部３１４の制御の下に、操作ツールの表示を停止する。これにより、ユーザの視界から操作ツールが消去される。
　その後、処理はステップＳ４０１に戻り、ステップＳ４０１以降の処理が実行される。
　一方、ステップＳ４０５において、操作ツールの消去が指示されていないと判定された場合、処理はステップＳ４０１に戻り、ステップＳ４０１以降の処理が実行される。
　以上のようにして、ユーザは、視界内に仮想的に表示された操作ツールを操作することにより、各種の機器の操作を行うことができる。
　また、従来のユーザの両目の前のディスプレイに表示された視覚情報をユーザが視認する方式では、ユーザの近くに操作ツールを表示させるためには、各ディスプレイの内側（両目の間側）に近い位置に操作ツールを表示させる必要がある。しかし、操作ツールを各ディスプレイの内側に近づけすぎると、ユーザが斜視になるおそれがあるため、ユーザと操作ツールの表示位置との間を、所定の距離以上離す必要が生じる。従って、ユーザは、所定の距離以上離れた操作ツールを操作する必要があり、操作性が低下する。
　一方、網膜直描方式では、斜視になるおそれがないため、ユーザと操作ツールの表示位置との間の距離は特に制限されない。従って、操作ツールをユーザの近くに表示することができ、操作性が向上する。
　　　＜視覚情報遠隔表示処理＞
　次に、図２５のフローチャートを参照して、表示装置１０１により実行される視覚情報遠隔表示処理について説明する。
　視覚情報遠隔表示処理とは、表示装置１０１に表示される視覚情報を外部から制御する処理である。
　ステップＳ５０１において、表示装置１０１は、ユーザの視界の画像を送信する。具体的には、通信部１１８は、通信制御部３１７の制御の下に、撮影部１１２から供給される撮影画像データを、外部の装置に送信する。
　外部の装置は、特に限定されない。例えば、外部の装置は、ＰＣ（Personal Computer）、タブレット端末、スマートフォン、携帯電話機、サーバ等により構成される。また、表示装置１０１は、外部の装置と直接通信を行ってもよいし、ネットワークを介して通信を行ってもよい。
　ステップＳ５０２において、表示装置１０１は、ユーザの視界に重畳する視覚情報を受信する。
　例えば、外部の装置を使用する他のユーザ（以下、遠隔ユーザと称する）は、外部の装置を用いて、表示装置１０１のユーザの視界に表示する視覚情報を生成するとともに、表示装置１０１から取得した撮影画像において視覚情報の表示位置を指定する。そして、外部の装置は、視覚情報を表示するための画像データ、及び、撮影画像における視覚情報の表示位置を含む遠隔視覚情報データを生成し、表示装置１０１に送信する。
　これに対して、表示装置１０１の通信部１１８は、通信制御部３１７の制御の下に、遠隔視覚情報データを受信する。
　ステップＳ５０３において、表示装置１０１は、受信した視覚情報を表示する。具体的には、画像処理部３２１は、外部の装置から受信した視覚情報を含む視覚情報画像を生成する。表示制御部３２２は、視覚情報画像データを表示部１１６に供給するとともに、表示部１１６を制御することにより、ユーザの視界内において、外部の装置から受信した視覚情報を表示させる。このとき、表示制御部３２２は、ユーザの視界内において、撮影画像上で指定された位置と略一致するように、視覚情報の表示位置を制御する。
　その後、視覚情報遠隔表示処理は終了する。
　図２６は、この処理における視覚情報の表示例を示している。
　この例では、ユーザの視界内に街並みが存在する。そして、ユーザの視界内の左上隅に、視覚情報の１つである地図９０１が表示されている。地図９０１内には、目的地を示すポインタ９１１が表示されている。また、ユーザの視界内の中央の建物の上に、目的地を示す視覚情報であるポインタ９０２が表示されている。
　例えば、上述した処理により、遠隔ユーザは、外部の装置から表示装置１０１のユーザの視界内に地図９０１及びポインタ９０２を表示させることにより、ユーザに目的地を指示するとともに、目的地までユーザを誘導することができる。
　なお、この例に限らず、遠隔ユーザは、ユーザの視界内の視覚情報を遠隔制御することにより、例えば、遠方からユーザに指示を与えたり、情報を提供したりすることができる。
　　＜＜２．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　　＜システムの構成に関する変形例＞
　以上の説明では、表示装置１０１が単独で視覚情報を生成し、表示する例を示したが、例えば、表示装置１０１の処理を複数の装置で分担して行うようにしてもよい。
　図２７は、本技術を適用した表示システム１００１の構成例を示している。
　表示システム１００１は、表示装置１０１１、情報処理装置１０１２、及び、サーバ１０１３を備える。情報処理装置１０１２及びサーバ１０１３は、ネットワーク１０２１を介して、相互に接続され、通信することが可能である。また、表示装置１０１１と情報処理装置１０１２は、直接通信することが可能である。
　表示装置１０１１は、例えば、少なくとも図１の表示装置１０１の表示部１１６と同様の機能を備えており、ユーザの視界内に視覚情報を重ねて表示することが可能である。一方、表示装置１０１１は、視覚情報画像を生成する機能を有していない。そして、表示装置１０１１は、視覚情報画像データを情報処理装置１０１２から受信したり、ネットワーク１０２１及び情報処理装置１０１２を介して、サーバ１０１３から受信したりする。そして、表示装置１０１１は、外部から受信した視覚情報画像データに基づいて、視覚情報を表示する。
　なお、情報処理装置１０１２又はサーバ１０１３が、表示装置１０１が備える機能のうち、視覚情報画像の生成機能以外の機能も備えるようにしてもよい。
　また、情報処理装置１０１２の種類は特に限定されない。例えば、情報処理装置１０１２は、ＰＣ、タブレット端末、スマートフォン、携帯電話機等により構成される。
　　＜投影システムに関する変形例＞
　図２及び図３を参照して上述した投影システム２０１の構成例は、その一例であり、変更することが可能である。
　　　＜投影システムの第１の変形例＞
　図２８は、投影システムの第１の変形例である投影システム１１０１の構成例を示している。なお、図中、図２の投影システム２０１と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
　投影システム１１０１は、投影装置１１１１、及び、光学素子２１２を備える。投影装置１１１１は、投影光学系１１２１を備える。投影光学系１１２１は、光源１１３１、走査ミラー１１３２、及び、レンズ１１３３を備える。
　光源１１３１は、走査ミラー１１３２に向かって光線を照射する。光源１１３１には、例えば、ＬＥＤ（Light Emitting Diode）又はＬＤ（Laser Diode）等が用いられる。
　走査ミラー１１３２は、光源１１３１から出射されたレーザ光を二次元的に走査して、レーザ光を光学素子２１２に到達させる。走査ミラー１１３２には、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーが用いられる。走査ミラー１１３２は、レーザ光の方向を、網膜２４２上に画像が形成されるように高速に移動させうる。
　レンズ１１３３は、光源１１３１と光学素子２１２との間に設けられる。光源１１３１から投射されたレーザ光（投影光）は、レンズ１１３３で屈折して光学素子２１２に入射する。
　　　＜投影システムの第２の変形例＞
　図２９は、投影システムの第２の変形例である投影システム１２０１の構成例を示している。なお、図中、図２の投影システム２０１と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
　投影システム１２０１は、投影システム２０１と比較して、光学素子２１２の代わりに、光学素子１２１１を備える点が異なる。
　光学素子１２１１は、眼球の表面に接触しない状態で使用される。
　　　＜投影システムの第３の変形例＞
　図３０は、投影システムの第３の変形例である投影システム１２５１の構成例を示している。なお、図中、図２９の投影システム１２０１と対応する部分には、同じ符号を付しており、その説明は適宜省略する。
　投影システム１２５１は、投影システム１２０１と比較して、光学素子１２１１の代わりに、光学素子１２６１を備える点が異なる。
　光学素子１２６１は、光学素子１２１１と比較して、眼球の表面に接触しない状態で使用される点で一致するが、曲面を有している点が異なる。
　なお、投影システムは、網膜直描を実現可能であれば、上述した構成に限定されない。
　　＜その他の変形例＞
　図１３乃至図１５では、キーボード６０２に対して仮想ディスプレイ６０３が表示される例を示したが、他の操作デバイスに対して、仮想ディスプレイ６０３が表示されるようにしてもよい。他の操作デバイスとしては、例えば、スイッチ、ボタン、マウス、キー、つまみ、操作卓等、又は、それらの組合せ等が想定される。
　また、キーボード６０２のキートップの表示と同様に、ユーザの視界内において、操作デバイスの操作を支援するための操作支援情報が視覚情報として表示されるようにしてもよい。例えば、操作支援情報としては、操作デバイスの機能、操作方法等が想定される。
　また、上述した例では、ユーザの視界内において、ウインドウや仮想ディスプレイが１つのみ表示される例を示したが、２つ以上表示されるようにしてもよい。この場合、例えば、ユーザの視線方向にあるウインドウ又は仮想ディスプレイをアクティブな状態とし、その他のウインドウ又は仮想ディスプレイを非アクティブな状態とするようにしてもよい。そして、アクティブな状態のウインドウ又は仮想ディスプレイにピントを合わせ、非アクティブな状態のウインドウ又は仮想ディスプレイをぼかすようにしてもよい。
　さらに、本技術は、例えば、視覚情報をぼかす実施形態以外については、網膜直描方式以外の表示装置を用いてＡＲを実現する場合にも適用することができる。
　＜＜３．その他＞＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア（例えば、図１の記憶部１１９を構成するリムーバブルメディア）に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示部と、
　前記表示部による前記視覚情報の表示を制御する視覚情報制御部と
　を備え、
　前記表示部は、状況に応じてぼかされた前記視覚情報を表示する
　表示装置。
（２）
　前記表示部は、前記ユーザの視線の向きに基づいてぼかされた前記視覚情報を表示する
　前記（１）に記載の表示装置。
（３）
　前記視覚情報制御部は、第１の視覚情報の表示位置を前記ユーザの視界の動きに追従させ、第２の視覚情報の表示位置を現実世界に対して固定させる
　前記（２）に記載の表示装置。
（４）
　前記表示部は、前記ユーザの視線の向きに基づいて少なくとも一方がぼかされた前記第１の視覚情報及び前記第２の視覚情報を表示する
　前記（３）に記載の表示装置。
（５）
　前記表示部は、現実世界との境界付近がぼかされた前記視覚情報を表示する
　前記（１）乃至（４）のいずれかに記載の表示装置。
（６）
　前記視覚情報制御部は、状況に応じて前記視覚情報をぼかす
　前記（１）乃至（５）のいずれかに記載の表示装置。
（７）
　前記視覚情報制御部は、状況に応じてぼかした前記視覚情報を含む前記視覚情報画像を生成する
　前記（６）に記載の表示装置。
（８）
　前記視覚情報制御部は、前記ユーザの頭部及び視線のうち少なくとも１つの動きに基づいて、前記視覚情報の内容を変化させる
　前記（１）乃至（７）のいずれかに記載の表示装置。
（９）
　前記視覚情報制御部は、前記ユーザの手の動きに基づいて、前記ユーザの視界内の前記手の位置に対応する位置に前記視覚情報を表示させる
　前記（１）乃至（８）のいずれかに記載の表示装置。
（１０）
　前記視覚情報は、機器の操作に用いる仮想の操作ツールを含み、
　前記操作ツールに対する操作に基づいて、前記機器を制御する機器制御部を
　さらに備える前記（９）に記載の表示装置。
（１１）
　前記視覚情報制御部は、音源の位置に基づいて、前記音源から発せられた音声に関する前記視覚情報の表示位置を制御する
　前記（１）乃至（１０）のいずれかに記載の表示装置。
（１２）
　前記視覚情報は、前記音声の状態を示す
　前記（１１）に記載の表示装置。
（１３）
　前記視覚情報は、仮想ディスプレイを含み、
　前記表示部は、前記ユーザの視界内の操作デバイスに対応する位置に前記仮想ディスプレイを表示する
　前記（１）乃至（１２）のいずれかに記載の表示装置。
（１４）
　前記視覚情報は、前記操作デバイスに対する操作を支援するための操作支援情報を含み、
　前記視覚情報制御部は、前記操作デバイスに対する前記ユーザの手の動きに基づいて、前記操作支援情報の表示を制御する
　前記（１３）に記載の表示装置。
（１５）
　前記視覚情報制御部は、他の表示装置との前記視覚情報の共有を制御する
　前記（１）乃至（１４）のいずれかに記載の表示装置。
（１６）
　前記表示部は、前記他の表示装置を使用する他のユーザの視界のうち、前記ユーザの視界と重なる領域に重ねて表示されている前記視覚情報を、前記ユーザの視界内に表示する
　前記（１５）に記載の表示装置。
（１７）
　前記視覚情報制御部は、前記視覚情報の所有者を示す情報、及び、前記視覚情報の閲覧者を示す情報のうち少なくとも１つの表示を制御する
　前記（１６）に記載の表示装置。
（１８）
　前記視覚情報制御部は、外部から受信した前記視覚情報の表示を制御する
　前記（１）乃至（１７）のいずれかに記載の表示装置。
（１９）
　視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示装置が、
　状況に応じてぼかされた前記視覚情報を表示する
　表示方法。
（２０）
　視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示装置のコンピュータに、
　状況に応じてぼかされた前記視覚情報を表示する
　処理を実行させるプログラム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０１　表示装置，　１１２　撮影部，　１１３　音声検出部，　１１４　センサ部，　１１５　制御部，　１１６　表示部，　２０１　投影システム，　２４２　網膜，　３０１　情報処理部，　３１１　空間認識部，　３１２　音声認識部，　３１３　操作検出部，　３１４　視覚情報制御部，　３１６　機器制御部，　３２１　画像処理部，　３２２　表示制御部，　３２３　共有制御部，　４０２　ウインドウ，　５１１　音声状態情報，　５１２　発話情報，　５１３　音声状態情報，　５１４　発話情報，　６０２　キーボード，　６０３　仮想ディスプレイ，　７２１　視覚情報，　７２２ａ，７２２ｂ　影，　７３１，７３２　視覚情報，　７３３，７３４　光彩，　８０４　操作ツール，　１００１　表示システム，　１０１１　表示装置，　１０１２　情報処理装置，　１０１３　サーバ，　１１０１，１２０１，１２５１　投影システム

Claims (20)

  1. 　視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示部と、
    　前記表示部による前記視覚情報の表示を制御する視覚情報制御部と
    　を備え、
    　前記表示部は、状況に応じてぼかされた前記視覚情報を表示する
    　表示装置。
  2. 　前記表示部は、前記ユーザの視線の向きに基づいてぼかされた前記視覚情報を表示する
    　請求項１に記載の表示装置。
  3. 　前記視覚情報制御部は、第１の視覚情報の表示位置を前記ユーザの視界の動きに追従させ、第２の視覚情報の表示位置を現実世界に対して固定させる
    　請求項２に記載の表示装置。
  4. 　前記表示部は、前記ユーザの視線の向きに基づいて少なくとも一方がぼかされた前記第１の視覚情報及び前記第２の視覚情報を表示する
    　請求項３に記載の表示装置。
  5. 　前記表示部は、現実世界との境界付近がぼかされた前記視覚情報を表示する
    　請求項１に記載の表示装置。
  6. 　前記視覚情報制御部は、状況に応じて前記視覚情報をぼかす
    　請求項１に記載の表示装置。
  7. 　前記視覚情報制御部は、状況に応じてぼかした前記視覚情報を含む前記視覚情報画像を生成する
    　請求項６に記載の表示装置。
  8. 　前記視覚情報制御部は、前記ユーザの頭部及び視線のうち少なくとも１つの動きに基づいて、前記視覚情報の内容を変化させる
    　請求項１に記載の表示装置。
  9. 　前記視覚情報制御部は、前記ユーザの手の動きに基づいて、前記ユーザの視界内の前記手の位置に対応する位置に前記視覚情報を表示させる
    　請求項１に記載の表示装置。
  10. 　前記視覚情報は、機器の操作に用いる仮想の操作ツールを含み、
    　前記操作ツールに対する操作に基づいて、前記機器を制御する機器制御部を
    　さらに備える請求項９に記載の表示装置。
  11. 　前記視覚情報制御部は、音源の位置に基づいて、前記音源から発せられた音声に関する前記視覚情報の表示位置を制御する
    　請求項１に記載の表示装置。
  12. 　前記視覚情報は、前記音声の状態を示す
    　請求項１１に記載の表示装置。
  13. 　前記視覚情報は、仮想ディスプレイを含み、
    　前記表示部は、前記ユーザの視界内の操作デバイスに対応する位置に前記仮想ディスプレイを表示する
    　請求項１に記載の表示装置。
  14. 　前記視覚情報は、前記操作デバイスに対する操作を支援するための操作支援情報を含み、
    　前記視覚情報制御部は、前記操作デバイスに対する前記ユーザの手の動きに基づいて、前記操作支援情報の表示を制御する
    　請求項１３に記載の表示装置。
  15. 　前記視覚情報制御部は、他の表示装置との前記視覚情報の共有を制御する
    　請求項１に記載の表示装置。
  16. 　前記表示部は、前記他の表示装置を使用する他のユーザの視界のうち、前記ユーザの視界と重なる領域に重ねて表示されている前記視覚情報を、前記ユーザの視界内に表示する
    　請求項１５に記載の表示装置。
  17. 　前記視覚情報制御部は、前記視覚情報の所有者を示す情報、及び、前記視覚情報の閲覧者を示す情報のうち少なくとも１つの表示を制御する
    　請求項１６に記載の表示装置。
  18. 　前記視覚情報制御部は、外部から受信した前記視覚情報の表示を制御する
    　請求項１に記載の表示装置。
  19. 　視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示装置が、
    　状況に応じてぼかされた前記視覚情報を表示する
    　表示方法。
  20. 　視覚情報を含む視覚情報画像をユーザの網膜に投影し、前記視覚情報を前記ユーザの視界に重ねて表示する表示装置のコンピュータに、
    　状況に応じてぼかされた前記視覚情報を表示する
    　処理を実行させるプログラム。
PCT/JP2020/026959 2019-07-26 2020-07-10 表示装置、表示方法、及び、プログラム WO2021020069A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/627,830 US11854444B2 (en) 2019-07-26 2020-07-10 Display device and display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019137501 2019-07-26
JP2019-137501 2019-07-26

Publications (1)

Publication Number Publication Date
WO2021020069A1 true WO2021020069A1 (ja) 2021-02-04

Family

ID=74228450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026959 WO2021020069A1 (ja) 2019-07-26 2020-07-10 表示装置、表示方法、及び、プログラム

Country Status (2)

Country Link
US (1) US11854444B2 (ja)
WO (1) WO2021020069A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153129A1 (ja) * 2022-02-14 2023-08-17 国立大学法人東京農工大学 眼球装着型の表示装置、コンタクトレンズおよび表示装置を駆動する駆動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006118057A1 (ja) * 2005-04-26 2006-11-09 National University Corporation NARA Institute of Science and Technology 画像表示装置
WO2016203792A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム
US20190025815A1 (en) * 2017-07-24 2019-01-24 Motorola Solutions, Inc. Methods and systems for controlling an object using a head-mounted display

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
JP2015118832A (ja) 2013-12-19 2015-06-25 住友電装株式会社 ワイヤーハーネスおよびその製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006118057A1 (ja) * 2005-04-26 2006-11-09 National University Corporation NARA Institute of Science and Technology 画像表示装置
WO2016203792A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム
US20190025815A1 (en) * 2017-07-24 2019-01-24 Motorola Solutions, Inc. Methods and systems for controlling an object using a head-mounted display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153129A1 (ja) * 2022-02-14 2023-08-17 国立大学法人東京農工大学 眼球装着型の表示装置、コンタクトレンズおよび表示装置を駆動する駆動方法

Also Published As

Publication number Publication date
US11854444B2 (en) 2023-12-26
US20220277672A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
JP7200195B2 (ja) 感覚式アイウェア
US11320655B2 (en) Graphic interface for real-time vision enhancement
US20170277257A1 (en) Gaze-based sound selection
CN107710284B (zh) 用于在虚拟图像生成系统中更有效地显示文本的技术
US11481025B2 (en) Display control apparatus, display apparatus, and display control method
US20170090851A1 (en) Display system, display device, information display method, and program
CN105009039A (zh) 使用imu的直接全息图操纵
JP5927867B2 (ja) 表示システム、及び操作入力方法
JP2016031761A (ja) 眼鏡型端末
JP7048784B2 (ja) 表示制御システム、表示制御方法及びプログラム
US20200225734A1 (en) Display apparatus and method of indicating level of immersion using visual indicator
US20230012909A1 (en) Non-uniform stereo rendering
WO2021020069A1 (ja) 表示装置、表示方法、及び、プログラム
JP6638392B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP6540426B2 (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP5571895B2 (ja) 情報表示装置
JP2017037212A (ja) 音声認識装置、制御方法、及び、コンピュータープログラム
JP2018018315A (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
US20240103617A1 (en) User interfaces for gaze tracking enrollment
US20240118746A1 (en) User interfaces for gaze tracking enrollment
US20230315385A1 (en) Methods for quick message response and dictation in a three-dimensional environment
US20240103678A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
WO2023157963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240089362A1 (en) Terminal Device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20846393

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20846393

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP