WO2021156939A1 - ヘッドマウントディスプレイ装置 - Google Patents

ヘッドマウントディスプレイ装置 Download PDF

Info

Publication number
WO2021156939A1
WO2021156939A1 PCT/JP2020/004137 JP2020004137W WO2021156939A1 WO 2021156939 A1 WO2021156939 A1 WO 2021156939A1 JP 2020004137 W JP2020004137 W JP 2020004137W WO 2021156939 A1 WO2021156939 A1 WO 2021156939A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
state
head
unit
display device
Prior art date
Application number
PCT/JP2020/004137
Other languages
English (en)
French (fr)
Inventor
吉澤　和彦
眞弓 中出
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2020/004137 priority Critical patent/WO2021156939A1/ja
Priority to JP2021575130A priority patent/JPWO2021156939A1/ja
Priority to US17/795,847 priority patent/US11971550B2/en
Priority to CN202080095493.5A priority patent/CN115066721A/zh
Publication of WO2021156939A1 publication Critical patent/WO2021156939A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • the present invention relates to a head-mounted display device (hereinafter referred to as HMD: Head Mount Display).
  • HMD Head Mount Display
  • HMDs equipped with a display and worn on the head to view information have been increasingly used in the fields of game applications and work support.
  • Patent Document 1 is a background technology in this technical field. Patent Document 1 is designed so that an image of an image signal is displayed on a display screen and external light is transmitted, and the ratio between the image display portion and the external light transmitting portion can be controlled, and the user can control the ratio.
  • a display means that can be attached to the head, a detection means that detects the direction the user wants to see, the posture of the user's head, and the position of the head, and the display means according to the detection of the detection means.
  • a head-mounted display device including a display control means for controlling the ratio of an image display portion and an external light transmitting portion on a display screen is disclosed.
  • Patent Document 1 the user can see the displayed image of the HMD and the outside world image while wearing the HMD according to the direction in which the user wants to see, the posture of the head of the user, and the position of the head. You can.
  • an object of the present invention is to provide an HMD that can avoid the danger of the user when the HMD is attached.
  • the present invention is, for example, a video transmissive head-mounted display device that acquires an outside world image at the first image input unit and displays it on the display unit, and obtains an image of the state of both eyes of the wearer. It has a second image input unit to be acquired and a control unit, and the control unit does not continue to have both eyes closed for a predetermined time or longer from the image of the state of both eyes of the wearer acquired by the second image input unit.
  • the display unit is configured to display the external world image acquired by the first image input unit.
  • FIG. 1 It is a block diagram which shows the hardware structure of the HMD in Example 1.
  • FIG. It is the appearance and the mounting figure of the HMD in Example 1.
  • FIG. It is a processing flowchart of HMD in Example 1.
  • FIG. It is a processing flowchart of HMD in Example 2.
  • FIG. This is a display example of a warning message in the second embodiment.
  • It is a processing flowchart of HMD in Example 3.
  • FIG. It is a processing flowchart of HMD in Example 4.
  • FIG. 1 is a block diagram showing a hardware configuration of the HMD 100 in this embodiment.
  • 101 is a main control unit (CPU / MCU, etc.)
  • 102 is a bus that is a transmission / reception path for commands and data
  • 103 is a RAM that is a work area when executing a basic operation program or other operation programs.
  • 110 are storage units that are non-volatile storage media such as FlashROM / EEPROM / SSD / HDD.
  • 120 is an operation input unit which is a user operation interface, and has operation keys 121 such as SWs, a power key, and a volume key, and a touch sensor 122 such as a touch pad.
  • operation keys 121 such as SWs, a power key, and a volume key
  • touch sensor 122 such as a touch pad.
  • Reference numeral 130 denotes an image processing unit such as an image (video) processor, a display unit (display) 131, an image signal processing unit (image (video) signal processor) 132, and an external camera for acquiring an external image. It has an image input unit 133 and a second image input unit 134 which is an internal camera for binocular confirmation.
  • an image processing unit such as an image (video) processor, a display unit (display) 131, an image signal processing unit (image (video) signal processor) 132, and an external camera for acquiring an external image. It has an image input unit 133 and a second image input unit 134 which is an internal camera for binocular confirmation.
  • 140 is an audio processing unit (audio processor), and has an audio output unit (speaker) 141, an audio signal processing unit (audio signal processor) 142, and an audio input unit (microphone) 143.
  • 151 is a position information acquisition unit (GPS reception unit).
  • reference numeral 160 denotes a sensor unit, which includes a gyro sensor 161, a geomagnetic sensor 162, and an acceleration sensor 163.
  • 170 is a communication unit including a LAN (Wi-Fi (registered trademark)) communication unit, a mobile communication unit, Bluetooth (registered trademark) communication unit, etc.
  • 180 is an expansion interface unit, for example, a function such as a charging terminal. Have.
  • FIG. 2 is an external appearance and a mounting diagram of the HMD in this embodiment.
  • the HMD in this embodiment is a goggle type, not an optical transmission type having a window on the front surface, but a video transmission type in which an outside world image is captured by a camera and displayed on a display unit in the HMD. It is a closed type HMD.
  • (A) is a top view of the user U1 with the HMD 100 attached to the head
  • (B) is a front view
  • (C) is a side view.
  • 133L is the first image input unit (L) which is the external camera on the left side
  • 133R is the first image input unit (R) which is the external camera on the right side.
  • only one first image input unit (for example, one first image input unit 133 in the central portion) may be used.
  • 122L is a touch sensor (L)
  • 122R is a touch sensor (R) (not shown)
  • only one of the left and right touch sensors may be used.
  • 141L is an audio output unit (L) (stereo speaker L)
  • 141R is an audio output unit (R) (stereo speaker R) (not shown).
  • the audio input unit 143 has a monaural microphone as the audio input unit 143, and has a display unit 131 made of an LCD or the like arranged so as to be visible to the user inside the housing of the HMD.
  • the display unit 131 may be composed of a display unit 131L for the left eye and a display unit 131R for the right eye.
  • a second image input unit 134 which is an internal camera arranged so that the state of both eyes of the user can be confirmed.
  • the second image input unit 134 may also be composed of a second image input unit 134L capable of confirming the state of the left eye and a second image input unit 134R capable of confirming the state of the right eye.
  • FIG. 3 is a functional configuration diagram of the HMD in this embodiment.
  • the storage unit 110 includes a basic operation program 1001 which is a basic program such as an OS, an application (hereinafter abbreviated as an application) that executes the functions of this embodiment, and an application 1002 including other applications. It is composed of various data storage areas 1009, which are areas for storing various operation setting values and various information (moving images / still images / sounds, etc.).
  • the program / application stored in the storage unit 110 is expanded (loaded) in the RAM 103, and the main control unit 101 executes the expanded program / application to execute the expanded program / application, so that the functional unit and other functional units of this embodiment are executed. Is executed.
  • the execution program to be expanded is described in the RAM 103 for each function. That is, the acquired images of the basic operation function unit 1101 that executes the basic operation program of the HMD 100 and the second image input unit (internal camera) 134 are analyzed to confirm the state of both eyes and the line-of-sight position of the user U1 who wears the HMD 100.
  • Communication status confirmation unit 1111 that analyzes the information received via the communication unit 170 and confirms whether the received information is an emergency alarm, etc., and the operation instruction of the user U1 who wears the HMD 100.
  • the application control unit 1113 and the binocular condition confirmation unit 1111 that control the processing such as activation / execution of various applications and generate the application screen (application image) accordingly.
  • the RAM 103 has a temporary storage area 1199, which is a temporary storage area for various information created / acquired by the application.
  • FIG. 4 is a processing flowchart of the HMD in this embodiment.
  • the display control unit 1114 displays the application screen (application video) generated by the application control unit 1113 starting / executing according to the user's operation instruction on the display unit 131, and proceeds to S102.
  • the second image input unit (internal camera) 134 acquires the user's binocular image and proceeds to S103.
  • the binocular state confirmation unit 1111 analyzes the user's binocular image acquired in the process of S102 and determines that both eyes of the user are in a closed state, the process proceeds to S104. If it is determined that both eyes of the user are not closed, the process returns to S102.
  • the binocular state confirmation unit 1111 initializes the count value of the timer and proceeds to S105.
  • the second image input unit (internal camera) 134 acquires the user's binocular image and proceeds to S106.
  • the binocular state confirmation unit 1111 analyzes the user's binocular image acquired in the process of S105 and determines that any of the user's eyes is in the open state, the process returns to S102. If it is determined that neither of the user's eyes is open, the process proceeds to S107. In S107, the binocular state confirmation unit 1111 counts up the count value of the timer and proceeds to S108.
  • the binocular state confirmation unit 1111 compares the count value of the timer with a predetermined predetermined value, and if the count value of the timer ⁇ the predetermined value, the process proceeds to S109. If the timer count value ⁇ the predetermined value, the process returns to S105.
  • the display control unit 1114 In S109, assuming that the user has fallen asleep, the display control unit 1114 generates a sleep screen (a dark screen with no image), displays it on the display unit 131, and proceeds to S110.
  • the processing of S109 may not be necessary.
  • the second image input unit (internal camera) 134 acquires the user's binocular image and proceeds to S111.
  • the binocular state confirmation unit 1111 analyzes the user's binocular image acquired in S110 and determines that any of the user's eyes is in the open state, the process proceeds to S112. If it is determined that neither of the user's eyes is open, the process returns to S110.
  • a timer may be added after S111 to proceed to S112 when a state in which the eyes are open for a predetermined time or longer is detected.
  • the first image input unit (external camera) 133 acquires an outside world image and proceeds to S113.
  • the display control unit 1114 displays the outside world image acquired in S112 on the display unit 131, and ends the process.
  • the internal camera confirms the state of both eyes of the wearer (user), and if the state in which both eyes are closed does not continue for a predetermined time or more, the wearer (user) is in the awake state. If the state in which both eyes are closed continues for a predetermined time or longer, it is determined that the wearer (user) is in a sleeping state. Then, when the user goes from the awake state to the sleep state, the application image is switched to the sleep screen (no image), and then, when the awake state is entered, the sleep screen is switched to the video through image (external camera image). As a result, even if the wearer (user) falls asleep when wearing the HMD and then awakens, the wearer (user) can check the situation around himself / herself (real space).
  • the application image may be switched to a video-through image (external camera image) when the state changes from the awake state to the sleep state.
  • the application screen (application video) displayed on the display unit 131 in S101 is accompanied by audio output (audio output is performed from the audio output unit 141), when switching to the sleep screen (no video) in S109.
  • the audio output may also be stopped at the same time.
  • the audio output may be continued as it is when switching to the sleep screen (no video) in S109.
  • the volume may be lowered to continue the audio output.
  • the user can check his / her surrounding situation and can provide an HMD that can avoid danger. ..
  • the user when the user awakens from the sleeping state, the user can check his / her surrounding situation by switching to the external camera image, and the configuration that can avoid the danger has been described. In this embodiment, other danger avoidance examples will be described.
  • FIG. 5 is a processing flowchart of the HMD in this embodiment.
  • the same processing as in FIG. 4 is designated by the same reference numerals, and the description thereof will be omitted.
  • the difference from FIG. 4 is that in steps S122 and S123, when awakening from the sleeping state, a message indicating that the HMD is being worn is displayed to the wearer (user).
  • S101 to S111 are the same as the operation of FIG. Although S109 is not shown in FIG. 5, the sleep screen may be displayed when the sleep state is changed from the awake state as in FIG. 4.
  • the state is awake from the sleeping state, and the process proceeds to S122.
  • the display control unit 1114 In S122, the display control unit 1114 generates a message to warn the user that the HMD is being worn, and proceeds to S123.
  • the display control unit 1114 superimposes the warning message generated in S122 on the application screen (application video) generated by the application control unit 1113 starting / executing according to the user's operation instruction and displays it on the display unit 131. , End the process.
  • FIG. 6 is a display example of a warning message in this embodiment.
  • the warning message M11 generated in S122 is superimposed and displayed on the application screen (application video) AP11 on the display unit 131.
  • the sleep screen is displayed when the sleep state is changed from the awake state, the warning message M11 is superimposed and displayed on the sleep screen which is a dark screen with no image.
  • the display example of the warning message may be a display such as "I slept for X hours" or a simple display of the current time. That is, it suffices as long as it makes the user aware that the HMD is being worn.
  • the warning message may not only be displayed on the display unit 131, but may also be output from the voice output unit 141 as voice output. In this case, if the same warning message is repeated a plurality of times, the possibility that the user misses the warning message can be reduced. Further, the voice output of the warning message may be repeated until the user instructs to stop the voice output of the warning message.
  • the user can confirm the warning message and can provide the HMD that can avoid the danger.
  • a warning message may be superimposed and displayed on the display unit 131 on the application screen displayed in the awake state. Further, when the user wishes to switch to the display of the external world image after confirming the warning message, the switching may be performed by an instruction from the operation input unit 120 by the user, a gesture operation, or the like. Further, the warning message may be deleted and the display of the application screen may be resumed according to the instruction of the user.
  • FIG. 7 is a processing flowchart of the HMD in this embodiment.
  • the display control unit 1114 displays the application screen (application video) generated by the application control unit 1113 starting / executing according to the user's operation instruction on the display unit 131, and proceeds to S202. ..
  • the communication unit 170 receives a message transmitted from a device on the external network or a device in cooperation operation, for example, a mobile information terminal such as a smart phone, and proceeds to S203.
  • the communication status confirmation unit 1112 analyzes the message received in S202 and determines that the received message is an emergency alarm or the like, the process proceeds to S204. If it is determined that the received message is not an emergency alarm or the like, the process returns to S202.
  • the first image input unit (external camera) 133 acquires the outside world image and proceeds to S205.
  • the display control unit 1114 displays the outside world image acquired in S204 on the display unit 131, and ends the process.
  • the HMD when the HMD receives an emergency warning (email, etc.) such as an earthquake early warning via the communication unit, the HMD makes a video-through image of the application image regardless of the wakefulness state or the sleeping state. Switch to (outside world image).
  • an emergency warning such as an earthquake early warning
  • the HMD makes a video-through image of the application image regardless of the wakefulness state or the sleeping state. Switch to (outside world image).
  • the video transmission type sealed HMD is attached, in an emergency situation, by switching to the outside world image, the user can check his / her surrounding situation and provide an HMD that can avoid danger. can.
  • a warning message notifying the content of the emergency warning may be superimposed and displayed on the display unit.
  • the voice input unit 143 acquires voice information (alternative to the treatment of S202), analyzes the acquired voice information, and determines that the voice information is an emergency bell or the like (alternative to the treatment of S203). , You may switch to the outside world image.
  • Example 2 an HMD that can avoid danger by superimposing a warning message on the display screen when awakening from a sleeping state was described.
  • FIG. 8 is a processing flowchart of the HMD in this embodiment.
  • the steps surrounded by the dotted lines are the processes from S101 to S111 in FIG. 5, and are omitted, and the description thereof will also be omitted.
  • the state is awake from the sleeping state, and the process proceeds to S124.
  • the display control unit 1114 In S124, the display control unit 1114 generates a message to warn the user that the HMD is being worn, and proceeds to S125.
  • the display control unit 1114 superimposes the warning message generated in S124 on the application screen (application video) generated by the application control unit 1113 starting / executing according to the user's operation instruction and displays it on the display unit 131. ..
  • FIG. 9 is a display example of a warning message in this embodiment.
  • the warning message M12 generated in S124 is superimposed and displayed on the application screen (application image) AP11 on the display unit 131.
  • a predetermined icon O11 which is a mark of the closed state of the emergency door, is displayed.
  • a message indicating that the HMD is being installed and a message "Please look at the door mark if you want to check the outside" are displayed.
  • the line of sight is aligned with the predetermined icon O11 for a predetermined time or longer, the image displayed on the display unit is switched from the application image to the outside world image.
  • the second image input unit (internal camera) 134 acquires the user's binocular image and proceeds to S303.
  • the binocular state confirmation unit 1111 analyzes the user's binocular image acquired in S302, detects the user's line-of-sight position, and proceeds to S304.
  • the binocular state confirmation unit 1111 confirms the user's line-of-sight position detected in S303, and if it is determined that the user's line-of-sight position is on the predetermined icon, the process proceeds to S305. If it is determined that the line-of-sight position of the user is not on the predetermined icon, the process returns to S302.
  • the line-of-sight position of the user includes a predetermined icon and is within a predetermined range larger than the predetermined icon, it may be determined that the line-of-sight position of the user is on the predetermined icon.
  • the binocular condition confirmation unit 1111 initializes the count value of the timer, and proceeds to S306.
  • the second image input unit (internal camera) 134 acquires the user's binocular image and proceeds to S307.
  • the binocular condition confirmation unit 1111 analyzes the user's binocular image acquired in S306, detects the user's line-of-sight position, and proceeds to S308.
  • the binocular condition confirmation unit 1111 compares the count value of the timer with a predetermined predetermined value, and when the count value of the timer ⁇ the predetermined value, the line of sight is aligned with the predetermined icon for a predetermined time or longer. That is, it is determined that the user is watching, and the process proceeds to S311. If the timer count value ⁇ the predetermined value, the process returns to S306.
  • the first image input unit (external camera) 133 acquires the outside world image and proceeds to S312.
  • the display control unit 1114 displays the outside world image acquired in S311 on the display unit 131, and ends the process.
  • FIG. 10 is an example of displaying the outside world in this embodiment.
  • the display unit 131 displays the outside world image OW11 by S312. That is, when the line of sight is aligned with the predetermined icon O11 in FIG. 9 for a predetermined time or longer, the image displayed on the display unit 131 is switched from the warning message superimposed on the application image to the outside world image, and the mark of the emergency door closed state is specified.
  • the icon O11 changes to the predetermined icon O12 of the mark that the emergency door is open.
  • the image displayed on the display unit 131 is switched from the outside world image to the application image. Further, the design of the predetermined icon also changes from the predetermined icon O12 of the mark of the emergency door open state to the predetermined icon O11 of the mark of the emergency door closed state.
  • the predetermined icon does not have to be an emergency door mark, and may be an icon that suggests an outside world display.
  • the waiting loop for switching to the outside world by gazing at the line of sight may be switched to the application screen display by interrupt processing, that is, an instruction from the operation input unit 120 by the user.
  • the user can check the warning message, and by gazing at the predetermined icon, the external image is automatically displayed. Can be switched to.
  • the predetermined icon O11 may be displayed superimposed on the application video AP11 at all times while the application is being executed, regardless of the transition between the sleeping state and the awakening state of the user. That is, since the user may feel uneasy when the field of view is blocked from the real space by the application video AP11 for a long time, it is dangerous if the user can check the outside world by always focusing on the predetermined icon O11. Can be avoided.
  • the HMD is a video transmission type closed type HMD.
  • the HMD is an optical transmission type HMD, if the object generated by executing the application covers most of the display unit, the same processing as that described in each of the above embodiments is performed.
  • the wearer falls asleep when wearing the HMD and then awakens, the wearer (user) can see the situation around himself / herself (real space) without obstructing the view in the real space by the application screen (app image). It becomes possible to confirm.
  • the HMD is an optical transmission type HMD, the process of switching to the video-through image (external camera image) in each of the above-described embodiments may be changed to the process of stopping the display of the application image.
  • 100 HMD (head mount display device), 101: main control unit, 103: RAM, 110: storage unit, 120: operation input unit, 121: operation key, 122: touch sensor, 130: image processing unit, 131: display Unit, 132: image signal processing unit, 133: first image input unit, 134: second image input unit, 140: audio processing unit, 141: audio output unit, 142: audio signal processing unit, 143: audio input unit, 151: Position information acquisition unit, 160: Sensor unit, 170: Communication unit, 180: Extended interface unit, 1001: Basic operation program, 1002: Application, 1009: Various data storage areas, 1101: Basic operation function unit, 1111: Both Eye condition confirmation unit 1112: Communication status confirmation unit 1113: App control unit 1114: Display control unit, 1199: Temporary storage area, U1: User, M11, M12: Warning message, AP11: App screen (app image), O11, O12: predetermined icon, OW11: outside world image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ヘッドマウントディスプレイ装置装着時のユーザの危険を回避可能なヘッドマウントディスプレイ装置を提供することを目的とする。　そのために、外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、装着者の両眼の状態の画像を取得する第二画像入力部と、制御部を有し、制御部は、第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、睡眠状態から覚醒状態になった場合、表示部に第一画像入力部で取得した外界画像を表示するように構成する。

Description

ヘッドマウントディスプレイ装置
　本発明は、ヘッドマウントディスプレイ装置（以下、ＨＭＤ:Head Mount Display、と称す）に関する。
　ディスプレイを搭載し、頭部に装着して情報を視聴するＨＭＤは、近年、ゲーム用途や作業支援の分野での利用が広がりつつある。
　本技術分野の背景技術として特許文献１がある。特許文献１には、表示画面に映像信号による映像を表示すると共に外光が透過するように成され、映像表示部分と外光透過部分との割合いを制御できるように成されかつ使用者の頭部に装着可能に成された表示手段と、使用者の見ようとする方向あるいは使用者の頭部の姿勢や頭部の位置を検出する検出手段と、検出手段の検出に応じて表示手段の表示画面における映像表示部分と外光透過部分との割合いを制御する表示制御手段とを備えた頭部装着型表示装置が開示されている。
特開平８－３２８５１２号公報
　特許文献１では、ユーザがＨＭＤを装着したままで、使用者の見ようとする方向あるいは使用者の頭部の姿勢や頭部の位置に応じて、ＨＭＤの表示画像と外界映像とを見ることが出来る。
　しかしながら、ユーザがＨＭＤを装着したまま寝てしまい、睡眠後に覚醒、或いは半覚醒した際に、ユーザがＨＭＤを装着していることを失念する場合が考えられる。この場合、ユーザはＨＭＤにより視界をふさがれて周辺状況を確認できないため、自身の状況を把握できず、慌てて行動した場合などは危険な状態を引き起こす可能性がある。上記特許文献１にはこのような状況に関して考慮されていない。
　本発明は、上記課題に鑑み、ＨＭＤ装着時のユーザの危険を回避可能なＨＭＤを提供することを目的とする。
　本発明は、その一例を挙げるならば、外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、装着者の両眼の状態の画像を取得する第二画像入力部と、制御部を有し、制御部は、第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、睡眠状態から覚醒状態になった場合、表示部に第一画像入力部で取得した外界画像を表示するように構成する。
　本発明によれば、ＨＭＤ装着時のユーザの危険を回避可能なＨＭＤを提供できる。
実施例１におけるＨＭＤのハードウェア構成を示すブロック図である。 実施例１におけるＨＭＤの外観および装着図である。 実施例１におけるＨＭＤの機能構成図である。 実施例１におけるＨＭＤの処理フローチャートである。 実施例２におけるＨＭＤの処理フローチャートである。 実施例２における警告メッセージの表示例である。 実施例３におけるＨＭＤの処理フローチャートである。 実施例４におけるＨＭＤの処理フローチャートである。 実施例４におけるＨＭＤの警告メッセージの表示例である。 実施例４におけるＨＭＤの外界表示例である。
　以下、図面を用いて本発明の実施例について説明する。
　図１は、本実施例におけるＨＭＤ１００のハードウェア構成を示すブロック図である。図１において、１０１は主制御部（ＣＰＵ／ＭＣＵ等）であって、１０２はコマンドやデータの送受信経路であるバス、１０３は、基本動作プログラムやその他の動作プログラム実行時のワークエリアとなるＲＡＭ、１１０は、ＦｌａｓｈＲＯＭ／ＥＥＰＲＯＭ／ＳＳＤ／ＨＤＤ等の不揮発記憶媒体であるストレージ部である。
　また、１２０は、ユーザ操作インタフェースである操作入力部であり、ＳＷ類や電源キーや音量キー等の操作キー１２１と、タッチパッドなどのタッチセンサ１２２を有する。
　また、１３０は、イメージ（ビデオ）プロセッサ等の画像処理部であり、表示部（ディスプレイ）１３１、画像信号処理部（イメージ（ビデオ）シグナルプロセッサ）１３２、外界映像取得用の外部カメラである第一画像入力部１３３、両眼確認用の内部カメラである第二画像入力部１３４を有する。
　また、１４０は音声処理部（オーディオプロセッサ）であって、音声出力部（スピーカ）１４１、音声信号処理部（オーディオシグナルプロセッサ）１４２、音声入力部（マイク）１４３を有する。
　また、１５１は位置情報取得部（ＧＰＳ受信部）である。また、１６０はセンサ部であって、ジャイロセンサ１６１、地磁気センサ１６２、加速度センサ１６３を有する。
　また、１７０は、ＬＡＮ（Ｗｉ－Ｆｉ（登録商標））通信部やモバイル通信部、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部等からなる通信部、１８０は拡張インタフェース部であり、例えば充電端子等の機能を有する。
　図２は、本実施例におけるＨＭＤの外観および装着図である。本実施例におけるＨＭＤは、図２に示すように、ゴーグル型であり、前面に窓がある光学透過型ではなく、外界画像をカメラで撮像してＨＭＤ内の表示部に表示するビデオ透過型の密閉型のＨＭＤである。（Ａ）は、ユーザＵ１の頭部にＨＭＤ１００を装着した状態の上面図であり、（Ｂ）は正面図、（Ｃ）は側面図である。
　図２において、１３３Ｌは左側の外部カメラである第一画像入力部（Ｌ）、１３３Ｒは右側の外部カメラである第一画像入力部（Ｒ）である。なお、第一画像入力部は一つ（例えば、中央部に一つの第一画像入力部１３３）のみでもよい。
　また、１２２Ｌはタッチセンサ（Ｌ）、１２２Ｒはタッチセンサ（Ｒ）（図示省略）であり、タッチセンサは左右何れか一つのみでもよい、
　また、１４１Ｌは音声出力部（Ｌ）（ステレオスピーカＬ）、１４１Ｒは音声出力部（Ｒ）（ステレオスピーカＲ）（図示省略）である。
　なお、図示は省略するが、音声入力部１４３としてモノラルマイクを有し、また、ＨＭＤの筐体の内側に、ユーザから視認可能に配置されたＬＣＤ等からなる表示部１３１を有する。また、表示部１３１は、左目用の表示部１３１Ｌと右目用の表示部１３１Ｒで構成されてもよい。また、ＨＭＤの筐体の内側には、更に、ユーザの両眼の状態を確認可能に配置された内部カメラである第二画像入力部１３４を有する。また、第二画像入力部１３４も、左目の状態を確認可能な第二画像入力部１３４Ｌと右目の状態を確認可能な第二画像入力部１３４Ｒで構成されてもよい。
　図３は、本実施例におけるＨＭＤの機能構成図である。図３において、ストレージ部１１０は、ＯＳ等の基本的なプログラムである基本動作プログラム１００１と、本実施例の機能を実行するアプリケーション（以降アプリと省略する）や、その他のアプリを含むアプリケーション１００２と、各種動作設定値や各種情報（動画／静止画／音声等）を記憶しておく領域である各種データ記憶領域１００９で構成されている。
　ストレージ部１１０に記憶されているプログラム／アプリは、ＲＡＭ１０３に展開（ロード）され、主制御部１０１が、展開されたプログラム／アプリを実行することにより、本実施例の機能部やその他の機能部が実行される。
　図３において、ＲＡＭ１０３には、展開される実行プログラムを機能別に記載している。すなわち、ＨＭＤ１００の基本動作プログラムを実行する基本動作機能部１１０１と、第二画像入力部（内部カメラ）１３４の取得画像を解析してＨＭＤ１００を装着するユーザＵ１の両眼の状態や視線位置を確認する両眼状態確認部１１１１、通信部１７０を介して受信した情報を解析して受信した情報が緊急警報等か否かを確認する通信状態確認部１１１２、ＨＭＤ１００を装着するユーザＵ１の操作指示に応じて各種アプリの起動／実行等の処理を制御しアプリ画面（アプリ映像）を生成するアプリ制御部１１１３、両眼状態確認部１１１１で確認したユーザの両眼の状態や視線位置または通信状態確認部１１１２で確認した受信情報が緊急警報等か否かに応じてアプリ制御部１１１３で生成されたアプリ画面の映像（アプリ映像）と第一画像入力部（外部カメラ）が取得した外界映像の一方を選択して表示部１３１への表示を制御する表示制御部１１１４を有する。また、ＲＡＭ１０３はアプリにより作成／取得された各種情報の一時的な記憶領域である一時記憶領域１１９９を有している。
　図４は、本実施例におけるＨＭＤの処理フローチャートである。図４において、まずステップＳ１０１で、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）を表示部１３１に表示し、Ｓ１０２に進む。Ｓ１０２では、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ１０３に進む。Ｓ１０３では、両眼状態確認部１１１１が、Ｓ１０２の処理で取得したユーザの両眼画像を解析し、ユーザの両眼がともに閉じた状態であると判断した場合には、Ｓ１０４に進む。ユーザの両眼がともに閉じた状態ではないと判断した場合には、Ｓ１０２に戻る。Ｓ１０４では、両眼状態確認部１１１１が、タイマーのカウント値を初期化して、Ｓ１０５に進む。Ｓ１０５では、第二画像入力部（内部カメラ）１３４がユーザの両眼画像を取得し、Ｓ１０６に進む。Ｓ１０６では、両眼状態確認部１１１１が、Ｓ１０５の処理で取得したユーザの両眼画像を解析し、ユーザの両眼のいずれかが開いた状態であると判断した場合には、Ｓ１０２に戻る。ユーザの両眼のいずれも開いた状態ではないと判断した場合には、Ｓ１０７に進む。Ｓ１０７では、両眼状態確認部１１１１が、タイマーのカウント値をカウントアップして、Ｓ１０８に進む。Ｓ１０８では、両眼状態確認部１１１１が、タイマーのカウント値を予め定めた所定値と比較し、タイマーのカウント値≧所定値であった場合には、Ｓ１０９に進む。タイマーのカウント値≧所定値でなかった場合には、Ｓ１０５に戻る。
　Ｓ１０９では、ユーザが睡眠状態になったものとして、表示制御部１１１４が、スリープ画面（無映像で暗い画面）を生成して表示部１３１に表示し、Ｓ１１０に進む。なお、Ｓ１０９の処理はなくてもよい。
　Ｓ１１０では、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ１１１に進む。Ｓ１１１では、両眼状態確認部１１１１が、Ｓ１１０で取得したユーザの両眼画像を解析し、ユーザの両眼のいずれかが開いた状態であると判断した場合には、Ｓ１１２に進む。ユーザの両眼のいずれも開いた状態ではないと判断した場合には、Ｓ１１０に戻る。なお、Ｓ１１１の後にタイマーを付加して、所定時間以上眼が開いている状態を検出した場合にＳ１１２に進むようにしてもよい。
　Ｓ１１２では、ユーザが覚醒状態（或いは半覚醒状態：以下同様）になったものとして、第一画像入力部（外部カメラ）１３３が、外界映像を取得し、Ｓ１１３に進む。Ｓ１１３では、表示制御部１１１４が、Ｓ１１２で取得した外界映像を表示部１３１に表示し、処理を終了する。
　以上のように、本実施例では、内部カメラが装着者（ユーザ）の両眼の状態を確認し、所定時間以上両眼を閉じた状態が継続しない場合は、装着者（ユーザ）は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合、装着者（ユーザ）が睡眠状態であると判断する。そして、覚醒状態から睡眠状態となった場合は、アプリ映像をスリープ画面（無映像）に切り替え、その後、覚醒状態になった場合、スリープ画面をビデオスルー映像（外部カメラ映像）に切り替える。これにより、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、装着者（ユーザ）は自身の周囲（実空間）の状況を確認することが可能となる。
　なお、覚醒状態から睡眠状態となった場合、アプリ映像をスリープ画面（無映像）に切り替えずに、アプリ映像の表示を継続してもよいが、無映像で暗い画面であるスリープ画面に切り替えることで、装着者が睡眠状態の際のＨＭＤのバッテリ消費の節約が可能となる。また、覚醒状態から睡眠状態となった場合に、アプリ映像をビデオスルー映像（外部カメラ映像）に切り替えてもよい。
　また、Ｓ１０１で表示部１３１に表示されたアプリ画面（アプリ映像）が音声出力を伴っている（音声出力部１４１から音声出力を行っている）場合、Ｓ１０９でスリープ画面（無映像）に切り替える際に音声出力も併せて停止するようにしてもよい。或いは、ＨＭＤが稼働中であること（稼働中であったこと）を示すため、Ｓ１０９でスリープ画面（無映像）に切り替える際に音声出力はそのまま継続するようにしてもよい。また、音量を下げて音声出力を継続するようにしてもよい。
　以上のように本実施例によれば、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、ユーザは自身の周囲状況を確認することが可能となり、危険を回避可能なＨＭＤを提供できる。
　実施例１では、睡眠状態から覚醒した場合、外部カメラ映像に切り替えることで、ユーザは自身の周囲状況を確認することが可能となり、危険を回避可能とする構成について説明した。本実施例では、他の危険回避例について説明する。
　図５は、本実施例におけるＨＭＤの処理フローチャートである。図５において、図４と同じ処理は同じ符号を付し、その説明は省略する。図５において、図４と異なる点は、ステップＳ１２２、Ｓ１２３であり、睡眠状態から覚醒した際に、装着者（ユーザ）にＨＭＤ装着中である旨のメッセージを表示する点である。
　すなわち、図５において、Ｓ１０１～Ｓ１１１は図４の動作と同様である。なお、図５では、Ｓ１０９は記載していないが、図４と同様に覚醒状態から睡眠状態となった場合、スリープ画面を表示してもよい。
　Ｓ１１１でＹｅｓの場合、睡眠状態から覚醒した状態であって、Ｓ１２２に進む。Ｓ１２２では、表示制御部１１１４が、ユーザにＨＭＤを装着中である旨を警告するためのメッセージを生成し、Ｓ１２３に進む。Ｓ１２３では、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）に、Ｓ１２２で生成した警告メッセージを重畳して表示部１３１に表示し、処理を終了する。
　図６は、本実施例における警告メッセージの表示例である。図６において、表示部１３１には、Ｓ１２２で生成した警告メッセージＭ１１が、アプリ画面（アプリ映像）ＡＰ１１に重畳して表示されている。なお、覚醒状態から睡眠状態となった場合にスリープ画面を表示する場合は、無映像で暗い画面であるスリープ画面に警告メッセージＭ１１を重畳表示する。また、警告メッセージの表示例は前述の他、『Ｘ時間寝ていました』等の表示や単なる現在時刻表示等であってもよい。即ち、ユーザにＨＭＤ装着中であることを気づかせるものであればよい。
　また、警告メッセージは、図６に示したように、表示部１３１に表示するのみではなく、音声出力として音声出力部１４１から出力するようにしてもよい。この場合、同一の警告メッセージを複数回繰り返すようにすれば、ユーザが警告メッセージを聞き逃す可能性を低減できる。また、警告メッセージの音声出力を停止させるためのユーザの指示があるまで警告メッセージの音声出力を繰り返すようにしてもよい。
　以上のように本実施例によれば、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、ユーザは警告メッセージを確認することができ、危険を回避可能なＨＭＤを提供できる。
　なお、覚醒状態から睡眠状態となった場合に、表示部１３１に、覚醒状態で表示していたアプリ画面に警告メッセージを重畳表示してもよい。
また、警告メッセージを確認後、ユーザが外界映像の表示への切り替えを希望する場合は、操作入力部１２０からのユーザによる指示やジェスチャ動作等で切り替えればよい。また、ユーザの指示により、警告メッセージを消去してアプリ画面の表示を再開してもよい。
　本実施例では、ＨＭＤ装着時の他の危険回避例について説明する。
　図７は本実施例におけるＨＭＤの処理フローチャートである。図７において、まず、ステップＳ２０１で、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）を表示部１３１に表示し、Ｓ２０２に進む。
　Ｓ２０２では、通信部１７０が、外部ネットワーク上の機器や連携動作中の機器、例えば、スマートホン等の携帯情報端末から送信されたメッセージを受信し、Ｓ２０３に進む。Ｓ２０３では、通信状態確認部１１１２が、Ｓ２０２で受信したメッセージを解析し、受信したメッセージが緊急警報等であると判断した場合には、Ｓ２０４に進む。受信したメッセージが緊急警報等ではないと判断した場合には、Ｓ２０２に戻る。
　Ｓ２０４では、第一画像入力部（外部カメラ）１３３が、外界映像を取得し、Ｓ２０５に進む。Ｓ２０５では、表示制御部１１１４が、Ｓ２０４で取得した外界映像を表示部１３１に表示し、処理を終了する。
　このように、本実施例では、ＨＭＤは、通信部を介して例えば地震速報等の緊急警報（メール等）を受信した場合には、覚醒状態や睡眠状態によらず、アプリ映像をビデオスルー映像（外界映像）に切り替える。これにより、ビデオ透過型の密閉型のＨＭＤ装着時においても、緊急事態には、外界映像に切り換えることで、ユーザは自身の周囲状況を確認することが可能となり、危険を回避可能なＨＭＤを提供できる。
　なお、緊急警報の内容を知らせる警告メッセージを表示部に重畳表示するようにしてもよい。
　また、音声入力部１４３が音声情報を取得し（Ｓ２０２の処置の代替）、取得した音声情報を解析して、その音声情報が非常ベル等であると判断した場合（Ｓ２０３の処置の代替）に、外界映像に切り替えるようにしてもよい。
　実施例２では、睡眠状態から覚醒した場合に表示画面に警告メッセージを重畳表示することで危険を回避可能なＨＭＤについて説明した。
　本実施例では、警告メッセージの重畳表示後に、所定アイコンを注視することで外界映像に切り換える点について説明する。
　図８は本実施例におけるＨＭＤの処理フローチャートである。図８において、まず点線で囲ったステップは、図５のＳ１０１からＳ１１１までの処理であり、省略して記載しており、その説明も省略する。
　Ｓ１１１でＹｅｓの場合、睡眠状態から覚醒した状態であって、Ｓ１２４に進む。Ｓ１２４では、表示制御部１１１４が、ユーザにＨＭＤを装着中である旨を警告するためのメッセージを生成し、Ｓ１２５に進む。Ｓ１２５では、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）に、Ｓ１２４で生成した警告メッセージを重畳して表示部１３１に表示する。
　図９は、本実施例における警告メッセージの表示例である。図９において、表示部１３１には、Ｓ１２４で生成した警告メッセージＭ１２が、アプリ画面（アプリ映像）ＡＰ１１に重畳して表示されている。また、非常ドアの閉状態のマークである所定アイコンＯ１１が表示されている。警告メッセージＭ１２には、ＨＭＤを装着中である旨の表示と共に、“外部を確認したい場合はドアマークを見て下さい”とのメッセージが表示されている。後述するが、この所定アイコンＯ１１に所定時間以上視線を合わせると、表示部に表示される映像がアプリ映像から外界映像に切り替わる。
　なお、Ｓ１２５では、所定アイコンＯ１１のみを表示するようにしてもよい。即ち、所定アイコンＯ１１が表示されることに警告メッセージＭ１２の意味合いを含めてもよい。
　次に、Ｓ３０２において、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ３０３に進む。Ｓ３０３では、両眼状態確認部１１１１がＳ３０２で取得したユーザの両眼画像を解析して、ユーザの視線位置を検出し、Ｓ３０４に進む。Ｓ３０４では、両眼状態確認部１１１１が、Ｓ３０３で検出したユーザの視線位置を確認し、ユーザの視線位置が所定アイコン上にあると判断した場合にはＳ３０５に進む。ユーザの視線位置が所定アイコン上にないと判断した場合にはＳ３０２に戻る。なお、ユーザの視線位置が、所定アイコンを含み、所定アイコンよりも大きな所定範囲内にある場合に、ユーザの視線位置が所定アイコン上にあるものとして判断するようにしてもよい。
　Ｓ３０５では、ユーザが所定アイコンを見ていると判断して、両眼状態確認部１１１１が、タイマーのカウント値を初期化して、Ｓ３０６に進む。Ｓ３０６では、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ３０７に進む。Ｓ３０７では、両眼状態確認部１１１１が、Ｓ３０６で取得したユーザの両眼画像を解析して、ユーザの視線位置を検出し、Ｓ３０８に進む。Ｓ３０８では、両眼状態確認部１１１１が、Ｓ３０７の処理で検出したユーザの視線位置を確認し、ユーザの視線位置が所定アイコン上（所定範囲内）から外れたと判断した場合には、Ｓ３０２に戻る。ユーザの視線位置が所定アイコン上（所定範囲内）から外れていないと判断した場合には、Ｓ３０９に進む。Ｓ３０９では、両眼状態確認部１１１１が、タイマーのカウント値をカウントアップして、Ｓ３１０に進む。Ｓ３１０では、両眼状態確認部１１１１が、タイマーのカウント値を予め定めた所定値と比較し、タイマーのカウント値≧所定値であった場合には、所定アイコンに所定時間以上視線を合わせている、すなわち注視していると判断しＳ３１１に進む。タイマーのカウント値≧所定値でなかった場合には、Ｓ３０６に戻る。
　Ｓ３１１では、第一画像入力部（外部カメラ）１３３が、外界映像を取得し、Ｓ３１２に進む。Ｓ３１２では、表示制御部１１１４が、Ｓ３１１で取得した外界映像を表示部１３１に表示し、処理を終了する。
　図１０は、本実施例における外界表示例である。図１０において、表示部１３１には、Ｓ３１２により、外界映像ＯＷ１１が表示される。すなわち、図９における所定アイコンＯ１１に所定時間以上視線を合わせると、表示部１３１に表示される映像がアプリ映像に重畳された警告メッセージから外界映像に切り替わるとともに、非常ドアの閉状態のマークの所定アイコンＯ１１から非常ドアの開状態のマークの所定アイコンＯ１２に変わる。
　なお、所定アイコンＯ１２に所定時間以上視線を合わせると、表示部１３１に表示される映像が外界映像からアプリ映像に切り替わる。更に、所定アイコンのデザインも非常ドアの開状態のマークの所定アイコンＯ１２から非常ドアの閉状態のマークの所定アイコンＯ１１に変わる。
　なお、所定アイコンは非常ドアマークでなくてもよく、外界表示を示唆するアイコンであればよい。
　また、視線注視による外界切替えの待ちループは、割り込み処理、すなわち、操作入力部１２０からのユーザによる指示によりアプリ画面表示に切替えるようにしてもよい。
　以上のように本実施例によれば、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、ユーザは警告メッセージを確認することができ、所定アイコンを注視することで外界映像に自動的に切り換えることが出来る。
　なお、所定アイコンＯ１１は、ユーザの睡眠状態と覚醒状態との遷移によらず、アプリ実行中は常にアプリ映像ＡＰ１１に重畳して表示しておくようにしてもよい。即ち、長時間アプリ映像ＡＰ１１により視界が実空間から遮断されているとユーザが不安を感じる場合もあるため、ユーザがいつでも所定アイコンＯ１１に視線を合わせることにより外界を確認できるようにすれば、危険を回避可能となる。
　また、上記した各実施例では、ＨＭＤがビデオ透過型の密閉型のＨＭＤである場合について説明を行った。しかしながら、ＨＭＤが光学透過型のＨＭＤであっても、アプリの実行により生成されたオブジェクトが表示部の多くを覆ってしまう場合には、上記した各実施例で説明した処理と同様の処理を行うことにより、ＨＭＤ装着時に寝てしまい、その後覚醒した場合に、アプリ画面（アプリ映像）によって実空間上の視界を遮られることなく、装着者（ユーザ）は自身の周囲（実空間）の状況を確認することが可能となる。なお、ＨＭＤが光学透過型のＨＭＤである場合、上記した各実施例におけるビデオスルー映像（外部カメラ映像）に切り替える処理は、アプリ映像の表示を停止する処理に変更すればよい。
　以上実施例について説明したが、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１００：ＨＭＤ（ヘッドマウントディスプレイ装置）、１０１：主制御部、１０３：ＲＡＭ、１１０：ストレージ部、１２０：操作入力部、１２１：操作キー、１２２：タッチセンサ、１３０：画像処理部、１３１：表示部、１３２：画像信号処理部、１３３：第一画像入力部、１３４：第二画像入力部、１４０：音声処理部、１４１：音声出力部、１４２：音声信号処理部、１４３：音声入力部、１５１：位置情報取得部、１６０：センサ部、１７０：通信部、１８０：拡張インタフェース部、１００１：基本動作プログラム、１００２：アプリケーション、１００９：各種データ記憶領域、１１０１：基本動作機能部、１１１１：両眼状態確認部、１１１２：通信状態確認部、１１１３：アプリ制御部、１１１４：表示制御部、１１９９：一時記憶領域、Ｕ１：ユーザ、Ｍ１１、Ｍ１２：警告メッセージ、ＡＰ１１：アプリ画面（アプリ映像）、Ｏ１１、Ｏ１２：所定アイコン、ＯＷ１１：外界映像。

Claims (12)

  1. 　外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、
    　装着者の両眼の状態の画像を取得する第二画像入力部と、
    　制御部を有し、
    　前記制御部は、前記第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、前記睡眠状態から前記覚醒状態になった場合、前記表示部に前記第一画像入力部で取得した外界画像を表示することを特徴とするヘッドマウントディスプレイ装置。
  2. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示を、前記覚醒状態で表示していたアプリケーション画像から無映像画面に切り替え、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部の表示を、前記無映像画面から前記外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。
  3. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示として、前記覚醒状態で表示していたアプリケーション画像を継続表示し、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部の表示を、前記アプリケーション画像から前記外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。
  4. 　請求項１に記載のヘッドマウントディスプレイ装置であって、
    　前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示を、前記覚醒状態で表示していたアプリケーション画像から前記外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。
  5. 　外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、
    　装着者の両眼の状態の画像を取得する第二画像入力部と、
    　制御部を有し、
    　前記制御部は、前記第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、前記睡眠状態から前記覚醒状態になった場合、前記表示部にヘッドマウントディスプレイ装置を装着中である旨を警告する警告メッセージを表示することを特徴とするヘッドマウントディスプレイ装置。
  6. 　請求項５に記載のヘッドマウントディスプレイ装置であって、
    　前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示を、前記覚醒状態で表示していたアプリケーション画像から無映像画面に切り替え、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部に、前記無映像画面に前記警告メッセージを重畳表示することを特徴とするヘッドマウントディスプレイ装置。
  7. 　請求項５に記載のヘッドマウントディスプレイ装置であって、
    　前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示として、前記覚醒状態で表示していたアプリケーション画像を継続表示し、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部に、前記アプリケーション画像に前記警告メッセージを重畳表示することを特徴とするヘッドマウントディスプレイ装置。
  8. 　請求項５に記載のヘッドマウントディスプレイ装置であって、
    　前記制御部は、前記覚醒状態から前記睡眠状態となった場合は、前記表示部に、前記覚醒状態で表示していたアプリケーション画像に前記警告メッセージを重畳表示することを特徴とするヘッドマウントディスプレイ装置。
  9. 　外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、
    　通信部と、
    　制御部を有し、
    　前記制御部は、前記通信部を介して緊急警報を受信した場合には、前記表示部の表示を、表示していたアプリケーション画像から前記第一画像入力部で取得した外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。
  10. 　請求項９に記載のヘッドマウントディスプレイ装置であって、
    　前記制御部は、前記緊急警報の内容を知らせる警告メッセージを前記表示部に重畳表示することを特徴とするヘッドマウントディスプレイ装置。
  11. 　請求項５に記載のヘッドマウントディスプレイ装置であって、
    　前記制御部は、前記警告メッセージとして、外界表示を示唆するアイコンと、該アイコンを見ることで外界画像を確認できる旨のメッセージを表示し、前記第二画像入力部で取得した装着者の両眼の状態の画像から、前記アイコンに所定時間以上視線を合わせていると判断した場合、前記表示部の表示を、前記第一画像入力部で取得した外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。
  12. 　請求項１１に記載のヘッドマウントディスプレイ装置であって、
    　前記アイコンは、非常ドアの閉状態のマークであることを特徴とするヘッドマウントディスプレイ装置。
PCT/JP2020/004137 2020-02-04 2020-02-04 ヘッドマウントディスプレイ装置 WO2021156939A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/004137 WO2021156939A1 (ja) 2020-02-04 2020-02-04 ヘッドマウントディスプレイ装置
JP2021575130A JPWO2021156939A1 (ja) 2020-02-04 2020-02-04
US17/795,847 US11971550B2 (en) 2020-02-04 2020-02-04 Head-mounted display device
CN202080095493.5A CN115066721A (zh) 2020-02-04 2020-02-04 头戴式显示器装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/004137 WO2021156939A1 (ja) 2020-02-04 2020-02-04 ヘッドマウントディスプレイ装置

Publications (1)

Publication Number Publication Date
WO2021156939A1 true WO2021156939A1 (ja) 2021-08-12

Family

ID=77199889

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004137 WO2021156939A1 (ja) 2020-02-04 2020-02-04 ヘッドマウントディスプレイ装置

Country Status (4)

Country Link
US (1) US11971550B2 (ja)
JP (1) JPWO2021156939A1 (ja)
CN (1) CN115066721A (ja)
WO (1) WO2021156939A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294844A (ja) * 1994-04-22 1995-11-10 Canon Inc 表示装置
JP2012203127A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置の制御のためのコンピュータープログラム
JP2015150064A (ja) * 2014-02-12 2015-08-24 株式会社バンダイナムコエンターテインメント プログラム、ゲーム装置およびゲームシステム
US20150301337A1 (en) * 2014-04-16 2015-10-22 Lg Electronics Inc. Hmd device providing notification and method of controlling therefor
WO2016013269A1 (ja) * 2014-07-22 2016-01-28 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
WO2017077660A1 (ja) * 2015-11-06 2017-05-11 株式会社三和機工 体感型仮想現実空間システム
JP2017181584A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081416B2 (en) 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
US20170228930A1 (en) * 2016-02-04 2017-08-10 Julie Seif Method and apparatus for creating video based virtual reality

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294844A (ja) * 1994-04-22 1995-11-10 Canon Inc 表示装置
JP2012203127A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置の制御のためのコンピュータープログラム
JP2015150064A (ja) * 2014-02-12 2015-08-24 株式会社バンダイナムコエンターテインメント プログラム、ゲーム装置およびゲームシステム
US20150301337A1 (en) * 2014-04-16 2015-10-22 Lg Electronics Inc. Hmd device providing notification and method of controlling therefor
WO2016013269A1 (ja) * 2014-07-22 2016-01-28 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
WO2017077660A1 (ja) * 2015-11-06 2017-05-11 株式会社三和機工 体感型仮想現実空間システム
JP2017181584A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
CN115066721A (zh) 2022-09-16
US20230064819A1 (en) 2023-03-02
US11971550B2 (en) 2024-04-30
JPWO2021156939A1 (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
WO2021156939A1 (ja) ヘッドマウントディスプレイ装置
US10466654B2 (en) Information processing apparatus, control method, and program
EP3291045B1 (en) Wearable smart device
CN105474302B (zh) 头戴显示设备和图像显示方法
US20150026647A1 (en) Mobile terminal and control method thereof
US9158116B1 (en) Temple and ear horn assembly for headworn computer
EP2984537B1 (en) Smart watch
US20150316984A1 (en) Wearable device and method of operating the same
EP3340026B1 (en) Watch-type mobile terminal
KR20150135057A (ko) 전자 장치에서 알림을 제공하는 장치 및 방법
KR20150060553A (ko) 착용 가능 장치를 이용한 장치 제어
KR20160113906A (ko) 이동 단말기 및 그것의 제어 방법
CN110933452B (zh) 萌脸礼物显示方法、装置及存储介质
CN109819506B (zh) 智能连接方法、可穿戴设备及计算机可读存储介质
WO2018049625A1 (zh) 头戴式显示装置及控制方法
JP2019092216A (ja) 情報処理装置、情報処理方法及びプログラム
WO2020070839A1 (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
US10288883B2 (en) Head-mounted display
US11037519B2 (en) Display device having display based on detection value, program, and method of controlling device
WO2022185996A1 (ja) メガネ型情報機器、その方法及びプログラム
KR20160086159A (ko) 이동 단말기 및 그 제어 방법
WO2019142621A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101871660B1 (ko) 웨어러블 기반의 개인용 자동 기록장치의 운용방법
JP2018164140A (ja) 携帯端末、プログラム、及びイベント送受信システム
JP2017019088A (ja) ロボット

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20917878

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021575130

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20917878

Country of ref document: EP

Kind code of ref document: A1