WO2010073879A1 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2010073879A1
WO2010073879A1 PCT/JP2009/070151 JP2009070151W WO2010073879A1 WO 2010073879 A1 WO2010073879 A1 WO 2010073879A1 JP 2009070151 W JP2009070151 W JP 2009070151W WO 2010073879 A1 WO2010073879 A1 WO 2010073879A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
image
display
user
eyelid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/070151
Other languages
English (en)
French (fr)
Inventor
邦宏 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Publication of WO2010073879A1 publication Critical patent/WO2010073879A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Definitions

  • the present invention relates to a head mounted display.
  • the video display device is configured to detect the blinking movement of the observer's eyes by the imaging means for detecting the eye movement. Then, when the number of blinks of the observer's eyes obtained by this imaging means is equal to or less than a predetermined reference value, the image based on the normal image data is switched to the image based on the specific image data.
  • a video display device configured (see, for example, Japanese Patent Laid-Open No. 2000-221953).
  • the present invention has been made to solve the above-described problems, and a head capable of accurately operating a display state change of a displayed image by an eye movement and preventing a malfunction.
  • An object is to provide a mount display.
  • a head mounted display of the present invention is mounted on a user's head, and a display means for projecting an image of display information onto one eye of the user and allowing the user to visually recognize the image;
  • the projection side imaging means for imaging the one eye of the user, the other side imaging means for imaging the other eye of the user, and the projection side imaging means and the other side imaging means via at least one of the imaging means.
  • Eye movement detection means for detecting eye movement of at least one eye of a user, eyelid movement detection means for detecting a predetermined eyelid movement of the other eye via the other side imaging means, and eyelid movement detection means
  • the display unit is controlled to change the display state of the image according to the eye movement detected by the eye movement detection unit.
  • Display control means that, characterized by comprising a.
  • the user performs a predetermined operation with the eyelid of the other eye on which the image is not projected, and then the direction of the line of sight of one eye or the direction of the line of sight of the other eye on which the image is projected.
  • the viewing direction of at least one of them it is possible to change the display state of an image viewed with one eye.
  • the user moves one eye of the image being projected and one eye of the other eye, or by moving the eye gaze direction of both eyes to the left or right, to one eye.
  • the displayed manual page can be scrolled to the left or right.
  • the user can move one eye by moving the eye-gaze direction of one of the eyes on which the image is projected and the other eye, or the eye-gaze direction of both eyes upward or downward.
  • the page of a manual or the like displayed on the screen can be scrolled up or down. As a result, the user operates the eyelid with the eye not viewing the image. It is possible to prevent the timing from being closed.
  • the eye movement detection means detects eye movement of one eye of the user via one of the projection side imaging means and the other side imaging means. May be.
  • the user performs a predetermined operation with the eyelid of the other eye on which no image is projected, and then changes the line-of-sight direction of one eye while constantly checking the display image with one eye.
  • the user can scroll the left or right page of a manual or the like displayed on one eye by moving the line of sight of one eye to the left or right.
  • the user can scroll the page of the manual or the like displayed on one eye upward or downward by moving the line of sight of one eye upward or downward.
  • the eyelid operation is performed with the eye not viewing the image, so the eyelid is closed when the operation is being performed while stopping the image being continuously scrolled or when the operation is being performed while viewing the image. It is possible to reliably prevent the timing from being lost.
  • the head-mounted display according to the present invention is mounted on the user's head, and projects a display information image onto one of the user's eyes to allow the user to visually recognize the image.
  • the other side imaging means for imaging the eye, the eye movement detection means for detecting the eye movement of the other eye of the user via the other side imaging means, and the other eye of the other eye via the other side imaging means A eyelid motion detecting means for detecting a predetermined eyelid motion; and when the motion of the predetermined eyelid is detected via the eyelid motion detecting means, the display state of the image is detected by the eye movement detecting means
  • Display control means for controlling the display means so as to be changed in accordance with eye movements.
  • the user performs a predetermined operation with the eyelid of the other eye on which an image is not projected, and then visually recognizes with one eye by changing the viewing direction of the other eye.
  • the display state of the image can be changed. For example, the user can scroll the left or right page of a manual or the like displayed on one eye by moving the line of sight of the other eye on which the image is not projected left or right. Is possible. Further, the user scrolls the page of the manual or the like displayed on one eye in the upward or downward direction by moving the line of sight of the other eye on which the image is not projected upward or downward. It becomes possible.
  • the user performs the eyeball and eyelid movement of the eye not viewing the image, so when performing the operation by measuring the operation timing while observing the image such as moving image operation or stopping the image during continuous scrolling, You won't lose timing when you close your bag.
  • the user measures the timing with the eyelid of the other eye closed for a predetermined time or more, and opens the eyelid at the operation timing to input the line of sight. It is possible to prevent an erroneous operation and perform an operation at an accurate timing.
  • the eyelid movement detecting means may detect an action of opening the eyelid of the other eye after closing it for a predetermined time or more as the action of the predetermined eyelid.
  • the eyelid movement detecting means detects an action of closing the eyelid of the other eye as the action of the predetermined eyelid
  • the eye movement detecting means is the projection side imaging means.
  • the display control means detects that the eye eye of the other eye is closed via the eyelid motion detection means
  • the display means is controlled to change the display state of the image according to the eye movement of the one eye of the user detected by the eye movement detection means, and the other eye is changed via the eyelid movement detection means.
  • the display means may be controlled so as to stop changing the display state of the image.
  • FIG. 1 It is a figure which shows the state with which the head mounted display which concerns on Example 1 is mounted
  • FIG. 12 is a flowchart showing “content display control process 2” for controlling display of content displayed by the emitting device of the head mounted display according to the second embodiment according to the eye movement of the left eye of the user.
  • 14 is a flowchart showing “content display control process 3” for controlling display of content displayed by the emitting device of the head mounted display according to the third embodiment in accordance with the eye movements of both eyes of the user.
  • FIG. 10 is an explanatory diagram illustrating an example of eye movement detected in the third embodiment.
  • FIG. 10 is a block diagram illustrating an electrical configuration of a head mounted display according to a fourth embodiment.
  • FIG. 10 is a flowchart illustrating “content display control process 4” for controlling display of content displayed by an emission device of a head mounted display according to a fourth embodiment according to an eyeball movement of a user's right eye.
  • FIG. It is a figure which shows an example of the relationship between the movement of the eyeball of a right eye, and the content (work procedure manual) displayed. It is a figure which shows an example of the relationship between the movement of the eyeball of a right eye, and the content (work procedure manual) displayed.
  • the appearance of the head mounted display 1 shown in FIGS. 1 and 2 is merely an example, and the present invention is not limited to the head mounted display 1 having the appearance.
  • an embodiment in which the present invention is applied to a retinal scanning display will be described.
  • the present invention can be applied to various head mounted displays that perform image display using a liquid crystal element, an organic EL element, or the like.
  • an embodiment in which the present invention is applied to an optical see-through head mounted display will be described.
  • the present invention is a video see-through display as long as the head mounted display displays an image on one eye of a user.
  • the present invention can also be applied to a type or external non-transparent type head mounted display.
  • the head mounted display 1 receives various content information such as a moving image file, a still image file, and a document file (for example, a work procedure manual or a spreadsheet file) inputted from the outside as an image signal.
  • the beam light (hereinafter referred to as “image light”) modulated according to the image signal is scanned on the retina of the left eye 5 of the user 2 (see FIGS. 4 and 6). Accordingly, an image corresponding to the content information (hereinafter referred to as “content”) can be visually recognized by the left eye 5 of the user 2 (see FIG. 4).
  • the head-mounted display 1 has an external object 3 and a landscape in an area outside the area displaying the content in the field of view of the user 2 even when the content is being displayed. Etc. can be visually recognized. That is, the head-mounted display 1 is a see-through type head-mounted display that projects image light to the left eye 5 of the user 2 while transmitting outside light, that is, in a state where the outside is visible.
  • the head mounted display 1 basically includes a CCD camera 7, a CCD camera 8, an emission device 11, a prism 12, and a support member 13 that supports them. It is configured.
  • the CCD camera 7 images the left eye 5 of the user 2
  • the CCD camera 8 images the right eye 6 (see FIG. 6) of the user 2.
  • the emission device 11 emits image light Z1 to the left eye 5 of the user 2.
  • the prism 12 reflects the image light Z1 toward the left eye 5 of the user 2.
  • the prism 12 includes a beam splitter (not shown), transmits external light Z2 from the outside, and guides it to the left eye 5 of the user 2. In this manner, the prism 12 causes the image light Z1 incident from the side of the user 2 to enter the left eye 5 of the user 2 and causes the external light Z2 from the outside to enter the left eye 5 of the user 2. Therefore, the user 2 can visually recognize the content superimposed on the outside landscape.
  • a beam splitter not shown
  • the prism 12 can replace with the prism 12 and a half mirror can also be used. That is, the image light Z1 from the emitting device 11 is reflected by the half mirror and enters the left eye 5 of the user 2, and the external light Z2 passes through the half mirror and enters the user 2 eye.
  • the CCD camera 7 includes CCD controllers 15 (see FIG. 3) that control the entire CCD camera 7 and a CCD sensor 16 (see FIG. 3) that captures the left eye 5 facing the CCD camera 7. Yes.
  • the CCD camera 8 includes CCD controllers 17 (see FIG. 3) that control the entire CCD camera 8 and a CCD sensor 18 (see FIG. 3) that captures the right eye 6 facing the CCD camera 8. Yes.
  • the CCD controller 15 stores the image captured by the CCD sensor 16 in the left eye image storage area of the RAM 53 of the control unit 36.
  • the image stored in the left eye image storage area of the RAM 53 is subjected to image processing by the CPU 51, and the content is controlled to be displayed based on this image processing result as will be described later (see FIG. 5).
  • the CCD controller 17 stores the image captured by the CCD sensor 18 in the right eye image storage area of the RAM 53 of the control unit 36.
  • the image stored in the right-eye image storage area of the RAM 53 is subjected to image processing by the CPU 51.
  • the start and end of content display that is, whether content display is on or off, based on the image processing result. It is controlled (see FIG. 5).
  • FIG. 3 is a block diagram showing an electrical configuration of the head mounted display 1.
  • the head mounted display 1 includes a CCD camera 7, a CCD camera 8, an emission device 11, an input unit 31, an external connection unit 32, a video RAM 34, a font ROM 35, and a control unit 36. And a power source unit 37 and the like.
  • the CCD camera 7 images the left eye 5 of the user 2
  • the CCD camera 8 images the right eye 6 of the user 2.
  • the emission device 11 emits image light to the left eye 5 of the user 2.
  • the input unit 31 inputs various operations and data.
  • the external connection unit 32 receives content information from the outside.
  • the video RAM 34 stores image data such as contents and text to be displayed by the emission device 11.
  • the font data of the text displayed by the font ROM 35 emitting device 11 is stored.
  • the control unit 36 controls the entire head mounted display 1. The details of the emission device 11 will be described later with reference to FIG.
  • the CCD camera 7 includes a CCD controller 15 and a CCD sensor 16.
  • the CCD controller 15 stores a captured image of the left eye 5 captured by the CCD sensor 16 in the left eye image storage area of the RAM 53 of the control unit 36.
  • the CCD camera 8 includes a CCD controller 117, a CCD sensor 18, and the like.
  • the CCD controller 17 captures an image of the right eye 6 captured by the CCD sensor 18 and stores a right-eye image storage area in the RAM 53 of the control unit 36.
  • the input unit 31 includes an operation button group 41 including various function keys and an input control circuit 42.
  • the input control circuit 42 detects that the key operation of the operation button group 41 has been performed, and outputs a control signal corresponding to the operated key to the control unit 36. For example, when an eye mouse start key (not shown) is operated, the input control circuit 42 controls a control signal that instructs to execute a program (see FIG. 5) of “content display control process 1” described later. To the unit 36. When an eye mouse stop key (not shown) is operated, the input control circuit 42 sends a control signal for instructing the control unit 36 to end execution of a program of “content display control processing 1” described later. Output.
  • the external connection unit 32 includes an external connection module 45 that is connected to an external device (for example, a personal computer) and acquires content information, and an external connection control circuit 46. Then, the external connection control circuit 46 outputs the content information input from the external connection module 45 to the control unit 36, and the content information is stored in the flash memory 52.
  • an external connection module 45 that is connected to an external device (for example, a personal computer) and acquires content information
  • an external connection control circuit 46 outputs the content information input from the external connection module 45 to the control unit 36, and the content information is stored in the flash memory 52.
  • the control unit 36 includes a CPU 51, a flash memory 52, a RAM 53, and the like, which are connected to each other via a bus line (not shown) and exchange data with each other.
  • the CPU 51 is an arithmetic processing unit that controls the entire head mounted display 1 and manages all data related to the operation of the head mounted display 1. Further, the CPU 51 converts various content information into image signals and stores them in the video RAM 34. As will be described later, the CPU 51 captures images captured by the two eyes 5 and 6 of the user 2 captured by the CCD sensors 16 and 18 stored in the left eye image storage area and the right eye image storage area of the RAM 53. Processing is performed to detect the movement of each eyelid and eye movement, and display the content to be projected to the left eye 5 of the user 2 according to the detection result (see FIG. 5).
  • the flash memory 52 stores various programs executed by the CPU 51. For example, the flash memory 52 performs a display control such as a left page return, a right page return, an up scroll, a down scroll, etc. according to the eye movement of the left eye 5 or the right eye 6 for content displayed on the head mounted display 1 described later. A control processing program for driving and controlling the emission device 11 is stored. The flash memory 52 stores content information input from the external connection control circuit 46.
  • the various content information includes a work procedure manual (document file), a spreadsheet file, a moving image file, and the like. Further, part or all of the various programs may be stored in a read-only ROM (not shown).
  • the RAM 53 temporarily stores captured images captured by the CCD sensors 16 and 18, and temporarily stores various data when the CPU 51 executes various controls.
  • the video RAM 34 temporarily stores image signals.
  • the image signal stored in the video RAM 34 is output to the video signal processing circuit 63 of the emission device 11 and projected onto the retina of the user 2 as content. Therefore, the CPU 51 can control the content to be displayed by reading the content information from the flash memory 52, converting the read content information into an image signal, and writing it into the video RAM 34.
  • the power supply unit 37 includes a battery 56 and a charge control circuit 57.
  • the battery 56 is a power source for driving the head mounted display 1.
  • the charging control circuit 57 supplies the power of the battery 56 to the head mounted display 1 and supplies the power supplied from a charging adapter (not shown) to the battery 56 to charge the battery 56.
  • the light emitting unit 11 is provided with a light source unit 61.
  • the light source unit 61 generates image light based on the image signal input from the video RAM 34 and performs scanning control of the image light in the horizontal direction and the vertical direction based on the scanning control signal input from the CPU 51. .
  • the light source unit 61 is provided with a video signal processing circuit 63.
  • the video signal processing circuit 63 receives an image signal from the video RAM 34 and a scanning control signal from the CPU 51, and generates each signal as an element for synthesizing the video corresponding to the image signal. For example, the video signal processing circuit 63 outputs blue (B), green (G), and red (R) output control signals 65A to 65C, a horizontal synchronizing signal 66, and a vertical synchronizing signal 67 for each pixel.
  • B blue
  • G green
  • R red
  • the light source unit 61 is provided with a light source 71 and a light combiner 72.
  • the light source unit 71 functions as an image light output unit that converts the three output control signals 65A to 65C output from the video signal processing circuit 63 for each dot clock into image light.
  • the light combining unit 72 combines these three image lights into one image light to generate arbitrary image light.
  • the light source unit 71 includes a B laser 74 that generates blue image light and a B laser driver 75 that drives the B laser 74 in accordance with the output control signal 65A.
  • the light source unit 71 includes a G laser 76 that generates green image light and a G laser driver 77 that drives the G laser 76 in accordance with the output control signal 65B.
  • the light source unit 71 includes an R laser 78 that generates red image light and an R laser driver 79 that drives the R laser 78 in accordance with the output control signal 65C.
  • the lasers 74, 76, and 78 can be configured as, for example, a semiconductor laser or a solid-state laser with a harmonic generation mechanism. If a semiconductor laser is used, the drive current can be directly modulated to modulate the intensity of the image light. However, if a solid-state laser is used, each laser is equipped with an external modulator to modulate the intensity of the image light. Need to do.
  • the light combining unit 72 includes collimating optical systems 81, 82, 83, dichroic mirrors 84, 85, 86, and a coupling optical system 87.
  • Each of the collimating optical systems 81, 82, and 83 is provided so as to collimate the three image lights incident from the light source unit 71 into parallel lights.
  • Each dichroic mirror 84, 85, 86 combines the three collimated image lights.
  • the coupling optical system 87 guides the combined image light to the optical fiber 88.
  • the laser beams emitted from the lasers 74, 76, and 78 are collimated by the collimating optical systems 81, 82, and 83, and then enter the dichroic mirrors 84, 85, and 86. Thereafter, the dichroic mirrors 84, 85, and 86 selectively reflect and transmit each image light with respect to the wavelength, reach the coupling optical system 87, collect the light, and enter the optical fiber 88.
  • the emission device 11 includes a collimating optical system 89, a horizontal scanning unit 92, a vertical scanning unit 93, a relay optical system 94 provided between the horizontal scanning unit 92 and the vertical scanning unit 93, and relay optics.
  • a system 96 is provided.
  • the collimating optical system 89 collimates the image light generated by the light source unit 61 and emitted through the optical fiber 88 into parallel light.
  • the horizontal scanning unit 92 reciprocally scans the image light collimated by the collimating optical system 89 in the horizontal direction.
  • the vertical scanning unit 93 scans the image light that has been reciprocated in the horizontal direction by the horizontal scanning unit 92 in the vertical direction.
  • the relay optical system 96 emits the image light thus scanned in the horizontal direction and the vertical direction (two-dimensionally scanned) to the pupil 95 of the left eye 5 of the user 2.
  • the prism 12 is disposed between the relay optical system 96 and the pupil 95 of the user 2 and guides the image light emitted from the emission device 11 to the pupil 95 of the user 2 by totally reflecting the light.
  • the horizontal scanning unit 92 is provided with a resonant deflection element 101, a horizontal scanning control circuit 102, and a horizontal scanning angle detection circuit 103.
  • the resonant deflection element 101 has a reflective surface 101A for reciprocally scanning image light in the horizontal direction.
  • the horizontal scanning control circuit 102 performs drive control based on the horizontal synchronizing signal 66 input from the video signal processing circuit 63 so as to resonate the resonance type deflection element 101 and swing the reflecting surface 101A.
  • the horizontal scanning angle detection circuit 103 detects a swinging state such as a swinging angle and a swinging frequency of the resonant deflection element 101.
  • the vertical scanning unit 93 is provided with a deflection element 105, a vertical scanning control circuit 106, and a vertical scanning angle detection circuit 107.
  • the deflection element 105 has a reflection surface 105A for scanning image light in the vertical direction.
  • the vertical scanning control circuit 106 drives and controls the deflection element 105 to swing the reflecting surface 105A.
  • the vertical scanning angle detection circuit 107 detects a swing state such as a swing angle and a swing frequency of the deflection element 105.
  • the horizontal scanning angle detection circuit 103 outputs a swing signal 104 indicating the detected swing state of the resonance type deflection element 101 to the CPU 51.
  • the vertical scanning angle detection circuit 107 outputs a swing signal 108 indicating the detected swing state of the deflection element 105 to the CPU 51.
  • the CPU 51 determines a scanning control signal to be output to the video signal processing circuit 63 based on the received swing signals 104 and 108.
  • the drive states of the resonant deflection element 101 and the deflection element 105 are feedback controlled by the CPU 51.
  • the swing signals 104 and 108 may be output to the video signal processing circuit 63.
  • the video signal processing circuit 63 may be configured to output the horizontal synchronization signal 66 and the vertical synchronization signal 67 based on the swing signals 104 and 108. That is, the drive state of the resonance type deflection element 101 and the deflection element 105 may be feedback controlled by the video signal processing circuit 63.
  • the light scanned in the horizontal direction by the resonant deflection element 101 is converged on the reflection surface 105 A of the deflection element 105 by the relay optical system 94 provided between the horizontal scanning unit 92 and the vertical scanning unit 93. Then, the converged light is scanned in the vertical direction by the deflecting element 105 and is emitted to the relay optical system 96 as scanned image light scanned two-dimensionally.
  • the relay optical system 96 converts the display scanning image light emitted from the vertical scanning unit 93 into substantially parallel image light, and converges the center line of these image light to the pupil 95 of the user 2. Convert to
  • the arrangement of the horizontal scanning unit 92 and the vertical scanning unit 93 is switched, and the image light incident from the optical fiber 88 is scanned in the vertical direction by the vertical scanning unit 93 and then scanned in the horizontal direction by the horizontal scanning unit 92. You may do it.
  • the program shown in the flowchart of FIG. 5 is stored in the flash memory 52 of the control unit 36, and a control signal corresponding to an operation of an eye mouse start key (not shown) included in the operation button group 41 is input to the input control circuit.
  • a control signal corresponding to an operation of an eye mouse start key (not shown) included in the operation button group 41 is input to the input control circuit.
  • it is executed by the CPU 51.
  • the program shown in the flowchart of FIG. 5 is obtained when a control signal corresponding to an operation of an eye mouse stop key (not shown) included in the operation button group 41 is input from the input control circuit 42 to the control unit 36. The execution is terminated by the CPU 51.
  • the image signals captured by the CCD sensors 16 and 18 are respectively stored in the left eye image storage area and the right eye image storage area of the RAM 53 at predetermined frame rates. (For example, about 30 frames per second). It is assumed that content information to be displayed is stored in advance in the flash memory 52. In addition, when a plurality of pieces of content information are stored in the flash memory 52, it is assumed that which content information is to be displayed is set in advance.
  • step (hereinafter abbreviated as “S”) 11 the CPU 51 inputs contents such as a work procedure manual (document file) input from the external connection control circuit 46 and stored in the flash memory 52. If there is information, the content information is read out, converted into an image signal, and stored in the video RAM 34. Thereby, an image signal is input from the video RAM 34 to the video signal processing unit 63, and content (image) corresponding to the content information is displayed on the left eye 5 of the user 2 via the emission device 11.
  • contents such as a work procedure manual (document file) input from the external connection control circuit 46 and stored in the flash memory 52. If there is information, the content information is read out, converted into an image signal, and stored in the video RAM 34. Thereby, an image signal is input from the video RAM 34 to the video signal processing unit 63, and content (image) corresponding to the content information is displayed on the left eye 5 of the user 2 via the emission device 11.
  • the content information is a work procedure manual (document file)
  • the content corresponding to the first page see FIG. 8
  • the first and second pages in the spread state see FIG. 9
  • the image is displayed on the left eye 5 of the user 2 via the emission device 11.
  • the CPU 51 recognizes the image data stored in the right eye image storage area of the RAM 53, that is, the image data of the right eye 6 of the user 2 by a predetermined number of frames (for example, about 30 frames). To do. Then, the CPU 51 stores, in the RAM 53, image recognition data for a predetermined number of frames of the right eye 6 of the user 2, that is, the right eye 6 on the side where the emission device 11 is not attached.
  • image recognition when white and black eyes (pupil colors) of the eyeball are detected, it is recognized that the eyelid is not closed, while the white and black eyes of the eyeball are detected. If the skin color is mainly detected, it is recognized that the eyelid is closed.
  • the CPU 51 reads image recognition data for a predetermined number of frames of the right eye 6 of the user 2 from the RAM 53, and whether or not the eyelid 6A (see FIG. 6) of the right eye 6 is continuously closed.
  • a determination process for determining Specifically, the CPU 51 reads image recognition data for a predetermined number of frames of the right eye 6, and when the eyeball of the right eye 6 is not detected, that is, when skin color is mainly detected, the eyelid 6A is closed. Is determined.
  • the CPU 51 recognizes the image data stored in the left eye image storage area of the RAM 53, that is, the image data of the left eye 5 of the user 2 by a predetermined number of frames (for example, about 30 frames). Then, the CPU 51 stores in the RAM 53 image recognition data for a predetermined number of frames of the left eye 5 of the user 2, that is, the left eye 5 on which the emission device 11 is attached.
  • the CPU 51 reads out image recognition data for a predetermined number of frames of the left eye 5 of the user 2 from the RAM 53 and determines whether or not the eyeball 5 ⁇ / b> A (see FIG. 6) of the left eye 5 has moved. Execute the process.
  • the CPU 51 detects the moving direction of the eyeball 5A, that is, the moving direction of the pupil of the eyeball 5A, from the image recognition data for the predetermined number of frames of the left eye 5 captured by the CCD camera 7.
  • the CPU 51 determines that the eyeball 5A has moved in that direction.
  • the movement direction is stored in the RAM 53 as the movement direction of the eyeball 5A. Note that the CPU 51 determines that the eyeball 5A has moved in each direction when the pupil of the eyeball 5A moves in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124 from the center position of the white eye.
  • the CPU 51 determines that the eyeball 5A has not moved. To do.
  • FIG. 9 An example in which content (image) display control is performed based on the content of the control table 131 stored in advance in the flash memory 52 will be described with reference to FIGS.
  • the spread page display (display for two pages) is used, but it goes without saying that a single page may be displayed.
  • the second half of the third page and the first half of the fourth page is displayed.
  • the entire third page is displayed.
  • the scroll amount can be a predetermined number of rows / columns.
  • the CPU 51 may recognize the moving speed of the eyeball 5A and determine the scroll amount according to the recognized speed.
  • the fourth page and the fifth page are displayed. Is displayed.
  • the eyeball 5A of the left eye 5 is moved in the left direction 123 while the fourth page and the fifth page are displayed, the second page and the third page are displayed.
  • the eyeball 5A of the left eye 5 is in the upward direction 121, the downward direction 122, the leftward direction 123, or the right in S15.
  • the CPU 51 operates on the content (image) being displayed. , “Up scroll”, “Down scroll”, “Left scroll” or “Right scroll”, respectively.
  • the CPU 51 returns the playback position of the moving image file.
  • the playback position return / advance amount can be one chapter or a predetermined time (for example, about 30 seconds).
  • the CPU 51 may recognize the moving speed of the eyeball 5A and determine the return / advance amount of the reproduction position according to the recognized speed.
  • the CPU 51 recognizes an image captured by the right eye 6 captured by the CCD sensor 18.
  • the CPU 51 recognizes the captured image of the left eye 5 captured by the CCD sensor 16 and projects the content (image). The moving direction of the moving eyeball 5A is detected.
  • the CPU 51 performs display control such as upward scrolling and downward scrolling of the content (image) based on the upward movement 121, the downward direction 122, the leftward direction 123, or the rightward direction 124 of the eyeball 5A.
  • display control such as upward scrolling and downward scrolling of the content (image) based on the upward movement 121, the downward direction 122, the leftward direction 123, or the rightward direction 124 of the eyeball 5A.
  • the user 2 moves the line of sight of the left eye 5 in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124 by closing the right eye 6 on which no content is projected. It is possible to scroll and display the page (page) of content (image) such as the displayed work procedure manual in the vertical and horizontal directions, and to change the playback position of the moving image displayed on the left eye 5. .
  • the eye 6A of the right eye 6 is closed, and the gaze direction of the left eye 5 is the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124.
  • the content (image) can be manipulated by moving it to, and work efficiency can be improved.
  • FIG. 1 when a work procedure manual relating to the object 3 is displayed on the head mounted display 1, the line of sight of the left eye 5 is moved up and down or left and right while handling the object 3 with both hands.
  • a predetermined page such as a work procedure manual can be displayed.
  • the user 2 moves the line of sight of the left eye 5 up and down or left and right only while closing the eyelid 6 ⁇ / b> A of the right eye 6, and manipulates the display state of the content (image) visually recognized by the left eye 5.
  • the CPU 51 can accurately distinguish the operation of the eyelid 6A of the right eye 6 from the physiological blink, and can prevent the malfunction of the head mounted display 1.
  • the CPU 51 can distinguish between the physiological movement of the left eye 5 and the movement when the eyeball 5A is moved for operation by opening / closing the eyelid 6A of the right eye 6, the physiological movement of the left eye 5 can be distinguished. It is possible to prevent malfunction of the head mounted display 1 due to the above.
  • the head mounted display 151 according to the second embodiment will be described with reference to FIG.
  • the same reference numerals as those of the head mounted display 1 according to the first embodiment denote the same or corresponding parts as those of the head mounted display 1 according to the first embodiment.
  • the schematic configuration of the head mounted display 151 according to the second embodiment is the same as that of the head mounted display 1 according to the first embodiment.
  • Various control processes of the head mounted display 151 are substantially the same control processes as those of the head mounted display 1 according to the first embodiment.
  • the CPU 51 of the head mounted display 151 is different in that, instead of the “content display control process 1” (S11 to S16), a “content display control process 2” described later is executed.
  • Content display control process 2 it is a process executed by the CPU 51 of the head mounted display 151 according to the second embodiment, and the content (image) displayed by the emission device 11 is displayed and controlled according to the eye movement of the left eye 5 of the user 2
  • the “display control process 2” will be described with reference to FIG.
  • the CPU 51 executes the same processing (see FIG. 5) as in S11 through S12. However, in S112, the CPU 51 stores, in the RAM 53, image recognition data for the number of frames corresponding to a predetermined time (for example, about 2 seconds) of the right eye 6 on the side on which the emission device 11 is not mounted.
  • a predetermined time for example, about 2 seconds
  • the CPU 51 stores the image recognition data for the number of frames (for example, about 60 frames) corresponding to the predetermined time (for example, about 2 seconds) of the right eye 6 of the user 2 from the RAM 53. Whether or not the eyelid 6A of the right eye 6 is continuously opened after being closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second). A determination process is performed to determine whether or not.
  • the CPU 51 executes the processing after S111 again.
  • the CPU 51 executes the same processing as in S112 to S113.
  • the eyelid 6A of the right eye 6 is not continuously opened after being closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second).
  • a predetermined number of frames for example, about 30 frames
  • a predetermined time for example, about 1 second.
  • the CPU 51 executes the processes after S114 again.
  • the CPU 51 recognizes an image captured by the right eye 6 captured by the CCD sensor 18. Then, the CPU 51 opens the eye 6A of the right eye 6 continuously after being closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second). In other words, the CPU 51 recognizes the captured image of the left eye 5 captured by the CCD sensor 16 and detects the moving direction of the eyeball 5A on which the content (image) is projected. Note that the CPU 51 determines that the eyeball 5A has moved in each direction when the pupil of the eyeball 5A moves in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124 from the center position of the white eye.
  • the CPU 51 performs display control such as upward scrolling and downward scrolling of the content (image) based on the upward movement 121, the downward direction 122, the leftward direction 123, or the rightward direction 124 of the eyeball 5A.
  • display control such as upward scrolling and downward scrolling of the content (image) based on the upward movement 121, the downward direction 122, the leftward direction 123, or the rightward direction 124 of the eyeball 5A.
  • the user 2 closes the eyelid 6A of the right eye 6 on which the content is not projected for a predetermined time (for example, about 1 second) and then opens the eyeline direction of the left eye 5 upward 121,
  • a predetermined time for example, about 1 second
  • the contents (images) such as the work procedure manual displayed on the left eye 5 are scroll-displayed or paged in the vertical direction or the horizontal direction, It is possible to change the playback position of the moving image displayed in FIG.
  • the user 2 again closes the eyelid 6A of the right eye 6 on which no content is projected for a predetermined time (for example, about 1 second) and then opens it, thereby changing the line-of-sight direction of the left eye 5. It is possible to cancel scroll display and page turning of contents (images) such as work procedure manuals. For this reason, it becomes possible to prevent the change in the display state of the content (image) due to the change in the viewing direction of the left eye 5 unnecessary for the user 2.
  • a predetermined time for example, about 1 second
  • the eye 6 of the right eye 6 is closed after being closed for a predetermined time (for example, about 1 second), and then the line of sight of the left eye 5 is opened.
  • the content (image) can be manipulated by moving the direction in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124, and work efficiency can be improved.
  • FIG. 1 when a work procedure manual relating to the object 3 is displayed on the head mounted display 151, the line of sight of the left eye 5 is moved up and down or left and right while handling the object 3 with both hands.
  • a predetermined page such as a work procedure manual can be displayed.
  • the user 2 again closes the eyelid 6A of the right eye 6 for a predetermined time (for example, about 1 second) and then opens it, thereby canceling the operation of the content (image) according to the line-of-sight direction of the left eye 5. It is possible to change the line-of-sight direction of both eyes 5 and 6 with a predetermined page such as a work procedure manual opened.
  • the user 2 closes the eyelid 6A of the right eye 6 for a predetermined time (for example, about 1 second) and then opens the left eye 5 to move the line of sight of the left eye 5 up and down or left and right. It becomes possible to manipulate the display state of the content (image) being viewed. Further, the CPU 51 can accurately distinguish the operation of the eyelid 6A of the right eye 6 from the physiological blink, and can prevent the malfunction of the head mounted display 151.
  • a predetermined time for example, about 1 second
  • the CPU 51 can accurately distinguish the operation of the eyelid 6A of the right eye 6 from the physiological blink, and can prevent the malfunction of the head mounted display 151.
  • the head mounted display 161 according to the third embodiment will be described with reference to FIGS.
  • the same reference numerals as those of the head mounted display 1 according to the first embodiment denote the same or corresponding parts as those of the head mounted display 1 according to the first embodiment.
  • the schematic configuration of the head mounted display 161 according to the third embodiment is the same as that of the head mounted display 1 according to the first embodiment.
  • Various control processes of the head mounted display 161 are substantially the same control processes as those of the head mounted display 151 according to the second embodiment.
  • the CPU 51 of the head mounted display 161 displays and controls the content (image) described later according to the eye movements of the two eyes 5 and 6 of the user 2 instead of the “content display control process 2” (S111 to S118). The difference is that the “content display control process 3” is executed.
  • Content display control process 3 it is a process executed by the CPU 51 of the head mounted display 161 according to the third embodiment, and the display of the content (image) displayed by the emitting device 11 is controlled according to the eye movements of the two eyes 5 and 6 of the user 2. “Content display control process 3” will be described with reference to FIGS.
  • the program shown in the flowchart of FIG. 11 is stored in the flash memory 52 of the control unit 36, and a control signal corresponding to the operation of an eye mouse start key (not shown) included in the operation button group 41 is input to the input control circuit.
  • a control signal corresponding to the operation of an eye mouse start key (not shown) included in the operation button group 41 is input to the input control circuit.
  • the program shown in the flowchart of FIG. 11 is executed when a control signal corresponding to an operation of an eye mouse stop key (not shown) included in the operation button group 41 is input from the input control circuit 42 to the control unit 36. The execution is terminated by the CPU 51.
  • the CPU 51 executes the same processing (see FIG. 10) as in S111 through S113.
  • the CPU 51 determines that the eyelid 6A of the right eye 6 is not closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 30 frames), that is, If the eyelid 6A of the eye 6 has not been closed for a predetermined time or has been closed in a blink (S213: NO), the processing after S211 is executed again.
  • the CPU 51 stores image recognition data for the number of frames corresponding to a predetermined time (for example, about 2 seconds) of the right eye 6 on the side where the emission device 11 is not mounted in the RAM 53.
  • step S213 the CPU 51 opens the eye 6A of the right eye 6 continuously after the number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second) is closed. If yes (S213: YES), the process proceeds to S214.
  • the CPU 51 recognizes each image data of the same timing stored in the left eye image storage area and the right eye image storage area of the RAM 53 by a predetermined number of frames (for example, about 30 frames), and the user. Image recognition data for a predetermined number of frames at the same timing of the two eyes 5 and 6 is stored in the RAM 53.
  • the CPU 51 reads out the image recognition data for the predetermined number of frames at the same timing of the two eyes 5 and 6 of the user 2 from the RAM 53, and each eyeball 5A and 6B of both eyes 5 and 6 (FIG. 12). A determination process for determining whether or not (see) has moved at the same time is executed.
  • the CPU 51 determines the moving direction of each eyeball 5 ⁇ / b> A, 6 ⁇ / b> B from the image recognition data for a predetermined number of frames at the same timing of both eyes 5, 6 captured by the CCD cameras 7, 8. That is, the moving direction of the pupil of each eyeball 5A, 6B is detected.
  • the CPUs 5A and 6B move in the respective directions. Judge that it has moved.
  • the CPU 51 determines that each of the eyeballs 5A and 6B. Are simultaneously moved in that direction, and this moving direction is stored in the RAM 53 as the moving direction of each eyeball 5A, 6B.
  • the CPU 51 , 6B are determined not to move at the same time.
  • the CPU 51 proceeds to the process of S216.
  • the CPU 51 performs display control of content (image) based on the content of the control table 131 (see FIG. 7) stored in advance in the flash memory 52, and then proceeds to the processing of S217.
  • the scroll amount can be a predetermined number of rows / columns.
  • the moving speed of each eyeball 5A, 6B may be recognized, and the scroll amount may be determined according to the recognized speed.
  • the fourth page The eyes and the fifth page are displayed.
  • the 4th page and the 5th page are displayed and the respective eyeballs 5A and 6B of both eyes 5 and 6 are simultaneously moved in the left direction 123, the 2nd page and the 3rd page are displayed. Is displayed.
  • the CPU 51 may recognize the moving speed of each of the eyeballs 5A and 6B, and determine the return / advance amount of the reproduction position according to the recognized speed. As a result, the user 2 can always recognize the moving image with the left eye 5 on the wearing side even if the non-wearing right eye 6 is closed for a certain period of time in order to start the operation. , Can do the appropriate operation.
  • step S2108 the CPU 51 determines that the eyelid 6A of the right eye 6 is not closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 30 frames), that is, If the eyelid 6A of the eye 6 has not been closed for a predetermined time or has been closed by blinking (S218: NO), the processing after S214 is executed again.
  • a predetermined number of frames for example, about 30 frames
  • a predetermined time for example, about 30 frames
  • the eyelid 6A of the right eye 6 is continuously opened after being closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second).
  • a predetermined number of frames for example, about 30 frames
  • a predetermined time for example, about 1 second.
  • the CPU 51 recognizes an image captured by the right eye 6 captured by the CCD sensor 18. Then, the CPU 51 indicates that the eye 6A of the right eye 6 is continuously opened after being closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second). In the case of recognition, the captured images of both eyes 5 and 6 imaged by the CCD sensors 16 and 18 are image-recognized, and the moving directions of the eyeballs 5A and 6B of both eyes 5 and 6 are detected.
  • the CPU 51 then scrolls up and down the content (image) projected to the left eye 5 based on the movement in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124 of each eyeball 5A, 6B. Display control.
  • the CPU 51 recognizes that the eyelid 6A of the right eye 6 is continuously opened after being closed for a predetermined number of frames, the CPU 51 ends the detection of the moving direction of each eyeball 5A, 6B. Then, the display control by the movement of each eyeball 5A, 6B of the content (image) is terminated and normal content display is performed.
  • the user 2 closes the eyelid 6A of the right eye 6 on which no content is projected for a predetermined time (for example, about 1 second), and then opens the eyes, thereby simultaneously increasing the line-of-sight directions of both eyes 5 and 6.
  • a predetermined time for example, about 1 second
  • the user 2 closes the eyelid 6A of the right eye 6 on which no content is projected for a predetermined time (for example, about 1 second), and then opens the eyes, thereby simultaneously increasing the line-of-sight directions of both eyes 5 and 6.
  • the playback position of the moving image displayed on the left eye 5 can be changed.
  • the user 2 again closes the eyelid 6A of the right eye 6 on which no content is projected for a predetermined time (for example, about 1 second), and then opens the eye 6A in the line-of-sight direction of both eyes 5 and 6. It becomes possible to cancel scroll display and page feed of contents (images) such as work procedure manuals due to the change. Then, the user 2 can prevent a change in the display state of the content (image) due to an unnecessary change in the viewing direction.
  • a predetermined time for example, about 1 second
  • the eyes 6A of the right eye 6 are closed for a predetermined time (for example, about 1 second) and then opened to open the eyes 5 and 6.
  • the content (image) can be manipulated by simultaneously moving the visual line direction in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124, thereby improving work efficiency.
  • a predetermined page such as a work procedure manual can be displayed.
  • the user 2 again operates the content (image) according to the line-of-sight direction of both eyes 5 and 6 by closing and opening the eyelid 6A of the right eye 6 for a predetermined time (for example, about 1 second).
  • a predetermined time for example, about 1 second.
  • the user 2 closes the eyelid 6A of the right eye 6 for a predetermined time (for example, about 1 second) and then opens it to move the eyes of both eyes 5 and 6 simultaneously up and down or left and right. It becomes possible to manipulate the display state of the content (image) visually recognized by the eye 5. Further, the CPU 51 can accurately distinguish the operation of the eyelid 6A of the right eye 6 from the physiological blink, and can prevent the malfunction of the head mounted display 161.
  • a predetermined time for example, about 1 second
  • the CPU 51 can accurately distinguish the operation of the eyelid 6A of the right eye 6 from the physiological blink, and can prevent the malfunction of the head mounted display 161.
  • a head mounted display 171 according to the fourth embodiment will be described with reference to FIGS.
  • the same reference numerals as those of the head mounted display 1 according to the first embodiment denote the same or corresponding parts as those of the head mounted display 1 according to the first embodiment.
  • the schematic configuration of the head mounted display 171 according to the fourth embodiment is substantially the same as the head mounted display 1 (see FIG. 1) according to the first embodiment.
  • the head mounted display 171 is different from the head mounted display 1 according to the first embodiment in that the CCD camera 7 for imaging the left eye 5 of the user 2 is not provided.
  • the head mounted display 171 includes a CCD camera 8, an output device 11, an input unit 31, an external connection unit 32, a video RAM 34, a font ROM 35, a control unit 36, a power source, and the like. Part 37 and the like.
  • the CCD camera 8 images the right eye 6 of the user 2.
  • the emission device 11 emits image light to the left eye 5 of the user 2.
  • the input unit 31 inputs various operations and data.
  • the external connection unit 32 receives content information from the outside.
  • the video RAM 34 stores image data such as contents and text to be displayed by the emission device 11.
  • the font data of the text displayed by the font ROM 35 emitting device 11 is stored.
  • the control unit 36 controls the entire head mounted display 1.
  • control processes of the head mounted display 171 are substantially the same control processes as those of the head mounted display 151 according to the second embodiment.
  • the CPU 51 of the head mounted display 171 replaces the “content display control process 2” (S111 to S118) with the content (image) described later according to the eye movement of the right eye 6 of the user 2 “content display”. The difference is that the control process 4 "is executed.
  • Content display control process 4 “contents” is processing executed by the CPU 51 of the head mounted display 171 according to the fourth embodiment, and displays and controls content (images) displayed by the emission device 11 according to the eye movement of the right eye 6 of the user 2.
  • the “display control process 4” will be described with reference to FIGS.
  • the program shown in the flowchart in FIG. 17 is stored in the flash memory 52 of the control unit 36, and a control signal corresponding to the operation of an eye mouse start key (not shown) included in the operation button group 41 is input to the input control circuit.
  • a control signal corresponding to the operation of an eye mouse start key (not shown) included in the operation button group 41 is input to the input control circuit.
  • it is executed by the CPU 51.
  • the program shown in the flowchart of FIG. 17 is obtained when a control signal corresponding to an operation of an eye mouse stop key (not shown) included in the operation button group 41 is input from the input control circuit 42 to the control unit 36. The execution is terminated by the CPU 51.
  • the CPU 51 executes the same processing (see FIG. 10) as in S111 to S113.
  • the CPU 51 determines that the eyelid 6A of the right eye 6 is not closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 30 frames), that is, When the eyelid 6A of the eye 6 has not been closed for a predetermined time or has been closed by blinking (S313: NO), the processing after S311 is executed again.
  • the CPU 51 stores, in the RAM 53, image recognition data for the number of frames corresponding to a predetermined time (for example, about 2 seconds) of the right eye 6 on the side where the emission device 11 is not mounted.
  • the CPU 51 continuously opens after the eyelid 6A of the right eye 6 is closed for the number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second). If yes (S313: YES), the process proceeds to S314. In S314, the CPU 51 recognizes the image data stored in the right eye image storage area of the RAM 53 by a predetermined number of frames (for example, about 30 frames), and the right eye 6 of the user 2, that is, the emission device.
  • the RAM 53 stores image recognition data for a predetermined number of frames of the right eye 6 on the side on which the 11 is not attached.
  • the CPU 51 reads out image recognition data for a predetermined number of frames of the right eye 6 of the user 2 from the RAM 53, and determines whether or not the eyeball 6B (see FIG. 18) of the right eye 6 has moved. Execute the process. Note that the CPU 51 determines that the eyeball 6B has moved in each direction when the pupil of the eyeball 6B moves in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124 from the center position of the white eye.
  • the CPU 51 detects the moving direction of the eyeball 6B, that is, the moving direction of the pupil of the eyeball 6B, from the image recognition data for the predetermined number of frames of the right eye 6 captured by the CCD camera 8.
  • the CPU 51 determines that the eyeball 6B has moved in that direction.
  • the moving direction is stored in the RAM 53 as the moving direction of the eyeball 6B.
  • the CPU 51 determines that the eyeball 6B has not moved. To do.
  • the second half of the third page and the first half of the fourth page Is displayed.
  • the eyeball 6B of the right eye 6 is moved in the upward direction 121 in a state where the second half of the third page and the first half of the fourth page are displayed, the entire third page is displayed.
  • the scroll amount can be a predetermined number of rows / columns. Further, the moving speed of the eyeball 6B may be recognized, and the scroll amount may be determined according to the recognized speed.
  • the fourth and fifth pages are displayed. Is displayed.
  • the eyeball 6B of the right eye 6 is moved in the left direction 123 while the fourth and fifth pages are displayed, the second and third pages are displayed.
  • the eyeball 6B of the right eye 6 is up 121, down 122, left 123 or right in S315.
  • the CPU 51 operates on the content (image) being displayed. , “Up scroll”, “Down scroll”, “Left scroll” or “Right scroll”, respectively.
  • the CPU 51 returns the playback position of the moving image file.
  • the eyeball 6B of the right eye 6 moves in the right direction 124, that is, when it moves “to the right”
  • the CPU 51 advances the reproduction position of the moving image file.
  • the playback position return / advance amount can be one chapter or a predetermined time (for example, about 30 seconds).
  • the CPU 51 may recognize the moving speed of the eyeball 6B and determine the return / advance amount of the reproduction position according to the recognized speed. As a result, the user 2 can always recognize the moving image with the left eye 5 on the wearing side even if the non-wearing right eye 6 is closed for a certain period of time in order to start the operation. , Can do the appropriate operation.
  • the CPU 51 executes the same processing as in S312 to S313.
  • the CPU 51 determines that the eyelid 6A of the right eye 6 is not closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 30 frames), that is, If the eyelid 6A of the eye 6 has not been closed for a predetermined time or has been closed by blinking (S318: NO), the processing after S314 is executed again.
  • the eyelid 6A of the right eye 6 is continuously opened after being closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second).
  • a predetermined number of frames for example, about 30 frames
  • a predetermined time for example, about 1 second.
  • the CPU 51 recognizes an image captured by the right eye 6 captured by the CCD sensor 18. Then, the CPU 51 opens the eye 6A of the right eye 6 continuously after being closed for a predetermined number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second). In this case, the captured image of the right eye 6 captured by the CCD sensor 18 is recognized as an image, and the moving direction of the eyeball 6B of the right eye 6 is detected.
  • the CPU 51 then displays the content (image) projected on the left eye 5 based on the movement in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124 of the eyeball 6B. Take control.
  • the CPU 51 ends the detection of the moving direction of the eyeball 6B of the right eye 6, Display control by moving the eyeball 6B of the content (image) projected to the left eye 5 is terminated and normal content display is performed.
  • the user 2 closes the eyelid 6A of the right eye 6 on which the content is not projected for a predetermined time (for example, about 1 second), and then opens the eye 6 so that the line-of-sight direction of the right eye 6 is the upward direction 121,
  • a predetermined time for example, about 1 second
  • the contents (images) such as the work procedure manual displayed on the left eye 5 are scroll-displayed or paged in the vertical direction or the horizontal direction, It is possible to change the playback position of the moving image displayed in FIG.
  • the user 2 again closes the eyelid 6A of the right eye 6 on which no content is projected for a predetermined time (for example, about 1 second) and then opens it, thereby changing the line-of-sight direction of the right eye 6. It is possible to cancel scroll display and page turning of contents (images) such as work procedure manuals. Then, the user 2 can prevent an unnecessary change in the display state of the content (image) due to a change in the viewing direction of the right eye 6.
  • a predetermined time for example, about 1 second
  • the user's line of sight of the right eye 6 is opened by closing the eyelid 6A of the right eye 6 for a predetermined time (for example, about 1 second) and then opening it.
  • the content (image) can be manipulated by moving the direction in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124, and work efficiency can be improved.
  • FIG. 15 when a work procedure manual or the like related to the object 3 is displayed on the head mounted display 171, the line of sight of the right eye 6 is moved up and down or left and right while handling the object 3 with both hands.
  • a predetermined page such as a work procedure manual can be displayed.
  • the user 2 again closes the eyelid 6 ⁇ / b> A of the right eye 6 for a predetermined time (for example, about 1 second), and then opens it to stop the operation of the content (image) according to the line-of-sight direction of the right eye 6. It is possible to change the line-of-sight direction of both eyes 5 and 6 with a predetermined page such as a work procedure manual opened.
  • the user 2 closes the eyelid 6A of the right eye 6 for a predetermined time (for example, about 1 second) and then opens the eye 6 to move the line of sight of the right eye 6 up and down or left and right. It becomes possible to manipulate the display state of the content (image) being viewed. Further, the CPU 51 can accurately distinguish the operation of the eyelid 6A of the right eye 6 from the physiological blink, and can prevent the malfunction of the head mounted display 171.
  • a predetermined time for example, about 1 second
  • the CPU 51 can accurately distinguish the operation of the eyelid 6A of the right eye 6 from the physiological blink, and can prevent the malfunction of the head mounted display 171.
  • the present invention is not limited to the first to fourth embodiments, and various improvements and modifications can be made without departing from the gist of the present invention. For example, the following may be used.
  • the emission device 11 of the head mounted display 1 may be attached to the right eye 6 side.
  • the CPU 51 determines whether or not the eyelid of the left eye 5 is closed based on the image data stored in the left eye image storage area of the RAM 53. Also good.
  • the CPU 51 determines the eyeball 6B of the right eye 6 based on the image data stored in the right eye image storage area of the RAM 53. Based on the movement in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124, display control such as upward scrolling and downward scrolling of the content (image) displayed on the right eye 6 may be performed. .
  • the emission device 11 of the head mounted display 151 may be attached to the right eye 6 side.
  • the number of frames for which the eyelid of the left eye 5 is a predetermined time (for example, about 1 second). After being closed (for example, about 30 frames), it may be determined whether or not it is continuously opened.
  • the CPU 51 stores image recognition data for the number of frames corresponding to a predetermined time (for example, about 2 seconds) of the left eye 5 on the side where the emission device 11 is not mounted in the RAM 53.
  • the CPU 51 continues after the eyelid of the left eye 5 is closed for a predetermined number of frames (for example, about 30 seconds) for a predetermined time (for example, about 30 seconds). If it is opened, the image data stored in the right eye image storage area of the RAM 53 is moved in the upward direction 121, the downward direction 122, the left direction 123, or the right direction 124 of the eye 6B of the right eye 6. Based on the above, display control such as up-scrolling and down-scrolling of the content (image) displayed on the right eye 6 may be performed.
  • the emission device 11 of the head mounted display 161 may be attached to the right eye 6 side.
  • the number of frames in which the eyelid of the left eye 5 is a predetermined time (for example, about 1 second). After being closed (for example, about 30 frames), it may be determined whether or not it is continuously opened.
  • the CPU 51 stores, in the RAM 53, image recognition data for the number of frames corresponding to a predetermined time (for example, about 2 seconds) of the left eye 5 on the side where the emission device 11 is not attached.
  • the CPU 51 continues after the eyelid of the left eye 5 is closed for the number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second).
  • the upward direction 121 is determined from the image data stored in the left-eye image storage area and the right-eye image storage area of the RAM 53. Based on the movement in the downward direction 122, the left direction 123, or the right direction 124, display control such as upward scrolling and downward scrolling of the content (image) displayed on the right eye 6 may be performed.
  • the emission device 11 of the head mounted display 171 may be attached to the right eye 6 side.
  • the CCD camera 7 that images the left eye 5 of the user 2 may be provided, and the CCD camera 8 that images the right eye 6 may not be provided.
  • steps S312 to S313 based on the image data stored in the left eye image storage area of the RAM 53, the number of frames in which the eyelid of the left eye 5 is a predetermined time (for example, about 1 second). After being closed (for example, about 30 frames), it may be determined whether or not it is continuously opened. However, in S ⁇ b> 312, the CPU 51 stores in the RAM 53 image recognition data for the number of frames corresponding to a predetermined time (for example, about 2 seconds) of the left eye 5 on the side where the emission device 11 is not mounted.
  • a predetermined time for example, about 1 second
  • steps S314 to S316 the CPU 51 continues after the eyelid of the left eye 5 is closed for a number of frames (for example, about 30 frames) for a predetermined time (for example, about 1 second).
  • a predetermined time for example, about 1 second.
  • Display control such as up-scrolling and down-scrolling of the content (image) displayed on the right eye 6 may be performed based on the movement of.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　ヘッドマントディスプレイ（１）は、表示情報の画像をユーザ（２）の一方の眼（５）に投射して当該ユーザに前記画像を視認させる表示装置（１１）と、前記ユーザ（２）の前記一方の眼（５）を撮像する投射側撮像装置（７）と、前記ユーザの他方の眼（６）を撮像する他方側撮像装置（８）と、前記投射側撮像装置（７）と前記他方側撮像装置（８）のうちの少なくとも片方を介して前記ユーザ（２）の少なくとも片側の眼の眼球運動を検出する眼球運動検出装置（５１）と、前記他方側撮像装置（８）を介して前記他方の眼（６）の所定の瞼の動作を検出する瞼動作検出装置（５１）と、前記瞼動作検出装置（５１）を介して前記所定の瞼の動作を検出した場合には、前記画像の表示状態を前記眼球運動検出装置（５１）によって検出された眼球運動に従って変更させるように前記表示装置（１１）を制御する表示制御装置（５１）と、を備えたことを特徴とする。

Description

ヘッドマウントディスプレイ
　本発明は、ヘッドマウントディスプレイに関するものである。
　従来より、利用者の頭部に装着されて、画像を投影表示するヘッドマウントディスプレイに関して種々提案されている。
　例えば、眼球運動検出用の撮像手段によって観察者の眼の瞬き運動を検出するように映像表示装置を構成する。そして、この撮像手段によって得られた観察者の眼の瞬き回数が、予め規定された基準値以下である場合には、通常の画像データによる映像が、特定の画像データによる映像に切り換えられるように構成された映像表示装置がある（例えば、特開２０００－２２１９５３号公報参照。）。
　しかしながら、上述した映像表示装置の構成では、映像の切り換えを眼の瞬き回数で操作する場合には、当該操作を行うための瞬き動作と生理的に行う瞬きとの区別が困難であるため、誤動作が生じる虞がある。
　そこで、本発明は、上述した問題点を解決するためになされたものであり、表示された画像の表示状態の変更を眼の動作で正確に操作でき、誤動作を防止することが可能となるヘッドマウントディスプレイを提供することを目的とする。
　前記目的を達成するため本発明のヘッドマウントディスプレイは、ユーザの頭部に装着され、表示情報の画像を該ユーザの一方の眼に投射して当該ユーザに前記画像を視認させる表示手段と、前記ユーザの前記一方の眼を撮像する投射側撮像手段と、前記ユーザの他方の眼を撮像する他方側撮像手段と、前記投射側撮像手段と前記他方側撮像手段のうちの少なくとも片方を介して前記ユーザの少なくとも片側の眼の眼球運動を検出する眼球運動検出手段と、前記他方側撮像手段を介して前記他方の眼の所定の瞼の動作を検出する瞼動作検出手段と、前記瞼動作検出手段を介して前記所定の瞼の動作を検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された眼球運動に従って変更させるように前記表示手段を制御する表示制御手段と、を備えたことを特徴とする。
　このようなヘッドマウントディスプレイでは、ユーザは画像が投射されていない他方の眼の瞼で所定の動作を行った後、画像が投射されている一方の眼の視線方向又は他方の眼の視線方向のうちの少なくとも片方の視線方向を変えることによって、一方の眼で視認している画像の表示状態を変更させることが可能となる。
　例えば、ユーザは画像が投射されている一方の眼と他方の眼のうちの片側の眼の視線方向、又は、両方の眼の視線方向を左方向又は右方向に動かすことによって、一方の眼に表示されているマニュアル等のページを左方向又は右方向にスクロール表示させことが可能となる。また、ユーザは、画像が投射されている一方の眼と他方の眼のうちの片側の眼の視線方向、又は、両方の眼の視線方向を上方向又は下方向に動かすことによって、一方の眼に表示されているマニュアル等のページを上方向又は下方向にスクロール表示させることが可能となる。これにより、ユーザは画像を見ていない方の眼で瞼の操作を行うので、連続スクロール中の画像を止めたり、動画操作など画像を見ながら操作タイミングを計って操作を行う場合に、瞼を閉じていてタイミングを逸するということを防止できる。
　また、前記本発明のヘッドマウントディスプレイにおいて、前記眼球運動検出手段は、前記投射側撮像手段と前記他方側撮像手段のうちの一方を介して前記ユーザの片側の眼の眼球運動を検出するようにしてもよい。
　このようなヘッドマウントディスプレイでは、ユーザは画像が投射されていない他方の眼の瞼で所定の動作を行った後、一方の眼で絶えず表示画像を確認しながら片側の眼の視線方向を変えることによって、視認している画像の表示状態を変更させることが可能となる。例えば、ユーザは片側の眼の視線方向を左方向又は右方向に動かすことによって、一方の眼に表示されているマニュアル等のページを左方向又は右方向にスクロール表示させることが可能となる。
　また、ユーザは、片側の眼の視線を上方向又は下方向に動かすことによって、一方の眼に表示されているマニュアル等のページを上方向又は下方向にスクロール表示させることが可能となる。これにより、画像を見ていない方の眼で瞼の操作を行うので、連続スクロール中の画像を止めたり、動画操作など画像を見ながら操作タイミングを計って操作を行う場合に、瞼を閉じていてタイミングを逸するということ確実に防止することができる。
　また、本発明のヘッドマウントディスプレイは、ユーザの頭部に装着され、表示情報の画像を該ユーザの一方の眼に投射して当該ユーザに前記画像を視認させる表示手段と、前記ユーザの他方の眼を撮像する他方側撮像手段と、前記他方側撮像手段を介して前記ユーザの前記他方の眼の眼球運動を検出する眼球運動検出手段と、前記他方側撮像手段を介して前記他方の眼の所定の瞼の動作を検出する瞼動作検出手段と、前記瞼動作検出手段を介して前記所定の瞼の動作を検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された眼球運動に従って変更させるように前記表示手段を制御する表示制御手段と、を備えたことを特徴とする。
　このようなヘッドマウントディスプレイでは、ユーザは画像が投射されていない他方の眼の瞼で所定の動作を行った後、この他方の眼の視線方向を変えることによって、一方の眼で視認している画像の表示状態を変更させることが可能となる。例えば、ユーザは画像が投射されていない他方の眼の視線方向を左方向又は右方向に動かすことによって、一方の眼に表示されているマニュアル等のページを左方向又は右方向にスクロール表示させことが可能となる。また、ユーザは、画像が投射されていない他方の眼の視線方向を上方向又は下方向に動かすことによって、一方の眼に表示されているマニュアル等のページを上方向又は下方向にスクロール表示させることが可能となる。
　これにより、ユーザは画像を見ていない方の眼の眼球と瞼の動作を行うので、連続スクロール中の画像を止めたり、動画操作など画像を見ながら操作タイミングを計って操作を行う場合に、瞼を閉じていてタイミングを逸するということもなくなる。例えば、ユーザは一方の眼で画面を見ながら、他方の眼の瞼を所定時間以上閉じたままでタイミングを計り、操作タイミングで瞼を開けて視線入力を行うことで、生理的な眼の瞬きによる誤操作を防止して、正確なタイミングで操作を行うことができる。
　また、上記本発明のヘッドマウントディスプレイにおいて、前記瞼動作検出手段は、前記他方の眼の瞼を所定時間以上閉じた後開ける動作を前記所定の瞼の動作として検出するようにしてもよい。
　このような、ヘッドマウントディスプレイでは、ユーザは画像が投射されていない他方の眼の瞼を所定時間以上閉じた後開ける動作をした場合に、視認している画像の表示状態を視線方向の変更によって操作することが可能となる。これにより、画像が投射されていない他方の眼の瞼の動作と生理的な瞬きとを正確に区別することができ、生理的な眼の瞬きによるヘッドマウントディスプレイの誤動作を防止することが可能となる。
　更に、上記本発明のヘッドマウントディスプレイにおいて、前記瞼動作検出手段は、前記他方の眼の瞼を閉じる動作を前記所定の瞼の動作として検出し、前記眼球運動検出手段は、前記投射側撮像手段を介して前記ユーザの前記一方の眼の眼球運動を検出して、前記表示制御手段は、前記瞼動作検出手段を介して前記他方の眼の瞼が閉じられていることを検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された前記ユーザの前記一方の眼の眼球運動に従って変更させるように前記表示手段を制御し、該瞼動作検出手段を介して該他方の眼の瞼が開けられていることを検出した場合には、該画像の表示状態の変更を停止させるように該表示手段を制御するようにしてもよい。
　このような、ヘッドマウントディスプレイでは、画像が投射されていない他方の眼の瞼が閉じられている間だけ、画像が投射されている一方の眼の視線方向の変更によって、視認している画像の表示状態を操作することが可能となる。これにより、画像が投射されていない他方の眼の瞼の動作と生理的な瞬きとを正確に区別することができ、生理的な眼の瞬きによるヘッドマウントディスプレイの誤動作を防止することが可能となる。また、画像を見ていない方の眼で瞼を閉じる動作を行うので、装着側の眼の眼球運動で連続スクロール中の画面を止めたり、動画操作など画像を見ながら操作を行う場合にも生理的な瞬きによる誤動作をなくすことが可能となる。
実施例１に係るヘッドマウントディスプレイがユーザに装着されている状態を示す図である。 ヘッドマウントディスプレイの外観を示す平面図である。 ヘッドマウントディスプレイの電気的構成を示すブロック図である。 出射装置の電気的構成及び光学的構成を示すブロック図である。 出射装置によって表示されるコンテンツをユーザの左眼の眼球運動に従って表示制御する「コンテンツ表示制御処理１」を示すフローチャートである。 実施例１において検出される眼球運動の一例を示す説明図である。 眼球運動とコンテンツ（画像）の制御との関係を示す制御テーブルの一例を示す図である。 左眼の眼球の移動と表示されるコンテンツ（作業手順書）との関係の一例を示す図である。 左眼の眼球の移動と表示されるコンテンツ（作業手順書）との関係の一例を示す図である。 実施例２に係るヘッドマウントディスプレイの出射装置によって表示されるコンテンツをユーザの左眼の眼球運動に従って表示制御する「コンテンツ表示制御処理２」を示すフローチャートである。 実施例３に係るヘッドマウントディスプレイの出射装置によって表示されるコンテンツをユーザの両眼の眼球運動に従って表示制御する「コンテンツ表示制御処理３」を示すフローチャートである。 実施例３において検出される眼球運動の一例を示す説明図である。 両眼の眼球の移動と表示されるコンテンツ（作業手順書）との関係の一例を示す図である。 両眼の眼球の移動と表示されるコンテンツ（作業手順書）との関係の一例を示す図である。 実施例４に係るヘッドマウントディスプレイがユーザに装着されている状態を示す図である。 実施例４に係るヘッドマウントディスプレイの電気的構成を示すブロック図である。 実施例４に係るヘッドマウントディスプレイの出射装置によって表示されるコンテンツをユーザの右眼の眼球運動に従って表示制御する「コンテンツ表示制御処理４」を示すフローチャートである。 実施例４において検出される眼球運動の一例を示す説明図である。 右眼の眼球の移動と表示されるコンテンツ（作業手順書）との関係の一例を示す図である。 右眼の眼球の移動と表示されるコンテンツ（作業手順書）との関係の一例を示す図である。
　以下、本発明に係るヘッドマウントディスプレイについて具体化した実施例１乃至実施例４に基づき図面を参照しつつ詳細に説明する。
［ヘッドマウントディスプレイ１の概略構成］
　先ず、実施例１に係るヘッドマウントディスプレイ１の概略構成について図１及び図２に基づいて説明する。
　尚、図１及び図２に示されるヘッドマウントディスプレイ１の外観は単なる一例であり、本発明は、当該外観を有するヘッドマウントディスプレイ１に限定されるものではない。また、以下の説明では、本発明を網膜走査ディスプレイに適用した実施形態について説明するが、本発明は、液晶素子や有機ＥＬ素子等を用いて画像表示を行う種々のヘッドマウントディスプレイに適用できる。また、以下の説明では、本発明を光学シースルー型のヘッドマウントディスプレイに適用した実施例について説明するが、本発明は、ユーザの一方の眼に画像を表示するヘッドマウントディスプレイであれば、ビデオシースルー型、外界非透過型のヘッドマウントディスプレイにも適用することができる。
　図１に示すように、ヘッドマウントディスプレイ１は、外部から入力された動画ファイル、静止画ファイル、文書ファイル（例えば、作業手順書や表計算ファイル等である。）等の各種コンテンツ情報を画像信号に変換し、この画像信号に応じて変調されたビーム光（以下、「画像光」という。）をユーザ２の左眼５（図４、図６参照）の網膜上に走査させる。これにより、ユーザ２の左眼５にコンテンツ情報に対応する画像（以下、「コンテンツ」という。）を視認させることができる（図４参照）。
　また、このヘッドマウントディスプレイ１は、コンテンツを表示している最中であっても、ユーザ２の視野の中で、そのコンテンツを表示している領域外の領域では、外界の対象物３や風景等を視認できるように構成されている。即ち、このヘッドマウントディスプレイ１は、外光を透過しつつ、つまり、外界が視認可能な状態で、画像光をユーザ２の左目５に投射するシースルー型のヘッドマウントディスプレイである。
　そして、図１及び図２に示すように、このヘッドマウントディスプレイ１は、ＣＣＤカメラ７と、ＣＣＤカメラ８と、出射装置１１と、プリズム１２と、これらを支持する支持部材１３とから基本的に構成されている。ＣＣＤカメラ７は、ユーザ２の左眼５を撮像し、ＣＣＤカメラ８は、ユーザ２の右眼６（図６参照）を撮像する。出射装置１１は、ユーザ２の左眼５に画像光Ｚ１を出射する。プリズム１２は、この画像光Ｚ１をユーザ２の左眼５に向かって反射させる。
　また、このプリズム１２は、不図示のビームスプリッタ部を備えており、外界からの外光Ｚ２を透過させ、ユーザ２の左眼５に導く。このように、プリズム１２は、ユーザ２の側方から入射された画像光Ｚ１をユーザ２の左眼５に入射させると共に、外界からの外光Ｚ２をユーザ２の左眼５に入射させる光学系であるため、ユーザ２はコンテンツを外界の風景に重畳させて視認することができる。
　尚、プリズム１２に代えてハーフミラーを用いることもできる。すなわち、出射装置１１からの画像光Ｚ１は、ハーフミラーに反射されてユーザ２の左眼５に入射すると共に、外光Ｚ２はハーフミラーを透過してユーザ２の眼に入射する。
　また、ＣＣＤカメラ７は、ＣＣＤカメラ７の全体を制御する各ＣＣＤコントローラ１５（図３参照）と、ＣＣＤカメラ７に対向する左眼５を撮像するＣＣＤセンサ１６（図３参照）とを備えている。また、ＣＣＤカメラ８は、ＣＣＤカメラ８の全体を制御する各ＣＣＤコントローラ１７（図３参照）と、ＣＣＤカメラ８に対向する右眼６を撮像するＣＣＤセンサ１８（図３参照）とを備えている。
　そして、ＣＣＤコントローラ１５は、ＣＣＤセンサ１６によって撮像された画像を制御部３６のＲＡＭ５３の左眼画像記憶領域へ記憶する。ＲＡＭ５３の左眼画像記憶領域へ記憶された画像は、ＣＰＵ５１によって画像処理され、後述のように、この画像処理結果に基づいてコンテンツが表示制御される（図５参照）。また、ＣＣＤコントローラ１７は、ＣＣＤセンサ１８によって撮像された画像を制御部３６のＲＡＭ５３の右眼画像記憶領域へ記憶する。ＲＡＭ５３の右眼画像記憶領域へ記憶された画像は、ＣＰＵ５１によって画像処理され、後述のように、この画像処理結果に基づいてコンテンツの表示の開始と終了、即ち、コンテンツの表示のオン、オフが制御される（図５参照）。
［ヘッドマウントディスプレイ１の電気的構成］
　次に、ヘッドマウントディスプレイ１の電気的構成について図３に基づいて説明する。図３はヘッドマウントディスプレイ１の電気的構成を示すブロック図である。
　図３に示すように、ヘッドマウントディスプレイ１は、ＣＣＤカメラ７と、ＣＣＤカメラ８と、出射装置１１と、入力部３１と、外部接続部３２と、ビデオＲＡＭ３４と、フォントＲＯＭ３５と、制御部３６と、電源部３７等とから構成されている。ＣＣＤカメラ７はユーザ２の左眼５を撮像し、ＣＣＤカメラ８はユーザ２の右眼６を撮像する。出射装置１１はユーザ２の左眼５に画像光を出射する。
　入力部３１は各種操作やデータの入力を行う。外部接続部３２は外部からのコンテンツ情報が入力される。ビデオＲＡＭ３４は出射装置１１によって表示するコンテンツやテキスト等のイメージデータを格納する。フォントＲＯＭ３５出射装置１１によって表示するテキストのフォントデータを格納する。制御部３６はヘッドマウントディスプレイ１の全体を制御する。尚、出射装置１１の詳細については、図４に基づいて後述する。
　ＣＣＤカメラ７は、ＣＣＤコントローラ１５とＣＣＤセンサ１６等から構成され、ＣＣＤコントローラ１５は、ＣＣＤセンサ１６によって撮像された左眼５の撮像画像を制御部３６のＲＡＭ５３の左眼画像記憶領域へ記憶する。また、ＣＣＤカメラ８は、ＣＣＤコントローラ１１７とＣＣＤセンサ１８等から構成され、ＣＣＤコントローラ１７は、ＣＣＤセンサ１８によって撮像された、右眼６の撮像画像を制御部３６のＲＡＭ５３の右眼画像記憶領域へ記憶する。
　また、入力部３１は、各種機能キー等からなる操作ボタン群４１と、入力制御回路４２とから構成されている。この入力制御回路４２は、操作ボタン群４１のキー操作がされたことを検出して、操作されたキーに対応する制御信号を制御部３６に出力する。例えば、不図示のアイマウス開始キーが操作された場合には、入力制御回路４２は、後述の「コンテンツ表示制御処理１」のプログラム（図５参照）を実行するように指示する制御信号を制御部３６に出力する。また、不図示のアイマウス停止キーが操作された場合には、入力制御回路４２は、後述の「コンテンツ表示制御処理１」のプログラムの実行を終了するように指示する制御信号を制御部３６に出力する。
　また、外部接続部３２は、外部機器（例えば、パーソナルコンピュータである。）に接続されてコンテンツ情報を取得する外部接続モジュール４５と、外部接続制御回路４６とから構成されている。そして、外部接続制御回路４６は外部接続モジュール４５から入力されたコンテンツ情報を制御部３６に出力し、当該コンテンツ情報はフラッシュメモリ５２に記憶される。
　また、制御部３６は、ＣＰＵ５１、フラッシュメモリ５２、ＲＡＭ５３等とから構成され、これらは不図示のバス線により相互に接続されて、相互にデータのやり取りが行われる。
　また、ＣＰＵ５１は、ヘッドマウントディスプレイ１の全体を制御し、ヘッドマウントディスプレイ１の動作に関する全てのデータを管理する演算処理装置である。また、ＣＰＵ５１は、各種コンテンツ情報を画像信号に変換してビデオＲＡＭ３４に記憶する。また、後述のように、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域と右眼画像記憶領域に記憶される各ＣＣＤセンサ１６、１８によって撮像されたユーザ２の両眼５、６の撮像画像を画像処理して、それぞれの瞼の動きや眼球運動を検出し、この検出結果に従ってユーザ２の左眼５に投射するコンテンツを表示制御する（図５参照）。
　また、フラッシュメモリ５２は、ＣＰＵ５１によって実行される各種プログラムを記憶している。例えば、フラッシュメモリ５２は、後述のヘッドマウントディスプレイ１により表示するコンテンツを左眼５又は右眼６の眼球運動に従って左頁戻し、右頁戻し、上スクロール、下スクロール等の表示制御を行う際に、出射装置１１を駆動制御するための制御処理プログラム等を記憶している。また、フラッシュメモリ５２には、外部接続制御回路４６から入力されたコンテンツ情報等が記憶される。
　ここで、各種コンテンツ情報には、作業手順書（文書ファイル）、表計算ファイル、動画ファイル等が含まれる。また、上記各種プログラムの一部または全部を、読み出し専用のＲＯＭ（不図示）に記憶するように構成してもよい。
　また、ＲＡＭ５３は、各ＣＣＤセンサ１６、１８によって撮像された撮像画像を一時的に記憶し、ＣＰＵ５１が種々の制御を実行する際に、各種データを一時的に記憶する。
　また、ビデオＲＡＭ３４は、画像信号を一時的に記憶する。そして、このビデオＲＡＭ３４に記憶された画像信号は、出射装置１１の映像信号処理回路６３に出力されて、コンテンツとしてユーザ２の網膜に投影される。従って、ＣＰＵ５１は、コンテンツ情報をフラッシュメモリ５２から読み出し、読み出したコンテンツ情報を画像信号に変換してビデオＲＡＭ３４に書き込むことによって、表示するコンテンツを制御することができる。
　また、電源部３７は、電池５６と、充電制御回路５７とを備えている。電池５６はヘッドマウントディスプレイ１を駆動させるための電源である。充電制御回路５７は電池５６の電力をヘッドマウントディスプレイ１に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５６へ供給して電池５６の充電を行う。
［出射装置１１の電気的及び光学的構成］
　次に、出射装置１１の電気的及び光学的構成について図３及び図４に基づいて説明する。
　図３及び図４に示すように、出射装置１１には、光源ユニット部６１が設けられている。この光源ユニット部６１は、ビデオＲＡＭ３４から入力される画像信号に基づいて、画像光を生成すると共に、ＣＰＵ５１から入力された走査制御信号に基づいて画像光の水平方向と垂直方向の走査制御を行う。
　また、光源ユニット部６１には、映像信号処理回路６３が設けられている。映像信号処理回路６３は、ビデオＲＡＭ３４から画像信号が入力されると共に、ＣＰＵ５１から走査制御信号が入力されて、それに応じた映像を合成するための要素となる各信号を発生する。例えば、この映像信号処理回路６３から、各画素毎の青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各出力制御信号６５Ａ～６５Ｃ、水平同期信号６６、及び垂直同期信号６７が出力される。
　また、光源ユニット部６１には、光源部７１と、光合成部７２とが設けられている。光源部７１は映像信号処理回路６３からドットクロック毎に出力される３つの出力制御信号６５Ａ～６５Ｃをそれぞれ画像光にする画像光出力部として機能する。光合成部７２は、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成する。
　光源部７１は、青色の画像光を発生させるＢレーザ７４と、出力制御信号６５Ａに従ってＢレーザ７４を駆動するＢレーザドライバ７５を備えている。また、光源部７１は、緑色の画像光を発生させるＧレーザ７６と、出力制御信号６５Ｂに従ってＧレーザ７６を駆動するＧレーザドライバ７７を備えている。また、光源部７１は、赤色の画像光を発生させるＲレーザ７８と、出力制御信号６５Ｃに従ってＲレーザ７８を駆動するＲレーザドライバ７９とを備えている。
　尚、各レーザ７４、７６、７８は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。
　また、光合成部７２は、各コリメート光学系８１、８２、８３と、各ダイクロイックミラー８４、８５、８６と、結合光学系８７とを備えている。各コリメート光学系８１、８２、８３は、光源部７１から入射する３つの画像光をそれぞれ平行光にコリメートするように設けられている。各ダイクロイックミラー８４、８５、８６は、このコリメートされた３つの画像光を合成する。結合光学系８７は、この合成された画像光を光ファイバ８８に導く。
　そして、各レーザ７４、７６、７８から出射したレーザ光は、各コリメート光学系８１、８２、８３によってそれぞれ平行化された後に、各ダイクロイックミラー８４、８５、８６に入射される。その後、これらのダイクロイックミラー８４、８５、８６により、各画像光が波長に関して選択的に反射・透過されて結合光学系８７に達し、集光されて光ファイバ８８へ入射される。
　また、出射装置１１には、コリメート光学系８９と、水平走査部９２と、垂直走査部９３と、水平走査部９２と垂直走査部９３との間に設けられたリレー光学系９４と、リレー光学系９６とが設けられている。コリメート光学系８９は、光源ユニット部６１で生成され、光ファイバ８８を介して出射される画像光を平行光にコリメートする。水平走査部９２は、コリメート光学系８９でコリメートされた画像光を水平方向に往復走査する。垂直走査部９３は、水平走査部９２によって水平方向に往復走査された画像光を垂直方向に走査する。リレー光学系９６は、このように水平方向と垂直方向に走査（２次元的に走査）された画像光をユーザ２の左眼５の瞳孔９５へ出射する。また、プリズム１２は、リレー光学系９６とユーザ２の瞳孔９５との間に配置され、出射装置１１から出射された画像光を全反射させる等してユーザ２の瞳孔９５に導くこととなる。
　また、水平走査部９２には、共振型偏向素子１０１と、水平走査制御回路１０２と、水平走査角検出回路１０３とが設けられている。共振型偏向素子１０１は、画像光を水平方向に往復走査するための反射面１０１Ａを有している。水平走査制御回路１０２は、映像信号処理回路６３から入力された水平同期信号６６に基づいて、この共振型偏向素子１０１を共振駆動して反射面１０１Ａを揺動させるように駆動制御する。水平走査角検出回路１０３は、共振型偏向素子１０１の揺動角度や揺動周波数等の揺動状態を検出する。
　また、垂直走査部９３には、偏向素子１０５と、垂直走査制御回路１０６と、垂直走査角検出回路１０７とが設けられている。偏向素子１０５は、画像光を垂直方向に走査するための反射面１０５Ａを有している。垂直走査制御回路１０６は、映像信号処理回路６３から入力された垂直同期信号６７に基づいて、この偏向素子１０５を駆動して反射面１０５Ａを揺動させるように駆動制御する。垂直走査角検出回路１０７は、偏向素子１０５の揺動角度や揺動周波数等の揺動状態を検出する。
　ここで、水平走査角検出回路１０３は、検出した共振型偏向素子１０１の揺動状態を示す揺動信号１０４をＣＰＵ５１に出力する。垂直走査角検出回路１０７は、検出した偏向素子１０５の揺動状態を示す揺動信号１０８をＣＰＵ５１に出力する。そして、ＣＰＵ５１は、受信した各揺動信号１０４、１０８に基いて、映像信号処理回路６３に出力する走査制御信号を決定する。これにより、共振型偏向素子１０１及び偏向素子１０５の駆動状態は、ＣＰＵ５１によりフィードバック制御されることになる。
　尚、各揺動信号１０４、１０８を映像信号処理回路６３に出力するように構成してもよい。そして、映像信号処理回路６３が、各揺動信号１０４、１０８に基いて水平同期信号６６及び垂直同期信号６７を出力するように構成してもよい。すなわち、共振型偏向素子１０１及び偏向素子１０５の駆動状態を、映像信号処理回路６３によってフィードバック制御するようにしてもよい。
　また、共振型偏向素子１０１によって水平方向に走査された光は、水平走査部９２と垂直走査部９３との間に設けられたリレー光学系９４によって偏向素子１０５の反射面１０５Ａに収束される。そして、この収束された光は、偏向素子１０５によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９６へ出射される。また、リレー光学系９６は、垂直走査部９３から出射された表示用の走査画像光を、それぞれほぼ平行な画像光に変換すると共に、これらの画像光の中心線をユーザ２の瞳孔９５に収束するように変換する。
　尚、水平走査部９２と垂直走査部９３との配置を入れ替え、光ファイバ８８から入射された画像光を、垂直走査部９３によって垂直方向に走査した後、水平走査部９２で水平方向に走査するようにしてもよい。
［コンテンツ表示制御処理１］
　次に、上記のように構成されたヘッドマウントディスプレイ１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の左眼５の眼球運動に従って表示制御する「コンテンツ表示制御処理１」について図５乃至図９に基づいて説明する。
　尚、図５にフローチャートで示されるプログラムは、制御部３６のフラッシュメモリ５２に記憶され、操作ボタン群４１に含まれるアイマウス開始キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行される。また、図５にフローチャートで示されるプログラムは、操作ボタン群４１に含まれるアイマウス停止キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行が終了される。
　また、「コンテンツ表示制御処理１」の実行が開始されると、各ＣＣＤセンサ１６、１８が撮像した画像信号は、ＲＡＭ５３の左眼画像記憶領域、右眼画像記憶領域に、それぞれ所定のフレームレート（例えば、１秒間に約３０フレームである。）で書き込まれる。尚、表示制御対象となるコンテンツ情報は、予めフラッシュメモリ５２に記憶されているものとする。また、複数のコンテンツ情報がフラッシュメモリ５２に記憶されている場合には、どのコンテンツ情報を表示するのかについて予め設定されているものとする。
　図５に示すように、先ず、ステップ（以下、Ｓと略記する）１１において、ＣＰＵ５１は、外部接続制御回路４６から入力されてフラッシュメモリ５２に記憶された作業手順書（文書ファイル）等のコンテンツ情報がある場合には、当該コンテンツ情報を読み出して画像信号に変換してビデオＲＡＭ３４に記憶する。これにより、ビデオＲＡＭ３４から映像信号処理部６３へ画像信号が入力されて、当該コンテンツ情報に対応するコンテンツ（画像）が、出射装置１１を介してユーザ２の左眼５に表示される。
　例えば、コンテンツ情報が作業手順書（文書ファイル）の場合には、その第１頁目に対応するコンテンツ（図８参照）や、見開き状態の第１頁及び第２頁（図９参照）が、出射装置１１を介してユーザ２の左眼５に表示される。
　そして、Ｓ１２において、ＣＰＵ５１は、ＲＡＭ５３の右眼画像記憶領域に記憶されている画像データ、つまり、ユーザ２の右眼６の画像データを所定フレーム数（例えば、約３０フレームである。）画像認識する。そして、ＣＰＵ５１は、ユーザ２の右眼６、つまり、出射装置１１が装着されていない側の右眼６の所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。この画像認識では、眼球の白眼と黒目（瞳の色である。）の領域が検出された場合には、瞼は閉じられていないと認識され、一方、眼球の白眼と黒目の領域が検出されず、主として肌色が検出された場合には、瞼が閉じられていると認識される。
　続いて、Ｓ１３において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の右眼６の所定フレーム数分の画像認識データを読み出し、右眼６の瞼６Ａ（図６参照）が連続して閉じられているか否かを判定する判定処理を実行する。具体的には、ＣＰＵ５１は、右眼６の所定フレーム数分の画像認識データを読み出し、右眼６の眼球が検出されない、即ち、主として肌色が検出された場合は、瞼６Ａが閉じられていると判定する。
　そして、右眼６の所定フレーム数分の画像認識データにおいて、右眼６の瞼６Ａが連続して閉じられていない場合、つまり、右眼６が開いて、白眼や瞳の色が認識されている場合には（Ｓ１３：ＮＯ）、ＣＰＵ５１は、再度Ｓ１１以降の処理を実行する。
　一方、右眼６の所定フレーム数分の画像認識データにおいて、右眼６の瞼６Ａが連続して閉じられて、白眼や瞳の色が認識されず、主として肌色が検出されている場合には（Ｓ１３：ＹＥＳ）、ＣＰＵ５１は、Ｓ１４の処理に移行する。
　Ｓ１４において、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データ、つまり、ユーザ２の左眼５の画像データを所定フレーム数（例えば、約３０フレームである。）画像認識する。そして、ＣＰＵ５１は、ユーザ２の左眼５、つまり、出射装置１１が装着されている側の左眼５の所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。
　続いて、Ｓ１５において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の左眼５の所定フレーム数分の画像認識データを読み出し、左眼５の眼球５Ａ（図６参照）が移動したか否かを判定する判定処理を実行する。
　ここで、ユーザ２の左眼５の所定フレーム数分の画像認識データから検出される眼球５Ａの移動方向の一例について図６に基づいて説明する。
　図６に示すように、ＣＰＵ５１は、ＣＣＤカメラ７によって撮像された左眼５の所定フレーム数分の画像認識データから、眼球５Ａの移動方向、つまり、眼球５Ａの瞳の移動方向を検出する。
　そして、眼球５Ａの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれかの方向に移動した場合には、ＣＰＵ５１は、眼球５Ａがその方向に移動したと判定し、この移動方向を眼球５Ａの移動方向としてＲＡＭ５３に記憶する。尚、ＣＰＵ５１は、眼球５Ａの瞳が白眼の中央位置よりも上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合に、それぞれの方向に眼球５Ａが移動したと判定する。
　一方、眼球５Ａの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれの方向にも移動していない場合には、ＣＰＵ５１は、眼球５Ａは移動していないと判定する。
　そして、図５に示すように、Ｓ１５において、左眼５の眼球５Ａは移動していないと判定した場合には（Ｓ１５：ＮＯ）、ＣＰＵ５１は、再度Ｓ１１以降の処理を実行する。
　一方、Ｓ１５において、眼球５Ａが移動したと判定した場合には（Ｓ１５：ＹＥＳ）、ＣＰＵ５１は、Ｓ１６の処理に移行する。Ｓ１６において、ＣＰＵ５１は、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、再度Ｓ１２以降の処理を実行する。
　ここで、フラッシュメモリ５２に予め記憶されている制御テーブル１３１の内容に基づいてコンテンツ（画像）の表示制御を行った一例を図７乃至図９に基づいて説明する。
　尚、図９では、見開きページ表示（２頁分の表示）としているが、単一頁の表示としてもよいことはいうまでもない。
　図７に示すように、上記Ｓ１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ１５で左眼５の眼球５Ａが上方向１２１に移動した場合、つまり、「上に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「上スクロール」を行う。また、上記Ｓ１５で左眼５の眼球５Ａが下方向１２２に移動した場合、つまり、「下に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「下スクロール」を行う。
　例えば、図８に示すように、３頁目全体が表示されている状態で、左眼５の眼球５Ａが下方向１２２に移動されると、３頁目の後半部分と４頁目の前半部分とが表示される。また、３頁目の後半部分と４頁目の前半部分とが表示されている状態で、左眼５の眼球５Ａが上方向１２１に移動されると、３頁目全体が表示される。
　尚、スクロール量は、所定の行数／列数とすることができる。また、ＣＰＵ５１は、眼球５Ａの移動速度を認識し、認識した速度に応じてスクロール量を決定してもよい。
　また、図７に示すように、上記Ｓ１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ１５で左眼５の眼球５Ａが左方向１２３に移動した場合、つまり、「左に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「左頁送り」を行う。また、上記Ｓ１５で左眼５の眼球５Ａが右方向１２４に移動した場合、つまり、「右に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「右頁送り」を行う。
　例えば、図９に示すように、２頁目と３頁目とが表示されている状態で、左眼５の眼球５Ａが右方向１２４に移動されると、４頁目と５頁目とが表示される。また、４頁目と５頁目とが表示されている状態で、左眼５の眼球５Ａが左方向１２３に移動されると、２頁目と３頁目とが表示される。
　また、図７に示すように、上記Ｓ１１で表示したコンテンツ情報が「表計算ファイル」の場合には、上記Ｓ１５で左眼５の眼球５Ａが上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合、つまり、「上に移動」、「下に移動」、「左に移動」又は「右に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して、それぞれ「上スクロール」、「下スクロール」、「左スクロール」又は「右スクロール」を行う。
　また、図７に示すように、上記Ｓ１１で表示したコンテンツ情報が「動画像ファイル」の場合には、上記Ｓ１５で左眼５の眼球５Ａが左方向１２３に移動した場合、つまり、「左に移動」した場合には、ＣＰＵ５１は、動画像ファイルの再生位置を戻す。また、左眼５の眼球５Ａが右方向１２４に移動した場合、つまり、「右に移動」した場合には、ＣＰＵ５１は、動画像ファイルの再生位置を進める。尚、再生位置の戻し／進み量は、１チャプター分や所定時間（例えば、約３０秒である。）分とすることができる。また、ＣＰＵ５１は、眼球５Ａの移動速度を認識し、認識した速度に応じて再生位置の戻し／進み量を決定してもよい。これにより、ユーザ２は、操作を開始するため非装着側の右眼６を閉じても、装着側の左眼５では常に動画を認識できるので、動画の一部を見損なうことがなく、適切な操作を行うことができる。
　以上説明した通り、実施例１に係るヘッドマウントディスプレイ１では、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識する。そして、ＣＰＵ５１は、右眼６の瞼６Ａが閉じられていると画像認識した場合には、ＣＣＤセンサ１６によって撮像された左眼５の撮像画像を画像認識して、コンテンツ（画像）が投射されている眼球５Ａの移動方向を検出する。
　そして、ＣＰＵ５１は、眼球５Ａの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、コンテンツ（画像）の上スクロール、下スクロール等の表示制御を行う。
　また、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識することによって、右眼６の瞼６Ａが開かれたと画像認識した場合には、眼球５Ａの移動方向の検出を終了し、コンテンツ（画像）の眼球５Ａの移動による表示制御を終了して通常のコンテンツ表示を行う。
　従って、ユーザ２は、コンテンツが投射されていない右眼６を閉じることによって、左眼５の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、左眼５に表示されている作業手順書等のコンテンツ（画像）を上下方向又は左右方向にスクロール表示や頁送りをしたり、左眼５に表示されている動画像の再生位置を変更することが可能となる。
　これにより、ユーザ２は、両手がふさがっている状態であっても、右眼６の瞼６Ａを閉じて、左眼５の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かすことによって、コンテンツ（画像）を操作でき、作業効率を高めることができる。例えば、図１において、対象物３に関する作業手順書等をヘッドマウントディスプレイ１に表示している場合、両手で対象物３を扱いつつ、左眼５の視線を上下又は左右に移動させることによって、作業手順書等の所定のページを表示させることができる。
　また、ユーザ２は右眼６の瞼６Ａを閉じている間だけ、左眼５の視線を上下又は左右に動かして、左眼５で視認しているコンテンツ（画像）の表示状態を操作することが可能となる。これにより、ＣＰＵ５１は、右眼６の瞼６Ａの動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイ１の誤動作を防止することが可能となる。また、ＣＰＵ５１は、左眼５の生理的な動きと操作のために眼球５Ａを動かしたときの動きとを、右眼６の瞼６Ａの開閉で区別できるので、左眼５の生理的な動きによるヘッドマウントディスプレイ１の誤動作も防止できる。
　次に、実施例２に係るヘッドマウントディスプレイ１５１について図１０に基づいて説明する。尚、上記実施例１に係るヘッドマウントディスプレイ１と同一符号は、上記実施例１に係るヘッドマウントディスプレイ１と同一あるいは相当する部分を示すものである。
　実施例２に係るヘッドマウントディスプレイ１５１の概略構成は、実施例１に係るヘッドマウントディスプレイ１と同じ構成である。また、ヘッドマウントディスプレイ１５１の各種制御処理も実施例１に係るヘッドマウントディスプレイ１とほぼ同じ制御処理である。但し、ヘッドマウントディスプレイ１５１のＣＰＵ５１は、上記「コンテンツ表示制御処理１」（Ｓ１１～Ｓ１６）に替えて、後述の「コンテンツ表示制御処理２」を実行する点で異なっている。
［コンテンツ表示制御処理２］
　ここで、実施例２に係るヘッドマウントディスプレイ１５１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の左眼５の眼球運動に従って表示制御する「コンテンツ表示制御処理２」について図１０に基づいて説明する。
　尚、図１０にフローチャートで示されるプログラムは、制御部３６のフラッシュメモリ５２に記憶され、操作ボタン群４１に含まれるアイマウス開始キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行される。また、図１０にフローチャートで示されるプログラムは、操作ボタン群４１に含まれるアイマウス停止キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行が終了される。
　図１０に示すように、Ｓ１１１乃至Ｓ１１２において、ＣＰＵ５１は、上記Ｓ１１乃至Ｓ１２と同様の処理（図５参照）を実行する。但し、Ｓ１１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の右眼６の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
　その後、Ｓ１１３において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の右眼６の所定時間（例えば、約２秒である。）に相当するフレーム数分（例えば、約６０フレーム分である。）の画像認識データを読み出して、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれているか否かを判定する判定処理を実行する。
　そして、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ１１３：ＮＯ）、ＣＰＵ５１は、再度Ｓ１１１以降の処理を実行する。
　一方、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ１１３：ＹＥＳ）、ＣＰＵ５１は、Ｓ１１４の処理に移行する。Ｓ１１４乃至Ｓ１１５において、ＣＰＵ５１は、上記Ｓ１４乃至Ｓ１５と同様の処理（図５参照）を実行する。
　そして、Ｓ１１５において、ＣＰＵ５１は、眼球５Ａは移動していないと判定した場合には（Ｓ１１５：ＮＯ）、後述のＳ１１７の処理に移行する。
　一方、Ｓ１１５において、ＣＰＵ５１は、眼球５Ａが移動したと判定した場合には（Ｓ１１５：ＹＥＳ）、Ｓ１１６の処理に移行する。Ｓ１１６において、ＣＰＵ５１は、上記Ｓ１６と同様の処理（図５参照）を実行する、つまり、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、Ｓ１１７の処理に移行する。
　Ｓ１１７乃至Ｓ１１８において、ＣＰＵ５１は、上記Ｓ１１２乃至Ｓ１１３と同様の処理を実行する。
　そして、Ｓ１１８において、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれていない場合、つまり、右眼６の瞼６Ａが閉じられていない場合や、瞬きで閉じられた場合には（Ｓ１１８：ＮＯ）、ＣＰＵ５１は、再度Ｓ１１４以降の処理を実行する。
　一方、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ１１８：ＹＥＳ）、ＣＰＵ５１は、再度Ｓ１１１以降の処理を実行する。
　以上説明した通り、実施例２に係るヘッドマウントディスプレイ１５１では、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識する。そして、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、ＣＣＤセンサ１６によって撮像された左眼５の撮像画像を画像認識して、コンテンツ（画像）が投射されている眼球５Ａの移動方向を検出する。尚、ＣＰＵ５１は、眼球５Ａの瞳が白眼の中央位置よりも上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合に、それぞれの方向に眼球５Ａが移動したと判定する。
　そして、ＣＰＵ５１は、眼球５Ａの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、コンテンツ（画像）の上スクロール、下スクロール等の表示制御を行う。
　また、再度、右眼６の瞼６Ａが所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、眼球５Ａの移動方向の検出を終了し、コンテンツ（画像）の眼球５Ａの移動による表示制御を終了して通常のコンテンツ表示を行う。
　従って、ユーザ２は、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、左眼５に表示されている作業手順書等のコンテンツ（画像）を上下方向又は左右方向にスクロール表示や頁送りをしたり、左眼５に表示されている動画像の再生位置を変更することが可能となる。
　また、ユーザ２は、再度、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向の変更による作業手順書等のコンテンツ（画像）のスクロール表示や頁送りを中止することが可能となる。このため、ユーザ２の不必要な左眼５の視線方向の変更によるコンテンツ（画像）の表示状態の変更を防止することが可能となる。
　これにより、ユーザ２は、両手がふさがっている状態であっても、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、コンテンツ（画像）を操作でき、作業効率を高めることができる。例えば、図１において、対象物３に関する作業手順書等をヘッドマウントディスプレイ１５１に表示している場合、両手で対象物３を扱いつつ、左眼５の視線方向を上下又は左右に移動させることによって、作業手順書等の所定のページを表示させることができる。
　そして、ユーザ２は、再度、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向によるコンテンツ（画像）の操作を中止でき、作業手順書等の所定のページを開いた状態で両眼５、６の視線方向を自由に変更することが可能となる。
　また、ユーザ２は右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、左眼５の視線方向を上下又は左右に動かして、左眼５で視認しているコンテンツ（画像）の表示状態を操作することが可能となる。また、ＣＰＵ５１は、右眼６の瞼６Ａの動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイ１５１の誤動作を防止することが可能となる。
　次に、実施例３に係るヘッドマウントディスプレイ１６１について図１１乃至図１４に基づいて説明する。尚、上記実施例１に係るヘッドマウントディスプレイ１と同一符号は、上記実施例１に係るヘッドマウントディスプレイ１と同一あるいは相当する部分を示すものである。
　実施例３に係るヘッドマウントディスプレイ１６１の概略構成は、実施例１に係るヘッドマウントディスプレイ１と同じ構成である。また、ヘッドマウントディスプレイ１６１の各種制御処理は、実施例２に係るヘッドマウントディスプレイ１５１とほぼ同じ制御処理である。但し、ヘッドマウントディスプレイ１６１のＣＰＵ５１は、上記「コンテンツ表示制御処理２」（Ｓ１１１～Ｓ１１８）に替えて、後述のコンテンツ（画像）をユーザ２の両眼５、６の眼球運動に従って表示制御する「コンテンツ表示制御処理３」を実行する点で異なっている。
［コンテンツ表示制御処理３］
　ここで、実施例３に係るヘッドマウントディスプレイ１６１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の両眼５、６の眼球運動に従って表示制御する「コンテンツ表示制御処理３」について図１１乃至図１４に基づいて説明する。
　尚、図１１にフローチャートで示されるプログラムは、制御部３６のフラッシュメモリ５２に記憶され、操作ボタン群４１に含まれるアイマウス開始キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行される。また、図１１にフローチャートで示されるプログラムは、操作ボタン群４１に含まれるアイマウス停止キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行が終了される。
　図１１に示すように、Ｓ２１１乃至Ｓ２１３において、ＣＰＵ５１は、上記Ｓ１１１乃至Ｓ１１３と同様の処理（図１０参照）を実行する。そして、Ｓ２１３において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ２１３：ＮＯ）、再度Ｓ２１１以降の処理を実行する。尚、Ｓ２１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の右眼６の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
　一方、Ｓ２１３において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ２１３：ＹＥＳ）、Ｓ２１４の処理に移行する。
　Ｓ２１４において、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域と右眼画像記憶領域に記憶されている同じタイミングの各画像データをそれぞれ所定フレーム数（例えば、約３０フレームである。）画像認識し、ユーザ２の両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。
　続いて、Ｓ２１５において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データを読み出し、両眼５、６の各眼球５Ａ、６Ｂ（図１２参照）が同時に移動したか否かを判定する判定処理を実行する。
　ここで、ユーザ２の両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データから検出される各眼球５Ａ、６Ｂの移動方向の一例について図１２に基づいて説明する。
　図１２に示すように、ＣＰＵ５１は、各ＣＣＤカメラ７、８によって撮像された両眼５、６の同じタイミングにおけるそれぞれの所定フレーム数分の画像認識データから、各眼球５Ａ、６Ｂの移動方向、つまり、各眼球５Ａ、６Ｂの瞳の移動方向を検出する。尚、ＣＰＵ５１は、各眼球５Ａ、６Ｂの瞳が白眼の中央位置よりも上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合に、それぞれの方向に各眼球５Ａ、６Ｂが移動したと判定する。
　そして、各眼球５Ａ、６Ｂの瞳が、ほぼ同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれかの方向に移動した場合には、ＣＰＵ５１は、各眼球５Ａ、６Ｂが、同時にその方向に移動したと判定し、この移動方向を各眼球５Ａ、６Ｂの移動方向としてＲＡＭ５３に記憶する。
　一方、各眼球５Ａ、６Ｂの瞳が、ほぼ同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれの方向にも移動していない場合には、ＣＰＵ５１は、各眼球５Ａ、６Ｂは同時に移動していないと判定する。
　そして、図１１に示すように、Ｓ２１５において、各眼球５Ａ、６Ｂは同時に移動していないと判定した場合には（Ｓ２１５）、ＣＰＵ５１は、後述のＳ２１７の処理に移行する。
　一方、Ｓ２１５において、各眼球５Ａ、６Ｂが同時に移動したと判定した場合には（Ｓ２１５：ＹＥＳ）、ＣＰＵ５１は、Ｓ２１６の処理に移行する。Ｓ２１６において、ＣＰＵ５１は、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、Ｓ２１７の処理に移行する。
　ここで、フラッシュメモリ５２に予め記憶されている制御テーブル１３１の内容に基づいてコンテンツ（画像）の表示制御を行った一例を図７、図１３及び図１４に基づいて説明する。尚、図１４では、見開きページ表示（２頁分の表示）としているが、単一頁の表示としてもよいことはいうまでもない。
　図７に示すように、上記Ｓ２１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に上方向１２１に移動した場合、つまり、「上に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「上スクロール」を行う。また、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に下方向１２２に移動した場合、つまり、「下に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「下スクロール」を行う。
　例えば、図１３に示すように、３頁目全体が表示されている状態で、両眼５、６の各眼球５Ａ、６Ｂが、同時に下方向１２２に移動されると、３頁目の後半部分と４頁目の前半部分とが表示される。また、３頁目の後半部分と４頁目の前半部分とが表示されている状態で、両眼５、６の各眼球５Ａ、６Ｂが、同時に上方向１２１に移動されると、３頁目全体が表示される。
　尚、スクロール量は、所定の行数／列数とすることができる。また、各眼球５Ａ、６Ｂの移動速度を認識し、認識した速度に応じてスクロール量を決定してもよい。
　また、図７に示すように、上記Ｓ２１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に左方向１２３に移動した場合、つまり、「左に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「左頁送り」を行う。また、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に右方向１２４に移動した場合、つまり、「右に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「右頁送り」を行う。
　例えば、図１４に示すように、２頁目と３頁目とが表示されている状態で、両眼５、６の各眼球５Ａ、６Ｂが、同時に右方向１２４に移動されると、４頁目と５頁目とが表示される。また、４頁目と５頁目とが表示されている状態で、両眼５、６の各眼球５Ａ、６Ｂが、同時に左方向１２３に移動されると、２頁目と３頁目とが表示される。
　また、図７に示すように、上記Ｓ２１１で表示したコンテンツ情報が「表計算ファイル」の場合には、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合、つまり、「上に移動」、「下に移動」、「左に移動」又は「右に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して、それぞれ「上スクロール」、「下スクロール」、「左スクロール」又は「右スクロール」を行う。
　また、図７に示すように、上記Ｓ２１１で表示したコンテンツ情報が「動画像ファイル」の場合には、上記Ｓ２１５で両眼５、６の各眼球５Ａ、６Ｂが、同時に左方向１２３に移動した場合、つまり、「左に移動」した場合には、ＣＰＵ５１は、動画像ファイルの再生位置を戻す。また、両眼５、６の各眼球５Ａ、６Ｂが、同時に右方向１２４に移動した場合、つまり、「右に移動」した場合には、ＣＰＵ５１は、動画像ファイルの再生位置を進める。尚、再生位置の戻し／進み量は、１チャプター分や所定時間（例えば、約３０秒である。）分とすることができる。また、ＣＰＵ５１は、各眼球５Ａ、６Ｂの移動速度を認識し、認識した速度に応じて再生位置の戻し／進み量を決定してもよい。これにより、ユーザ２は、操作を開始するため非装着側の右眼６を一定時間閉じても、装着側の左眼５では常に動画を認識できるので、動画の一部を見損なうことがなく、適切な操作を行うことができる。
　続いて、図１１に示すように、Ｓ２１７乃至Ｓ２１８において、ＣＰＵ５１は、上記Ｓ２１２乃至Ｓ２１３と同様の処理を実行する。
　そして、Ｓ２１８において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ２１８：ＮＯ）、再度Ｓ２１４以降の処理を実行する。
　一方、Ｓ２１８において、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ２１８：ＹＥＳ）、再度Ｓ２１１以降の処理を実行する。
　以上説明した通り、実施例３に係るヘッドマウントディスプレイ１６１では、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識する。そして、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれたと画像認識した場合には、各ＣＣＤセンサ１６、１８によって撮像された両眼５、６の撮像画像を画像認識して、両眼５、６の各眼球５Ａ、６Ｂの移動方向を検出する。
　そして、ＣＰＵ５１は、各眼球５Ａ、６Ｂの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、左眼５に投射されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行う。
　また、ＣＰＵ５１は、再度、右眼６の瞼６Ａが所定時間のフレーム数分閉じられた後、連続して開かれたと画像認識した場合には、各眼球５Ａ、６Ｂの移動方向の検出を終了し、コンテンツ（画像）の各眼球５Ａ、６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行う。
　従って、ユーザ２は、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向を同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、左眼５に表示されている作業手順書等のコンテンツ（画像）を上下方向又は左右方向にスクロール表示や頁送りをしたり、左眼５に表示されている動画像の再生位置を変更することが可能となる。
　また、ユーザ２は、再度、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向の変更による作業手順書等のコンテンツ（画像）のスクロール表示や頁送りを中止することが可能となる。そして、ユーザ２は不必要な視線方向の変更によるコンテンツ（画像）の表示状態の変更を防止することが可能となる。
　これにより、ユーザ２は、両手がふさがっている状態であっても、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向を同時に上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、コンテンツ（画像）を操作でき、作業効率を高めることができる。例えば、図１において、対象物３に関する作業手順書等をヘッドマウントディスプレイ１６１に表示している場合、両手で対象物３を扱いつつ、両眼５、６の視線方向を同時に上下又は左右に移動させることによって、作業手順書等の所定のページを表示させることができる。
　そして、ユーザ２は、再度、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向によるコンテンツ（画像）の操作を中止でき、作業手順書等の所定のページを開いた状態で両眼５、６の視線方向を自由に変更することが可能となる。
　また、ユーザ２は右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、両眼５、６の視線方向を同時に上下又は左右に動かして、左眼５で視認しているコンテンツ（画像）の表示状態を操作することが可能となる。また、ＣＰＵ５１は、右眼６の瞼６Ａの動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイ１６１の誤動作を防止することが可能となる。
　次に、実施例４に係るヘッドマウントディスプレイ１７１について図１５乃至図２０に基づいて説明する。尚、上記実施例１に係るヘッドマウントディスプレイ１と同一符号は、上記実施例１に係るヘッドマウントディスプレイ１と同一あるいは相当する部分を示すものである。
［ヘッドマウントディスプレイ１７１の概略構成、電気的構成］
　先ず、実施例４に係るヘッドマウントディスプレイ１７１の概略構成と電気的構成を図１５及び図１６に基づいて説明する。
　図１５に示すように、実施例４に係るヘッドマウントディスプレイ１７１の概略構成は、実施例１に係るヘッドマウントディスプレイ１（図１参照）とほぼ同じ構成である。
　但し、ヘッドマウントディスプレイ１７１は、ユーザ２の左眼５を撮像するＣＣＤカメラ７が設けられていない点で、実施例１に係るヘッドマウントディスプレイ１と異なっている。
　従って、図１６に示すように、ヘッドマウントディスプレイ１７１は、ＣＣＤカメラ８と、出射装置１１と、入力部３１と、外部接続部３２と、ビデオＲＡＭ３４と、フォントＲＯＭ３５と、制御部３６と、電源部３７等とから構成されている。ＣＣＤカメラ８はユーザ２の右眼６を撮像する。出射装置１１はユーザ２の左眼５に画像光を出射する。入力部３１は各種操作やデータの入力を行う。
　外部接続部３２は外部からのコンテンツ情報が入力される。ビデオＲＡＭ３４は出射装置１１によって表示するコンテンツやテキスト等のイメージデータを格納する。フォントＲＯＭ３５出射装置１１によって表示するテキストのフォントデータを格納する。制御部３６はヘッドマウントディスプレイ１の全体を制御する。
　また、ヘッドマウントディスプレイ１７１の各種制御処理は、実施例２に係るヘッドマウントディスプレイ１５１とほぼ同じ制御処理である。
　但し、ヘッドマウントディスプレイ１７１のＣＰＵ５１は、上記「コンテンツ表示制御処理２」（Ｓ１１１～Ｓ１１８）に替えて、後述のコンテンツ（画像）をユーザ２の右眼６の眼球運動に従って表示制御する「コンテンツ表示制御処理４」を実行する点で異なっている。
［コンテンツ表示制御処理４］
　次に、実施例４に係るヘッドマウントディスプレイ１７１のＣＰＵ５１によって実行される処理であって、出射装置１１によって表示されるコンテンツ（画像）をユーザ２の右眼６の眼球運動に従って表示制御する「コンテンツ表示制御処理４」について図１７乃至図２０に基づいて説明する。
　尚、図１７にフローチャートで示されるプログラムは、制御部３６のフラッシュメモリ５２に記憶され、操作ボタン群４１に含まれるアイマウス開始キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行される。また、図１７にフローチャートで示されるプログラムは、操作ボタン群４１に含まれるアイマウス停止キー（不図示）の操作に対応する制御信号が、入力制御回路４２から制御部３６に入力された場合に、ＣＰＵ５１によって実行が終了される。
　図１７に示すように、Ｓ３１１乃至Ｓ３１３において、ＣＰＵ５１は、上記Ｓ１１１乃至Ｓ１１３と同様の処理（図１０参照）を実行する。
　そして、Ｓ３１３において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ３１３：ＮＯ）、再度Ｓ３１１以降の処理を実行する。尚、Ｓ３１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の右眼６の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
　一方、Ｓ３１３において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ３１３：ＹＥＳ）、Ｓ３１４の処理に移行する。
　Ｓ３１４において、ＣＰＵ５１は、ＲＡＭ５３の右眼画像記憶領域に記憶されている画像データを所定フレーム数（例えば、約３０フレームである。）ずつ画像認識し、ユーザ２の右眼６、つまり、出射装置１１が装着されていない側の右眼６の所定フレーム数分の画像認識データをＲＡＭ５３に記憶する。
　続いて、Ｓ３１５において、ＣＰＵ５１は、ＲＡＭ５３からユーザ２の右眼６の所定フレーム数分の画像認識データを読み出し、右眼６の眼球６Ｂ（図１８参照）が移動したか否かを判定する判定処理を実行する。尚、ＣＰＵ５１は、眼球６Ｂの瞳が白眼の中央位置よりも上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合に、それぞれの方向に眼球６Ｂが移動したと判定する。
　ここで、ユーザ２の右眼６の所定フレーム数分の画像認識データから検出される眼球６Ｂの移動方向の一例について図１８に基づいて説明する。
　図１８に示すように、ＣＰＵ５１は、ＣＣＤカメラ８によって撮像された右眼６の所定フレーム数分の画像認識データから、眼球６Ｂの移動方向、つまり、眼球６Ｂの瞳の移動方向を検出する。
　そして、眼球６Ｂの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれかの方向に移動した場合には、ＣＰＵ５１は、眼球６Ｂがその方向に移動したと判定し、この移動方向を眼球６Ｂの移動方向としてＲＡＭ５３に記憶する。
　一方、眼球６Ｂの瞳が上方向１２１、下方向１２２、左方向１２３又は右方向１２４のうちのいずれの方向にも移動していない場合には、ＣＰＵ５１は、眼球６Ｂは移動していないと判定する。
　そして、図１７に示すように、Ｓ３１５において、右眼６の眼球６Ｂは移動していないと判定した場合には（Ｓ３１５：ＮＯ）、ＣＰＵ５１は、後述のＳ３１７の処理に移行する。
　一方、Ｓ３１５において、右眼６の眼球６Ｂが移動したと判定した場合には（Ｓ３１５：ＹＥＳ）、ＣＰＵ５１は、Ｓ３１６の処理に移行する。Ｓ３１６において、ＣＰＵ５１は、フラッシュメモリ５２に予め記憶されている制御テーブル１３１（図７参照）の内容に基づいてコンテンツ（画像）の表示制御を行った後、Ｓ３１７の処理に移行する。
　ここで、フラッシュメモリ５２に予め記憶されている制御テーブル１３１の内容に基づいてコンテンツ（画像）の表示制御を行った一例を図７、図１９及び図２０に基づいて説明する。尚、図２０では、見開きページ表示（２頁分の表示）としているが、単一頁の表示としてもよいことはいうまでもない。
　図７に示すように、上記Ｓ３１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ３１５で右眼６の眼球６Ｂが上方向１２１に移動した場合、つまり、「上に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「上スクロール」を行う。また、上記Ｓ３１５で右眼６の眼球６Ｂが下方向１２２に移動した場合、つまり、「下に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「下スクロール」を行う。
　例えば、図１９に示すように、３頁目全体が表示されている状態で、右眼６の眼球６Ｂが下方向１２２に移動されると、３頁目の後半部分と４頁目の前半部分とが表示される。また、３頁目の後半部分と４頁目の前半部分とが表示されている状態で、右眼６の眼球６Ｂが上方向１２１に移動されると、３頁目全体が表示される。
　尚、スクロール量は、所定の行数／列数とすることができる。また、眼球６Ｂの移動速度を認識し、認識した速度に応じてスクロール量を決定してもよい。
　また、図７に示すように、上記Ｓ３１１で表示したコンテンツ情報が「作業手順書」の場合には、上記Ｓ３１５で右眼６の眼球６Ｂが左方向１２３に移動した場合、つまり、「左に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「左頁送り」を行う。また、上記Ｓ３１５で右眼６の眼球６Ｂが右方向１２４に移動した場合、つまり、「右に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して「右頁送り」を行う。
　例えば、図２０に示すように、２頁目と３頁目とが表示されている状態で、右眼６の眼球６Ｂが右方向１２４に移動されると、４頁目と５頁目とが表示される。また、４頁目と５頁目とが表示されている状態で、右眼６の眼球６Ｂが左方向１２３に移動されると、２頁目と３頁目とが表示される。
　また、図７に示すように、上記Ｓ３１１で表示したコンテンツ情報が「表計算ファイル」の場合には、上記Ｓ３１５で右眼６の眼球６Ｂが上方向１２１、下方向１２２、左方向１２３又は右方向１２４に移動した場合、つまり、「上に移動」、「下に移動」、「左に移動」又は「右に移動」した場合には、ＣＰＵ５１は、表示中のコンテンツ（画像）に対して、それぞれ「上スクロール」、「下スクロール」、「左スクロール」又は「右スクロール」を行う。
　また、図７に示すように、上記Ｓ３１１で表示したコンテンツ情報が「動画像ファイル」の場合には、上記Ｓ３１５で右眼６の眼球６Ｂが左方向１２３に移動した場合、つまり、「左に移動」した場合には、ＣＰＵ５１は、動画像ファイルの再生位置を戻す。また、右眼６の眼球６Ｂが右方向１２４に移動した場合、つまり、「右に移動」した場合には、ＣＰＵ５１は、動画像ファイルの再生位置を進める。尚、再生位置の戻し／進み量は、１チャプター分や所定時間（例えば、約３０秒である。）分とすることができる。また、ＣＰＵ５１は、眼球６Ｂの移動速度を認識し、認識した速度に応じて再生位置の戻し／進み量を決定してもよい。これにより、ユーザ２は、操作を開始するため非装着側の右眼６を一定時間閉じても、装着側の左眼５では常に動画を認識できるので、動画の一部を見損なうことがなく、適切な操作を行うことができる。
　続いて、図１７に示すように、Ｓ３１７乃至Ｓ３１８において、ＣＰＵ５１は、上記Ｓ３１２乃至Ｓ３１３と同様の処理を実行する。
　そして、Ｓ３１８において、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられていない場合、つまり、右眼６の瞼６Ａが所定時間、閉じられていない場合や、瞬きで閉じられた場合には（Ｓ３１８：ＮＯ）、再度Ｓ３１４以降の処理を実行する。
　一方、Ｓ３１８において、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には（Ｓ３１８：ＹＥＳ）、再度Ｓ３１１以降の処理を実行する。
　以上説明した通り、実施例４に係るヘッドマウントディスプレイ１７１では、ＣＰＵ５１は、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識する。そして、ＣＰＵ５１は、右眼６の瞼６Ａが所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれた場合には、ＣＣＤセンサ１８によって撮像された右眼６の撮像画像を画像認識して、右眼６の眼球６Ｂの移動方向を検出する。
　そして、ＣＰＵ５１は、眼球６Ｂの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、左眼５に投射されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行う。
　また、再度、右眼６の瞼６Ａが所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、右眼６の眼球６Ｂの移動方向の検出を終了し、左眼５に投射されるコンテンツ（画像）の眼球６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行う。
　従って、ユーザ２は、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、左眼５に表示されている作業手順書等のコンテンツ（画像）を上下方向又は左右方向にスクロール表示や頁送りをしたり、左眼５に表示されている動画像の再生位置を変更することが可能となる。
　また、ユーザ２は、再度、コンテンツが投射されていない右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向の変更による作業手順書等のコンテンツ（画像）のスクロール表示や頁送りを中止することが可能となる。そして、ユーザ２は不必要な右眼６の視線方向の変更によるコンテンツ（画像）の表示状態の変更を防止することが可能となる。
　これにより、ユーザ２は、両手がふさがっている状態であっても、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向を上方向１２１、下方向１２２、左方向１２３又は右方向１２４に動かして、コンテンツ（画像）を操作でき、作業効率を高めることができる。例えば、図１５において、対象物３に関する作業手順書等をヘッドマウントディスプレイ１７１に表示している場合、両手で対象物３を扱いつつ、右眼６の視線方向を上下又は左右に移動させることによって、作業手順書等の所定のページを表示させることができる。
　そして、ユーザ２は、再度、右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向によるコンテンツ（画像）の操作を中止でき、作業手順書等の所定のページを開いた状態で両眼５、６の視線方向を自由に変更することが可能となる。
　また、ユーザ２は右眼６の瞼６Ａを所定時間（例えば、約１秒である。）閉じた後、開くことによって、右眼６の視線方向を上下又は左右に動かして、左眼５で視認しているコンテンツ（画像）の表示状態を操作することが可能となる。また、ＣＰＵ５１は、右眼６の瞼６Ａの動作と生理的な瞬きとを正確に区別することができ、ヘッドマウントディスプレイ１７１の誤動作を防止することが可能となる。
　尚、本発明は前記実施例１乃至実施例４に限定されることはなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。例えば、以下のようにしてもよい。
　（Ａ）上記実施例１において、ヘッドマウントディスプレイ１の出射装置１１を右眼６側に装着してもよい。この場合には、上記Ｓ１２乃至Ｓ１３において、ＣＰＵ５１は、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の瞼が閉じられているか否かを判定するようにしてもよい。
　そして、上記Ｓ１４乃至Ｓ１６において、ＣＰＵ５１は、左眼５の瞼が閉じられている場合には、ＲＡＭ５３の右眼画像記憶領域に記憶されている画像データに基づいて、右眼６の眼球６Ｂの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、右眼６に表示されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行うようにしてもよい。
　（Ｂ）また、上記実施例２において、ヘッドマウントディスプレイ１５１の出射装置１１を右眼６側に装着してもよい。この場合には、上記Ｓ１１２乃至Ｓ１１３において、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれているか否かを判定するようにしてもよい。尚、Ｓ１１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の左眼５の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
　そして、上記Ｓ１１４乃至Ｓ１１６において、ＣＰＵ５１は、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には、ＲＡＭ５３の右眼画像記憶領域に記憶されている画像データから、右眼６の眼球６Ｂの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、右眼６に表示されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行うようにしてもよい。
　また、上記Ｓ１１７乃至Ｓ１１８において、再度、左眼５の瞼が所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、右眼６の眼球６Ｂの移動方向の検出を終了し、右眼６に表示されるコンテンツ（画像）の眼球６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行うようにしてもよい。
　（Ｃ）また、上記実施例３において、ヘッドマウントディスプレイ１６１の出射装置１１を右眼６側に装着してもよい。この場合には、上記Ｓ２１２乃至Ｓ２１３において、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれているか否かを判定するようにしてもよい。尚、Ｓ２１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の左眼５の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
　そして、上記Ｓ２１４乃至Ｓ２１６において、ＣＰＵ５１は、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には、ＲＡＭ５３の左眼画像記憶領域と右眼画像記憶領域に記憶されている画像データから、両眼５、６の各眼球５Ａ、６Ｂの同じタイミングでの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、右眼６に表示されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行うようにしてもよい。
　また、上記Ｓ２１７乃至Ｓ２１８において、再度、左眼５の瞼が所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、両眼５、６の各眼球５Ａ、６Ｂの移動方向の検出を終了し、右眼６に表示されるコンテンツ（画像）の各眼球５Ａ、６Ｂの移動による表示制御を終了して通常のコンテンツ表示を行うようにしてもよい。
　（Ｄ）また、上記実施例４において、ヘッドマウントディスプレイ１７１の出射装置１１を右眼６側に装着してもよい。また、ユーザ２の左眼５を撮像するＣＣＤカメラ７だけを設け、右眼６を撮像するＣＣＤカメラ８を設けないようにしてもよい。
　この場合には、上記Ｓ３１２乃至Ｓ３１３において、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれているか否かを判定するようにしてもよい。但し、Ｓ３１２において、ＣＰＵ５１は、出射装置１１が装着されていない側の左眼５の所定時間（例えば、約２秒である。）に相当するフレーム数分の画像認識データをＲＡＭ５３に記憶する。
　そして、上記Ｓ３１４乃至Ｓ３１６において、ＣＰＵ５１は、左眼５の瞼が所定時間（例えば、約１秒間である。）のフレーム数分（例えば、約３０フレームである。）閉じられた後、連続して開かれている場合には、ＲＡＭ５３の左眼画像記憶領域に記憶されている画像データに基づいて、左眼５の眼球５Ａの上方向１２１、下方向１２２、左方向１２３又は右方向１２４への移動に基づいて、右眼６に表示されるコンテンツ（画像）の上スクロール、下スクロール等の表示制御を行うようにしてもよい。
　また、上記Ｓ３１７乃至Ｓ３１８において、再度、左眼５の瞼が所定時間のフレーム数分閉じられた後、連続して開かれた場合には、ＣＰＵ５１は、左眼５の眼球５Ａの移動方向の検出を終了し、右眼６に表示されるコンテンツ（画像）の眼球５Ａの移動による表示制御を終了して通常のコンテンツ表示を行うようにしてもよい。

Claims (5)

  1. 　ユーザの頭部に装着され、表示情報の画像を該ユーザの一方の眼に投射して当該ユーザに前記画像を視認させる表示手段と、
    　前記ユーザの前記一方の眼を撮像する投射側撮像手段と、
    　前記ユーザの他方の眼を撮像する他方側撮像手段と、
    　前記投射側撮像手段と前記他方側撮像手段のうちの少なくとも片方を介して前記ユーザの少なくとも片側の眼の眼球運動を検出する眼球運動検出手段と、
    　前記他方側撮像手段を介して前記他方の眼の所定の瞼の動作を検出する瞼動作検出手段と、
    　前記瞼動作検出手段を介して前記所定の瞼の動作を検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された眼球運動に従って変更させるように前記表示手段を制御する表示制御手段と、
    　を備えたことを特徴とするヘッドマウントディスプレイ。
  2. 　前記眼球運動検出手段は、前記投射側撮像手段と前記他方側撮像手段のうちの一方を介して前記ユーザの片側の眼の眼球運動を検出することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
  3. 　ユーザの頭部に装着され、表示情報の画像を該ユーザの一方の眼に投射して当該ユーザに前記画像を視認させる表示手段と、
    　前記ユーザの他方の眼を撮像する他方側撮像手段と、
    　前記他方側撮像手段を介して前記ユーザの前記他方の眼の眼球運動を検出する眼球運動検出手段と、
    　前記他方側撮像手段を介して前記他方の眼の所定の瞼の動作を検出する瞼動作検出手段と、
    　前記瞼動作検出手段を介して前記所定の瞼の動作を検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された眼球運動に従って変更させるように前記表示手段を制御する表示制御手段と、
    　を備えたことを特徴とするヘッドマウントディスプレイ。
  4. 　前記瞼動作検出手段は、前記他方の眼の瞼を所定時間以上閉じた後開ける動作を前記所定の瞼の動作として検出することを特徴とする請求項１乃至請求項３のいずれかに記載のヘッドマウントディスプレイ。
  5. 　前記瞼動作検出手段は、前記他方の眼の瞼を閉じる動作を前記所定の瞼の動作として検出し、
    　前記眼球運動検出手段は、前記投射側撮像手段を介して前記ユーザの前記一方の眼の眼球運動を検出して、
    　前記表示制御手段は、前記瞼動作検出手段を介して前記他方の眼の瞼が閉じられていることを検出した場合には、前記画像の表示状態を前記眼球運動検出手段によって検出された前記ユーザの前記一方の眼の眼球運動に従って変更させるように前記表示手段を制御し、該瞼動作検出手段を介して該他方の眼の瞼が開けられていることを検出した場合には、該画像の表示状態の変更を停止させるように該表示手段を制御することを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
PCT/JP2009/070151 2008-12-24 2009-12-01 ヘッドマウントディスプレイ Ceased WO2010073879A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-326991 2008-12-24
JP2008326991A JP2010152443A (ja) 2008-12-24 2008-12-24 ヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
WO2010073879A1 true WO2010073879A1 (ja) 2010-07-01

Family

ID=42287497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070151 Ceased WO2010073879A1 (ja) 2008-12-24 2009-12-01 ヘッドマウントディスプレイ

Country Status (2)

Country Link
JP (1) JP2010152443A (ja)
WO (1) WO2010073879A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455746A (zh) * 2013-09-10 2013-12-18 百度在线网络技术（北京）有限公司 头戴式显示设备
CN104076512A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP2016177819A (ja) * 2016-04-26 2016-10-06 京セラ株式会社 表示装置、制御方法および制御プログラム
JP2016181264A (ja) * 2016-04-26 2016-10-13 京セラ株式会社 表示装置、制御方法および制御プログラム
CN106484107A (zh) * 2016-09-29 2017-03-08 宇龙计算机通信科技(深圳)有限公司 一种信息交互的方法及虚拟现实眼镜
US11681371B2 (en) 2021-06-30 2023-06-20 Tobii Ab Eye tracking system

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5558983B2 (ja) * 2010-09-15 2014-07-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置
JP6094305B2 (ja) * 2013-03-26 2017-03-15 セイコーエプソン株式会社 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6303274B2 (ja) * 2013-03-25 2018-04-04 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9389683B2 (en) 2013-08-28 2016-07-12 Lg Electronics Inc. Wearable display and method of controlling therefor
KR102081933B1 (ko) 2013-08-28 2020-04-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US9170646B2 (en) * 2013-09-04 2015-10-27 Johnson & Johnson Vision Care, Inc. Ophthalmic lens system capable of interfacing with an external device
WO2015143073A1 (en) 2014-03-19 2015-09-24 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
CN106456148B (zh) 2014-03-19 2020-06-12 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
US10591735B2 (en) 2015-01-15 2020-03-17 Sony Interactive Entertainment Inc. Head-mounted display device and image display system
JP2016136351A (ja) * 2015-01-23 2016-07-28 京セラ株式会社 電子機器及び制御方法
JP6231541B2 (ja) 2015-06-25 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
JP6554948B2 (ja) * 2015-07-07 2019-08-07 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP6231585B2 (ja) 2016-01-05 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
JP2021009719A (ja) * 2020-10-01 2021-01-28 株式会社東芝 電子機器及び表示方法
JP7119145B2 (ja) * 2021-01-25 2022-08-16 株式会社東芝 ウェアラブル機器及び表示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2003230539A (ja) * 2002-02-07 2003-08-19 Minolta Co Ltd 視線検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2003230539A (ja) * 2002-02-07 2003-08-19 Minolta Co Ltd 視線検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOHEI ARAI ET AL.: "Shisen Nyuryoku ni yoru Kaiwa Shien System", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN C, vol. 128, no. 11, 1 November 2008 (2008-11-01), pages 1679 - 1686 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076512A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
EP2784632A3 (en) * 2013-03-25 2016-02-24 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US9335547B2 (en) 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US9921646B2 (en) 2013-03-25 2018-03-20 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
CN103455746A (zh) * 2013-09-10 2013-12-18 百度在线网络技术（北京）有限公司 头戴式显示设备
JP2016177819A (ja) * 2016-04-26 2016-10-06 京セラ株式会社 表示装置、制御方法および制御プログラム
JP2016181264A (ja) * 2016-04-26 2016-10-13 京セラ株式会社 表示装置、制御方法および制御プログラム
CN106484107A (zh) * 2016-09-29 2017-03-08 宇龙计算机通信科技(深圳)有限公司 一种信息交互的方法及虚拟现实眼镜
US11681371B2 (en) 2021-06-30 2023-06-20 Tobii Ab Eye tracking system

Also Published As

Publication number Publication date
JP2010152443A (ja) 2010-07-08

Similar Documents

Publication Publication Date Title
JP2010152443A (ja) ヘッドマウントディスプレイ
US8514148B2 (en) Head mount display
JP5104679B2 (ja) ヘッドマウントディスプレイ
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
EP2163937A1 (en) Head mount display
JP5272827B2 (ja) ヘッドマウントディスプレイ
JP5195537B2 (ja) ヘッドマウントディスプレイ
WO2010071110A1 (ja) ヘッドマウントディスプレイ
US20110267321A1 (en) Head mounted display and drive method thereof
JP2010139901A (ja) ヘッドマウントディスプレイ
JP6111659B2 (ja) 表示装置、および、表示装置の制御方法
JP6903998B2 (ja) ヘッドマウントディスプレイ
JP2011075956A (ja) ヘッドマウントディスプレイ
JP5012781B2 (ja) ヘッドマウントディスプレイ
WO2010103955A1 (ja) ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
JP2010102215A (ja) 表示装置、画像処理方法、及びコンピュータプログラム
JP2003225207A (ja) 視線検出装置
CN114791673B (zh) 显示方法、显示装置以及记录介质
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2006017991A (ja) 映像表示装置
JP6554948B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2010067154A (ja) ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ
JP5251813B2 (ja) 作業支援システム、ヘッドマウントディスプレイ及びプログラム
JP2010085786A (ja) 頭部装着型表示装置
JP2018054976A (ja) 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09834683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09834683

Country of ref document: EP

Kind code of ref document: A1