WO2017122299A1 - 表情認識システム、表情認識方法及び表情認識プログラム - Google Patents

表情認識システム、表情認識方法及び表情認識プログラム Download PDF

Info

Publication number
WO2017122299A1
WO2017122299A1 PCT/JP2016/050869 JP2016050869W WO2017122299A1 WO 2017122299 A1 WO2017122299 A1 WO 2017122299A1 JP 2016050869 W JP2016050869 W JP 2016050869W WO 2017122299 A1 WO2017122299 A1 WO 2017122299A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
camera
expression recognition
unit
Prior art date
Application number
PCT/JP2016/050869
Other languages
English (en)
French (fr)
Inventor
ロックラン ウィルソン
圭一 瀬古
由香 小島
大和 金子
Original Assignee
フォーブ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フォーブ インコーポレーテッド filed Critical フォーブ インコーポレーテッド
Priority to CN201680079424.9A priority Critical patent/CN108604291A/zh
Priority to US16/069,984 priority patent/US20190012528A1/en
Priority to PCT/JP2016/050869 priority patent/WO2017122299A1/ja
Priority to JP2017561444A priority patent/JP6845982B2/ja
Priority to KR1020187021228A priority patent/KR20180102591A/ko
Priority to TW106100229A priority patent/TW201732499A/zh
Publication of WO2017122299A1 publication Critical patent/WO2017122299A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • the present invention relates to a head mounted display.
  • Some head mounted displays have a function of presenting a three-dimensional image to a user who has worn it.
  • the head mounted display is generally mounted and used so as to cover the field of view of the user. Then, as described above, in the content that uses the user's gaze direction as a pointing device, it is desirable to provide content that is more interesting to the user.
  • the present invention has been made in view of the above-described needs, and an object thereof is to provide a head mounted display that can output information for providing content that the user may be more interested in.
  • one mode of the present invention is the 1st camera which picturizes a user's eye, the 2nd camera which picturizes a user's mouth, and the 1st picture and 2nd which were picturized by the 1st camera
  • a head mounted display having an output unit for outputting a second image captured by a camera, a receiving unit for receiving the first image and the second image output by the output unit, and based on the first image and the second image
  • a facial expression recognition device having a facial expression recognition unit that recognizes a user's facial expression.
  • the head mounted display further includes a light source for irradiating the invisible light to the user's eye, and a third camera for capturing the invisible light reflected by the user's eye, and the output unit is the third camera.
  • the facial expression recognition apparatus may further include a gaze detection unit that detects the gaze direction of the user based on the third image received by the reception unit.
  • the facial expression recognition apparatus further includes a combining unit that combines the first image and the second image received by the receiving unit to create a composite image, and the facial expression recognition unit recognizes the user's facial expression based on the composite image. You may do it.
  • the second camera may be detachably attached to the head mounted display.
  • the second camera may be attached to the head mounted display so as to have an angle of view capable of imaging the range from the user's nose to the shoulder when the user mounts the head mounted display.
  • the facial expression recognition apparatus may further include a posture estimation unit that estimates the posture of the user based on the second image received by the reception unit.
  • the head mounted display may be configured to cover the periphery of the user's eye and not to cover the user's mouth.
  • the first camera and the second camera are cameras that acquire depth information indicating the distance to the imaging target, and the facial expression recognition system further includes the eye of the user captured by the first camera and the user captured by the second camera
  • An avatar image that identifies the three-dimensional shape of the user's eyes and mouth based on the image with the mouth and generates an avatar image reflected on the user's avatar's eye and mouth shape based on the identified three-dimensional shape
  • a generation unit may be provided.
  • the user's face and the mouth are separately captured and synthesized to synthesize the face image of the user.
  • An expected composite image can be acquired to perform facial expression recognition processing. Therefore, content in which the user's expression is reflected can be provided.
  • FIG. 1 is a perspective view schematically showing an overview of an image display system of a head mounted display according to an embodiment. It is a figure which shows typically the optical structure of the image display system of the head mounted display which concerns on embodiment. It is a block diagram showing composition of a head mount display system concerning an embodiment. It is a schematic diagram explaining the calibration for the detection of the gaze direction which concerns on embodiment. It is a schematic diagram explaining the position coordinate of a user's cornea. (A) is an example of a picture around a user's eyes which a head mount display system concerning an embodiment picturizes.
  • (B) is an example of a picture of a user's mouth circumference which a head mount display system concerning an embodiment picturizes. It is an example of the synthetic
  • (A), (b) is an external view which shows the structure at the time of making a camera detachable to a head mounted display. It is an external view which shows the example which changes the camera angle of the camera 160 provided in the head mounted display.
  • (A) is an image obtained by imaging a user, and (b) is an image obtained by reflecting the captured user's expression on an avatar image.
  • head mounted displays are usually shaped so as to cover the periphery of the eyes of the user's head.
  • the reason why the head mount display has such a shape is that the full helmet type not only gives the user a sense of oppression, but also increases the weight as the head mount display and gives a load to the user. It is because there is.
  • a camera can be provided in the head mounted display to capture an image around the user's eye, it is impossible to acquire a face image of the entire user.
  • Non-Patent Document 1 There is a technique described in Non-Patent Document 1 as a method for realizing facial expression recognition in a head mounted display of such a shape.
  • a curved arm is attached to the outside of the head mount display, and the camera is placed on the opposite side to the attached side, thereby capturing an image of the user's mouth and realizing facial expression recognition.
  • the center of gravity of the head mounted display as a whole is biased to the front of the user due to the attached curved arm, which makes handling difficult.
  • the inventors have found that there is a problem of increased weight.
  • Non-Patent Document 1 the inventors detect the movement of expression muscles around the eyes of the user with a myoelectric sensor (Strain Sensor), and realize expression recognition around the eyes.
  • a myoelectric sensor Stress Sensor
  • the method using the myoelectric sensor is not suitable for detecting the user's gaze.
  • the inventors of the present invention have invented a configuration capable of performing gaze detection while performing facial expression recognition in a head mounted display of a type that covers the current user's field of view.
  • the head mounted display according to the present invention will be described in detail.
  • a facial expression recognition system 1 includes a first camera (181) for imaging a user's eye, a second camera (180) for imaging a user's mouth, and a first camera imaged by the first camera.
  • a head mounted display (100) having an output unit (118) for outputting an image and a second image captured by a second camera, and a receiving unit (220 for receiving the first image and the second image output by the output unit Recognition of the user's expression based on the combined image created by the combining unit (222) that creates the combined image by combining the first image and the second image received by the receiving unit, and It is an expression recognition system provided with the expression recognition device (200) which has an expression recognition part (223).
  • the head mounted display further includes a light source (103) for irradiating the user's eyes with the invisible light, and a third camera (161) for capturing the invisible light reflected by the user's eyes, and an output unit
  • the third aspect of the present invention outputs the third image captured by the third camera
  • the facial expression recognition apparatus further includes a gaze detection unit (221) that detects the gaze direction of the user based on the third image received by the reception unit. .
  • FIG. 1 is a view schematically showing an overview of the facial expression recognition system 1 according to the embodiment.
  • the facial expression recognition system 1 according to the embodiment includes a head mounted display 100 and a gaze detection apparatus 200. As shown in FIG. 1, the head mounted display 100 is used by being attached to the head of the user 300.
  • the gaze detection apparatus 200 detects the gaze direction of at least one of the right eye and the left eye of the user wearing the head mounted display 100, and gazes at the user's focus, ie, the three-dimensional image displayed on the head mounted display by the user. Identify where it is
  • the visual axis detection device 200 also functions as an image generation device that generates an image displayed by the head mounted display 100.
  • the sight line detection device 200 is a device capable of reproducing video such as a stationary game machine, a portable game machine, a PC, a tablet, a smartphone, a Fablet, a video player, and a television.
  • the gaze detection apparatus 200 is connected to the head mounted display 100 wirelessly or by wire. In the example shown in FIG.
  • the visual axis detection device 200 is wirelessly connected to the head mounted display 100.
  • the wireless connection between the sight line detection device 200 and the head mounted display 100 can be realized, for example, using a known wireless communication technology such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • transmission of an image between the head mounted display 100 and the gaze detection apparatus 200 is performed according to standards such as Miracast (trademark), WiGig (trademark), WHDI (trademark) and the like.
  • FIG. 1 shows an example in which the head mounted display 100 and the sight line detection device 200 are different devices.
  • the visual axis detection device 200 may be incorporated in the head mounted display 100.
  • the head mounted display 100 includes a housing 150, a mounting tool 160, headphones 170, and a camera 180.
  • the housing 150 accommodates an image display system for presenting an image to the user 300 such as an image display element, and a wireless transmission module such as a Wi-Fi module or a Bluetooth (registered trademark) module not shown.
  • the mounting tool 160 mounts the head mounted display 100 on the head of the user 300.
  • the mounting tool 160 can be realized by, for example, a belt or a stretchable band.
  • the headphones 170 output the audio of the video reproduced by the visual axis detection device 200.
  • the headphones 170 may not be fixed to the head mounted display 100.
  • the user 300 can freely attach and detach the headphones 170 even when the head mounted display 100 is attached using the attachment 160.
  • the camera 180 when the user 300 wears the head mounted display 100, the camera 180 is arranged to be able to capture an image including a half face of the user. That is, the imaging angle of view is arranged so as to be capable of imaging the lower half of the face of the user 300 (from the lower part of the nose of the user to the shoulder of the user). That is, the first image 801 as shown in FIG. 7B is captured. In the present specification, the image (an image including the lower half of the user's face) is referred to as a first image.
  • the camera 180 is connected to a first communication unit 118 described later. The first image captured by the camera 180 is output by the first communication unit 118 to the gaze detection apparatus 200.
  • a visible light camera or a depth camera is used as the camera 180.
  • a depth camera is a camera that can obtain depth information from the camera to an object or a camera that can acquire a three-dimensional shape of an object.
  • Specific examples of the depth camera include a stereo camera, a light field camera, and Structure Light. The camera used, the camera using the photometric stereo method, etc. are mentioned.
  • FIG. 2 is a perspective view schematically showing an overview of the image display system 130 of the head mounted display 100 according to the embodiment. More specifically, FIG. 2 is a view showing a region of the housing 150 according to the embodiment, which faces the cornea 302 of the user 300 when the head mounted display 100 is mounted.
  • the left-eye convex lens 114 a is disposed so as to face the cornea 302 a of the left eye of the user 300 when the user 300 wears the head mounted display 100.
  • the right-eye convex lens 114 b is disposed so as to face the cornea 302 b of the right eye of the user 300 when the user 300 wears the head mounted display 100.
  • the left-eye convex lens 114a and the right-eye convex lens 114b are held by the left-eye lens holding portion 152a and the right-eye lens holding portion 152b, respectively.
  • the convex lens 114 a for the left eye and the convex lens 114 b for the right eye are simply referred to as “convex lens 114” unless otherwise specified.
  • the cornea 302 a of the user 300 and the cornea 302 b of the right eye of the user 300 are simply referred to as “cornea 302” except in the case where they are particularly distinguished.
  • the left-eye lens holding portion 152a and the right-eye lens holding portion 152b are also referred to as "lens holding portions 152" unless otherwise specified.
  • the lens holding unit 152 is provided with a plurality of infrared light sources 103.
  • an infrared light source for emitting infrared light to the cornea 302a of the left eye of the user 300 is collectively shown by the infrared light source 103a, and the cornea 302b of the right eye of the user 300 is shown.
  • An infrared light source for emitting infrared light is collectively shown by an infrared light source 103b.
  • the infrared light source 103a and the infrared light source 103b are described as "infrared light source 103" except in the case where they are particularly distinguished. In the example shown in FIG.
  • the left eye lens holding unit 152a is provided with six infrared light sources 103a.
  • six infrared light sources 103b are also provided in the right-eye lens holding unit 152b.
  • the infrared light source 103 is arranged in the lens holding portion 152 that holds the convex lens 114 instead of directly arranging the infrared light source 103, the attachment of the infrared light source 103 is facilitated.
  • the lens holding portion 152 is made of resin or the like, processing for attaching the infrared light source 103 is easier than the convex lens 114 made of glass or the like.
  • the lens holding portion 152 is a member that holds the convex lens 114. Therefore, the infrared light source 103 provided in the lens holding unit 152 is disposed around the convex lens 114.
  • the number is not limited to this, and at least one corresponding to each eye. It is preferable that there be two or more.
  • FIG. 3 is a view schematically showing an optical configuration of the image display system 130 accommodated in the case 150 according to the embodiment, and a view of the case 150 shown in FIG. 2 when viewed from the side surface on the left eye side. is there.
  • the image display system 130 includes an infrared light source 103, an image display element 108, a hot mirror 112, a convex lens 114, a camera 116, a first communication unit 118, and a camera 181.
  • the infrared light source 103 is a light source capable of emitting light in a wavelength band of near infrared (about 700 nm to 2500 nm). Near infrared light is generally light in a wavelength band of invisible light that can not be observed by the naked eye of the user 300.
  • the image display element 108 displays an image to be presented to the user 300.
  • the image output unit 224 in the visual axis detection device 200 generates an image displayed by the image display element 108.
  • the video output unit 224 will be described later.
  • the image display element 108 can be realized using, for example, a known LCD (Liquid Crystal Display) or an organic EL display (Organic Electro Luminescence Display).
  • the hot mirror 112 is disposed between the image display element 108 and the cornea 302 of the user 300 when the user 300 wears the head mounted display 100.
  • the hot mirror 112 has a property of transmitting visible light generated by the image display element 108 but reflecting near infrared light.
  • the convex lens 114 is disposed on the opposite side of the image display element 108 with respect to the hot mirror 112. In other words, the convex lens 114 is disposed between the hot mirror 112 and the cornea 302 of the user 300 when the user 300 wears the head mounted display 100. That is, the convex lens 114 is disposed at a position facing the cornea 302 of the user 300 when the head mounted display 100 is attached to the user 300.
  • the convex lens 114 condenses the image display light transmitted through the hot mirror 112. Therefore, the convex lens 114 functions as an image enlargement unit that enlarges the image generated by the image display element 108 and presents the image to the user 300.
  • the convex lens 114 may be a lens group configured by combining various lenses, one having a curvature and the other having a plane. It may be a single convex lens.
  • the plurality of infrared light sources 103 are disposed around the convex lens 114.
  • the infrared light source 103 emits infrared light toward the cornea 302 of the user 300.
  • the image display system 130 of the head mounted display 100 includes two image display elements 108, and an image to be presented to the right eye of the user 300 and an image to be presented to the left eye. Can be generated independently. Therefore, the head mounted display 100 according to the embodiment can present the parallax image for the right eye and the parallax image for the left eye to the right eye and the left eye of the user 300, respectively. Thus, the head mounted display 100 according to the embodiment can present a stereoscopic image with a sense of depth to the user 300.
  • the hot mirror 112 transmits visible light and reflects near infrared light. Therefore, the image light emitted by the image display element 108 passes through the hot mirror 112 and reaches the cornea 302 of the user 300. The infrared light emitted from the infrared light source 103 and reflected by the reflection area inside the convex lens 114 reaches the cornea 302 of the user 300.
  • the infrared light that has reached the cornea 302 of the user 300 is reflected by the cornea 302 of the user 300 and travels toward the convex lens 114 again.
  • the infrared light passes through the convex lens 114 and is reflected by the hot mirror 112.
  • the camera 116 includes a filter that blocks visible light, and images near-infrared light reflected by the hot mirror 112. That is, the camera 116 is a near-infrared camera that captures near-infrared light that is emitted from the infrared light source 103 and is corneal-reflected by the eye of the user 300.
  • the image display system 130 of the head mounted display 100 includes two cameras 116, that is, a first imaging unit that picks up an image including infrared light reflected by the right eye. And a second imaging unit configured to capture an image including infrared light reflected by the left eye. Thereby, an image for detecting the sight line direction of both the right eye and the left eye of the user 300 can be acquired. Note that if information about the focus coordinates in the depth direction is not required for the line of sight of the user, either of the lines of sight detection suffices.
  • the first communication unit 118 outputs the image captured by the camera 116 to the gaze detection apparatus 200 that detects the gaze direction of the user 300. Specifically, the first communication unit 118 transmits the image captured by the camera 116 to the gaze detection apparatus 200.
  • the details of the gaze detection unit 221 functioning as the gaze direction detection unit will be described later, but are realized by a gaze detection program executed by a CPU (Central Processing Unit) of the gaze detection apparatus 200.
  • the CPU of the head mounted display 100 may execute a program for realizing the line-of-sight direction detection unit.
  • the image captured by the camera 116 includes a bright spot caused by the near infrared light reflected by the cornea 302 of the user 300 and the cornea 302 of the user 300 observed in the near infrared wavelength band. And an image of an eye including the
  • the configuration for mainly presenting the image to the left eye of the user 300 in the image display system 130 according to the embodiment has been described above, the configuration for presenting the image to the right eye of the user 300 is the same as above. is there.
  • the optical configuration for realizing gaze detection in a head mounted display has been described, but in the head mounted display according to the present embodiment, an optical configuration for realizing facial expression recognition for recognizing a user's facial expression Also have.
  • the head mounted display 100 includes a camera 181 for imaging around the eyes of the user.
  • the camera 181 is a camera that images around the user's eye, and uses a visible light camera or a depth camera.
  • a depth camera is used as the camera 181
  • the three-dimensional shape of the lower half of the user's face can be specified.
  • the camera 181 is a position in the head mount display, at which the user's eye facing the convex lens 114 is imaged through the convex lens 114, and the field of view of the user gazing at the image display element 108 Placed in a position that does not interfere with
  • the image is arranged at the top of the image display system 130.
  • the camera 181 is not a position at the top where it can capture an image around the user's eye, not a position where it interferes with the user's view. It may be arranged at the bottom or left and right.
  • the camera 181 is connected to the first communication unit 118, and the camera 181 transmits the captured image to the first communication unit 118. Then, the first communication unit 118 outputs an image captured by the camera 181 to the gaze detection apparatus 200.
  • a second image an image around the eyes of the user captured by the camera 181 will be referred to as a second image.
  • FIG. 4 is a block diagram of the head mounted display 100 and the visual axis detection device 200 according to the facial expression recognition system 1.
  • the facial expression recognition system 1 includes the head mounted display 100 and the gaze detection apparatus 200 that perform communication with each other.
  • the head mounted display 100 includes a first communication unit 118, a display unit 121, an infrared light irradiation unit 122, an image processing unit 123, and an imaging unit 124.
  • the first communication unit 118 is a communication interface having a function of performing communication with the second communication unit 220 of the visual axis detection device 200. As described above, the first communication unit 118 communicates with the second communication unit 220 by wired communication or wireless communication. Examples of usable communication standards are as described above.
  • the first communication unit 118 transmits, to the second communication unit 220, the image data used for gaze detection transmitted from the camera 116 or the image processing unit 123. In addition, the first communication unit 118 transmits the three-dimensional image data transmitted from the sight line detection device 200 to the display unit 121.
  • the first communication unit 118 adds an ID to the first image and the second image so that they can be distinguished from each other, and transmits the image to the facial expression recognition apparatus 200.
  • the display unit 121 has a function of displaying the three-dimensional image data transmitted from the first communication unit 118 on the image display element 108.
  • the three-dimensional image data includes a right-eye parallax image and a left-eye parallax image, which are a parallax image pair.
  • the infrared light irradiation unit 122 controls the infrared light source 103 to emit infrared light to the user's right or left eye.
  • the image processing unit 123 performs image processing on the image captured by the camera 116 as necessary, and transmits the image to the first communication unit 118.
  • the imaging unit 124 captures an image including near-infrared light reflected by each eye using the camera 116 for the right eye and the camera 117 for the left eye.
  • the imaging unit 124 transmits an image obtained by imaging to the first communication unit 118 or the image processing unit 123. Further, the imaging unit 124 transmits an image captured using the camera 180 and an image captured using the camera 181 to the first communication unit 118 or the image processing unit 123.
  • the line-of-sight detection apparatus 200 includes a second communication unit 220, a line-of-sight detection unit 221, a combining unit 222, an expression recognition unit 223, an image output unit 224, and a storage unit 225.
  • the second communication unit 220 is a communication interface having a function of performing communication with the first communication unit 118 of the head mounted display 100. As described above, the second communication unit 220 communicates with the first communication unit 118 by wired communication or wireless communication. When the second communication unit 220 receives data relating to the left-eye image or the right-eye image for gaze detection, the second communication unit 220 transmits the data to the gaze detection unit 221. In addition, the second communication unit 220 receives data related to the face image of the user (an image around the user's eyes or an image of the lower half of the user's face), that is, data related to the first image or the second image If it does, the data is transmitted to the synthesis unit 222.
  • the gaze detection unit 221 receives image data for detecting the gaze of the right eye of the user from the second communication unit 220, and detects the gaze direction of the user's right eye.
  • the gaze detection unit 221 calculates a right viewing line vector indicating the gaze direction of the user's right eye using a method described later.
  • the gaze detection unit 221 receives image data for gaze detection of the left eye of the user from the second communication unit 220, and detects the gaze direction of the left eye of the user.
  • the line-of-sight detection unit 221 calculates a left viewing line vector indicating the line-of-sight direction of the left eye of the user using a method described later.
  • the gaze detection unit 221 identifies focus coordinates of the user's gaze, including information in the depth direction, based on the user's right and left viewing line vectors.
  • the line-of-sight detection unit 221 identifies focal coordinates at which the user gazes without information in the depth direction.
  • the combining unit 222 creates a combined image using the first image transmitted from the second communication unit 220 and the second image.
  • the combining unit 222 holds in advance information on a positional relationship that combines the first image and the second image, and combines the first image and the second image so as to match the positional relationship.
  • the positional relationship is determined according to the camera angle and the imaging range of each of the cameras 180 and 181, the distance to the user, and the like.
  • the combining unit 222 can obtain a simple user's face image by combining the first image and the second image.
  • the combining unit 222 transmits the face image of the user obtained by combining to the expression recognition unit 223.
  • the facial expression recognition unit 223 executes facial expression recognition processing based on the composite image indicating the user's face transmitted from the composite unit 222.
  • the expression recognition process is a process of extracting feature points of a face image for specifying what kind of expression the user is doing, and a process of specifying an emotion to be inferred from the user's expression from that point. May be included.
  • As a method of facial expression recognition using a facial image for example, there is a method of estimating facial expression using pattern matching by extracting feature points from the facial image, and this may be used.
  • the facial expression recognition unit 223 transmits the estimated facial expression of the user 300 to the video output unit 224.
  • the video output unit 224 generates three-dimensional image data to be displayed on the display unit 121 of the head mounted display 100 and transmits the data to the second communication 220. Further, the video output unit 224 generates marker image data to be used for calibration for sight line detection, and transmits the marker image data to the second communication unit 220.
  • the image output unit 224 holds information indicating the coordinate system of the three-dimensional image to be output and the three-dimensional position coordinates of the object displayed in the coordinate system.
  • the video output unit 224 also has a function of outputting a moving image or a game image to be displayed on the display unit 121 of the head mounted display 100.
  • the image output unit 224 has a function of outputting an image (avatar image) of a character operated by the user 300
  • the image output unit 224 generates an image of an expression that matches the expression estimated by the expression recognition unit 223.
  • Output Alternatively, for example, when the user 300 communicates with the character output by the video output unit 224 and displayed on the head mounted display 100, the video output unit 224 may use the estimated expression of the user 300. A character image showing a corresponding response is generated and output.
  • the storage unit 225 is a recording medium for storing various programs and data required for the sight line detection device 200 in operation.
  • FIG. 5 is a schematic view for explaining calibration for detection of the gaze direction according to the embodiment.
  • the gaze direction of the user 300 is realized by the gaze detection unit 221 in the gaze detection apparatus 200 analyzing an image captured by the camera 116 and output to the gaze detection apparatus 200 by the first communication unit 118.
  • the image output unit 224 generates nine points (marker images) from the points Q 1 to Q 9 as shown in FIG. 5 and causes the image display element 108 of the head mounted display 100 to display.
  • the gaze detection apparatus 200 causes the user 300 to gaze in order until the points Q 1 to Q 9 are reached. At this time, the user 300 is asked to gaze at each point only with the movement of the eye as much as possible without moving the neck.
  • the camera 116 captures an image including the cornea 302 of the user 300 when the user 300 gazes at nine points from the points Q 1 to Q 9 .
  • FIG. 6 is a schematic view illustrating position coordinates of the cornea 302 of the user 300.
  • the line-of-sight detection unit 221 in the line-of-sight detection apparatus 200 analyzes the image captured by the camera 116 and detects the bright spot 105 derived from infrared light.
  • the visual axis detection unit 221 sets a two-dimensional coordinate system 306 in the image captured by the camera 116 based on the detected bright spot 105.
  • the gaze detection unit 221 also detects the center P of the cornea 302 of the user 300 by analyzing the image captured by the camera 116. This can be realized by using known image processing such as Hough transform or edge extraction processing, for example. Accordingly, the sight line detection unit 221 can acquire the coordinates of the center P of the cornea 302 of the user 300 in the set two-dimensional coordinate system 306.
  • the coordinates of points Q 1 to Q 9 in the two-dimensional coordinate system set on the display screen displayed by the image display element 108 are Q 1 (x 1 , y 1 ) T and Q 2 (x 2 , x 2 , x 2 y 2 ) T ... Q 9 (x 9 , x 9 ) T
  • Each coordinate is, for example, the number of a pixel located at the center of each point.
  • the center P of the user's 300 cornea 302 when the user 300 is gazing at the points Q 1 to Q 9 is taken as the points P 1 to P 9 , respectively.
  • each coordinate of the point P 1 ⁇ P 9 in the two-dimensional coordinate system 306 P 1 (X 1, Y 1) T, P 2 (X 2, Y 2) T, ⁇ , P 9 (Z 9 , Y 9 ) T
  • T represents transpose of a vector or a matrix.
  • the matrix M is a matrix that projects the direction of the user's 300 gaze on the image plane displayed by the image display element 108.
  • the element of the vector y is known because it is the coordinates of the points Q 1 to Q 9 which the visual axis detection unit 221 causes the image display element 108 to display.
  • the elements of the matrix A can be acquired because they are the coordinates of the vertex P of the cornea 302 of the user 300. Therefore, the gaze detection unit 221 can acquire the vector y and the matrix A.
  • the vector x which is a vector in which the elements of the transformation matrix M are arranged, is unknown. Therefore, the problem of estimating the matrix M becomes the problem of finding the unknown vector x when the vector y and the matrix A are known.
  • the number of equations ie, the number of points Q presented to the user 300 at the time of calibration
  • the number of unknowns ie, the number of elements of the vector x is 4
  • the number of equations is nine, which is an overdetermined problem.
  • an optimal vector x opt in the sense of minimizing the sum of squares of elements of the vector e can be obtained by the following equation (6).
  • x opt (A T A) -1 A T y (6)
  • -1 indicates an inverse matrix.
  • the line-of-sight detection unit 221 constructs the matrix M of Expression (1) by using the elements of the determined vector x opt .
  • the visual axis detection unit 221 uses the coordinates of the vertex P of the cornea 302 of the user 300 and the matrix M to follow the equation (2), on the moving image displayed by the image display element 108 by the right eye of the user 300 You can estimate where you are looking at in a two-dimensional range.
  • the sight line detection unit 221 can calculate a right sighting line vector connecting the fixation point of the right eye on the image display element 108 and the vertex of the cornea of the right eye of the user.
  • a left visual line vector connecting the fixation point of the left eye on the image display element 108 and the vertex of the cornea of the left eye of the user is calculated. can do.
  • the line-of-sight detection unit 221 can detect the intersection as the focus of the user using the line-of-sight vector of the right eye and the line-of-sight vector of the left eye. If both line-of-sight vectors do not have an intersection point, other methods are used, for example, focusing on the middle point of a line segment connecting points at which the distance between both line-of-sight vectors is closest in both line-of-sight vectors It may be assumed that there is an intersection point between the plane and the line-of-sight vector, and a midpoint of a line connecting the intersection points may be focused. Note that the gaze position ( gaze coordinate position not including depth information) on the plane of the displayed 3D image can be specified by only one of the gaze vectors.
  • FIG. 9 is a flowchart showing the operation of the facial expression recognition system 1.
  • the imaging unit 124 operates the camera 180 to capture an image of the lower half of the user's face, that is, a first image (step S901).
  • a first image An example of an image of the first image 701 obtained by the imaging is shown in FIG.
  • the imaging unit 124 transmits the first image obtained by imaging to the first communication unit 118.
  • the first communication unit 118 transmits the transmitted first image to the facial expression recognition device 200.
  • the imaging unit 124 operates the camera 181 to capture an image of the upper half of the user (around the eyes), that is, a second image (step S902).
  • An image example of the second image 702 obtained by the imaging is shown in FIG.
  • the imaging unit 124 transmits the second image obtained by imaging to the first communication unit 118.
  • the first communication unit 118 transmits the transmitted first image to the facial expression recognition device 200.
  • the second communication unit 220 of the facial expression recognition device 200 having received the first image and the second image transmits the first image and the second image to the synthesis unit 222.
  • the combining unit 222 combines the transmitted first image 701 and second image 702 according to a predetermined algorithm, and generates a combined image showing the face image of the user 300 (step S903).
  • An image example of a composite image 801 obtained by the composition is shown in FIG.
  • the combining unit 222 transmits the generated combined image 801 to the expression recognition unit 223.
  • the facial expression recognition unit 223 executes facial expression recognition processing on the transmitted composite image 801 according to a predetermined algorithm, and recognizes and estimates the facial expression of the user 300 (step S904).
  • the facial expression recognition unit 223 transmits the estimated facial expression information of the user 300 to the video output unit 224.
  • the video output unit 224 uses the transmitted facial expression information to reflect the content (step S905).
  • the above is the operation relating to the facial expression recognition of the facial expression recognition system 1.
  • the recognition of the expression by the expression recognition unit 223 described above makes it possible to recognize the movement of the expression and what kind of emotion the user has. Therefore, the following application methods can be considered.
  • Example 1 of application A communication system in which a plurality of head mounted displays and at least one server system are connected by communication is assumed. Then, it is assumed that a virtual reality space in which a plurality of characters operate is provided by the server system. Users wearing the head mounted display create avatars and use the avatars to move between the virtual worlds provided by the virtual reality space.
  • the user's 300 expression is reflected on the corresponding avatar by estimating the user's 300 expression using the head mounted display 100 described above. This makes it possible to provide a virtual reality space closer to reality, and to make communication in the virtual reality space more active.
  • the head mount display 100 described above is used to estimate the user's 300 expression and notify the server system Then, the reaction based on the user's expression is reflected to the non-player character. For example, if it is recognized that the user is smiling, the non-player character is also made to laugh or is turned, and if the user is recognized to be angry, the non-player character is made to be angry or scared. You may
  • Example 3 of application As the application example 3, it is assumed that the video output unit 224 has a function of outputting an avatar image of the user. At this time, the shape of the mouth obtained based on the first image from the camera 180 is reflected as it is in the avatar image, and the shape of the eyes obtained based on the second image from the camera 181 is reflected as it is on the avatar image.
  • Real avatar expression can be realized.
  • FIG. 13A shows images 1301 and 1302 captured by the camera 180 and the camera 181. As shown in FIG. 13A, it can be recognized from the captured image that the user is surprised. Then, as shown in FIG.
  • the video output unit 224 outputs an avatar image 1303 in which a state of being surprised of the user recognized by the sight detection system 1 is reflected.
  • the video output unit 224 outputs an avatar image 1303 in which a state of being surprised of the user recognized by the sight detection system 1 is reflected.
  • it is particularly effective to generate an avatar image of a three-dimensional shape.
  • the application example 4 can be applied to marketing for viewing the user's reaction to the video output from the video output unit 224. That is, the gaze detection system 1 specifies an object displayed ahead of the user's gaze direction detected by the gaze detection apparatus 200 of the gaze detection system 1, and the user's impression of the object is expressed as an expression It estimates based on the user's facial expression which the recognition part 223 detected. For example, when it is recognized that the user's expression has a gentle expression, it can be inferred that the user is feeling favorably with respect to the display object, and the user's expression indicates disgust. When it is recognized that it is, it can be inferred that the display object is disgusted. Thus, for example, when the display object is a product or the like, information as to whether the user likes the product can be collected, and if such information is collected from various users, what product is It can be marketed to become popular.
  • the content of the video can be changed based on the expression of the video output by the video output unit 224 indicated by the user. That is, as a video output from the video output unit 224, a branch point is provided in the video, different videos derived from the branch point are prepared, and videos having different endings are prepared as in a so-called multi-ending story. Then, depending on whether or not the user showed a favorable expression on the image, the image to be output to the user may be determined, and the image obtained by branching the story may be output. . This makes it possible to provide a video of a story that is more desirable for the user.
  • the degree of difficulty of the game can be dynamically changed based on the user's expression. Specifically, when the head mounted display 100 recognizes that the expression of the user playing the game is steep, the game is difficult for the user, and the video output unit 224 Lowers the level of difficulty, and outputs a game image with a lower level of difficulty. On the contrary, when it is recognized that the user's expression makes the user feel comfortable, the game is easy for the user, so the video output unit 224 raises the difficulty of the game and raises the difficulty. Output game image.
  • the video output unit 224 is described as also serving as the game engine, but the game engine is provided separately from the video output unit 224, and the video output unit 224 uses the head transmitted from the game engine as a head. It may be output to the mount display 100.
  • Example 7 of application when performing real-time live viewing using the head mounted display 100, interactively changing a user image indicating the head mounted display 100 based on an image captured using the cameras 180 and 181. Can.
  • the head mounted display according to the present invention it is possible to acquire the face image of the user by imaging different places with a plurality of cameras and combining them. By this, facial expression recognition can be performed and can be reflected on various contents.
  • the image reflected by the hot mirror 112 is imaged.
  • the eye of the user 300 may be imaged directly without passing through 112.
  • the first image and the second image are captured by the cameras 180 and 181, respectively, to obtain a composite image of the face.
  • the method of recognizing the user's expression is not limited to this.
  • the head mounted display 100 is provided with a contact sensor, such as a myoelectric sensor, which can specify the user's facial expression at a position where the head mounted display 100 is touched when the user mounts the head mounted display 100. It may be Then, the facial expression recognition unit 223 may recognize the facial expression around the eyes based on the data indicating the movement around the eyes of the user detected by the touch sensor.
  • a contact sensor such as a myoelectric sensor
  • the expression of the user 300 is limited to recognition. However, depending on the imaging range based on the angle of view of the camera 180, the state of the user 300 with respect to other than the expression can also be recognized and reflected in various contents.
  • the camera 180 may be arranged to capture an image so as to show up to the shoulder of the user 300. Then, as shown in FIG. 10, an image that can be recognized up to the state of the shoulder of the user 300 is obtained as a synthesized image 1001 obtained by the synthesizing unit 222 synthesizing the first image and the second image.
  • a synthesized image 1001 obtained by the synthesizing unit 222 synthesizing the first image and the second image.
  • the composite image 1001 in FIG. 10 since it can be analyzed that the left shoulder of the user 300 is located on the front side of the image, for example, when generating the avatar image of the user 300, the left shoulder of the avatar is inclined forward You may want to generate the
  • the image recognition unit 223 analyzes the image 1001 to estimate the posture of the user's body. Then, for example, the posture of the character operated by the user may be controlled based on the estimated posture. Note that a posture estimation unit that estimates the posture of the user from the combined image may be separately provided in the expression recognition device 200.
  • human posture estimation technology using conventional image analysis technology, for example, markerless motion capture technology, pattern matching using sample images indicating various postures of the user, and the like.
  • the camera 180 is provided on the head mounted display 100.
  • the camera 180 may be configured to be removable. An example is shown in FIG.
  • FIG. 11A is a perspective view of an example of attaching the camera 180 to the head mounted display 100 as viewed from the top of the head mounted display 100
  • FIG. 11B is a perspective view of the head mounted display 100 as viewed from the bottom It is.
  • the camera 180 is attached to a U-shaped member 1101. Further, a slide groove 1102 is provided in the head mounted display 100. At both ends of the member 1101, projections are provided so as to fit in the slide grooves 1102. Then, the camera 180 is mounted on the head mount display by sliding the convex portion into the slide groove 1102 and inserting it. At this time, the member 1101 may be configured to be able to be fixed at several places of the slide groove 1102.
  • the camera 180 may have a wireless communication function
  • the first communication unit 118 of the head mounted display 100 may be configured to receive the first image captured by the camera 180.
  • attachment example shown in FIG. 11 is only an example, and other methods may be used to be detachably configured.
  • a mortise may be provided on the head mount display, and a tenon fitted to the mortise may be provided on the camera 180 side to be detachable, or may be realized by screwing.
  • the camera 180 in the above embodiment may be rotatably provided on the head mounted display 100. That is, the camera 180 may be provided on the head mounted display 100 in the form as shown in FIG.
  • FIG. 12 is an enlarged view of a side of the head mounted display 100 where a camera 180 is attached. As shown in FIG. 12, the camera 180 is attached to the head mount display 100 so as to pivot on a pivot shaft 1201 supported by the holding unit 1202. By configuring in this manner, it is possible to perform imaging at an appropriate angle when imaging the first image according to the physical constitution of the user and the like.
  • the pivot shaft 1201 may be configured to be fixed at a predetermined pivot angle. By doing this, even if the user 300 moves, it is possible to prevent the angle taken by the camera 180 from changing.
  • the rotation shaft 1201 may be provided with a rotation motor, and the imaging unit 124 may control the rotation motor at the time of imaging so as to be able to capture a desired first image.
  • the plurality of first images may be photographed at various rotation angles, and the plurality of photographed first and second images may be synthesized by the synthesis unit 222. By doing this, a larger image showing the state of the user 300 can be acquired.
  • surroundings of a user's eye was illustrated in the said embodiment, this is not the limitation.
  • it may be a full-face type head mounted display, and in that case, a plurality of cameras for capturing the face of the user are provided, and facial expression recognition is performed on a face image obtained by combining images captured by each. You may
  • the synthesizing unit 222 is provided, and after the images captured by the camera 180 and the camera 181 are synthesized, recognition of the user's expression is realized.
  • the line-of-sight detection system 1 specifies the shape of the user's mouth based on the image captured by the camera 180 without the combining unit 222, and determines the shape of the user's eye based on the image captured by the camera 181
  • facial expression recognition may be realized based on the shapes of the eyes and the mouth specified independently.
  • the avatar image generation unit provided in the sight line detection system 1 generates the avatar image of the user without recognizing the expression
  • the shapes of the eyes and the mouth detected in the partial portions It may be made to reflect for each part. That is, for example, the shape of the user's mouth may be specified based on the image captured by the camera 180, and only the specified shape of the mouth may be reflected in the avatar image.
  • the storage unit 225 may realize imaging for gaze detection and expression recognition in advance by the following method of classifying the user's expression. For example, a classification of anger, aversion, fear, happiness, sadness, surprise, etc. is prepared, and the pattern of the face image showing the expression according to each classification (corresponding to the arrangement of each part of the face and the expression according to each emotion) Stores a correspondence table in which the shape patterns of the parts to be Then, the facial expression recognition system identifies a pattern of a face image corresponding to the identified classification based on the classification corresponding to the facial expression recognized by the facial expression recognition unit 223, and generates an avatar image reflecting the identified pattern. An image generation unit may be provided.
  • each classification may be associated with a pattern of a face image according to the degree of each expression (emotion). For example, to illustrate the classification of anger, there are five levels from “a bit angry” to "very angry”, and if you are very angry, it will be better than if you are a little angry Also, it is preferable to associate patterns of face images in which the degree of elevation of the eyelid is large, the degree of downward angle of the mouth is large, and the degree of slight swelling is large.
  • the facial expression recognition unit 223 also determines the stage of each of the classified facial expressions.
  • the facial expression recognition system may realize facial expression recognition and reflect it on the avatar image.
  • the camera 116 and the camera 181 are used as separate cameras, but these cameras may be shared cameras.
  • the camera 116 is used without using the camera 181, and a visible light camera is adopted as the camera 116.
  • the eye captures the eye three-dimensionally with a stereo camera, and three-dimensionally captures the shape of the eyeball. Detect the direction.
  • the image as it is is used for facial expression recognition.
  • the camera 116 a camera provided with both imaging in the visible light mode and imaging in the infrared mode is used, and the head mounted display 100 detects the line of sight in the infrared mode.
  • switching may be performed so as to perform imaging in the visible light mode. The switching can be realized, for example, by switching the filters of the infrared pass filter and the visible light pass filter.
  • the camera 116 is used without using the camera 181
  • the hot mirror 112 need not be provided.
  • the processor of the facial expression recognition apparatus 200 executes the line-of-sight detection program or the like to identify a portion at which the user is gazing.
  • This may be realized by a logic circuit (hardware) or a dedicated circuit formed in an integrated circuit (IC (Integrated Circuit) chip, LSI (Large Scale Integration)) or the like in the facial expression recognition apparatus 200.
  • these circuits may be realized by one or more integrated circuits, and the functions of the plurality of functional units shown in the above embodiments may be realized by one integrated circuit.
  • An LSI may be called a VLSI, a super LSI, an ultra LSI, or the like depending on the degree of integration.
  • the line-of-sight detection program may be recorded on a recording medium readable by a processor, and as the recording medium, “non-temporary tangible medium” such as tape, disk, card, semiconductor memory, programmable logic A circuit or the like can be used.
  • the search program may be supplied to the processor via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the search program.
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the gaze detection program is embodied by electronic transmission.
  • the gaze detection program uses, for example, a script language such as ActionScript, JavaScript (registered trademark), Python, or Ruby, or a compiler language such as C language, C ++, C #, Objective-C, Java (registered trademark), or the like. Can be implemented.
  • a script language such as ActionScript, JavaScript (registered trademark), Python, or Ruby
  • a compiler language such as C language, C ++, C #, Objective-C, Java (registered trademark), or the like. Can be implemented.
  • Reference Signs List 1 facial expression recognition system 100 head mounted display, 103a infrared light source (second infrared light irradiation unit), 103b infrared light source (first infrared light irradiation unit), 105 bright spot, 108 image display element, 112 hot mirror , 114, 114a, 114b convex lens, 116 camera, 118 first communication unit, 121 display unit, 122 infrared light irradiation unit, 123 image processing unit, 124 imaging unit, 130 image display system, 150 housing, 152a, 152b lens Holding unit, 160 mounting tools, 170 headphones, 180, 181 cameras, 200 expression recognition devices, 220 second communication units, 221 gaze detection units, 222 synthesis units, 223 expression recognition units, 224 video output units, 225 storage units.
  • the present invention is applicable to a head mounted display.

Abstract

　ユーザの眼を撮像する第１カメラ、ユーザの口元を撮像する第２カメラ、並びに、第１カメラにより撮像された第１画像及び第２カメラにより撮像された第２画像を出力する出力部を有するヘッドマウントディスプレイと、出力部により出力された第１画像及び第２画像を受信する受信部、並びに、第１画像及び第２画像に基づいて、ユーザの表情を認識する表情認識部を有する表情認識装置とを備える表情認識システム。

Description

表情認識システム、表情認識方法及び表情認識プログラム
　この発明は、ヘッドマウントディスプレイに関する。
　近赤外光などの非可視光をユーザの眼に照射し、その反射光を含むユーザの眼の画像を解析することでユーザの視線方向を検出する技術が知られている。検出したユーザの視線方向の情報は、例えばＰＣ（Personal Computer）やゲーム機等のモニタに反映させ、ポインティングデバイスとして用いることも現実のものとなってきている。
特開平２－２６４６３２号公報
ＵＲＬ：http://www.hao-li.com/publications/papers/siggraph2015FPSHMD.pdf（２０１５年１１月２４日現在）
　ヘッドマウントディスプレイには、装着したユーザに三次元的な映像を提示する機能を有するものがある。ヘッドマウントディスプレイは、一般に、ユーザの視界を覆うようにして装着して使用される。そして、上述のように、ユーザの視線方向をポインティングデバイスとして用いるコンテンツにおいては、よりユーザの興味を引くコンテンツの提供が望まれる。
　本発明は、上述のような要望に鑑みてなされたものであり、その目的は、ユーザがより興味を引き得るコンテンツの提供のための情報を出力できるヘッドマウントディスプレイを提供することにある。
　上記課題を解決するために、本発明のある態様は、ユーザの眼を撮像する第１カメラ、ユーザの口元を撮像する第２カメラ、並びに、第１カメラにより撮像された第１画像及び第２カメラにより撮像された第２画像を出力する出力部を有するヘッドマウントディスプレイと、出力部により出力された第１画像及び第２画像を受信する受信部、並びに、第１画像及び第２画像に基づいて、ユーザの表情を認識する表情認識部を有する表情認識装置とを備える表情認識システムである。
　また、ヘッドマウントディスプレイは、さらに、ユーザの眼に非可視光を照射する光源、及びユーザの眼により反射された非可視光を撮像する第３カメラを有し、出力部は、第３カメラが撮像した第３画像を出力し、表情認識装置は、さらに、受信部により受信された第３画像に基づいて、ユーザの視線方向を検出する視線検出部を有することとしてもよい。
　表情認識装置は、さらに、受信部により受信された第１画像及び第２画像を合成して合成画像を作成する合成部を備え、表情認識部は、合成画像に基づいて、ユーザの表情を認識することとしてもよい。
　また、第２カメラは、ヘッドマウントディスプレイに着脱自在に取り付けられることとしてもよい。
　また、第２カメラは、ユーザがヘッドマウントディスプレイを装着した場合に、ユーザの鼻から肩までの範囲を撮像可能な画角となるように、ヘッドマウントディスプレイに取り付けられていることとしてもよい。
　また、表情認識装置は、さらに、受信部により受信された第２画像に基づいて、ユーザの姿勢を推定する姿勢推定部を有することとしてもよい。
　また、ヘッドマウントディスプレイは、ユーザの眼の周囲を覆い、ユーザの口元を覆わないように構成されていることとしてもよい。
　第１カメラ及び第２カメラは撮像対象までの距離を示す深度情報を取得するカメラであり、表情認識システムは、さらに、第１カメラが撮像したユーザの眼と、第２カメラが撮像したユーザの口元との画像に基づいて、ユーザの眼と口の３次元形状を特定し、特定した３次元形状に基づいて、ユーザのアバターの眼と口の形状に反映させたアバター画像を生成するアバター画像生成部を備えることとしてもよい。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、ユーザの顔全体の顔画像を取得しにくいヘッドマウントディスプレイであっても、ユーザの眼と、口元を別々に撮像して、それらを合成することで、ユーザの顔画像に想到する合成画像を取得して、表情認識処理を行うことができる。したがって、ユーザの表情を反映させたコンテンツを提供することができる。
実施の形態に係るヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。 実施の形態に係るヘッドマウントディスプレイシステムの構成を示すブロック図である。 実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。 ユーザの角膜の位置座標を説明する模式図である。 （ａ）は、実施の形態に係るヘッドマウントディスプレイシステムが撮像するユーザの目の周りの画像例である。（ｂ）は、実施の形態に係るヘッドマウントディスプレイシステムが撮像するユーザの口元周りの画像例である。 実施の形態に係るヘッドマウントディスプレイが撮像したユーザを示す合成画像の例である。 実施の形態に係るヘッドマウントディスプレイシステムの動作を示すフローチャートである。 実施の形態に係るヘッドマウントディスプレイが撮像したユーザを示す合成画像の例である。 （ａ）、（ｂ）は、ヘッドマウントディスプレイにカメラを着脱自在にした場合の構造を示す外観図である。 ヘッドマウントディスプレイに設けたカメラ１６０のカメラアングルを変更する例を示す外観図である。 （ａ）は、ユーザを撮像した画像であり、（ｂ）は撮像したユーザの表情をアバター画像に反映させた画像である。
＜発明者らが得た知見＞
　上述のようなヘッドマウントディスプレイにおいては、ユーザの表情を認識できれば、よりリアルかつアクティブなコンテンツを提供することができる。例えば、ユーザが制御するキャラクタの表情をユーザの表情に応じて変えたり、ヘッドマウントディスプレイに表示するキャラクタの対応を変えたりするといった使用方法が考えられる。
　しかしながら、現状のヘッドマウントディスプレイは、通常、ユーザの頭部のうち、目の周りを覆うようにした形状にすることが多い。ヘッドマウントディスプレイをこのような形状とする理由としては、フルヘルメット型にすると、ユーザに対して圧迫感を与えるだけでなく、ヘッドマウントディスプレイとして重量が増し、ユーザに負荷を与えてしまうという問題があるためである。しかし、そのような構造故に、ヘッドマウントディスプレイ内にカメラを設けて、ユーザの眼の周りの画像を撮像することはできるものの、ユーザ全体の顔画像を取得することはかなわない。
　このような形状のヘッドマウントディスプレイにおいて、表情認識を実現する手法としては、非特許文献１に記載の技術がある。当該文献によれば、ヘッドマウントディスプレイ外部に湾曲型のアームを取り付け、取り付けた側とは反対側にカメラを載置することで、ユーザの口元を撮像して表情認識を実現している。しかし、非特許文献１に示される形状の場合、取り付けた湾曲型のアームのために、ヘッドマウントディスプレイ全体としての重心がユーザ前方に偏ることになり、取り扱いが難しくなるとともに、ヘッドマウントディスプレイ全体の重量が増すという問題があることを発明者らは知見した。
　また、発明者らは、非特許文献１に記載の技術では、筋電センサ（Strain Sensor）によりユーザの目の周りの表情筋の動きを検出して、目の周りの表情認識を実現しているものの、筋電センサを用いる手法では、ユーザの視線検出にはそぐわないことも知見した。
　そこで、発明者らは、現在のユーザの視界を覆うタイプのヘッドマウントディスプレイにおいて、表情認識を実行しつつ、視線検出も実行できる構成を発明するに至った。以下、本発明に係るヘッドマウントディスプレイについて詳細に説明する。
＜実施の形態＞
　本発明の一態様に係る表情認識システム１は、ユーザの眼を撮像する第１カメラ（１８１）、ユーザの口元を撮像する第２カメラ（１８０）、並びに、第１カメラにより撮像された第１画像及び第２カメラにより撮像された第２画像を出力する出力部（１１８）を有するヘッドマウントディスプレイ（１００）と、出力部により出力された第１画像及び第２画像を受信する受信部（２２０）、受信部により受信された第１画像及び第２画像を合成して合成画像を作成する合成部（２２２）、並びに、合成部により作成された合成画像に基づいて、ユーザの表情を認識する表情認識部（２２３）を有する表情認識装置（２００）とを備える表情認識システムである。
　また、ヘッドマウントディスプレイは、さらに、ユーザの眼に非可視光を照射する光源（１０３）、及びユーザの眼により反射された非可視光を撮像する第３カメラ（１６１）を有し、出力部は、第３カメラが撮像した第３画像を出力し、表情認識装置は、さらに、受信部により受信された第３画像に基づいて、ユーザの視線方向を検出する視線検出部（２２１）を有する。以下、詳細に説明する。
　図１は、実施の形態に係る表情認識システム１の概観を模式的に示す図である。実施の形態に係る表情認識システム１は、ヘッドマウントディスプレイ１００と視線検出装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。
　視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の少なくとも一方の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、視線検出装置２００はヘッドマウントディスプレイ１００と無線で接続している。視線検出装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。
　なお、図１は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。
　ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、ヘッドフォン１７０、およびカメラ１８０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ－ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。
　ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。
　カメラ１８０は、図１に示すように、ユーザ３００がヘッドマウントディスプレイ１００を装着した際に、ユーザの顔半分を含む画像を撮像できるように配されている。すなわち、その撮像画角がユーザ３００の顔下半分（ユーザの鼻の下あたりから、ユーザの肩の方まで）を撮像できる画角になるように配置されている。すなわち、図７（ｂ）に示すような第１画像８０１を撮像する。本明細書においては、当該画像（ユーザの顔下半分を含む画像）を、第１画像と呼称する。図１には、図示してはいないが、カメラ１８０は、後述する第１通信部１１８に接続されている。カメラ１８０が撮像した第１画像は、第１通信部１１８により、視線検出装置２００に出力される。カメラ１８０としては、可視光カメラまたは深度カメラを用いる。カメラ１８０として深度カメラを用いた場合には、カメラ１８０から撮像対象までの距離を特定できるので、ユーザの顔の下半分の３次元的形状を特定できる。なお、深度カメラとは、カメラから被写体までの奥行き情報がとれるカメラ又は被写体の３次元形状が取得できるカメラのことをいい、深度カメラの具体例としては、ステレオカメラ、ライトフィールドカメラ、Structure Lightを用いたカメラ、照度差ステレオ法を用いたカメラなどが挙げられる。
　図２は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図２は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。
　図２に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。
　以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。
　レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図２においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。また、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図２に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易でからである。
　上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。
　図３は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図２に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、第１通信部１１８、およびカメラ１８１を備える。
　赤外光源１０３は、近赤外（７００ｎｍ～２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。
　画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、視線検出装置２００内の映像出力部２２４が生成する。映像出力部２２４については後述する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）を用いて実現できる。
　ホットミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。
　凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。
　凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。
　複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。
　図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。
　上述したように、ホットミラー１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はホットミラー１１２を透過してユーザ３００の角膜３０２まで到達する。また赤外光源１０３から照射され、凸レンズ１１４の内部の反射領域で反射された赤外光は、ユーザ３００の角膜３０２に到達する。
　ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。
　なお、図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する第１撮像部と、左目で反射された赤外光を含む画像を撮像する第２撮像部とを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。なお、ユーザの視線について、奥行き方向の焦点座標に関する情報を必要としない場合には、いずれか一方の視線検出で事足りる。
　第１通信部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、第１通信部１１８は、カメラ１１６が撮像した画像を視線検出装置２００に送信する。視線方向検出部として機能する視線検出部２２１の詳細については後述するが、視線検出装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。
　詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。
　以上は、実施の形態に係る画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。
　ここまでは、視線検出をヘッドマウントディスプレイにおいて実現するための光学構成になるが、本実施の形態に係るヘッドマウントディスプレイにおいては、さらに、ユーザの表情を認識する表情認識を実現するための光学構成も備える。具体的には、図３に示すように、ヘッドマウントディスプレイ１００は、ユーザの眼の周りを撮像するためのカメラ１８１を備える。
　カメラ１８１は、ユーザの眼の周りを撮像するカメラであり、可視光カメラ又は深度カメラを用いる。カメラ１８１として深度カメラを用いた場合には、カメラ１８１から撮像対象までの距離を特定できるので、ユーザの顔の下半分の３次元的形状を特定できる。図３に示すようにカメラ１８１は、ヘッドマウントディスプレイ内であって、凸レンズ１１４に正対するユーザの眼を、当該凸レンズ１１４越しに撮像する位置であって、画像表示素子１０８を注視するユーザの視界を妨げない位置に配される。図３においては、画像表示系１３０の上部に配しているが、カメラ１８１は、ユーザの視界を妨げない位置であって、ユーザの眼の周りを撮像できる位置であれば、上部ではなく、下部や左右に配することとしてもよい。図３においては、図面を見やすくするために図示していないが、カメラ１８１は、第１通信部１１８に接続されており、カメラ１８１は撮像した画像を第１通信部１１８に伝達する。そして、第１通信部１１８は、カメラ１８１が撮像する画像を視線検出装置２００に出力する。以下、本明細書においては、カメラ１８１が撮像するユーザの眼の周りの画像を、第２画像と呼称する。
　図４は、表情認識システム１に係るヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。図４に示すように、また、上述したとおり、表情認識システム１は、互いに通信を実行するヘッドマウントディスプレイ１００と視線検出装置２００とを含む。
　図４に示すようにヘッドマウントディスプレイ１００は、第１通信部１１８と、表示部１２１と、赤外光照射部１２２と、画像処理部１２３と、撮像部１２４とを備える。
　第１通信部１１８は、視線検出装置２００の第２通信部２２０と通信を実行する機能を有する通信インターフェースである。上述したとおり、第１通信部１１８は、有線通信又は無線通信により第２通信部２２０と通信を実行する。使用可能な通信規格の例は上述した通りである。第１通信部１１８は、カメラ１１６または画像処理部１２３から伝送された視線検出に用いる画像データを第２通信部２２０に送信する。また、第１通信部１１８は、視線検出装置２００から送信された三次元画像データを表示部１２１に伝達する。第１通信部１１８は、カメラ１１６が撮像した視線検出のための画像と、第１画像及び第２画像とで、それぞれを区別可能にＩＤ付けを行って、表情認識装置２００に送信する。
　表示部１２１は、第１通信部１１８から伝達された三次元画像データを画像表示素子１０８に表示する機能を有する。三次元画像データは、右目用視差画像と左目用視差画像とを含み、それらは視差画像対となっている。
　赤外光照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。
　画像処理部１２３は、必要に応じて、カメラ１１６が撮像した画像に画像処理を行い、第１通信部１１８に伝達する。
　撮像部１２４は、右目用のカメラ１１６と、左目用のカメラ１１７とを用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。撮像部１２４は、撮像して得た画像を、第１通信部１１８又は画像処理部１２３に伝達する。また、撮像部１２４は、カメラ１８０を用いて撮像した画像と、カメラ１８１を用いて撮像した画像とを、第１通信部１１８又は画像処理部１２３に伝達する。
　図４に示すように視線検出装置２００は、第２通信部２２０と、視線検出部２２１と、合成部２２２と、表情認識部２２３と、映像出力部２２４と、記憶部２２５とを備える。
　第２通信部２２０は、ヘッドマウントディスプレイ１００の第１通信部１１８と通信を実行する機能を有する通信インターフェースである。上述したとおり、第２通信部２２０は、有線通信又は無線通信により第１通信部１１８と通信を実行する。第２通信部２２０は、視線検出のための左目画像または右目画像に係るデータを受信した場合には、当該データを視線検出部２２１に伝達する。また、第２通信部２２０は、ユーザの顔画像に係るデータ（ユーザの眼の周りの画像または、ユーザの顔の下半分の画像）、すなわち、第１画像または第２画像に係るデータを受信した場合には、当該データを合成部２２２に伝達する。
　視線検出部２２１は、第２通信部２２０からユーザの右目の視線検出用の画像データを受け付けて、ユーザの右目の視線方向を検出する。視線検出部２２１は、後述する手法を用いて、ユーザの右目の視線方向を示す右目視線ベクトルを算出する。
　同様に、視線検出部２２１は、第２通信部２２０からユーザの左目の視線検出用の画像データを受け付けて、ユーザの左目の視線方向を検出する。視線検出部２２１は、後述する手法を用いて、ユーザの左目の視線方向を示す左目視線ベクトルを算出する。
　視線検出部２２１は、ユーザの右目視線ベクトルと左目視線ベクトルとに基づいて、奥行き方向の情報も含むユーザの注視する焦点座標を特定する。なお、視線検出部２２１は、右目若しくは左目のいずれか一方の画像のみを用いる場合には、奥行き方向の情報を含まないユーザの注視する焦点座標を特定する。
　合成部２２２は、第２通信部２２０から伝達された第１画像と、第２画像とを用いて、合成画像を作成する。合成部２２２は、第１画像と、第２画像とを合成する位置関係についての情報を予め保持しており、当該位置関係に合致するように、第１画像と第２画像とを合成する。なお、当該位置関係については、カメラ１８０、１８１それぞれのカメラアングルと撮像範囲と、ユーザまでの距離等に応じて定まる。合成部２２２は、第１画像と第２画像とが合成されることにより、簡易のユーザの顔画像を得ることができる。合成部２２２は、合成して得られたユーザの顔画像を表情認識部２２３に伝達する。
　表情認識部２２３は、合成部２２２から伝達されたユーザの顔を示す合成画像に基づいて、表情認識処理を実行する。表情認識処理とは、ユーザがどのような表情をしているのかを特定するための顔画像の特徴点を抽出する処理であり、そこから、ユーザの表情から類推される感情を特定する処理を含んでもよい。顔画像を用いた表情認識の手法としては、例えば、顔画像から特徴点を抽出し、パターンマッチングを用いた表情の推定方法があり、これを用いてもよい。表情認識部２２３は、推定したユーザ３００の表情を映像出力部２２４に伝達する。
　映像出力部２２４は、ヘッドマウントディスプレイ１００の表示部１２１に表示させる三次元画像データを生成し、第２通信２２０に伝達する。また、映像出力部２２４は、視線検出のためのキャリブレーションに用いるマーカー画像データを生成し、第２通信部２２０に伝達する。映像出力部２２４は、出力する三次元画像の座標系並びに当該座標系において表示されるオブジェクトの三次元の位置座標を示す情報を保持する。
　また、映像出力部２２４は、ヘッドマウントディスプレイ１００の表示部１２１に表示させる動画やゲーム画像などを出力する機能も有する。例えば、映像出力部２２４は、ユーザ３００が操作するキャラクタの画像（アバター画像）を出力する機能を有する場合に、その表情を、表情認識部２２３が推定した表情に適合する表情の画像を生成して出力する。また、あるいは、映像出力部２２４は、例えば、ユーザ３００が映像出力部２２４により出力されヘッドマウントディスプレイ１００に表示されたキャラクタとのコミュニケーションをとっている場合には、ユーザ３００の推定された表情に応じた反応を示すキャラクタ画像を生成して出力する。
　記憶部２２５は、視線検出装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。
　次に、実施の形態に係る視線方向の検出について説明する。
　図５は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し第１通信部１１８が視線検出装置２００に出力した映像を、視線検出装置２００内の視線検出部２２１が解析することにより実現される。
　映像出力部２２４は、図５に示すような点Ｑ１～Ｑ９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ１～点Ｑ９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ１～Ｑ９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。
　図６は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の視線検出部２２１は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線検出部２２１は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。
　視線検出部２２１はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２２１は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。
　図５において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ１～点Ｑ９の座標をそれぞれＱ１（ｘ１，ｙ１）Ｔ，Ｑ２（ｘ２，ｙ２）Ｔ・・・，Ｑ９（ｘ９，ｘ９）Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ１～点Ｑ９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ１～Ｐ９とする。このとき、２次元座標系３０６における点Ｐ１～Ｐ９の座標をそれぞれＰ１（Ｘ１，Ｙ１）Ｔ，Ｐ２（Ｘ２，Ｙ２）Ｔ，・・・，Ｐ９（Ｚ９，Ｙ９）Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。
　いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。
Figure JPOXMLDOC01-appb-M000001
　このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
　　ＰＮ＝ＭＱＮ　（Ｎ＝１，・・・，９）　　（２）
　上記式（２）を具体的に書き下すと以下の式（３）のようになる。
Figure JPOXMLDOC01-appb-M000002
 　式（３）を変形すると以下の式（４）を得る。
Figure JPOXMLDOC01-appb-M000003
　ここで、
Figure JPOXMLDOC01-appb-M000004
とおくと、以下の式（５）を得る。
　　ｙ＝Ａｘ　　（５）
　式（５）において、ベクトルｙの要素は視線検出部２２１が画像表示素子１０８に表示させる点Ｑ１～Ｑ９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線検出部２２１は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。
　式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２２１がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。
　ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ－Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘｏｐｔは、以下の式（６）で求められる。
　　ｘｏｐｔ＝（ＡＴＡ）－１ＡＴｙ　　（６）
　ここで「－１」は逆行列を示す。
　視線検出部２２１は、求めたベクトルｘｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２２１は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の右目が画像表示素子１０８が表示する動画像上のどこを注視しているかを２次元の範囲で推定できる。これにより、視線検出部２２１は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様にして、ユーザの左目が反射した近赤外光を撮像した画像を用いることで、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。
　そして、視線検出部２２１は、右目の視線ベクトルと、左目の視線ベクトルとを用いて、その交点をユーザの焦点として検出することができる。両視線ベクトルが交点を有しない場合には、その他の手法、例えば、両視線ベクトルにおいて両視線ベクトル間の距離が最も近くなる点を結ぶ線分の中点を焦点としたり、奥行き方向に平面があると見立て、当該平面と両視線ベクトルとの交点を特定し、その交点同士を結ぶ線分の中点を焦点としたりしてもよい。なお、いずれか一方の視線ベクトルだけでも、表示された３Ｄ画像の平面上の注視位置（奥行き情報を含まない注視座標位置）を特定することはできる。
＜動作＞
　ここから、表情認識システム１における表情認識に係る動作を説明する。図９は、表情認識システム１の動作を示すフローチャートである。
　図９に示すように、撮像部１２４は、カメラ１８０を動作させて、ユーザの顔の下半分の画像、すなわち、第１画像を撮像する（ステップＳ９０１）。当該撮像により得られる第１画像７０１の画像例を図７（ａ）に示す。撮像部１２４は、撮像して得られた第１画像を、第１通信部１１８に伝達する。第１通信部１１８は、伝達された第１画像を、表情認識装置２００に送信する。
　次に、撮像部１２４は、カメラ１８１を動作させて、ユーザの上半分（目の周囲）の画像、すなわち、第２画像を撮像する（ステップＳ９０２）。当該撮像により得られる第２画像７０２の画像例を図７（ｂ）に示す。撮像部１２４は、撮像して得られた第２画像を、第１通信部１１８に伝達する。第１通信部１１８は、伝達された第１画像を、表情認識装置２００に送信する。
　第１画像及び第２画像を受信した表情認識装置２００の第２通信部２２０は、第１画像及び第２画像を合成部２２２に伝達する。合成部２２２は、伝達された第１画像７０１及び第２画像７０２を所定のアルゴリズムに従って、合成し、ユーザ３００の顔画像を示す合成画像を生成する（ステップＳ９０３）。当該合成により得られる合成画像８０１の画像例を図８に示す。合成部２２２は生成した合成画像８０１を表情認識部２２３に伝達する。
　表情認識部２２３は、伝達された合成画像８０１に対して、所定のアルゴリズムに従って、表情認識処理を実行し、ユーザ３００の表情を認識、推定する（ステップＳ９０４）。表情認識部２２３は、推定したユーザ３００の表情情報を映像出力部２２４に伝達する。
　映像出力部２２４は、伝達された表情情報を用いて、コンテンツに反映させる（ステップＳ９０５）。
　以上が、表情認識システム１の表情認識に係る動作である。
＜表情認識の活用例＞
　ここで、上記表情認識システムが実行する表情認識のコンテンツの反映方法について説明する。
　上述の表情認識部２２３による表情認識により表情の動きや、ユーザがどのような感情を抱いているかを認識することができる。したがって、以下のような応用方法が考えられる。
　（活用例１）
　複数のヘッドマウントディスプレイと少なくとも１台のサーバシステムが通信により接続された通信システムを想定する。そして、当該サーバシステムにより、複数のキャラクタが動作する仮想現実空間が提供されているものとする。ヘッドマウントディスプレイを装着したユーザ達は、各々のアバターを作成し、そのアバターを用いて、仮想現実空間により提供される仮想世界を行き来するものとする。
　そのような場合に、上述のヘッドマウントディスプレイ１００を用いて、ユーザ３００の表情を推定することで、対応するアバターにユーザ３００の表情を反映する。このようにすることで、より現実に近い仮想現実空間を提供できるようになるとともに、仮想現実空間におけるコミュニケーションをより活発にすることができる。
　（活用例２）
　活用例２においても、活用例１と同様のシステムを想定する。そして、サーバシステムは、ユーザが操作していない、いわゆるノンプレイヤーキャラクターを操作しているものとする。
　そして、ユーザが自身のアバターを用いて、そのようなノンプレイヤーキャラクターとコミュニケーションをとっている際に、上述のヘッドマウントディスプレイ１００を用いて、ユーザ３００の表情を推定し、サーバシステムに通知することで、ユーザの表情に基づく反応をノンプレイヤーキャラクターに反映する。例えば、ユーザが笑っていると認識した場合には、ノンプレイヤーキャラクターも笑わせたり、照れさせたりし、ユーザが怒っていると認識した場合には、ノンプレイヤーキャラクターに怒り返させたり、おびえさせたりしてもよい。
　（活用例３）
　活用例３としては、映像出力部２２４が、ユーザのアバター画像を出力する機能を有する場合を想定する。このとき、カメラ１８０からの第１画像に基づいて得られる口の形状をそのままアバター画像に反映させ、カメラ１８１からの第２画像に基づいて得られる目の形状をそのままアバター画像に反映させることにより、リアルなアバター表現を実現できる。図１３にその一例を示す。図１３（ａ）には、カメラ１８０とカメラ１８１とが撮像した画像１３０１、１３０２を示している。図１３（ａ）に示すように、撮像された画像からユーザが驚いている様子が認識できる。そして、映像出力部２２４は、図１３（ｂ）に示すように、視線検出システム１が認識したユーザの驚いている様子を反映させたアバター画像１３０３を出力する。このとき、カメラ１８０及びカメラ１８１として深度カメラを用いる場合には、３次元形状のアバター画像を生成するのに特に有効である。
　（活用例４）
　活用例４としては、映像出力部２２４が出力する映像に対するユーザの反応を見るためのマーケティングに応用することができる。すなわち、視線検出システム１は、視線検出システム１の視線検出装置２００が検出したユーザの視線方向の先に表示している対象物を特定し、その対象物に対してユーザが抱いた感想を表情認識部２２３が検出したユーザの表情に基づいて推定する。例えば、ユーザの表情が優しげな表情をしていることを認識した場合には、表示対象物に対して好意的感情を抱いていることを推定できるし、ユーザの表情が嫌悪感を示すものであることを認識した場合には、表示対象物に対して反感を抱いていることを推定できる。これにより、例えば、表示対象物が何らかの商品などである場合に、その商品をユーザが気に入ったかどうかの情報を収集でき、そのような情報を様々なユーザから収取すれば、どのような商品が人気が高くなるかのマーケティングを行うことができる。
　（活用例５）
　活用例５としては、映像出力部２２４が出力する映像に対してユーザが示した表情に基づいて、映像の内容を変更することができる。すなわち、映像出力部２２４が出力する映像として、映像に分岐点を設け、その分岐点から派生する互いに異なる映像を用意し、いわばマルチエンディングストーリーのように、結末が異なるような映像を用意する。そして、ユーザが映像に対して示した表情について、好意的な表情を示したか否かに応じて、ユーザに対して出力する映像を決定し、ストーリーを分岐させた映像を出力することしてもよい。これにより、ユーザにとってより好ましいストーリーの映像を提供することができる。
　（活用例６）
　活用例６としては、映像出力部２２４がゲーム画像を出力している場合に、ユーザの表情に基づいて、ゲームの難易度を動的に変更することができる。具体的には、ヘッドマウントディスプレイ１００を用いてゲームをプレイしているユーザの表情が険しいものであると認識した場合に、ユーザにとってそのゲームは難しいことになるので、映像出力部２２４はゲームの難易度を下げ、難易度が下がったゲーム画像を出力する。逆に、ユーザの表情が余裕を感じさせるものであると認識した場合に、ユーザにとってそのゲームは容易であることになるので、映像出力部２２４はゲームの難易度を上げ、難易度が上がったゲーム画像を出力する。なお、ここでは、映像出力部２２４がゲームエンジンを兼任するものとして記載しているが、ゲームエンジンは映像出力部２２４とは別に設け、映像出力部２２４は、ゲームエンジンから伝達される画像をヘッドマウントディスプレイ１００に出力することとしてもよい。
　（活用例７）
　活用例７としては、ヘッドマウントディスプレイ１００を利用したリアルタイムの実況を行う際に、ヘッドマウントディスプレイ１００を示すユーザ画像を、カメラ１８０、１８１を用いて撮像した画像に基づいて、インタラクティブに変化させることができる。
＜まとめ＞
　上述のように、本発明に係るヘッドマウントディスプレイによれば、ユーザの顔画像を、複数のカメラでそれぞれ別の箇所を撮像して、合成することで、取得することができる。これによって、表情認識を行うことができ、様々なコンテンツに反映することができる。
＜補足＞
　本発明に係る表情認識システムは、上記実施の形態に限定されるものではなく、その発明の思想を実現するための他の手法により実現されてもよいことは言うまでもない。以下、本発明の思想として含まれる例を説明する。
　（１）上記実施の形態においては、ユーザ３００の視線を検出するために、ユーザ３００の眼を撮像する手法として、ホットミラー１１２で反射させた映像を撮像しているが、これは、ホットミラー１１２を通さずに直接ユーザ３００の眼を撮像してもよい。
　（２）上記実施の形態においては、ユーザ３００の表情認識を行うために、第１画像と第２画像とをそれぞれカメラ１８０、１８１で撮像して、顔の合成画像を得ることにより実現していた。しかし、ユーザの表情認識を行う手法は、これに限るものではない。
　ユーザの顔の表情筋の動きを検出することで、ユーザの目の周りの動きを推定し、表情認識に応用することもできる。具体的には、ヘッドマウントディスプレイ１００は、ユーザがヘッドマウントディスプレイ１００を装着した際に、ユーザの目の周りに接触する位置にユーザの表情を特定できる接触センサ、例えば、筋電センサを設けることとしてもよい。そして、表情認識部２２３は、接触センサが検出したユーザの目の周りの動きを示すデータに基づいて、目の周りの表情を認識することとしてもよい。
　（３）上記実施の形態においては、ユーザ３００の表情を認識するにとどめている。しかし、カメラ１８０の画角に基づく撮像範囲によっては、表情以外についてのユーザ３００の状態も認識し、各種のコンテンツに反映できる。
　例えば、カメラ１８０は、ユーザ３００の肩まで映るように撮像するように配されていてもよい。そうすると、合成部２２２が第１画像と第２画像とを合成して得られる合成画像１００１には、図１０に示すように、ユーザ３００の肩の状態まで認識可能な画像が得られる。図１０の合成画像１００１の場合では、ユーザ３００の左肩が、画像の前側に位置していることが解析できることから、例えば、ユーザ３００のアバター画像を生成する場合に、アバターの左肩を前側に傾けさせた画像を生成するとよい。
　この画像１００１を画像認識部２２３が解析することにより、ユーザの体の姿勢を推定することができる。そして、推定した姿勢に基づいて、例えば、ユーザが操作するキャラクタの姿勢を制御することとしてもよい。なお、別途、合成画像からユーザの姿勢を推定する姿勢推定部を表情認識装置２００に設けることとしてもよい。
　なお、当該解析には、従来の画像解析技術を用いた人体の姿勢推定技術、例えば、マーカーレスモーションキャプチャ技術や、ユーザの各種の姿勢を示すサンプル画像を利用したパターンマッチングなどを利用するとよい。
　（４）上記実施の形態においては、カメラ１８０は、ヘッドマウントディスプレイ１００に設ける構成としているが、これは、着脱自在に構成されてもよい。その一例を図１１に示す。
　図１１（ａ）は、ヘッドマウントディスプレイ１００にカメラ１８０を取り付ける例をヘッドマウントディスプレイ１００の上部から見た斜視図であり、図１１（ｂ）は、ヘッドマウントディスプレイ１００の下部から見た斜視図である。
　図１１（ａ）、（ｂ）に示すように、カメラ１８０は、コの字型の部材１１０１に取り付けられている。また、ヘッドマウントディスプレイ１００には、スライド溝１１０２が設けられている。部材１１０１の両端部には、スライド溝１１０２に嵌合するように凸部が設けられている。そして、当該凸部を、スライド溝１１０２にスライドして挿入することでカメラ１８０をヘッドマウントディスプレイに装着する。このとき、部材１１０１は、スライド溝１１０２の数か所で固定できるように構成されていてもよい。
　この場合、カメラ１８０には、無線通信機能を持たせ、ヘッドマウントディスプレイ１００の第１通信部１１８がカメラ１８０により撮像された第１画像を受信するように構成するとよい。
　なお、図１１に示した取り付け例は一例でしかなく、その他の方法を用いて着脱自在に構成されてもよいことは言うまでもない。例えば、ヘッドマウントディスプレイにほぞ穴を設け、カメラ１８０側に当該ほぞ穴に嵌合するほぞを設けて着脱自在としてもよいし、あるいは、ねじ止めにより実現してもよい。
　（５）上記実施の形態におけるカメラ１８０は、回動自在にヘッドマウントディスプレイ１００に設けられていてもよい。すなわち、カメラ１８０は、図１２に示すような形態でヘッドマウントディスプレイ１００に設けられてもよい。
　図１２は、ヘッドマウントディスプレイ１００の側面であって、カメラ１８０が取り付けられている箇所の拡大図である。図１２に示すように、カメラ１８０は、保持部１２０２により支持される回動軸１２０１で回動するように、ヘッドマウントディスプレイ１００に取り付けられている。このように構成することで、ユーザの体格等に応じて、第１画像を撮像する際に適切な角度にして撮像することができる。
　また、回動軸１２０１は、所定の回動角で固定できるように構成されてもよい。こうすることがで、ユーザ３００が動いても、カメラ１８０が撮像する角度が変わらないようにすることができる。更には、回動軸１２０１に回動モーターを備えて、撮像時に撮像部１２４が当該回動モーターを制御して、望ましい第１画像を撮像できるようにしてもよい。また、様々な回動角で複数の第１画像を撮影し、撮影された複数の第１画像と第２画像とを合成部２２２で合成することとしてもよい。こうすることで、ユーザ３００の状態を示すより大きな画像を取得することができる。
　（６）上記実施の形態においては、ユーザの眼の周囲を覆うタイプのヘッドマウントディスプレイを例示したが、これはその限りではない。例えば、フルフェイス型のヘッドマウントディスプレイであってもよく、その場合に、ユーザの顔を撮像するためのカメラを複数備え、それぞれで撮像された画像を合成して得られる顔画像で、表情認識を行ってもよい。
　（７）上記実施の形態においては、合成部２２２を備えて、カメラ１８０とカメラ１８１とが撮像した画像を合成した上で、ユーザの表情認識を実現することとした。しかし、視線検出システム１は、合成部２２２を備えずに、カメラ１８０が撮像した画像に基づいてユーザの口元の形状を特定し、カメラ１８１が撮像した画像に基づいてユーザの眼の形状を特定し、それぞれ独立で特定した眼と口の形状に基づいて表情認識を実現することとしてもよい。また、その場合に、表情認識をすることなく、視線検出システム１に備えられたアバター画像生成部がユーザのアバター画像を生成する場合に、部分部分で検出された目や口の形状をそれぞれのパーツごとに反映させることとしてもよい。すなわち、例えば、カメラ１８０が撮像した画像に基づいてユーザの口元の形状を特定し、特定した口元の形状だけをアバター画像に反映させることとしてもよい。
　また、上記表情認識について、アバター画像に反映させる手法としては、以下のような手法を採用することとしてもよい。記憶部２２５は、予め、ユーザの表情を分類する
以下の手法により、視線検出と表情認識のための撮像を実現してもよい。例えば、怒り、嫌悪、恐れ、幸福感、悲しみ、驚きなどの分類を用意し、各分類に応じた表情を示す顔画像のパターン（顔の各パーツの配置やそれぞれの感情に応じた表情に対応するパーツの形状パターン）を対応付けた対応表を記憶する。そして、表情認識システムは、表情認識部２２３が認識した表情に該当する分類に基づいて、特定した分類に対応する顔画像のパターンを特定し、特定したパターンを反映させたアバター画像を生成するアバター画像生成部を備えることとしてもよい。
　このとき、対応表において、各分類は、各表情（感情）の度合に応じた顔画像のパターンを対応付けられても良い。例えば、怒りの分類について例示すれば、「少し怒っている」という状態から、「とても怒っている」という状態まで５段階の度合を設け、とても怒っている場合には、少し怒っている場合よりも、眉の上がり具合が大きく、口角の下がり具合が大きく、ほほの膨れ具合が大きいというような顔画像のパターンを対応付けておくとよい。また、表情認識部２２３は、認識した表情についても各分類について、その段階も判定する。当該段階は、カメラ１８１が撮像した画像に基づく、眉尻の上下の度合、眦の上下の度合、目の開き具合、カメラ１８０が撮像した画像に基づく、口角の上下の度合、口の開く具合などから、判定する。このようにして、表情認識システムは、表情認識を実現し、アバター画像に反映させることとしてもよい。
　（８）上記実施の形態においては、カメラ１１６とカメラ１８１とを別個のカメラとして用いることとしたが、これらのカメラは共有のカメラを用いることとしてもよい。例えば、カメラ１８１を用いずにカメラ１１６のみを用いることとし、カメラ１１６としては、可視光カメラを採用して、ステレオカメラで、目を３次元で捉え、立体的に眼球の形状を捉え、視線方向を検出する。表情認識には、そのままの画像を用いる。
　また、あるいは、カメラ１１６として、可視光モードでの撮像と、赤外モードでの撮像との両機能を備えるカメラを用い、ヘッドマウントディスプレイ１００は、視線検出を行う際には赤外モードでの撮像を行い、表情認識を行う際には、可視光モードでの撮像を行うように切り替えることとしてもよい。当該切り替えは、例えば、赤外パスフィルタ、可視光パスフィルタのフィルタの切り替えにより実現できる。
　なお、ここでは、カメラ１８１を用いずにカメラ１１６を用いる場合を例に説明したが、これは、カメラ１１６を用いずにカメラ１８１を用いることとしてもよいことは言うまでもない。この場合には、ホットミラー１１２を備える必要はない。
　（９）また、上記実施の形態においては、表情認識の手法として、表情認識装置２００のプロセッサが視線検出プログラム等を実行することにより、ユーザが注視している箇所を特定することとしているが、これは表情認識装置２００に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。
　また、上記視線検出プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記検索プログラムは、当該検索プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記視線検出プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　なお、上記視線検出プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語などを用いて実装できる。
　（１０）上記実施の形態において示した構成、及び、各補足に記載の内容は、適宜組み合わせて用いることとしてもよい。
　１　表情認識システム、　１００　ヘッドマウントディスプレイ、　１０３ａ　赤外光源（第２赤外光照射部）、　１０３ｂ　赤外光源（第１赤外光照射部）、　１０５　輝点、　１０８　画像表示素子、　１１２　ホットミラー、　１１４，１１４ａ，１１４ｂ　凸レンズ、　１１６　カメラ、　１１８　第１通信部、　１２１　表示部、　１２２　赤外光照射部，　１２３　画像処理部、　１２４　撮像部、　１３０　画像表示系、　１５０　筐体、　１５２ａ，１５２ｂ　レンズ保持部、　１６０　装着具、　１７０　ヘッドフォン、１８０，１８１　カメラ、　２００　表情認識装置、　２２０　第２通信部、　２２１　視線検出部、　２２２　合成部、　２２３　表情認識部、２２４　映像出力部、　２２５　記憶部。
　この発明は、ヘッドマウントディスプレイに利用可能である。

Claims (12)

  1. 　ユーザの眼を撮像する第１カメラ、
    　前記ユーザの口元を撮像する第２カメラ、並びに、
    　前記第１カメラにより撮像された第１画像及び前記第２カメラにより撮像された第２画像を出力する出力部
    を有するヘッドマウントディスプレイと、
    　前記出力部により出力された前記第１画像及び前記第２画像を受信する受信部、並びに、
    　前記第１画像及び前記第２画像に基づいて、前記ユーザの表情を認識する表情認識部
    を有する表情認識装置と
    を備える表情認識システム。
  2. 　前記ヘッドマウントディスプレイは、さらに、
    　前記ユーザの眼に非可視光を照射する光源、及び
    　前記ユーザの眼により反射された前記非可視光を撮像する第３カメラ
    を有し、
    　前記出力部は、前記第３カメラが撮像した第３画像を出力し、
    　前記表情認識装置は、さらに、
    　　前記受信部により受信された前記第３画像に基づいて、前記ユーザの視線方向を検出する視線検出部を有する
    　ことを特徴とする請求項１に記載の表情認識システム。
  3. 　前記表情認識装置は、さらに、
    　前記受信部により受信された前記第１画像及び前記第２画像を合成して合成画像を作成する合成部を備え、
    　前記表情認識部は、前記合成画像に基づいて、前記ユーザの表情を認識する
    　ことを特徴とする請求項１又は２に記載の表情認識システム。
  4. 　前記第２カメラは、前記ヘッドマウントディスプレイに着脱自在に取り付けられることを特徴とする請求項１～３のいずれか１項に記載の表情認識システム。
  5. 　前記第２カメラは、前記ユーザが前記ヘッドマウントディスプレイを装着した場合に、前記ユーザの鼻から肩までの範囲を撮像可能な画角となるように、前記ヘッドマウントディスプレイに取り付けられていることを特徴とする請求項１～３のいずれか１項に記載の表情認識システム。
  6. 　前記表情認識装置は、さらに、
    　前記受信部により受信された前記第２画像に基づいて、前記ユーザの姿勢を推定する姿勢推定部を有する
    　ことを特徴とする請求項１～５のいずれか１項に記載の表情認識システム。
  7. 　前記ヘッドマウントディスプレイは、ユーザの眼の周囲を覆い、ユーザの口元を覆わないように構成されていることを特徴とする請求項１～６のいずれか１項に記載の表情認識システム。
  8. 　前記第１カメラ及び前記第２カメラは撮像対象までの距離を示す深度情報を取得するカメラであり、
    　前記表情認識システムは、さらに、
    　前記第１カメラが撮像したユーザの眼と、前記第２カメラが撮像したユーザの口元との画像に基づいて、ユーザの眼と口の３次元形状を特定し、特定した３次元形状に基づいて、ユーザのアバターの眼と口の形状に反映させたアバター画像を生成するアバター画像生成部を備える
    　ことを特徴とする請求項１～７のいずれか１項に記載の表情認識システム。
  9. 　前記表情認識装置は、さらに、複数の表情の分類に応じて、顔画像のパターンを記憶した対応表を記憶する記憶部を備え、
    　前記表情認識部は、ユーザの表情がいずれの分類に該当するかを前記第２画像に基づいて認識し、
    　前記表情認識システムは、さらに、
    　前記対応表を参照して、前記表情認識部が認識した表情に対応する顔画像のパターンを特定し、特定した顔画像のパターンに基づいて前記ユーザのアバター画像を生成するアバター画像生成部を備える
    　ことを特徴とする請求項１～７のいずれか１項に記載の表情認識システム。
  10. 　前記第１カメラ及び第３カメラは、同一のカメラである
    　ことを特徴とする請求項２～９のいずれか１項に記載の表情認識システム。
  11. 　ヘッドマウントディスプレイと、表情認識装置とを含む表情認識システムによる表情認識方法であって、
    　前記ヘッドマウントディスプレイによりユーザの眼を示す第１画像を撮像する第１撮像ステップと、
    　前記ヘッドマウントディスプレイにより前記ユーザの口元を示す第２画像を撮像する第２撮像ステップと、
    　前記表情認識装置により前記第１画像と前記第２画像とを合成し、合成画像を作成する合成ステップと、
    　前記合成画像に基づいて、前記ユーザの表情を認識する認識ステップとを含む表情認識方法。
  12. 　表情認識装置のコンピュータに、
    　ヘッドマウントディスプレイにより撮像されたユーザの眼を示す第１画像を取得する第１取得機能と、
    　前記ヘッドマウントディスプレイにより撮像された前記ユーザの口元を示す第２画像を取得する第２取得機能と、
    　前記第１画像と前記第２画像とを合成し、合成画像を作成する合成機能と、
    　前記合成画像に基づいて、前記ユーザの表情を認識する認識機能とを実現させる表情認識プログラム。
PCT/JP2016/050869 2016-01-13 2016-01-13 表情認識システム、表情認識方法及び表情認識プログラム WO2017122299A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201680079424.9A CN108604291A (zh) 2016-01-13 2016-01-13 表情辨识系统、表情辨识方法及表情辨识程序
US16/069,984 US20190012528A1 (en) 2016-01-13 2016-01-13 Facial expression recognition system, facial expression recognition method, and facial expression recognition program
PCT/JP2016/050869 WO2017122299A1 (ja) 2016-01-13 2016-01-13 表情認識システム、表情認識方法及び表情認識プログラム
JP2017561444A JP6845982B2 (ja) 2016-01-13 2016-01-13 表情認識システム、表情認識方法及び表情認識プログラム
KR1020187021228A KR20180102591A (ko) 2016-01-13 2016-01-13 표정 인식 시스템, 표정 인식 방법 및 표정 인식 프로그램
TW106100229A TW201732499A (zh) 2016-01-13 2017-01-05 表情辨識系統、表情辨識方法及表情辨識程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050869 WO2017122299A1 (ja) 2016-01-13 2016-01-13 表情認識システム、表情認識方法及び表情認識プログラム

Publications (1)

Publication Number Publication Date
WO2017122299A1 true WO2017122299A1 (ja) 2017-07-20

Family

ID=59311772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050869 WO2017122299A1 (ja) 2016-01-13 2016-01-13 表情認識システム、表情認識方法及び表情認識プログラム

Country Status (6)

Country Link
US (1) US20190012528A1 (ja)
JP (1) JP6845982B2 (ja)
KR (1) KR20180102591A (ja)
CN (1) CN108604291A (ja)
TW (1) TW201732499A (ja)
WO (1) WO2017122299A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019134091A1 (en) * 2018-01-04 2019-07-11 Microsoft Technology Licensing, Llc Providing emotional care in a session
WO2019156651A1 (en) 2018-02-06 2019-08-15 Hewlett-Packard Development Company, L.P. Constructing images of users' faces by stitching non-overlapping images
WO2019177869A1 (en) 2018-03-16 2019-09-19 Magic Leap, Inc. Facial expressions from eye-tracking cameras
JP2020057207A (ja) * 2018-10-02 2020-04-09 株式会社スクウェア・エニックス 描画プログラム、記録媒体、描画制御装置、描画制御方法
KR20200060120A (ko) 2018-11-22 2020-05-29 연세대학교 산학협력단 헤드셋 사용자 표정인식방법
JP7339420B1 (ja) 2022-12-20 2023-09-05 カバー株式会社 プログラム、方法、情報処理装置
US11933974B2 (en) 2019-02-22 2024-03-19 Semiconductor Energy Laboratory Co., Ltd. Glasses-type electronic device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6913164B2 (ja) 2016-11-11 2021-08-04 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 完全な顔画像の眼球周囲およびオーディオ合成
CN108510542B (zh) * 2018-02-12 2020-09-11 北京七鑫易维信息技术有限公司 匹配光源与光斑的方法和装置
US10509467B1 (en) 2018-06-01 2019-12-17 Facebook Technologies, Llc Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
JP7361262B2 (ja) * 2019-03-29 2023-10-16 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム
WO2021231900A1 (en) * 2020-05-15 2021-11-18 Cornell University Wearable devices for facial expression recognition
CN111709302B (zh) * 2020-05-21 2023-08-25 青岛小鸟看看科技有限公司 人脸表情检测方法、装置、头戴显示设备及存储介质
GB2621868A (en) * 2022-08-25 2024-02-28 Sony Interactive Entertainment Inc An image processing method, device and computer program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196366A (ja) * 1997-09-19 1999-04-09 Nippon Telegr & Teleph Corp <Ntt> ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置
JP2003015816A (ja) * 2001-06-29 2003-01-17 Honda Motor Co Ltd ステレオカメラを使用した顔・視線認識装置
JP2008140290A (ja) * 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置
JP2014021707A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US7606392B2 (en) * 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
WO2013077076A1 (ja) * 2011-11-24 2013-05-30 株式会社エヌ・ティ・ティ・ドコモ 表情出力装置及び表情出力方法
JP5938977B2 (ja) * 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
US10108018B2 (en) * 2012-11-13 2018-10-23 Sony Corporation Image display apparatus for displaying an image captured by a mobile apparatus
WO2014106823A2 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CA3160567A1 (en) * 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
JP6330258B2 (ja) * 2013-05-15 2018-05-30 セイコーエプソン株式会社 虚像表示装置
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
JP2015092646A (ja) * 2013-11-08 2015-05-14 ソニー株式会社 情報処理装置、制御方法、およびプログラム
DE102016110903A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Messung physiologischer Reaktionen
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196366A (ja) * 1997-09-19 1999-04-09 Nippon Telegr & Teleph Corp <Ntt> ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置
JP2003015816A (ja) * 2001-06-29 2003-01-17 Honda Motor Co Ltd ステレオカメラを使用した顔・視線認識装置
JP2008140290A (ja) * 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置
JP2014021707A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019134091A1 (en) * 2018-01-04 2019-07-11 Microsoft Technology Licensing, Llc Providing emotional care in a session
US11369297B2 (en) 2018-01-04 2022-06-28 Microsoft Technology Licensing, Llc Providing emotional care in a session
US20220132037A1 (en) * 2018-02-06 2022-04-28 Hewlett-Packard Development Company, L.P. Constructing images of users' faces by stitching non-overlapping images
CN111279390A (zh) * 2018-02-06 2020-06-12 惠普发展公司，有限责任合伙企业 通过拼接不重叠图像构建用户面部图像
EP3682420A4 (en) * 2018-02-06 2021-05-05 Hewlett-Packard Development Company, L.P. CONSTRUCTION OF IMAGES OF USERS 'FACES BY ASSEMBLING NON-OVERLAPPING IMAGES
US11228709B2 (en) * 2018-02-06 2022-01-18 Hewlett-Packard Development Company, L.P. Constructing images of users' faces by stitching non-overlapping images
WO2019156651A1 (en) 2018-02-06 2019-08-15 Hewlett-Packard Development Company, L.P. Constructing images of users' faces by stitching non-overlapping images
US11727544B2 (en) 2018-02-06 2023-08-15 Hewlett-Packard Development Company, L.P. Constructing images of users' faces by stitching non-overlapping images
CN111279390B (zh) * 2018-02-06 2023-11-07 惠普发展公司，有限责任合伙企业 用于构建用户面部图像的装置和方法以及介质
EP3766004A4 (en) * 2018-03-16 2021-12-15 Magic Leap, Inc. FACIAL EXPRESSIONS OBTAINED FROM EYE-TRACKING CAMERAS
WO2019177869A1 (en) 2018-03-16 2019-09-19 Magic Leap, Inc. Facial expressions from eye-tracking cameras
JP2020057207A (ja) * 2018-10-02 2020-04-09 株式会社スクウェア・エニックス 描画プログラム、記録媒体、描画制御装置、描画制御方法
KR20200060120A (ko) 2018-11-22 2020-05-29 연세대학교 산학협력단 헤드셋 사용자 표정인식방법
US11933974B2 (en) 2019-02-22 2024-03-19 Semiconductor Energy Laboratory Co., Ltd. Glasses-type electronic device
JP7339420B1 (ja) 2022-12-20 2023-09-05 カバー株式会社 プログラム、方法、情報処理装置

Also Published As

Publication number Publication date
JPWO2017122299A1 (ja) 2018-11-15
TW201732499A (zh) 2017-09-16
JP6845982B2 (ja) 2021-03-24
KR20180102591A (ko) 2018-09-17
CN108604291A (zh) 2018-09-28
US20190012528A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
JP6845982B2 (ja) 表情認識システム、表情認識方法及び表情認識プログラム
US11883104B2 (en) Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
KR102417177B1 (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US9105210B2 (en) Multi-node poster location
US9035970B2 (en) Constraint based information inference
TW201804314A (zh) 影像顯示系統、影像顯示方法、影像顯示程式
CN110023814A (zh) 由可穿戴设备进行面部模型捕获
US11822718B2 (en) Display systems and methods for determining vertical alignment between left and right displays and a user&#39;s eyes
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
US11868525B2 (en) Eye center of rotation determination with one or more eye tracking cameras
JP2017102732A (ja) 表示制御装置及び表示制御方法
US11557020B2 (en) Eye tracking method and apparatus
US20180373414A1 (en) Method for communicating via virtual space, program for executing the method on computer, and information processing apparatus for executing the program
US11743447B2 (en) Gaze tracking apparatus and systems
JP2018000308A (ja) 映像表示装置システム、心拍特定方法、心拍特定プログラム
KR20190038296A (ko) 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램
US20240040099A1 (en) Depth of field in video based on gaze
D'Angelo et al. Towards a Low-Cost Augmented Reality Head-Mounted Display with Real-Time Eye Center Location Capability
WO2023244267A1 (en) Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device
WO2023195995A1 (en) Systems and methods for performing a motor skills neurological test using augmented or virtual reality
JP2019125397A (ja) 表示制御装置及び表示制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16884902

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2017561444

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187021228

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 16884902

Country of ref document: EP

Kind code of ref document: A1