WO2017006872A1 - 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム - Google Patents

顔表情識別システム、顔表情識別方法及び顔表情識別プログラム Download PDF

Info

Publication number
WO2017006872A1
WO2017006872A1 PCT/JP2016/069683 JP2016069683W WO2017006872A1 WO 2017006872 A1 WO2017006872 A1 WO 2017006872A1 JP 2016069683 W JP2016069683 W JP 2016069683W WO 2017006872 A1 WO2017006872 A1 WO 2017006872A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial expression
unit
data
person
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/069683
Other languages
English (en)
French (fr)
Inventor
麻樹 杉本
克俊 正井
正泰 尾形
鈴木　克洋
中村　文彦
稲見　昌彦
裕太 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keio University
Original Assignee
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keio University filed Critical Keio University
Priority to JP2017527431A priority Critical patent/JP6850723B2/ja
Publication of WO2017006872A1 publication Critical patent/WO2017006872A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a facial expression identification system, a facial expression identification method, and a facial expression identification program for identifying a facial expression of a person.
  • Patent Document 1 the system using the camera described in Patent Document 1 is expensive and the calculation amount is enormous. Furthermore, since the position and direction in which a person's face can be imaged with a camera is limited, it is difficult to identify facial expressions continuously (daily).
  • the present invention provides a facial expression identification system, a facial expression identification method, and a facial expression identification program capable of continuously (daily) identifying a human facial expression with an inexpensive and simple configuration. With the goal.
  • the first aspect of the present invention includes (a) a mounting device that can be mounted on a person's head, and (b) a mounting device that is disposed at a plurality of locations facing the person's face, and the mounting device is mounted. Obtained by machine learning of a plurality of detection devices that respectively detect the distance between the face and the wearing device at a plurality of locations, and (c) correspondence between past detection result data and facial expressions by the plurality of detection devices.
  • a facial expression identification system comprising: a storage device that stores learning data; and (d) a facial expression identification unit that reads learning data from the storage device and identifies facial expressions of a person using detection results from a plurality of detection devices as input data. It is a summary.
  • a plurality of detection devices respectively disposed at a plurality of locations of the mounting device determine the distance between the human face and the mounting device when the mounting device is mounted on the person's head.
  • the gist of the present invention is a facial expression identification method including a step of reading and identifying a facial expression of a person using data of detection results from a plurality of detection devices as input data.
  • the distance between the face of the person and the mounting device when the mounting device is mounted on the person's head is set to a plurality of detection devices respectively disposed at a plurality of locations of the mounting device.
  • learning data obtained by machine learning of the correspondence between the data of past detection results by the plurality of detection devices and the facial expression, stored in the storage device, from the storage device.
  • a facial expression identification program that causes a computer to execute a series of processes that include reading the data of detection results from a plurality of detection devices as input data and causing the facial expression identification unit to identify a facial expression of a person.
  • a facial expression identification system capable of continuously (daily) identifying a facial expression of a person with an inexpensive and simple configuration.
  • FIG. 3 (a) is a schematic view showing a state in which a person wearing the mounting device according to the first embodiment of the present invention has no expression
  • FIG. 3 (b) is a first view of the present invention. It is the schematic which shows a mode that the person who mounted
  • FIGS. 18A and 18B are schematic diagrams illustrating examples of display images of the display unit of the mounting device according to the third exemplary embodiment of the present invention. It is a graph which shows the relationship between the distance before and behind the pre-processing which concerns on the 3rd Embodiment of this invention, and a sensor value. It is the schematic which shows an example of the neural network of the learning phase which concerns on the 3rd Embodiment of this invention.
  • FIGS. 27A to 27C are graphs respectively showing sensor values when the eyes are opened and closed according to the third embodiment of the present invention.
  • FIG. 28A and FIG. 28B are graphs respectively showing the cluster classification result and the true value when the eyes are opened and closed according to the third embodiment of the present invention.
  • 29 (a) to 29 (c) are graphs showing sensor values when the mouth is moved according to the third embodiment of the present invention.
  • FIG. 30A and FIG. 30B are graphs respectively showing sensor values when the mouth according to the third embodiment of the present invention is moved.
  • FIGS. 35 (a) to 35 (d) are graphs respectively showing the results of regression obtained by merging multiclass classifiers according to the third embodiment of the present invention.
  • FIG. 39A is a graph showing changes in the sensor value with respect to “no expression” when the facial expression is shifted in the front-rear direction of the mounting device according to the fourth embodiment of the present invention, and FIG.
  • FIG. 40A is a graph showing changes in the sensor value with respect to “disgust” in the facial expression when the mounting apparatus according to the fourth embodiment of the present invention is shifted in the front-rear direction
  • FIG. 12 is a graph showing changes in sensor values with respect to “anger” when the facial expression when the mounting device according to the fourth embodiment of the present invention is shifted in the front-rear direction.
  • FIG. 41A is a graph showing changes in sensor values with respect to the “surprise” facial expression when the mounting apparatus according to the fourth embodiment of the present invention is shifted in the front-rear direction
  • FIG. FIG. 10 is a graph showing changes in sensor value with respect to “fear” when the facial expression when the mounting device according to the fourth embodiment of the present invention is shifted in the front-rear direction
  • Fig.42 (a) is a graph which shows the change of the sensor value with respect to the sadness when the facial expression when the mounting apparatus based on the 4th Embodiment of this invention is shifted to the front-back direction
  • FIG.42 (b) is shown.
  • FIG. 10 is a graph showing changes in sensor value with respect to “contempt” when the facial expression when the mounting device according to the fourth embodiment of the present invention is shifted in the front-rear direction. It is a flowchart for demonstrating an example of the facial expression identification method which concerns on the 4th Embodiment of this invention. It is a block diagram which shows an example of the facial expression identification system which concerns on the 5th Embodiment of this invention. It is a block diagram which shows an example of the facial expression identification system which concerns on the 6th Embodiment of this invention. It is a flowchart for demonstrating an example of the adjustment method of the emitted light intensity of the optical sensor which concerns on the 6th Embodiment of this invention.
  • a facial expression identification system includes a central processing unit (CPU) 1, a storage device 2, a mounting device (wearable device) 3, and a plurality of detection devices (light).
  • Sensor 4a, 4b, 4c, 4d, 4e, 4f, 4g, 4h, 4i, 4j, 4k, 4l, 4m, 4n, 4o, 4p, 4q, input device 5 and output device 6 are provided.
  • the CPU 1, the storage device 2, the detection devices 4 a to 4 q, the input device 5, and the output device 6 can transmit and receive signals by wire or wirelessly.
  • a spectacle-type device that can be mounted on a person's head or a head-mounted display (HMD) can be used, and commercially available glasses may be used.
  • the plurality of detection devices 4a to 4q are provided in the mounting device 3, and detect the distance between the human face and the mounting device 3 at a plurality of locations when the mounting device 3 is mounted on the head.
  • a reflective optical sensor photo reflector
  • a pyroelectric sensor a pyroelectric sensor
  • a proximity sensor a distance sensor, or the like
  • the photoreflector includes a light emitting unit made up of a light emitting diode (LED) that irradiates the face of the person wearing the wearing device 3 with infrared light, and a light receiving unit made up of a phototransistor that detects reflected light from the face of the person.
  • LED light emitting diode
  • the wearing device 3 is, for example, a glasses-type device as shown in FIG.
  • the detection devices 4a to 4q are provided around the lens portion of the mounting device 3 and at positions facing the human face when the mounting device 3 is mounted.
  • the detection devices 4a to 4q are preferably arranged at positions facing the eyelids, cheeks, between eyebrows, the corners of the eyes, and the like, which are easily changed when the facial expression of a person changes, for example.
  • the arrangement positions of the detection devices 4a to 4q are not particularly limited, and can be set as appropriate according to the type of facial expression desired to be identified.
  • FIG. 2 shows 17 detection devices 4a to 4q, but the number of detection devices 4a to 4q is not particularly limited, and at least two detection devices may be used. It can be appropriately selected according to the identification accuracy and the like. For example, of the 16 detection devices 4a to 4q shown in FIG. 2, only 8 detection devices 4b, 4h, 4j, 4k, 4l, 4o, 4p, and 4q are used to identify the 7 facial expressions described later. Is possible.
  • the facial expression identification system includes “no expression”, “smile”, “laughter”, “disgust”, “anger”, “surprise”, “sadness”. 7 facial expressions are identified.
  • the types and number of facial expression classifications are not particularly limited, as long as differences by facial expressions can be detected by the detection devices 4a to 4q and learning data can be stored in the learning data storage unit 20.
  • other examples of facial expressions include “joy” and “fear”.
  • the facial expression identification system identifies facial expressions using three-dimensional skin deformation caused by facial muscle fluctuations when the facial expression of a person changes.
  • the parts of the person's face such as the eyelids, cheeks, eyebrows, and eye corners, vary, and there are individual differences, but the variation in each part of the person's facial expression shows a common tendency. It is done.
  • FIGS. 3 (a) and 3 (b) show a state in which a person wearing the mounting device 3 on the head has no expression and is laughing, respectively.
  • the temple portions of the eyeglass-type mounting device 3 are omitted for convenience, and the detection devices 4a and 4j are schematically shown.
  • FIG. 3 (a) when the person has no expression, the person's heels and cheeks do not swell so much, and the distances D1 and D2 between the heels and cheeks and the detection devices 4a and 4j become relatively far away. The illuminance of the reflected light detected by the devices 4a and 4j decreases.
  • FIG. 3 (a) shows a state in which a person wearing the mounting device 3 on the head has no expression and is laughing, respectively.
  • the temple portions of the eyeglass-type mounting device 3 are omitted for convenience, and the detection devices 4a and 4j are schematically shown.
  • the detection devices 4a and 4j are schematically shown.
  • FIG. 3 (a) when the person has no expression,
  • the detection devices 4a to 4q output to the CPU 1 detection results (for example, current values) corresponding to the distance between the human face and the detection devices 4a to 4q. Note that, since the degree of reflection varies depending on the part of the face facing the detection devices 4a to 4q, the detection results by the detection devices 4a to 4q may be appropriately corrected according to the arrangement positions of the detection devices 4a to 4q. Further, the detection results by the detection devices 4a to 4q may be appropriately weighted according to the type of facial expression desired to be identified.
  • a machine learning unit 10 includes a machine learning unit 10, a facial expression identification unit 11, a geographic information acquisition unit 12, a facial expression map creation unit 13, and a recommendation information extraction unit 14, and further controls the entire facial expression identification system. It has a control circuit, an arithmetic circuit, a register for temporarily storing data, and the like. Note that some or all of the functions of the CPU 1 may be built in the mounting device 3 or the like.
  • the machine learning unit 10 generates learning data by performing machine learning using the correspondence between the past detection results by the detection devices 4a to 4q and the facial expression as teacher data.
  • a known support vector machine (SVM), a neural network, or the like can be used as a method of machine learning by the machine learning unit 10.
  • FIG. 4 shows an example of a correspondence relationship between past detection results by the detection devices 4a to 4q used for machine learning of the machine learning unit 10 and facial expressions.
  • Each plot is obtained by a large number of persons wearing the wearing device 3, sampling a large number of detection results from the detection devices 4a to 4q, and classifying each detection result for each facial expression.
  • the sampling results of a large number of persons are shown here, the sampling results of the user himself or herself who is the target of facial expression identification may be included, or the sampling results of only others may be included.
  • a sampling result of only the user himself / herself or another person who is the target of facial expression identification may be used for machine learning.
  • the facial expression identification unit 11 uses, for example, the correspondence between the past detection results by the detection devices 4a to 4q and the facial expressions shown in FIG. 4 as teacher data, and new detection results by the detection devices 4a to 4q by SVM. Is generated as learning data including a hyperplane (boundary surface) for classifying a region into a region (cluster) corresponding to seven facial expressions.
  • the learning data generated by the machine learning unit 10 is stored in the learning data storage unit 20 of the storage device 2.
  • the facial expression identification unit 11 shown in FIG. 1 uses the learning data stored in advance in the learning data storage unit 20 of the storage device 2 and performs measurement based on the detection results by the detection devices 4a to 4q for the person to be measured.
  • the facial expression of the target person is identified (classified) as one of seven facial expressions of “no expression”, “smile”, “laughter”, “disgust”, “anger”, “surprise”, and “sadness”.
  • the facial expression identification unit 11 determines, for example, which of the seven clusters of learning data stored in the learning data storage unit 20 is the closest to the detection result pattern by the detection devices 4a to 4q. Classify the facial expression corresponding to the cluster.
  • the identification result of the facial expression by the facial expression identification unit 11 is stored in the facial expression storage unit 21 of the storage device 2.
  • the facial expression identification unit 11 In order to improve the recognition result by the facial expression identification unit 11, it is desirable to record learning data for each individual to be identified for facial expression and perform machine learning. It is also possible to use the recorded learning data for identifying the facial expression of another user. In addition, when the measurement results are similar to the learning data recorded by others, the learning data recorded by others is used to simplify the process of learning the data for each individual. You can also.
  • the geographic information acquisition unit 12 acquires, from a global positioning system (GPS) or the like, geographic information such as a current position and time information such as a date when a facial expression is identified by the facial expression identification unit 11, and a storage device. 2 in the geographic information storage unit 22.
  • GPS global positioning system
  • the facial expression map creation unit 13 creates a facial expression map that associates the facial expression identified by the facial expression identification unit 11 with the geographic information and time information acquired by the geographic information acquisition unit 12. For example, as shown in FIG. 6, the facial expression map indicates the ratio (frequency) of seven facial expressions for each time information and geographic information. Note that the facial expression map is not particularly limited to the mode shown in FIG. 6. For example, time information and facial expression information may be arranged at positions on the map corresponding to geographic information instead of the table format. Further, the facial expression map may collect time information, geographic information, and identification results of facial expressions for a plurality of persons at once, and the facial expression information may be a cumulative value of many persons.
  • the facial expression map created by the facial expression map creation unit 13 is stored in the facial expression map storage unit 23.
  • the recommendation information extraction unit 14 searches the facial expression map created by the facial expression map creation unit 13 based on a search key such as facial expression, time information, and geographic information input via the input device 5, and retrieves the facial expression map. Facial expressions, time information, geographic information, etc. that match the key are extracted as recommendation information. For example, when the facial expression input as a search key is “laughter” or “smile”, the “place B” has a relatively high ratio of “laughter” or “smile” from the facial expression map shown in FIG. "Is extracted as recommendation information.
  • the storage device 2 for example, a semiconductor memory, a magnetic disk, an optical disk, or the like can be used.
  • the storage device 2 includes a learning data storage unit 20 that stores learning data generated by the machine learning unit 10, a facial expression storage unit 21 that stores a facial expression identification result by the facial expression identification unit 11, and a geographic information acquisition unit 12.
  • a geographic information storage unit 22 that stores the acquired geographic information and a facial expression map storage unit 23 that stores the facial expression map created by the facial expression map creation unit 13 are provided.
  • the storage device 2 further stores a facial expression identification program executed by the CPU 1 and various data necessary for executing the program.
  • the input device 5 a keyboard, a mouse, a touch panel, a voice recognition device, or the like can be used.
  • the input device 5 accepts search keys such as facial expressions, time information, geographic information, and the like from the user.
  • the output device 6 a display device such as a liquid crystal display (LCD), a tablet terminal, or the like can be used.
  • the output device 6 appropriately outputs (displays) the facial expression identification result by the facial expression identification unit 11, the facial expression map created by the facial expression map creation unit 13, and the recommended information extracted by the recommendation information extraction unit 14. .
  • ⁇ Facial expression identification method> an example of a facial expression identification method including the facial expression map creation method according to the first embodiment of the present invention will be described with reference to the flowchart of FIG. Note that the facial expression identification method described below is merely an example, and the present invention is not limited to this procedure.
  • step S10 the machine learning unit 10 generates learning data by performing machine learning using a correspondence relationship between past detection results and facial expressions by the detection devices 4a to 4q as shown in FIG. It is stored in the data storage unit 20.
  • step S11 the plurality of detection devices 4a to 4q detect the distance between the face of the person to be measured with the mounting device 3 on the head and the mounting device 3 at a plurality of locations.
  • step S12 the facial expression identification unit 11 performs pattern identification of the current detection results detected by the plurality of detection devices 4a to 4q using the learning data stored in advance in the learning data storage unit 20, and the measurement target Is identified as one of the seven facial expressions shown in FIG. 4 (for example, “smile”).
  • step S12 the geographic information acquisition unit 12 acquires the geographic information such as the current position at the time when the identification result by the facial expression identification unit 11 is obtained from the GPS or the like.
  • the geographic information acquisition unit 12 further acquires time information when the identification result by the facial expression identification unit 11 is obtained.
  • step S ⁇ b> 13 the facial expression map creation unit 13 creates a facial expression map by associating the identification result by the facial expression identification unit 11 with the geographic information and time information acquired by the geographic information acquisition unit 12.
  • the facial expression map created by the facial expression map creation unit 13 is stored in the facial expression map storage unit 23.
  • step S21 the recommended information extraction unit 14 causes the output device 6 to display a search menu.
  • the input device 5 receives search keys such as a facial expression, geographic information, and time information selected by the user from the search menu.
  • step S22 the recommended information extraction unit 14 searches the facial expression map stored in the facial expression map storage unit 23 based on the search key received by the input device 5, and the facial expression and geographic information matching the search key. And time information etc. are extracted as recommendation information.
  • step S23 the output device 6 displays the recommendation information extracted by the recommendation information extraction unit 14 on the screen.
  • the facial expression identification program according to the first embodiment of the present invention causes the CPU 1 to execute the facial expression identification procedure shown in FIGS. That is, in the facial expression identification program according to the first embodiment of the present invention, (a) the distance between the mounting device 3 and the face of the person wearing the mounting device 3 on the head of the plurality of detection devices 4a to 4q.
  • a facial expression of a person is identified by using a plurality of wearable detection devices 4a to 4q, so that it can be continuously performed with an inexpensive and simple configuration. It becomes possible to identify facial expressions with low power consumption (on a daily basis). Furthermore, since the detection devices 4a to 4q can be mounted inside spectacle frames or the HMD, imaging with a camera is performed in a daily environment or when a human face is shielded when the HMD is worn. However, even under difficult conditions, facial expressions can be identified continuously and easily. Therefore, the facial expression map can be created by continuously identifying the facial expression of the user without imposing an excessive burden on the user. Furthermore, by using the created facial expression map to extract and display recommendation information corresponding to the user's search key, it is possible to present recommendation information related to the facial expression to the user.
  • the CPU 1 adds a time information acquisition unit 15 and a facial expression distribution calculation unit 16 in addition to the machine learning unit 10 and the facial expression identification unit 11.
  • the storage device 2 includes a time information storage unit 24 and a facial expression distribution storage unit 25 in addition to the learning data storage unit 20 and the facial expression storage unit 21, and includes the geographic information storage unit 22 and the facial expression map shown in FIG.
  • storage part 23 differs from the structure of the memory
  • the time information acquisition unit 15 of the CPU 1 acquires time information when the facial expression is identified by the facial expression identification unit 11 in association with the facial expression.
  • the time information acquired by the time information acquisition unit 15 is stored in the time information storage unit 24.
  • the facial expression distribution calculation unit 16 calculates a facial expression distribution in which the identification result by the facial expression identification unit 11 and the time information acquired by the time information acquisition unit 15 are associated with each other.
  • FIG. 10 shows the ratio (frequency) of seven facial expressions per day.
  • the facial expression distribution is not limited to the mode shown in FIG. 10.
  • the facial expression ratios for the past several days may be calculated and arranged.
  • the facial expression distribution may be calculated on a weekly or monthly basis. Good.
  • the facial expression distribution calculated by the facial expression distribution calculation unit 16 is stored in the facial expression distribution storage unit 25.
  • the other configuration of the facial expression identification system according to the second embodiment of the present invention is the same as the configuration of the facial expression identification system according to the first embodiment of the present invention, and a duplicate description is omitted.
  • step S30 to step S32 is the same as the procedure from step S10 to step S12 in FIG.
  • step S ⁇ b> 33 the time information acquisition unit 15 acquires time information at the time when the facial expression is identified by the facial expression identification unit 11 and stores it in the time information storage unit 24.
  • step S ⁇ b> 41 the facial expression distribution calculation unit 16 causes the output device 6 to display an input screen. User information to be confirmed is input from the user via the input device 5.
  • step S ⁇ b> 42 the facial expression distribution calculation unit 16 calculates the facial expression distribution per day of the person who matches the user information to the facial expression identification unit 11.
  • step S ⁇ b> 43 the output device 6 outputs the facial expression distribution calculated by the facial expression distribution calculation unit 16. Note that the series of processes shown in FIGS. 11 and 12 may be performed continuously or in parallel with each other.
  • the wearable detection devices 4a to 4q to identify the facial expression of a person, an inexpensive and simple configuration
  • the detection devices 4a to 4q can be mounted inside spectacle frames or the HMD, imaging with a camera is performed in a daily environment or when a human face is shielded when the HMD is worn.
  • the facial expression distribution can be created by continuously identifying the facial expression of the user without imposing an excessive burden on the user.
  • the facial expression distribution calculation unit 16 calculates a facial expression distribution in which the identification result by the facial expression identification unit 11 and the time information acquired by the time information acquisition unit 15 are associated with each other, and displays them on the output device 6.
  • the user can infer the state of a person such as a family who lives or stays in a remote place from the facial expression distribution, and can watch a person such as a family who lives or stays in a remote place via a network.
  • the mounting apparatus 3 is a spectacle-type device.
  • the mounting apparatus 3 is in a virtual reality environment. It may be an HMD capable of presenting visual information.
  • illustration is omitted, inside the mounting device 3, for example, 17 detection devices similar to the detection devices 4a to 4q shown in FIG. 2 and a display unit are provided.
  • a virtual avatar 41 of a user wearing the wearing device 3 and a virtual avatar 42 of another person wearing a wearing device similar to the wearing device 3 are displayed on the display unit 40 inside the wearing device 3. Is displayed on the online service.
  • the facial expression identifying unit 11 identifies the facial expressions of the user and others as in the first and second embodiments.
  • the facial expression identification unit 11 further transmits the identification result of the facial expression on the network, and changes the facial expression of the virtual avatars 41 and 42 according to the transmitted identification result of the facial expression, so that the user and others
  • the facial expression of the person and the facial expressions of the virtual avatars 41 and 42 can be synchronized. Thereby, facial expression communication in an immersive online game or the like can be realized.
  • the facial expression identification unit 11 transmits the identification result of the facial expression on the network and displays it on the screen of the output device 6 according to the transmitted identification result.
  • the facial expression of the avatar on the online service may be changed.
  • the facial expression identification system includes a CPU 1, a storage device 2, a mounting device 3, an input device 5, and an output device 6.
  • the CPU 1, the storage device 2, the mounting device 3, the input device 5, and the output device 6 can transmit and receive signals and data to and from each other in a wired or wireless manner.
  • the mounting device 3 is an HMD.
  • Virtual reality (VR) using HMD is expected to be used in a wide range of applications such as immersive games and communication with remote locations.
  • VR using HMD it is possible to give the user an immersive feeling as if the user actually exists in the virtual environment.
  • avatar hereinafter simply referred to as “avatar”
  • smooth communication can be realized even when the upper part of the user's face is covered with the HMD, From the viewpoint of privacy, it is also suitable for humans who do not like the actual face exposed to the virtual environment.
  • An avatar means a two-dimensional or three-dimensional character that is a user's alternation in a virtual environment.
  • An avatar may simulate a human figure or an animal or robot, but in this specification, it expresses multiple facial expressions corresponding to multiple facial expressions of the user. Possible characters can be employed.
  • the mounting device 3 includes a plurality (16) of detection devices (light sensors) 61a, 61b, 61c, 61d, 61e, 61f, 61g, 61h, 61i, 61j, 61k, 61l, 61m, 61n, 61o, 61p and a display.
  • the unit 62 is provided.
  • the optical sensors 61a to 61p devices similar to the detection devices 4a to 4q shown in FIG. 1 can be used. For example, a reflective optical sensor (photo reflector) or the like can be used.
  • the optical sensors 61a to 61p are respectively disposed at a plurality of locations facing the user's face when the mounting device 3 is mounted.
  • the optical sensors 61a to 61p detect the distance between the face of the user wearing the mounting device 3 and the mounting device 3 at a plurality of locations.
  • FIG. 16 shows an example of the mounting device 3 viewed from the side mounted on the head.
  • a flexible circuit board 72 is fixed to the main body 71 of the mounting device 3.
  • Two openings are provided in the position of the flexible circuit board 72 facing both eyes of the user, and a pair of lenses 73a and 73b are disposed at the positions of the two openings.
  • 16 optical sensors 61a to 61p are arranged on the flexible circuit board 72.
  • the 14 optical sensors 61a to 61f, 61h to 61n, and 61p are arranged around the pair of lenses 73a and 73b.
  • the optical sensor 61a faces the vicinity of the eyebrows of the user who wears the mounting device 3.
  • the optical sensors 61b to 61d face the vicinity of the user's left eyebrow.
  • the optical sensor 61e faces the vicinity of the user's left eye corner.
  • the optical sensors 61f and 61h face the lower vicinity of the user's left eye.
  • the optical sensor 61i faces the vicinity of the user's eyebrow.
  • the optical sensors 61j to 61l face the vicinity of the user's right eyebrow.
  • the optical sensor 61m faces the vicinity of the user's right eye corner.
  • the optical sensors 61n and 61p face the lower vicinity of the user's right eye.
  • the flexible circuit board 72 has two portions protruding from the lower part of the main body 71, and two optical sensors 61g and 61o are arranged in the two protruding portions, respectively.
  • the two optical sensors 61g and 61o face the cheek vicinity of the user wearing the wearing device 3. Since the cheek muscles are connected to the mouth muscles, the state around the mouth can be estimated by measuring the movement of the cheeks.
  • FIG. 17 shows the user wearing the mounting device 3.
  • FIG. 17 schematically shows that the optical sensors 61a to 61p can be seen through the main body 71 of the mounting device 3.
  • the optical sensors 61a to 61p detect distances D (illustrated by arrows) between the face of the user's eyes and cheeks and the mounting device 3 at a plurality of locations.
  • the arrangement positions and number of the optical sensors 61a to 61p are not particularly limited, and can be set as appropriate according to the type of facial expression to be identified.
  • an immersive (non-transmissive) structure is illustrated as the display unit 62.
  • the display unit 62 has a transmissive structure in which a real environment and an avatar are superimposed and visible using a half mirror or the like. There may be a structure in which an image is projected only to a single eye.
  • the CPU 1 illustrated in FIG. 15 includes an avatar display control unit 31, a learning data generation unit 32, and a facial expression identification unit 33, and further includes a control circuit that controls the entire facial expression identification system, an arithmetic circuit, and a register that temporarily stores data. Etc. Note that a part of the function of the CPU 1 may be realized by another device, and a part or all of the function of the CPU 1 may be realized by a microprocessor or the like built in the mounting device 3.
  • the storage device 2 includes an avatar data storage unit 50, a learning data storage unit 51, an optical sensor data storage unit 52, and an identification result storage unit 53.
  • the avatar data storage unit 50 stores information related to the avatar including the avatar face image.
  • the learning data storage unit 51 stores a machine learning data set generated by the learning data generation unit 32 and learning data (such as an identification function) obtained by machine learning by the facial expression identification unit 33.
  • the optical sensor data storage unit 52 stores data (sensor values) of detection results detected by the optical sensors 61a to 61p.
  • the identification result storage unit 53 stores the facial expression identification result by the facial expression identification unit 33.
  • the storage device 2 further stores a facial expression identification program executed by the CPU 1 and various data necessary for executing the program. All or a part of the information stored in the storage device 2 may be stored in a memory built in the mounting device 3.
  • a machine learning method including a method for generating a data set for machine learning, and a facial expression recognition method (identification phase) using learning data obtained by machine learning.
  • learning phase including a method for generating a data set for machine learning
  • identity phase a facial expression recognition method using learning data obtained by machine learning.
  • the avatar data storage unit 50 stores information on one or more avatars used in the learning phase and the identification phase.
  • the avatar data storage unit 50 stores data of multiple types of facial expressions (face images) of avatars.
  • the avatar's face image is a human expression such as “no expression”, “smile”, “laughter”, “disgust”, “anger”, “surprise”, “sadness”, etc. Simulates facial expression.
  • “no expression” can be expressed by tying the mouth sideways
  • “smiling” can be expressed by lifting the corner of the mouth
  • “laughing” can be expressed by narrowing the eyes and opening the mouth. .
  • “Aversion” can be expressed by putting a heel between the eyebrows and raising the corner of the eye, and “angry” can be expressed by putting a heel between the eyebrows and raising the butt of the eyebrows rather than “hate”.
  • “Surprise” can be expressed by opening your eyes and your mouth open, and “Sadness” can be expressed by lowering your eyebrows.
  • the avatar data storage unit 5 may further store data of face images that have been partially changed, such as opening / closing the eyebrows, opening / closing both eyes or firmness, opening / closing the mouth, and the like.
  • the number and type of avatar face images stored in the avatar data storage unit 50 are not particularly limited.
  • the avatar display control unit 31 is identified by machine learning from the data of a plurality of avatar face images stored in the avatar data storage unit 50 based on the instruction information or the like input via the input device 5.
  • the data of the avatar face image corresponding to the facial expression desired is extracted.
  • the avatar display control unit 31 controls the display unit 62 of the mounting apparatus 3 so as to display the image of the extracted facial expression of the avatar 100.
  • FIG. 18A illustrates a case where the face image of the avatar 100 is “laughter”.
  • the avatar display control unit 31 sequentially extracts the data of the avatar face image corresponding to the facial expression desired to be identified by machine learning from the data of the plurality of avatar face images stored in the avatar data storage unit 50, as shown in FIG. As shown in b), the face image of the avatar 100 displayed on the display unit 62 is sequentially updated to the extracted face image.
  • FIG. 18B illustrates a case where the face image of the avatar 100 is “smile”.
  • the timing for updating the face image of the avatar 100 can be set as appropriate. For example, the timing after a predetermined time elapses, the timing after a predetermined number of frames are detected by the optical sensors 61a to 61p, the timing according to the instruction information input from the user via the input device 5, etc. Good.
  • the avatar display control unit 31 “similar the face image of the avatar” before, after, or simultaneously with the display of the face image of the avatar 100. Or the like is displayed on the display unit 62 to prompt the user to imitate the expression of the avatar 100.
  • sound information by a headphone, a speaker, etc. (not shown) attached to the mounting device 3 may be used.
  • the avatar display control unit 31 may continuously or intermittently prompt the user to imitate the expression of the avatar 100, but when the face image of the avatar 100 is first displayed, the expression of the avatar 100 is displayed to the user. After prompting the user to imitate, the presentation of text information and voice information may be stopped.
  • the optical sensors 61a to 61p detect a predetermined number of frames for the distance between the face and the wearing device 3 when the user wearing the wearing device 3 imitates the face image of the avatar.
  • the avatar display control unit 31 prompts the user to imitate the face image of the avatar or displays the avatar on the display unit 62, the user recognizes the type of the avatar face image, and the user's facial expression is the avatar. A time lag occurs until the facial expression corresponding to the face image changes. For this reason, the optical sensors 61a to 61p prompt the user to imitate the avatar's face image, or display the avatar on the display unit 62, and the detection timing or the input device 5 after a predetermined time has elapsed. The detection may be started at a timing according to the input instruction information.
  • preprocessing is performed so as to balance the individuals.
  • the average value of the sensor values detected when the facial expression is “no expression” is 0.5
  • the maximum value is 1
  • the minimum value among the sensor values detected when the facial expression is a plurality of types of facial expressions. Normalization is performed with 0 being zero.
  • the sensor value is linearly complemented so that the distance and the sensor value realize a linear relationship.
  • the learning data generation unit 32 generates a data set for machine learning using the sensor values from the optical sensors 61a to 61p as input data in the learning phase. For example, the learning data generation unit 32 performs a clustering process for classifying the sensor values from the optical sensors 61a to 61p into a subset (cluster) for each facial expression.
  • the learning data generation unit 32 further extracts the classified cluster by the avatar display control unit 31 and displays the type of avatar face image (for example, “smile”) displayed on the display unit 62 when the sensor value is detected. Labeling processing for assigning a label corresponding to “sadness” or the like is performed, and the cluster to which the label is assigned is stored in the learning data storage unit 51 as a data set (sampling result) for machine learning. In this manner, a machine learning data set is generated, and stored in the learning data storage unit 51 for each individual, whereby a learning database for facial expression recognition can be constructed.
  • the type of avatar face image for example, “smile”
  • the facial expression identifying unit 33 uses the machine learning data set stored in the learning data storage unit 51 as input data, and the facial expression of the user wearing the mounting device 3 using a neural network, a support vector machine, or the like.
  • Machine learning to identify For example, as schematically shown in FIG. 20, the facial expression identification unit 33 uses an error propagation method (BP) by using a neural network composed of a multilayer perceptron including an input layer L11, a hidden layer L12, and an output layer L13. Perform machine learning.
  • BP error propagation method
  • the neural network shown in FIG. 20 is a multi-class classification problem, for example, a normalized linear function is adopted as the activation function, a cross-entropy method is adopted as the error function, and the activation function of the output layer L3 is adopted. Adopts the softmax function.
  • the neural network outputs, from the output layer L13, the similarity between the facial expression input to the input layer L11 and each of a plurality of trained facial expressions to which a teacher signal corresponding to the facial expression is assigned. The facial expression with the highest degree is taken as the identification result.
  • the similarity to the correct facial expression is increased (in other words, the maximum value of the similarity to the correct facial expression).
  • the weight is corrected by back-propagating the error gradient from the output layer L13 to the input layer L11.
  • the facial expression identification unit 33 as shown in FIG. A regression neural network composed of the layer L22 and the output layer L23 may be implemented.
  • a normalized linear function is adopted as the activation function
  • a mean square function is adopted as the error function
  • a hyperbolic tangent is used as the activation function of the output layer L23.
  • Adopt a function As shown in FIG. 21, for example, in the case of a regression neural network whose facial expression is “laughter”, the similarity to “no expression” is set to 0 as the minimum value, and the similarity to “laughter” is set to 1 as the maximum value. .
  • a regression neural network similar to the regression neural network shown in FIG. 21 is implemented for the number of facial expressions to be identified, and is used depending on the result of the multi-class classification of the neural network shown in FIG.
  • the avatar data storage unit 50 may store intermediate facial expressions between representative facial expressions such as “no expression” and “laughter”.
  • the intermediate facial expression can be generated, for example, by morphing the texture geometry of the avatar.
  • the avatar display control unit 31 extracts representative facial expressions such as “no expression” and “laughter” and intermediate expressions between the facial expressions from the facial image data of the avatar 100.
  • the avatar display control part 31 displays the extracted representative facial expression and its intermediate expression on the display part 62 of the mounting apparatus 3 continuously. This makes it possible to generate a machine learning data set for identifying intermediate facial expressions.
  • the facial expression identification unit 33 uses the multi-class classifier 80, which is learning data, as shown in FIG. 22 to attach the mounting device 3 using the sensor values from the optical sensors 61a to 61p as input data. Identifying the facial expression of the user. For example, the facial expression identifying unit 33 calculates the similarity to a plurality of types of trained template expressions, and identifies the facial expression having the highest similarity as the facial expression. For example, as shown in FIG.
  • the facial expression identification unit 33 uses the learning data “smile”, “anger”, “surprise”, and “sadness” regression networks 81 to 84 from the optical sensors 61a to 61p.
  • the intermediate facial expression of the user wearing the wearing device 3 may be identified using the sensor value as input data.
  • the avatar display control unit 31 extracts the avatar face image data corresponding to the user's facial expression from the avatar data storage unit 50 based on the identification result by the facial expression identification unit 33.
  • the avatar display control unit 31 further transmits the extracted avatar face image data, and the display device 62 of the mounting device 3, the output device 6 such as a display, or a mounting device worn by a communication partner via a communication network. Is displayed on the display unit. For example, the face image of the user's own avatar and the face image of the communication partner's avatar are displayed on the display unit 62 of the mounting apparatus 3 in the same manner as the display image shown in FIG.
  • the avatar display control unit 31 performs other display according to the identification result of the user's facial expression instead of displaying the facial image of the avatar corresponding to the user's facial expression. Also good. For example, when the user's facial expression is identified as “anger”, a facial image character simulating “surprise” or “anxiety” is displayed on the display unit 62 of the mounting apparatus 3 or “what have you done?” Or text information such as “Are you okay?” Or voice information may be presented.
  • step S51 the avatar display control unit 31 stores the data of the avatar face image corresponding to the facial expression to be identified by machine learning from the avatar data storage unit 50 based on the instruction information or the like input via the input device 5. To extract. And the avatar display control part 31 displays the avatar of the extracted facial expression on the display part 62 of a mounting apparatus, and urges the user wearing the mounting apparatus 3 to imitate the avatar face image.
  • step S52 the optical sensors 61a to 61p acquire sensor values when the user wearing the wearing device 3 imitates the face image of the avatar.
  • step S53 the avatar display control unit 31 determines whether or not a sensor value for a predetermined number of facial expressions desired to be identified by machine learning has been acquired. If it is determined that the sensor value for the predetermined number of facial expressions has not been acquired, the process returns to step S50 and the same processing is repeated for the remaining facial expressions. For example, for 5 types of facial expressions, a total of 5000 data sets are acquired with 10 sets of 100 frames each. If it is determined in step S53 that sensor values for a predetermined number of facial expressions have been acquired, the process proceeds to step S54.
  • step S54 the learning data generation unit 32 classifies the sensor values of the optical sensors 61a to 61p into clusters for each facial expression.
  • step S55 the learning data generation unit 32 generates a machine learning data set by adding a label corresponding to the avatar face image generated by the avatar display control unit 31 to the classified cluster.
  • the learning data generation unit 32 stores the generated data set for machine learning in the learning data storage unit 51.
  • step S ⁇ b> 55 the facial expression identification unit 33 performs machine learning for identifying facial expressions using the machine learning data set stored in the learning data storage unit 51.
  • step S61 the optical sensors 61a to 61p acquire sensor values while the mounting device 3 is mounted on the user's head.
  • step S62 the facial expression identification unit 33 reads the learning data stored in the learning data storage unit 51 using the sensor values from the optical sensors 61a to 61p as input data, and the facial expression of the user wearing the mounting apparatus 3 Identify
  • step S ⁇ b> 63 the avatar display control unit 31 extracts the avatar face image data corresponding to the facial expression of the user wearing the mounting device 3 from the avatar data storage unit 50 based on the identification result by the facial expression identification unit 33. To do.
  • the avatar display control unit 31 displays the extracted avatar face image on the display unit 62 of the mounting device 3, the display unit of the mounting device of the communication partner, or the like.
  • FIG. 25 shows the calculation results of the first principal component by principal component analysis for the sensor values of the obtained optical sensors 61a to 61p.
  • FIG. 26 (a) to FIG. 26 (c) show changes in sensor value when the eyebrows are moved.
  • the left side of FIGS. 26 (a) to 26 (c) schematically shows a state where the eyebrows are raised, a state where the eyebrows are normal, and a state where the eyebrows are lowered.
  • FIGS. 26 (a) to 26 (c) The sensor value in each state is shown on the right side of.
  • the vertical axis of the graphs on the right side of FIGS. 26 (a) to 26 (c) shows the average normalized value of the sensor values, and the sensor numbers on the horizontal axis are the optical sensors 61a to 61p shown in FIGS. Corresponding sequentially (for example, sensor number 1 corresponds to optical sensor 61a.
  • FIGS. 26 (a) to 26 (c) sensor values close to the position of the eyebrows such as No. 3 and No. 12 vary greatly in each state, and the movement of the eyebrows is reflected. I understand. On the other hand, it can be seen that the sensor values far from the eyebrows such as No. 6 and No. 14 have little fluctuation.
  • FIG. 27 (a) to FIG. 27 (c) show changes in the sensor value when the eyes are opened and closed.
  • the left side of FIGS. 27 (a) to 27 (c) schematically shows a state in which only the right eye is closed, a state in which only the left eye is closed, and a state in which both eyes are closed (strongly collapsed).
  • the right side of FIG. 27 (c) shows the sensor value in each state.
  • FIG. 27A it can be seen that the sensor value of No. 12 in the right eye portion fluctuates compared to the other when only the right eye is closed.
  • FIG. 27 (b) it can be seen that the sensor values of Nos. 3, 4, and 5 fluctuate compared to the other when only the left eye is closed.
  • FIG. 27C it can be seen that the sensor values of No. 1 and No. 9 fluctuate when both eyes are closed.
  • FIG. 28A shows a cluster classification result obtained by adding a normal state (a state where both eyes are opened) to each state of FIG. 27A to FIG. 27C, and FIG.
  • FIG. 28 (a) and FIG. 28 (b) regarding the opening and closing of the eyes, most of the data is obtained in the normal state, the state in which only the right eye is closed, the state in which only the left eye is closed, and the state in which both eyes are closed. You can see that it is classified into the correct class.
  • 29 (a) to 29 (c), 30 (a), and 30 (b) show sensor values when the movement of the mouth is changed.
  • 29 (a) to 29 (c), FIG. 30 (a), and FIG. 30 (b) are when the user's mouth utters “a”, “b”, “c”, “e”, and “o”.
  • FIG. 29A to FIG. 29C, FIG. 30A, and FIG. 30B show the sensor values in each state. Show.
  • FIGS. 29 (a) to 29 (c), 30 (a), and 30 (b) it can be seen that the sensor values near the positions of the seventh and fifteenth cheeks fluctuate.
  • FIG. 31 (a) shows the cluster classification results in each state of FIGS. 29 (a) to 29 (c), FIG. 30 (a) and FIG. 30 (b), and FIG.
  • Fig. 31 (a) and Fig. 31 (b) "D", “O” etc. have been mixed, but only the movement of the mouth of "U” is between classes compared to other movements. It can be seen that the distance is far and it can be classified well. In addition, it can be classified into three clusters of “A” and “I”, “D”, “U” and “O”.
  • FIG. 32A shows training data of a classification network of five facial expressions of “no expression”, “smile”, “anger”, “surprise”, and “sadness”, and FIG. The first principal component by component analysis is shown, and FIG. 32C shows the second principal component by principal component analysis. From FIG. 32A to FIG. 32C, it can be seen that the sensor value changes when the user imitates the face image of the avatar.
  • FIG. 33A shows training data of the regression network when the four types of facial expressions of “smile”, “anger”, “surprise”, and “sadness” are gradually changed, and FIG. The first principal component by principal component analysis is shown.
  • FIG. 34A shows the target facial expression
  • FIG. 34B shows the result of multi-class classification.
  • FIGS. 35 (a) to 35 (d) show regression results of “smile”, “anger”, “surprise”, and “sadness”, respectively, by merging the multi-class classifications shown in FIG. 34 (b). From FIG. 35 (a) to FIG. 35 (d), it can be seen that the output of each regression changes linearly.
  • the avatar is displayed on the display unit 62 of the wearing device 3, and the optical sensor 61a when the user imitates the displayed avatar expression.
  • the user By generating a machine learning data set from sensor values from ⁇ 61p, it is possible to efficiently collect a machine learning data set in a short time.
  • the user since the user only has to imitate the face image of the avatar, the user can intuitively understand the facial expression of the avatar and imitate it, and the burden on the user can be reduced as compared with the case where the facial expression is indicated by voice information. it can.
  • the data recorded in consideration of the time series of the displayed face image of the avatar is labeled as training data for machine learning, but the time between the presented avatar and the user's facial expression Misalignment may occur.
  • the avatar face image is changed based on the identification result of the facial expression of the user in the identification phase, if an avatar identical or similar to the avatar imitated by the user is used in the learning phase, for example, opening and closing of the mouth
  • the face image of the avatar can be appropriately changed so as to assume the user's fine movement of the part such as the degree and the upper and lower parts of the eyebrows, and the emotion of the user can be expressed more clearly.
  • the mounting device 3 further includes a displacement sensor 63
  • the CPU 1 further includes a displacement amount calculation unit 34 and a correction presentation unit 35. It differs from the facial expression identification system according to the third embodiment shown in FIG. 15 in that the storage device 2 further includes a deviation data storage unit 55.
  • Other configurations are the same as those of the facial expression identification system according to the third embodiment shown in FIG.
  • the displacement sensor 63 a displacement sensor or a length measurement sensor can be used.
  • the deviation sensor 63 is arranged at a position different from the optical sensors 61a to 61p of the mounting device 3. Only one deviation sensor 63 may be arranged, or a plurality of deviation sensors 63 may be arranged. Based on the landmarks such as the eyes of the user wearing the mounting position 3, the displacement sensor 63 uses the position when the mounting position 3 is normally mounted as a reference position, and the front-rear direction, the vertical direction, and the left-right direction with respect to the reference position. A shift in at least one direction is detected. The detection result by the deviation sensor 63 is stored in the deviation data storage unit 55. Even if the deviation sensor 63 is not individually provided, the sensor values of the optical sensors 61a to 61p used for distance detection for facial expression detection can also be used for deviation detection.
  • the deviation amount calculation unit 34 detects the deviation amount and the deviation direction with respect to the reference position from the detection result by the deviation sensor 63 or the distribution of the sensor values of the optical sensors 61a to 61p.
  • FIG. 37 is a graph showing changes in sensor values of the optical sensors 61a to 61p with respect to various facial expressions when the mounting apparatus 3 is shifted in the front-rear direction. The amount of shift is changed between levels 1 to 4. The higher the level value, the farther the distance between the wearing apparatus 3 and the person's face is.
  • the deviation amount calculation unit 34 uses a part of the sensor values of the optical sensors 61a to 61p shown in FIG. 37 to calculate the deviation amount in the front-rear direction of the mounting device 3 as shown in FIG. 38 by regression.
  • 39 (a) to 42 (b) are graphs in which changes in sensor values for the various facial expressions shown in FIG. 37 are divided for each facial expression.
  • 39 (a) is “no expression”
  • FIG. 39 (b) is “joy”
  • FIG. 40 (a) is “disgust”
  • FIG. 40 (b) is “anger”
  • FIG. 41 (a) is “surprise”.
  • 41 (b) shows the change in sensor value for “fear”
  • FIG. 42 (a) shows “sadness”
  • FIG. 42 (b) shows the change in sensor value for “contempt”.
  • the sensor value generally tends to decrease as the numerical value of the level is higher and the distance between the wearing apparatus 3 and the person's face is longer.
  • the correction presentation unit 35 When the deviation amount calculated by the deviation amount calculation unit 34 is equal to or greater than a predetermined threshold, the correction presentation unit 35 presents the correction content of the deviation to the user wearing the mounting apparatus 3 and prompts the user to correct the deviation. Prompt.
  • the predetermined threshold can be set as appropriate, and may be stored in advance in the deviation data storage unit 55.
  • the correction presentation unit 35 When presenting the correction content of the deviation to the user, the correction presentation unit 35 indicates a correction direction such as “the mounting device is shifted in the upper right direction”, “please correct the mounting device in the lower left direction”, etc. You may display the character information and the image which shows correction directions, such as an arrow, on the display part 62. FIG.
  • voice information may be output instead of character information or images, or may be presented to the user's tactile sense by vibration or the like so that the correction direction of the displacement of the mounting apparatus 3 can be intuitively understood.
  • step S52 the deviation sensor 63 detects a deviation simultaneously with the detection by the optical sensors 61a to 61p.
  • the learning data generation unit 32 generates a data set for machine learning by adding labels corresponding to facial expressions and deviations to the sensor values of the optical sensors 61a to 61p. Information on the label corresponding to the shift may be input via the input device 5, for example.
  • step S71 the optical sensors 61a to 61p detect the distance between the face of the user wearing the wearing device 3 and the wearing device 3.
  • step S72 the deviation sensor 63 detects a deviation.
  • the deviation amount calculation unit 34 calculates the deviation amount and the deviation direction based on the detection result of the deviation sensor 63.
  • step S ⁇ b> 73 the correction presentation unit 35 determines whether the deviation amount calculated by the deviation amount calculation unit 34 is greater than or equal to a predetermined threshold value. When the deviation amount is equal to or larger than the predetermined threshold value, the process proceeds to step S74, and the correction presentation unit 35 presents the correction content to the user so as to correct the deviation.
  • step S73 the process proceeds to step S76, where the facial expression identification unit 33 selects learning data to which a label corresponding to the deviation is given, and the selected learning data Is used to identify the facial expression of the user.
  • step S ⁇ b> 76 the avatar display control unit 11 extracts the avatar face image based on the identification result by the facial expression identification unit 33, and displays the extracted facial expression avatar on the display unit 62 of the mounting apparatus 3.
  • the face is detected by detecting the shift when the mounting apparatus 3 is mounted and selecting the learning data to which the label corresponding to the shift is given. Facial expressions can be properly identified. Further, by detecting a shift when the mounting device 3 is mounted and urging the user to correct the shift, the shift of the mounting device 3 can be corrected appropriately.
  • the mounting device 3 further includes a blood flow sensor 64
  • the storage device 2 further includes a blood flow data storage unit 56. This is different from the facial expression identification system according to the third embodiment shown in FIG. Other configurations are the same as those of the facial expression identification system according to the third embodiment shown in FIG.
  • the blood flow sensor 64 detects the blood flow volume of the user wearing the mounting device 3.
  • the blood flow sensor 64 includes a light source that emits multi-wavelength light and a detection unit that detects the light intensity of the reflected light of multi-wavelength.
  • the blood flow sensor 64 irradiates multi-wavelength light at a position where the face color such as cheeks can be easily measured, and detects the blood flow based on the light intensity of the reflected light.
  • hemoglobin contained in red blood cells in blood has the property of absorbing green light. As blood flow increases, hemoglobin increases, and green light is easily absorbed when irradiated with light of multiple wavelengths. Thus, the blood flow rate can be detected based on the light intensity of the green wavelength of the reflected light.
  • the blood flow detected by the blood flow sensor 64 is stored in the blood flow data storage unit 56.
  • the facial expression identifying unit 33 identifies the user's facial color by comparing the blood flow detected by the blood flow sensor 64 with a predetermined threshold. For example, when the blood flow detected by the blood flow sensor 64 is equal to or greater than the first threshold, the facial expression identification unit 33 identifies the user's facial color as “blush”. When the blood flow detected by the blood flow sensor 64 is less than the second threshold, which is less than the first threshold, the facial expression identification unit 33 identifies the user's facial color as “palm white”. When the blood flow detected by the blood flow sensor 64 is less than the first threshold and greater than or equal to the second threshold, the facial expression identification unit 33 identifies the face color of the user as “normal”.
  • the avatar display control unit 31 changes the avatar face image based on the user facial expression and facial color identification results by the facial expression identification unit 33.
  • the avatar display control unit 31 can display, for example, a “blush” and “angry” face image, or a “light white” and “surprise” face image as the avatar face image.
  • the user's emotion can be identified in more detail by identifying the facial color in addition to the facial expression of the user wearing the mounting device 3. . Furthermore, the degree of freedom of facial expression communication in the VR environment can be improved by changing the face color of the avatar according to the identification result of the face color of the user.
  • the facial expression according to the third embodiment shown in FIG. 15 is that the CPU 1 further includes an optical sensor adjustment unit 37, as shown in FIG. Different from the identification system.
  • Other configurations are the same as those of the facial expression identification system according to the third embodiment shown in FIG.
  • the optical sensor adjustment unit 37 adjusts the light emission intensities and sensitivities of the optical sensors 61a to 61p according to the sensor values of the optical sensors 61a to 61p at the time of calibration in the learning phase or the identification phase. For example, the optical sensor adjustment unit 37 extracts the maximum value and the minimum value from the sensor values of the optical sensors 61a to 61p. The optical sensor adjustment unit 37 determines whether or not it is necessary to adjust the light emission intensity and sensitivity of the optical sensors 61a to 61p by comparing the extracted maximum value and minimum value with a predetermined threshold value.
  • the light sensor adjustment unit 37 adjusts the light intensity and sensitivity by adjusting the variable resistance values of the light sensors 61a to 61p. To do. For example, when it is determined that the maximum value of the sensor values of the optical sensors 61a to 61p is equal to or greater than the first threshold value, by increasing the value of the variable resistance of the optical sensors 61a to 61p, the emission intensity of the optical sensors 61a to 61p and Reduce sensitivity.
  • the value of the variable resistance of the optical sensors 61a to 61p is decreased to reduce the light sensor 61a to 61p.
  • the emission intensity and sensitivity of the sensors 61a to 61p are increased.
  • step S81 the optical sensors 61a to 61p acquire sensor values (reflection intensity).
  • step S82 the optical sensor adjustment unit 37 extracts the maximum value and the minimum value of the sensor values (reflection intensity) acquired by the optical sensors 61a to 61p.
  • step S83 the optical sensor adjustment unit 37 determines whether it is necessary to adjust the light emission intensity and sensitivity of the optical sensors 61a to 61p by comparing the extracted maximum value and minimum value with a predetermined threshold value. . If it is determined that the light intensity and sensitivity of the optical sensors 61a to 61p need to be adjusted, the process proceeds to step S84, and the light intensity of the optical sensors 61a to 61p is adjusted by adjusting the variable resistance of the optical sensors 61a to 61p. And adjust the sensitivity. On the other hand, if it is determined in step S83 that adjustment of the light emission intensity and sensitivity of the optical sensors 61a to 61p is unnecessary, the process is completed.
  • the sixth embodiment of the present invention by adjusting the light emission intensity and sensitivity of the optical sensors 61a to 61p based on the reflection intensity information of the optical sensors 61a to 61p, an appropriate range can be obtained. A sensor value can be detected.
  • the mounting device 3 may further include a reflective image sensor that detects the amount of skin movement on the face of the user wearing the mounting device 3.
  • the mounting apparatus 3 may include a reflective image sensor that detects the amount of movement of the skin of the user's face wearing the mounting apparatus 3 instead of using the optical sensors 61a to 61p.
  • the reflective image sensor for example, a CMOS image sensor or a CCD image sensor can be used.
  • the reflective image sensor detects, for example, the amount of skin movement on a one-dimensional or two-dimensional face.
  • the facial expression identification unit 33 identifies the facial expression of the user wearing the mounting device 3 based on the sensor values from the optical sensors 61a to 61p and the movement amount from the reflective image sensor. Thereby, the identification accuracy of the user's facial expression can be further improved.
  • the facial expression identification unit 33 when the learning data of the user who wears the mounting device 3 is stored in the learning data storage unit 51, the facial expression identification unit 33 The user's own learning data may be read to identify facial expressions. On the other hand, when the learning data of the user who wears the mounting device 3 is not stored in the learning data storage unit 51, the facial expression identification unit 33 stores the other person's stored in the learning data storage unit 51. Learning data may be used.
  • the facial expression identification unit 33 uses the sensor values of the optical sensors 61a to 61p and the label corresponding to the current facial expression of the user wearing the mounting device 3 as input data for each other's learning data. Then, the degree of similarity is calculated for a template facial expression (of the same facial expression) to which the same label as that corresponding to the user's current facial expression is assigned. Furthermore, the facial expression identification unit 33 reads the learning data of the other person who has the highest similarity and identifies the facial expression of the user.
  • the label input via the input device 5 as a label corresponding to a user's facial expression.
  • the avatar A label may be generated based on the data of the avatar face image extracted by the display control unit 31.
  • the components of the facial expression identification system according to the first to sixth embodiments may be combined with each other.
  • the CPU 1 illustrated in FIG. 1 further includes a time information acquisition unit 15 and a facial expression distribution calculation unit 16 illustrated in FIG. 9, and the storage device 2 illustrated in FIG. 1 includes the geographic information storage unit illustrated in FIG. 9. 22 and a facial expression map storage unit 23 may be further provided.
  • the machine learning method (learning phase) processing according to the first to sixth embodiments and the facial expression identification method (identification method) processing according to the first to sixth embodiments are different from each other. You may combine with each other.
  • the present invention can be used for a facial expression identification system, a facial expression identification method, and a facial expression identification program that automatically identify facial expressions.
  • Central processing unit (CPU) 2 ... Storage device 3 ... Mounting device 4a, 4b, 4c, 4d, 4e, 4f, 4g, 4h, 4i, 4j, 4k, 4l, 4m, 4n, 4o, 4p, 4q ... Detection device 5 ... Input device 6 ; Output device 10 ; machine learning unit 11 ... facial expression identification unit 33 DESCRIPTION OF SYMBOLS 12 ... Geographic information acquisition part 13 ... Facial expression map preparation part 14 ... Recommended information extraction part 15 ... Time information acquisition part 16 ... Facial expression distribution calculation part 20 ... Learning data storage part 21 ... Facial expression storage part 22 ... Geographic information storage part 23 ... Facial expression map storage unit 24 ... Time information storage unit 25 ...
  • Facial expression distribution storage unit 31 ... Avatar display control unit 32 ... Learning data generation unit 33 ... Facial expression identification unit 40 ... Display units 41, 42 ... Avatar 50 ... Avatar Data storage unit 51 ... learning data storage unit 52 ... optical sensor data storage unit 53 ... identification result storage units 61a, 61b, 61c, 61d, 61e, 61f, 61g, 61h, 61i, 61j, 61k, 61l, 61m, 61n, 61o, 61p ... detector 62 ... display 71 ... main body 72 ... flexible circuit boards 73a, 73b ... lens 80 ... multi-class classifiers 81-84 ... Null network 100 ... Avatar

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

安価且つ簡易な構成で、人物の顔表情を継続的（日常的）に識別可能な顔表情識別システムを提供する。人物の頭部に装着可能な装着装置（３）と、装着装置（３）の人物の顔面に対向する複数箇所にそれぞれ配置され、装着装置（３）を装着したときの顔面と装着装置（３）間の距離を複数箇所でそれぞれ検出する、複数の検出装置（４ａ～４ｑ）と、複数の検出装置（４ａ～４ｑ）による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶する記憶装置（２）と、学習データを記憶装置（２）から読み出し、複数の検出装置（４ａ～４ｑ）による検出結果を入力データとして人物の顔表情を識別する顔表情識別部（１１）とを備える。

Description

顔表情識別システム、顔表情識別方法及び顔表情識別プログラム
　本発明は、人物の顔表情を識別する顔表情識別システム、顔表情識別方法及び顔表情識別プログラムに関する。
　他人やコンピュータとのより豊かなコミュニケーションの実現等のため、人物の顔表情を自動的に識別する技術が重要となってきている。従来の顔表情識別システムとしては、カメラを用いて人物を撮像し、撮像画像に含まれる特徴量に基づいて顔表情を識別する手法が知られている（特許文献１参照）。
特開２０１０－４１５０３号公報
　しかしながら、特許文献１に記載のカメラを用いたシステムは高価であり、計算量も膨大となる。更に、カメラで人物の顔を撮像可能な位置・方向は制限されるため、顔表情を継続的（日常的）に識別することは困難である。
　上記問題点を鑑み、本発明は、安価且つ簡易な構成で、人物の顔表情を継続的（日常的）に識別可能な顔表情識別システム、顔表情識別方法及び顔表情識別プログラムを提供することを目的とする。
　本発明の第１の態様は、（ａ）人物の頭部に装着可能な装着装置と、（ｂ）装着装置の人物の顔面に対向する複数箇所にそれぞれ配置され、装着装置を装着したときの顔面と装着装置間の距離を複数箇所でそれぞれ検出する、複数の検出装置と、（ｃ）複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶する記憶装置と、（ｄ）学習データを記憶装置から読み出し、複数の検出装置による検出結果を入力データとして人物の顔表情を識別する顔表情識別部とを備える顔表情識別システムであることを要旨とする。
　本発明の第２の態様は、（ａ）装着装置の複数箇所にそれぞれ配置された複数の検出装置が、装着装置を人物の頭部に装着したときの人物の顔面と装着装置間の距離を複数箇所で検出するステップと、（ｂ）記憶装置に記憶された、複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶装置から読み出し、顔表情識別部が複数の検出装置による検出結果のデータを入力データとして人物の顔表情を識別するステップとを含む顔表情識別方法であることを要旨とする。
　本発明の第３の態様は、（ａ）装着装置の複数箇所にそれぞれ配置された複数の検出装置に、装着装置を人物の頭部に装着したときの人物の顔面と装着装置間の距離を複数箇所で検出させる手順と、（ｂ）記憶装置に記憶された、複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶装置から読み出させ、複数の検出装置による検出結果のデータを入力データとして人物の顔表情を顔表情識別部に識別させる手順とを含む一連の処理をコンピュータに実行させる顔表情識別プログラムであることを要旨とする。
　本発明によれば、安価且つ簡易な構成で、人物の顔表情を継続的（日常的）に識別可能な顔表情識別システム、顔表情識別方法及び顔表情識別プログラムを提供することができる。
本発明の第１の実施形態に係る顔表情識別システムの一例を示すブロック図である。 本発明の第１の実施形態に係る装着装置の一例を示す概略図である。 図３（ａ）は、本発明の第１の実施形態に係る装着装置を頭部に装着した人物が無表情の様子を示す概略図であり、図３（ｂ）は、本発明の第１の実施形態に係る装着装置を頭部に装着した人物が笑っている様子を示す概略図である。 本発明の第１の実施形態に係る顔表情識別システムが識別する顔表情の種類を示す概略図である。 本発明の第１の実施形態に係る検出装置による過去の検出結果と顔表情との対応関係を表すグラフである。 本発明の第１の実施形態に係る顔表情識別システムにより作成された顔表情マップの一例を示す概略図である。 本発明の第１の実施形態に係る顔表情識別方法の一例を説明するためのフローチャートである。 本発明の第１の実施形態に係る推薦情報表示方法の一例を説明するためのフローチャートである。 本発明の第２の実施形態に係る顔表情識別システムの一例を示すブロック図である。 本発明の第２の実施形態に係る顔表情識別システムにより算出された顔表情分布の一例を示す概略図である。 本発明の第２の実施形態に係る顔表情識別方法の一例を説明するためのフローチャートである。 本発明の第２の実施形態に係る顔表情分布表示方法の一例を説明するためのフローチャートである。 本発明のその他の実施形態に係る装着装置の一例を示す概略図である。 本発明のその他の実施形態に係る装着装置の表示部に表示された映像の一例を示す概略図である。 本発明の第３の実施形態に係る顔表情識別システムの一例を示すブロック図である。 本発明の第３の実施形態に係る装着装置の一例を示す概略図である。 本発明の第３の実施形態に係る装着装置をユーザが装着した様子を示す概略図である。 図１８（ａ）及び図１８（ｂ）は、本発明の第３の実施形態に係る装着装置の表示部の表示画像の一例をそれぞれ示す概略図である。 本発明の第３の実施形態に係る前処理前後の距離とセンサ値の関係を示すグラフである。 本発明の第３の実施形態に係る学習フェーズのニューラルネットワークの一例を示す概略図である。 本発明の第３の実施形態に係る学習フェーズの回帰ニューラルネットワークの一例を示す概略図である。 本発明の第３の実施形態に係る識別フェーズのニューラルネットワークの一例を示す概略図である。 本発明の第３の実施形態に係る機械学習データ生成方法を含む機械学習方法の一例を説明するためのフローチャートである。 本発明の第３の実施形態に係る顔表情識別方法の一例を説明するためのフローチャートである。 本発明の第３の実施形態に係るセンサ値の主成分分析結果の一例を示すグラフである。 図２６（ａ）～図２６（ｃ）は、本発明の第３の実施形態に係る眉を動かした場合のセンサ値をそれぞれ示すグラフである。 図２７（ａ）～図２７（ｃ）は、本発明の第３の実施形態に係る目を開閉した場合のセンサ値をそれぞれ示すグラフである。 図２８（ａ）及び図２８（ｂ）は、本発明の第３の実施形態に係る目を開閉した場合のクラスタ分類結果及び真値をそれぞれ示すグラフである。 図２９（ａ）～図２９（ｃ）は、本発明の第３の実施形態に係る口を動かした場合のセンサ値をそれぞれ示すグラフである。 図３０（ａ）及び図３０（ｂ）は、本発明の第３の実施形態に係る口を動かした場合のセンサ値をそれぞれ示すグラフである。 図３１（ａ）及び図３１（ｂ）は、本発明の第３の実施形態に係る口を動かした場合のクラスタ分類結果と真値をそれぞれ示すグラフである。 図３２（ａ）～図３２（ｃ）は、本発明の第３の実施形態に係る分類ネットワークのための訓練データセットを示すグラフである。 図３３（ａ）及び図３３（ｂ）は、本発明の第３の実施形態に係る回帰ネットワークのための訓練データセットを示すグラフである。 図３４（ａ）は、本発明の第３の実施形態に係るターゲットとする顔表情を示すグラフであり、図３４（ｂ）は、マルチクラス分類の結果を示すグラフである。 図３５（ａ）～図３５（ｄ）は、本発明の第３の実施形態に係るマルチクラス分類器をマージした回帰の結果をそれぞれ示すグラフである。 本発明の第４の実施形態に係る顔表情識別システムの一例を示すブロック図である。 本発明の第４の実施形態に係る装着装置を前後方向にずらしたときの種々の顔表情に対するセンサ値の変化を示すグラフである。 図３７のセンサ値の一部から回帰により求めたずれ量を示すグラフである。 図３９（ａ）は、本発明の第４の実施形態に係る装着装置を前後方向にずらしたときの顔表情が「無表情」に対するセンサ値の変化を示すグラフであり、図３９（ｂ）は、本発明の第４の実施形態に係る装着装置を前後方向にずらしたときの顔表情が「喜び」に対するセンサ値の変化を示すグラフである。 図４０（ａ）は、本発明の第４の実施形態に係る装着装置を前後方向にずらしたときの顔表情が「嫌悪」に対するセンサ値の変化を示すグラフであり、図４０（ｂ）は、本発明の第４の実施形態に係る装着装置を前後方向にずらしたときの顔表情が「怒り」に対するセンサ値の変化を示すグラフである。 図４１（ａ）は、本発明の第４の実施形態に係る装着装置を前後方向にずらしたときの顔表情が「驚き」に対するセンサ値の変化を示すグラフであり、図４１（ｂ）は、本発明の第４の実施形態に係る装着装置を前後方向にずらしたときの顔表情が「恐怖」に対するセンサ値の変化を示すグラフである。 図４２（ａ）は、本発明の第４の実施形態に係る装着装置を前後方向にずらしたときの顔表情が「悲しみ」に対するセンサ値の変化を示すグラフであり、図４２（ｂ）は、本発明の第４の実施形態に係る装着装置を前後方向にずらしたときの顔表情が「軽蔑」に対するセンサ値の変化を示すグラフである。 本発明の第４の実施形態に係る顔表情識別方法の一例を説明するためのフローチャートである。 本発明の第５の実施形態に係る顔表情識別システムの一例を示すブロック図である。 本発明の第６の実施形態に係る顔表情識別システムの一例を示すブロック図である。 本発明の第６の実施形態に係る光センサの発光強度の調整方法の一例を説明するためのフローチャートである。
　次に、図面を参照して、本発明の第１～第６の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、厚みの比率等は現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。また、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
　（第１の実施形態）
＜顔表情識別システム＞
　本発明の第１の実施形態に係る顔表情識別システムは、図１に示すように、中央演算処理装置（ＣＰＵ）１、記憶装置２、装着装置（ウェアラブルデバイス）３、複数の検出装置（光センサ）４ａ，４ｂ，４ｃ，４ｄ，４ｅ，４ｆ，４ｇ，４ｈ，４ｉ，４ｊ，４ｋ，４ｌ，４ｍ，４ｎ，４ｏ，４ｐ，４ｑ、入力装置５及び出力装置６を備える。ＣＰＵ１と、記憶装置２、検出装置４ａ～４ｑ、入力装置５及び出力装置６とは有線又は無線で信号を送受信可能である。
　装着装置３としては、人物の頭部に装着可能な眼鏡型のデバイスやヘッドマウントディスプレイ（ＨＭＤ）が使用可能であり、市販の眼鏡であってもよい。複数の検出装置４ａ～４ｑは、装着装置３に設けられ、装着装置３を頭部に装着したときの人物の顔面と装着装置３間の距離を複数箇所で検出する。複数の検出装置４ａ～４ｑとしては、反射型光センサ（フォトリフレクタ）や、焦電センサ、近接センサ、距離センサ等が使用可能である。例えば、フォトリフレクタは、装着装置３を装着した人物の顔面に赤外光を照射する発光ダイオード（ＬＥＤ）からなる発光部と、人物の顔面からの反射光を検出するフォトトランジスタからなる受光部とを有する。
　装着装置３は、例えば図２に示すような眼鏡型のデバイスである。検出装置４ａ～４ｑは、装着装置３のレンズ部分の周囲であって、装着装置３を装着した時に人物の顔面と対向する位置に設けられている。検出装置４ａ～４ｑは、例えば、人物の顔表情が変化した際に変動し易い部位である瞼や頬、眉間、目尻等と対向する位置に配置されることが好ましい。なお、検出装置４ａ～４ｑの配置位置は特に限定されず、識別したい顔表情の種類等に応じて適宜設定可能である。
　また、図２では１７個の検出装置４ａ～４ｑを示すが、検出装置４ａ～４ｑの個数は特に限定されず、少なくとも２個以上あればよく、顔表情の分類の種類や数、要求される識別精度等に応じて適宜選択可能である。例えば、図２に示した１６個の検出装置４ａ～４ｑのうち、８個の検出装置４ｂ，４ｈ，４ｊ，４ｋ，４ｌ，４ｏ，４ｐ，４ｑのみを用いて後述する７つの顔表情を識別可能である。
　本発明の第１の実施形態に係る顔表情識別システムは、図３に示すように、「無表情」、「微笑み」、「笑い」、「嫌悪」、「怒り」、「驚き」、「悲しみ」の７つの顔表情を識別する。なお、顔表情の分類の種類及び個数は特に限定されず、表情による差異が検出装置４ａ～４ｑで検出できるもので学習データ記憶部２０に学習データが格納できるものであればよい。例えば顔表情としては他にも「喜び」や「恐怖」等が挙げられる。
　本発明の第１の実施形態に係る顔表情識別システムは、人物の顔表情が変化する際の顔面筋の変動に起因する３次元的な皮膚変形を利用して顔表情を識別する。人物の顔表情が変化すると、人物の顔面の瞼や頬、眉間、目尻等の部位が変動し、個人差はあるが、人物の顔表情毎に各部位の変動量には共通した傾向が見られる。
　例えば図３（ａ）及び図３（ｂ）に、装着装置３を頭部に装着した人物が無表情の様子及び笑っている様子をそれぞれ示す。なお、図３（ａ）及び図３（ｂ）では、眼鏡型である装着装置３のテンプル部分は便宜的に省略し、検出装置４ａ，４ｊを模式的に示す。図３（ａ）に示すように、人物が無表情の場合に人物の瞼や頬があまり膨らまず、瞼や頬と検出装置４ａ，４ｊとの距離Ｄ１，Ｄ２が相対的に遠くなり、検出装置４ａ，４ｊにより検出される反射光の照度が低下する。一方、図３（ｂ）に示すように、人物が笑っている場合に瞼及び頬が膨らみ、瞼や頬と検出装置４ａ，４ｊとの距離Ｄ１，Ｄ２が相対的に近くなり、検出装置４ａ，４ｊにより検出される反射光の照度が増大する。このように、検出装置４ａ～４ｑは、人物の顔面と検出装置４ａ～４ｑとの距離に応じた検出結果（例えば電流値）をＣＰＵ１に出力する。なお、検出装置４ａ～４ｑの対向する顔面の部位によって反射の度合いが異なるため、検出装置４ａ～４ｑの配置位置に応じて検出装置４ａ～４ｑによる検出結果を適宜補正してもよい。また、識別したい顔表情の種類等に応じて検出装置４ａ～４ｑによる検出結果を適宜重み付けしてもよい。
　図１に示したＣＰＵ１は、機械学習部１０、顔表情識別部１１、地理情報取得部１２、顔表情マップ作成部１３及び推薦情報抽出部１４を備え、更に、顔表情識別システム全体を制御する制御回路、演算回路、データを一時記憶するレジスタ等を有する。なお、ＣＰＵ１の機能の一部又は全部が、装着装置３等に内蔵されていてもよい。
　機械学習部１０は、検出装置４ａ～４ｑによる過去の検出結果と顔表情との対応関係を教師データとして用いて機械学習を行うことにより学習データを生成する。機械学習部１０による機械学習の手法としては、公知のサポートベクターマシン（ＳＶＭ）やニューラルネットワーク等が使用可能である。
　図４は、機械学習部１０の機械学習に用いる検出装置４ａ～４ｑによる過去の検出結果と顔表情との対応関係の一例を示す。各プロットは、多数の人物が装着装置３を装着し、検出装置４ａ～４ｑによる検出結果を多数サンプリングして、各検出結果を顔表情毎に分類することで得られる。なお、ここでは多数の人物のサンプリング結果を示すが、顔表情の識別対象となるユーザ本人のサンプリング結果が含まれていてもよく、他者のみのサンプリング結果であってもよい。また、顔表情の識別対象となるユーザ本人或いは他者の単体のみのサンプリング結果を機械学習に用いてもよい。図４の縦軸は、各プロットにおいて検出装置４ａ～４ｑの出力値の多数のサンプリングの値の範囲が０から１となるように正規化した平均正規化値を示し、横軸のセンサ番号の１番～１６番は図２に示した検出装置４ａ～４ｑの順番に一致する。
　顔表情識別部１１は、例えば図４に示した検出装置４ａ～４ｑによる過去の検出結果と顔表情との対応関係を教師データとして用いて、ＳＶＭにより、検出装置４ａ～４ｑによる新たな検出結果を７つの顔表情に対応する領域（クラスタ）に分類するための超平面（境界面）を含む情報を学習データとして生成する。機械学習部１０により生成された学習データは、記憶装置２の学習データ記憶部２０に格納される。
　図１に示した顔表情識別部１１は、記憶装置２の学習データ記憶部２０に予め記憶された学習データを用いて、測定対象の人物に対する検出装置４ａ～４ｑによる検出結果に基づいて、測定対象の人物の顔表情を「無表情」、「微笑み」、「笑い」、「嫌悪」、「怒り」、「驚き」、「悲しみ」の７つの顔表情のいずれかに識別（分類）する。顔表情識別部１１は、例えば、検出装置４ａ～４ｑによる検出結果のパターンが、学習データ記憶部２０に記憶された学習データの７つのクラスタのうちどのクラスタに最も近いかを判定し、最も近いクラスタに対応する顔表情に分類する。顔表情識別部１１による顔表情の識別結果は、記憶装置２の顔表情記憶部２１に格納される。
　なお、顔表情識別部１１による識別結果を良好なものとするためには、顔表情の識別対象となる個人毎に学習データを記録し機械学習を行なうことが望ましいが、簡易的に他者で記録した学習データを別のユーザの顔表情の識別に用いることも可能である。また、他者で記録した学習データと比較して、計測結果が類似していた場合には、他者で記録した学習データを利用することで、個人毎のデータを学習する過程を簡便化することもできる。
　地理情報取得部１２は、全地球測位システム（ＧＰＳ）等から、顔表情識別部１１により顔表情を識別した時点における現在位置等の地理情報及び年月日等の時刻情報を取得し、記憶装置２の地理情報記憶部２２に格納する。
　顔表情マップ作成部１３は、顔表情識別部１１により識別された顔表情と、地理情報取得部１２により取得された地理情報及び時刻情報とを関連付けた顔表情マップを作成する。顔表情マップは、例えば図６に示すように、時刻情報及び地理情報毎に、７つの顔表情の割合（頻度）を示す。なお、顔表情マップは図６に示した態様に特に限定されず、例えば表形式の代わりに、地理情報に対応する地図上の位置に時刻情報や顔表情情報を配置する形式でもよい。また、顔表情マップは、複数の人物についての時刻情報、地理情報及び顔表情の識別結果を一括して纏めてもよく、顔表情情報も多数の人物の累積値であってもよい。顔表情マップ作成部１３により作成された顔表情マップは、顔表情マップ記憶部２３に格納される。
　推薦情報抽出部１４は、入力装置５を介して入力された顔表情、時刻情報、地理情報等の検索キーに基づいて、顔表情マップ作成部１３により作成された顔表情マップを検索し、検索キーに適合する顔表情、時刻情報、地理情報等を推薦情報として抽出する。例えば、検索キーとして入力された顔表情が「笑い」や「微笑み」であった場合、図６に示した顔表情マップから、「笑い」や「微笑み」の割合が相対的に高い「場所Ｂ」を推薦情報として抽出する。
　記憶装置２としては、例えば半導体メモリや磁気ディスク、光ディスク等が使用可能である。記憶装置２は、機械学習部１０により生成された学習データを記憶する学習データ記憶部２０、顔表情識別部１１による顔表情の識別結果を記憶する顔表情記憶部２１、地理情報取得部１２により取得された地理情報を記憶する地理情報記憶部２２、顔表情マップ作成部１３により作成された顔表情マップを記憶する顔表情マップ記憶部２３を有する。記憶装置２は更に、ＣＰＵ１が実行する顔表情識別プログラムやプログラムの実行に必要な各種データを記憶する。
　入力装置５としては、キーボードやマウス、タッチパネル、音声認識装置等が使用可能である。入力装置５は、ユーザからの顔表情、時刻情報、地理情報等の検索キーを受け付ける。出力装置６としては、液晶ディスプレイ（ＬＣＤ）等の表示装置やタブレット端末等が使用可能である。出力装置６は、顔表情識別部１１による顔表情の識別結果や、顔表情マップ作成部１３により作成された顔表情マップ、推薦情報抽出部１４により抽出された推薦情報を適宜出力（表示）する。
　＜顔表情識別方法＞
　次に、図７のフローチャートを参照しながら、本発明の第１の実施形態に係る顔表情マップ作成方法を含む顔表情識別方法の一例を説明する。なお、以下に示す顔表情識別方法はあくまでも一例であり、この手順に限定されるものではない。
　ステップＳ１０において、機械学習部１０が、図４に示したような検出装置４ａ～４ｑによる過去の検出結果と顔表情との対応関係を用いて機械学習を行うことにより学習データを生成し、学習データ記憶部２０に格納しておく。
　ステップＳ１１において、複数の検出装置４ａ～４ｑが、装着装置３を頭部に装着した測定対象となる人物の顔面と装着装置３間の距離を複数箇所で検出する。ステップＳ１２において、顔表情識別部１１が、学習データ記憶部２０に予め記憶された学習データを用いて、複数の検出装置４ａ～４ｑにより検出された現在の検出結果のパターン識別を行い、測定対象の人物の顔表情を、図４に示した７つの顔表情のいずれか（例えば「微笑み」）に識別する。
　ステップＳ１２において、地理情報取得部１２が、顔表情識別部１１による識別結果が得られた時点における現在位置等の地理情報をＧＰＳ等から取得する。地理情報取得部１２は更に、顔表情識別部１１による識別結果が得られた時点の時刻情報を取得する。ステップＳ１３において、顔表情マップ作成部１３が、顔表情識別部１１による識別結果と、地理情報取得部１２により取得された地理情報及び時刻情報とを対応付けて顔表情マップを作成する。顔表情マップ作成部１３により作成された顔表情マップは顔表情マップ記憶部２３に格納される。
　次に、図７のステップＳ１３において顔表情マップ作成部１３により作成された顔表情マップを用いた推薦情報表示方法の一例を、図８のフローチャートを参照しながら説明する。なお、図７及び図８に示した一連の処理は連続して行ってもよく、互いに並列で行ってもよい。
　ステップＳ２１において、推薦情報抽出部１４が、出力装置６に検索メニューを表示させる。そして、検索メニューからユーザにより選択された顔表情、地理情報及び時刻情報等の検索キーを入力装置５が受け付ける。ステップＳ２２において、推薦情報抽出部１４が、入力装置５が受け付けた検索キーに基づいて、顔表情マップ記憶部２３に記憶された顔表情マップを検索し、検索キーに適合する顔表情、地理情報及び時刻情報等を推薦情報として抽出する。ステップＳ２３において、出力装置６が、推薦情報抽出部１４により抽出された推薦情報を画面に表示する。
　＜顔表情識別プログラム＞
　本発明の第１の実施形態に係る顔表情識別プログラムは、図７及び図８に示した顔表情識別の手順をＣＰＵ１に実行させる。即ち、本発明の第１の実施形態に係る顔表情識別プログラムは、（ａ）複数の検出装置４ａ～４ｑが、装着装置３を頭部に装着した人物の顔面と、装着装置３との距離を検出する手順、（ｂ）記憶装置２に予め記憶された、複数の検出装置４ａ～４ｑによる過去の検出結果と顔表情との対応関係を機械学習して得られた学習データを用いて、複数の検出装置４ａ～４ｑによる検出結果に基づいて人物の顔表情を識別する手順、（ｃ）複数の検出装置４ａ～４ｑによる検出結果が得られた時点での地理情報を取得する手順、（ｄ）顔表情の識別結果と地理情報とを対応付けた顔表情マップを作成する手順等をＣＰＵ１等のコンピュータに実行させる。本発明の第１の実施形態に係る顔表情識別プログラムは、図１に示した記憶装置２等の記憶手段に記憶される。
　以上説明したように、本発明の第１の実施形態によれば、装着型の複数の検出装置４ａ～４ｑを用いて人物の顔表情を識別することにより、安価且つ簡潔な構成で、継続的（日常的）に低消費電力で顔表情を識別することが実現可能となる。更に、検出装置４ａ～４ｑは眼鏡用のフレームやＨＭＤの内部に取り付けることができるので、日常的な環境下や、ＨＭＤ装着時のように人物の顔が遮蔽される場合等のカメラでの撮像が難しい条件下においても、継続的且つ容易に顔表情を識別できる。したがって、ユーザに過大な負担をかけずに継続的にユーザの顔表情を識別して、顔表情マップを作成することができる。更に、作成した顔表情マップを用いて、ユーザの検索キーに応じた推薦情報を抽出・表示することにより、顔表情に関連した推薦情報をユーザに提示できる。
　（第２の実施形態）
　本発明の第２の実施形態に係る顔表情識別システムは、図９に示すように、ＣＰＵ１が機械学習部１０、顔表情識別部１１に加え、時刻情報取得部１５及び顔表情分布算出部１６を備え、図１に示した地理情報取得部１２、顔表情マップ作成部１３及び推薦情報抽出部１４を備えない点が、図１に示したＣＰＵ１の構成と異なる。また、記憶装置２が、学習データ記憶部２０、顔表情記憶部２１に加え、時刻情報記憶部２４及び顔表情分布記憶部２５を備え、図１に示した地理情報記憶部２２及び顔表情マップ記憶部２３を備えない点が、図１に示した記憶装置２の構成と異なる。
　ＣＰＵ１の時刻情報取得部１５は、顔表情識別部１１により顔表情を識別した時点での時刻情報を顔表情と対応付けて取得する。時刻情報取得部１５により取得された時刻情報は時刻情報記憶部２４に格納される。
　顔表情分布算出部１６は、例えば図１０に示すように、顔表情識別部１１による識別結果と、時刻情報取得部１５により取得された時刻情報とを関連付けた顔表情分布を算出する。図１０では、一日単位で７つの顔表情の割合（頻度）が示されている。なお、顔表情分布は図１０に示す態様に限定されず、例えば過去数日間の顔表情の割合を算出して配列してもよく、週単位又は月単位で顔表情の割合を算出してもよい。顔表情分布算出部１６により算出された顔表情分布は顔表情分布記憶部２５に格納される。
　本発明の第２の実施形態に係る顔表情識別システムの他の構成は、本発明の第１の実施形態に係る顔表情識別システムの構成と同様であるので、重複した説明を省略する。
　本発明の第２の実施形態に係る顔表情識別方法の一例を図１１のフローチャートに示す。ステップＳ３０～ステップＳ３２の手順は、図７のステップＳ１０～ステップＳ１２の手順と同様であるので重複した説明を省略する。ステップＳ３３において、時刻情報取得部１５が、顔表情識別部１１により顔表情を識別した時点の時刻情報を取得し、時刻情報記憶部２４に格納する。
　次に、本発明の第２の実施形態に係る顔表情分布表示方法の一例を図１２のフローチャートに示す。ステップＳ４１において、顔表情分布算出部１６が、出力装置６に入力画面を表示させる。ユーザから入力装置５を介して確認したいユーザ情報が入力される。ステップＳ４２において、顔表情分布算出部１６が、顔表情識別部１１にユーザ情報に適合した人物の一日当たりの顔表情分布を算出する。ステップＳ４３において、出力装置６が、顔表情分布算出部１６により算出された顔表情分布を出力する。なお、図１１及び図１２に示した一連の処理は連続して又は互いに並列で行ってもよい。
　本発明の第２の実施形態によれば、本発明の第１の実施形態と同様に、装着型の検出装置４ａ～４ｑを用いて人物の顔表情を識別することにより、安価且つ簡潔な構成で、継続的（日常的）に低消費電力で顔表情を識別することが実現可能となる。更に、検出装置４ａ～４ｑは眼鏡用のフレームやＨＭＤの内部に取り付けることができるので、日常的な環境下や、ＨＭＤ装着時のように人物の顔が遮蔽される場合等のカメラでの撮像が難しい条件下においても、継続的且つ容易に顔表情を識別できる。したがって、ユーザに過大な負担をかけずに継続的にユーザの顔表情を識別して、顔表情分布を作成することができる。
　更に、顔表情分布算出部１６が、顔表情識別部１１による識別結果と時刻情報取得部１５により取得された時刻情報とを関連付けた顔表情分布を算出して出力装置６に表示させることにより、ユーザは顔表情分布から遠隔地に居住又は滞在する家族等の人物の様子を推測することができ、遠隔地に居住又は滞在する家族等の人物をネットワーク経由で見守ることができる。
　なお、本発明の第１及び第２の実施形態において、装着装置３が眼鏡型のデバイスである場合を主に例示したが、例えば、図１３に示すように、装着装置３がバーチャルリアリティ環境において視覚情報を提示可能なＨＭＤであってもよい。図示を省略するが、装着装置３の内側には、例えば図２に示した検出装置４ａ～４ｑと同様の１７個の検出装置と表示部とが設けられている。
　図１４に示すように、装着装置３の内側の表示部４０には、装着装置３を装着したユーザのバーチャルアバター４１と、装着装置３と同様の装着装置を装着した他者のバーチャルアバター４２とがオンラインサービス上で表示されている。顔表情識別部１１は、第１及び第２の実施形態と同様にユーザ及び他者の顔表情をそれぞれ識別する。顔表情識別部１１は更に、顔表情の識別結果をネットワーク上へ伝送し、伝送された顔表情の識別結果に応じて、バーチャルアバター４１，４２の顔表情をそれぞれ変化させることにより、ユーザ及び他者の顔表情とバーチャルアバター４１，４２の顔表情とをそれぞれ同期させることができる。これにより、没入型オンラインゲーム等においての表情コミュニケーションが実現可能となる。
　なお、装着装置３が眼鏡型のデバイス等である場合にも、顔表情識別部１１が顔表情の識別結果をネットワーク上へ伝送し、伝送された識別結果に応じて出力装置６の画面に表示されたオンラインサービス上のアバターの顔表情を変化させてもよい。
　（第３の実施形態）
　本発明の第３の実施形態に係る顔表情識別システムは、図１５に示すように、ＣＰＵ１、記憶装置２、装着装置３、入力装置５及び出力装置６を備える。ＣＰＵ１と、記憶装置２、装着装置３、入力装置５及び出力装置６とは、有線又は無線で信号やデータを互いに送受信可能である。
　本発明の第３の実施形態では、装着装置３がＨＭＤである場合を例示する。ＨＭＤを用いたバーチャルリアリティ（ＶＲ）は、没入型ゲームや、遠隔地とのコミュニケーション等の幅広い用途での利用が期待されている。ＨＭＤを用いたＶＲでは、バーチャル環境にユーザが実際に存在するかのような没入感をユーザに与えることができる。更には、ユーザの分身としてのバーチャルアバター（以下、単に「アバター」と称する）を介してコミュニケーションを図ることにより、ＨＭＤでユーザの顔の上部が覆われている場合でも円滑なコミュニケーションを実現でき、プライバシーの観点からバーチャル環境に実際の顔が露出することを好まない人間にとっても好適である。
　ここで、アバターを用いた顔表情コミュニケーションを実現するために、ＨＭＤを装着しているユーザの顔表情を適切に識別し、ユーザの顔表情をアバターの顔画像に適切に反映させることが重要となる。なお、アバターとは、バーチャル環境においてユーザの分身となる２次元又は３次元のキャラクタを意味する。アバターは、人間の姿を模擬していてもよく、動物やロボットの姿を模擬していてもよいが、本明細書中ではユーザの複数種の顔表情に対応する複数種の顔表情を表現可能なキャラクタが採用可能である。
　装着装置３は、複数（１６個）の検出装置（光センサ）６１ａ，６１ｂ，６１ｃ，６１ｄ，６１ｅ，６１ｆ，６１ｇ，６１ｈ，６１ｉ，６１ｊ，６１ｋ，６１ｌ，６１ｍ，６１ｎ，６１ｏ，６１ｐ及び表示部６２を備える。光センサ６１ａ～６１ｐは、図１に示した検出装置４ａ～４ｑと同様の装置が使用可能であり、例えば反射型光センサ（フォトリフレクタ）等が使用可能である。光センサ６１ａ～６１ｐは、装着装置３を装着したときにユーザの顔面と対向する複数箇所にそれぞれ配置されている。光センサ６１ａ～６１ｐは、装着装置３を装着したユーザの顔面と装着装置３の間の距離を複数箇所で検出する。
　図１６は、頭部に装着する側から見た装着装置３の一例を示す。装着装置３の本体部７１にはフレキシブル回路基板７２が固定されている。フレキシブル回路基板７２のユーザの両目と対向する位置には２つの開口部が設けられ、２つの開口部の位置には一対のレンズ７３ａ，７３ｂが配置されている。フレキシブル回路基板７２には、１６個の光センサ６１ａ～６１ｐが配置されている。このうち、１４個の光センサ６１ａ～６１ｆ，６１ｈ～６１ｎ，６１ｐは、一対のレンズ７３ａ，７３ｂの周囲に配置されている。
　具体的には、光センサ６１ａは、装着装置３を装着したユーザの眉間近傍と対向する。光センサ６１ｂ～６１ｄは、ユーザの左眉近傍と対向する。光センサ６１ｅは、ユーザの左目尻近傍と対向する。光センサ６１ｆ，６１ｈは、ユーザの左目の下近傍と対向する。光センサ６１ｉは、ユーザの眉間近傍と対向する。光センサ６１ｊ～６１ｌは、ユーザの右眉近傍と対向する。光センサ６１ｍは、ユーザの右目尻近傍と対向する。光センサ６１ｎ，６１ｐは、ユーザの右目の下近傍と対向する。
　フレキシブル回路基板７２は、本体部７１の下部に突出した２つの部分を有し、突出した２つの部分に２個の光センサ６１ｇ，６１ｏがそれぞれ配置されている。２個の光センサ６１ｇ，６１ｏは、装着装置３を装着したユーザの頬近傍と対向する。頬の筋肉は口の筋肉と連結されているので、頬の動きを測定することで口周辺の状態を推定することができる。
　図１７は、ユーザが装着装置３を装着した様子を示す。図１７では模式的に、装着装置３の本体部７１を透過して光センサ６１ａ～６１ｐが見えるように示している。光センサ６１ａ～６１ｐは、ユーザの目や頬等の顔面と、装着装置３との間の距離Ｄ（矢印で図示）を複数箇所で検出する。なお、光センサ６１ａ～６１ｐの配置位置や数は特に限定されず、識別したい顔表情の種類等に応じて適宜設定可能である。
　図１５に示した表示部６２は、図１６に示した本体部７１のレンズ７３ａ，７３ｂの奥側に配置されている。本発明の第３の実施形態では、表示部６２として没入型（非透過型）の構造を例示するが、ハーフミラー等を用いて現実環境とアバターが重畳して視認可能な透過型の構造であってもよく、単眼のみに画像を投影する構造であってもよい。
　図１５に示したＣＰＵ１は、アバター表示制御部３１、学習データ生成部３２及び顔表情識別部３３を備え、更に、顔表情識別システム全体を制御する制御回路、演算回路、データを一時記憶するレジスタ等を有する。なお、ＣＰＵ１の機能の一部が他の装置により実現されてもよく、ＣＰＵ１の機能の一部又は全部が、装着装置３に内蔵されたマイクロプロセッサ等で実現されてもよい。
　記憶装置２は、アバターデータ記憶部５０、学習データ記憶部５１、光センサデータ記憶部５２及び識別結果記憶部５３を備える。アバターデータ記憶部５０は、アバターの顔画像を含むアバターに関する情報を記憶する。学習データ記憶部５１は、学習データ生成部３２により生成される機械学習用のデータセットや、顔表情識別部３３が機械学習して得られる学習データ（識別関数等）を記憶する。光センサデータ記憶部５２は、光センサ６１ａ～６１ｐにより検出された検出結果のデータ（センサ値）を記憶する。識別結果記憶部５３は、顔表情識別部３３による顔表情の識別結果を記憶する。記憶装置２は更に、ＣＰＵ１が実行する顔表情識別プログラムやプログラムの実行に必要な各種データを記憶する。記憶装置２が記憶する全部又は一部の情報が、装着装置３に内蔵されたメモリに記憶されていてもよい。
　本発明の第３の実施形態においては、機械学習用のデータセットの生成方法を含む機械学習方法（学習フェーズ）と、機械学習により得られた学習データを用いた顔表情識方法（識別フェーズ）について説明するが、学習フェーズ及び識別フェーズで同一のアバターを使用してもよく、異なるアバターを使用してもよい。アバターデータ記憶部５０は、学習フェーズ及び識別フェーズで使用する単数又は複数のアバターに関する情報を格納する。
　アバターデータ記憶部５０は、アバターの複数種の顔表情（顔画像）のデータを記憶している。アバターの顔画像は、例えば図４に模式的に示したように、「無表情」、「微笑み」、「笑い」、「嫌悪」、「怒り」、「驚き」、「悲しみ」等の人間の顔表情を模擬している。アバターの種類にもよるが、例えば、「無表情」は口を横に結ぶことで、「微笑み」は口角を持ち上げることで、「笑い」は目を細めて口を開くことでそれぞれ表現し得る。「嫌悪」は眉間に皺を寄せて目尻を上げることで、「怒り」は「嫌悪」よりも更に眉間に皺を寄せ、眉尻を上げることでそれぞれ表現し得る。「驚き」は目を見開いて口を開くことで、「悲しみ」は眉尻を下げることでそれぞれ表現し得る。アバターデータ記憶部５は更に、眉の上下、両目又は固めの開閉、口の開閉等の部分的に変化させた顔画像のデータを記憶していてもよい。アバターデータ記憶部５０に記憶されるアバターの顔画像の数及び種類は特に限定されない。
　アバター表示制御部３１は、学習フェーズにおいて、入力装置５を介して入力された指示情報等に基づいて、アバターデータ記憶部５０に格納されたアバターの複数の顔画像のデータから、機械学習によって識別したい顔表情に対応するアバターの顔画像のデータを抽出する。アバター表示制御部３１は、図１８（ａ）に示すように、抽出した顔表情のアバター１００の画像を表示するように装着装置３の表示部６２を制御する。図１８（ａ）ではアバター１００の顔画像が「笑い」である場合を例示する。
　アバター表示制御部３１は、アバターデータ記憶部５０に格納されたアバターの複数の顔画像のデータから、機械学習によって識別したい顔表情に対応するアバターの顔画像のデータを順次抽出し、図１８（ｂ）に示すように、表示部６２に表示されるアバター１００の顔画像を、抽出した顔画像に順次更新していく。図１８（ｂ）ではアバター１００の顔画像が「微笑み」である場合を例示する。アバター１００の顔画像を更新するタイミングは適宜設定可能である。例えば、所定の時間が経過後のタイミングや、光センサ６１ａ～６１ｐにより所定のフレーム数を検出後のタイミング、ユーザから入力装置５を介して入力された指示情報に応じたタイミング等であってもよい。
　アバター表示制御部３１は、アバター１００の顔画像の表示前、表示後、又は表示と同時に、図１８（ａ）及び図１８（ｂ）に示すように、「アバターの顔画像を真似て下さい」等の文字情報を表示部６２に表示させ、ユーザにアバター１００の表情を真似るように促す。表示部６２に文字情報を表示する代わりに、装着装置３に取り付けられている図示を省略したヘッドフォンやスピーカ等による音声情報を使用してもよい。なお、アバター表示制御部３１は、ユーザにアバター１００の表情を真似るように継続的又は断続的に促してもよいが、アバター１００の顔画像を最初に表示する際に、ユーザにアバター１００の表情を真似るように促した後は、文字情報や音声情報の提示を停止してもよい。また、アバターの顔画像に対応する文字情報や音声情報を補助的に提示してもよい。例えば、アバターの顔画像が「笑い」の場合には、「笑って下さい」等の文字情報や音声情報を補助的に提示してもよい。
　光センサ６１ａ～６１ｐは、装着装置３を装着したユーザがアバターの顔画像を真似したときの顔面と装着装置３の間の距離を所定のフレーム数検出する。アバター表示制御部３１がユーザにアバターの顔画像を真似るように促してから、或いは表示部６２にアバターを表示してから、ユーザがアバターの顔画像の種類を認識し、ユーザの顔表情がアバターの顔画像に対応する顔表情に変化するまでにはタイムラグが発生する。このため、光センサ６１ａ～６１ｐは、ユーザにアバターの顔画像を真似るように促してから、或いは表示部６２にアバターを表示してから所定時間経過後に検出のタイミングや、入力装置５を介して入力された指示情報に応じたタイミングで検出を開始してもよい。
　光センサ６１ａ～６１ｐにより検出される検出結果のデータ（センサ値）は、同一の顔表情をした場合でも個人差があるため、個人間で平衡をとるように前処理（キャリブレーション）が行われる。例えば、顔表情が「無表情」のときに検出されたセンサ値の平均値を０．５、複数種の顔表情のときに検出されたセンサ値のうちのそれぞれにおいて最大値を１、最小値を０として正規化を行う。センサ値は、例えば図１９に示すように、距離とセンサ値が線形的関係を実現するように線形補完される。
　学習データ生成部３２は、学習フェーズにおいて、光センサ６１ａ～６１ｐからのセンサ値を入力データとして、機械学習用のデータセットを生成する。例えば、学習データ生成部３２は、光センサ６１ａ～６１ｐからのセンサ値を顔表情毎の部分集合（クラスタ）に分類するクラスタリング処理を行う。
　学習データ生成部３２は更に、分類されたクラスタに、アバター表示制御部３１により抽出され、センサ値を検出するときに表示部６２に表示していたアバターの顔画像の種類（例えば「微笑み」、「悲しみ」等）に対応するラベルを付与するラベリング処理を行い、ラベルを付与されたクラスタを機械学習用のデータセット（サンプリング結果）として学習データ記憶部５１に格納する。このように、機械学習用のデータセットが生成され、これを個人毎に学習データ記憶部５１に格納していくことで、顔表情認識のための学習データベースを構築することができる。
　顔表情識別部３３は、学習フェーズにおいて、学習データ記憶部５１に格納された機械学習用のデータセットを入力データとして、ニューラルネットワークやサポートベクタマシン等により、装着装置３を装着したユーザの顔表情を識別するための機械学習を行う。顔表情識別部３３は、例えば図２０に模式的に示すように、入力層Ｌ１１、隠れ層Ｌ１２及び出力層Ｌ１３を含む多層パーセプトロンで構成されたニューラルネットワークを用いて、誤差伝播法（ＢＰ）により機械学習を行う。
　図２０に示したニューラルネットワークにおいて、マルチクラス分類問題であるため、例えば活性化関数には正規化線形関数を採用し、誤差関数には交差エントロピー法を採用し、出力層Ｌ３の活性化関数にはソフトマックス（softmax）関数を採用する。この場合、ニューラルネットワークは、入力層Ｌ１１に入力された顔表情と、この顔表情に対応する教師信号が付与された複数の訓練した表情のそれぞれとの類似度を出力層Ｌ１３から出力し、類似度が最も高い顔表情を識別結果とする。誤差逆伝播法（ＢＰ）では、出力層Ｌ１３から出力される各テンプレート表情に対する類似度のうち、正解の表情に対する類似度が高くなるように（換言すれば、正解の表情に対する類似度の最大値との誤差が小さくなるように）、出力層Ｌ１３から入力層Ｌ１１にかけて、誤差の勾配を逆伝播させることで重みを修正する。
　また、人間の顔表情は、例えば「無表情」から「笑い」に瞬間的に変化するのではなく、「無表情」から「笑い」に遷移する途中に中間表情が存在し、徐々に連続的に（滑らかに）変化するものである。この顔表情の連続的な変化の識別と、識別結果に応じたアバターの顔表情の連続的な変化を実現するため、顔表情識別部３３は、図２１に示すように、入力層Ｌ２１、隠れ層Ｌ２２、出力層Ｌ２３で構成された回帰ニューラルネットワークを実装してもよい。
　図２１に示した回帰ニューラルネットワークにおいて、例えば活性化関数には正規化線形関数を採用し、誤差関数には平均二乗関数を採用し、出力層Ｌ２３の活性化関数には双曲線タンジェント（hyperbolic tangent）関数を採用する。図２１に示すように、例えば顔表情が「笑い」の回帰ニューラルネットワークの場合には、「無表情」に対する類似度を最小値の０、「笑い」に対する類似度を最大値の１と設定する。図２１に示した回帰ニューラルネットワークと同様の回帰ニューラルネットワークが、識別したい顔表情数だけ実装され、図２０に示したニューラルネットワークのマルチクラス分類の結果に依存するように使用される。
　アバターデータ記憶部５０は、「無表情」や「笑い」等の代表的な顔表情間の中間表情を記憶していてもよい。中間表情は、例えばアバターのテクスチャ・ジオメトリのモーフィングにより生成可能である。アバター表示制御部３１は、学習フェーズにおいて、アバター１００の顔画像のデータから、「無表情」や「笑い」等の代表的な顔表情と、その顔表情間の中間表情を抽出する。そして、アバター表示制御部３１は、抽出した代表的な顔表情及びその中間表情を連続的に装着装置３の表示部６２に表示する。これにより、中間表情も識別するための機械学習用のデータセットを生成可能となる。
　顔表情識別部３３は、識別フェーズにおいて、図２２に示すように、学習データであるマルチクラス分類器８０を用いて、光センサ６１ａ～６１ｐからのセンサ値を入力データとして、装着装置３を装着したユーザの顔表情を識別する。顔表情識別部３３は、例えば、訓練した複数種のテンプレート表情に対する類似度を算出し、類似度が最も高い表情を顔表情として識別する。例えば、図２２に示すように、訓練した表情として「微笑み」、「怒り」、「驚き」、「悲しみ」の４種類があり、「微笑み」に対する類似度が０．８、「怒り」に対する類似度が０．２、「驚き」に対する類似度が０．１、「悲しみ」に対する類似度が０．１といった類似度として識別する。
　顔表情識別部３３は更に、図２２に示すように、学習データである「微笑み」、「怒り」、「驚き」、「悲しみ」の回帰ネットワーク８１～８４を用いて、光センサ６１ａ～６１ｐからのセンサ値を入力データとして、装着装置３を装着したユーザの中間表情を識別してもよい。
　アバター表示制御部３１は、識別フェーズにおいて、顔表情識別部３３による識別結果に基づいて、アバターデータ記憶部５０から、ユーザの顔表情に対応するアバターの顔画像のデータを抽出する。アバター表示制御部３１は更に、抽出したアバターの顔画像のデータを伝送し、装着装置３の表示部６２、ディスプレイ等の出力装置６、或いは通信ネットワークを介した通信相手が装着している装着装置の表示部等に表示させる。例えば、装着装置３の表示部６２に、図１４に示した表示画像と同様に、ユーザ本人のアバターの顔画像と通信相手のアバターの顔画像が表示される。
　アバター表示制御部３１は、コミュニケーション相手がコンピュータである場合には、ユーザの顔表情に対応したアバターの顔画像を表示する代わりに、ユーザの顔表情の識別結果に応じた他の表示をしてもよい。例えば、ユーザの顔表情が「怒り」と識別された場合に、「驚き」や「不安」を模擬した顔画像のキャラクタを装着装置３の表示部６２に表示したり、「どうしましたか？」、「大丈夫ですか？」等の文字情報や音声情報を提示したりしてもよい。
　本発明の第３の実施形態に係る顔表情識別システムの他の構成は、図１に示した第１の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。
　＜機械学習方法＞
　次に、図２３のフローチャートを参照しながら、本発明の第３の実施形態に係る顔表情識別システムを用いた機械学習方法（学習フェーズ）の一例を説明する。
　ステップＳ５１において、アバター表示制御部３１は、入力装置５を介して入力された指示情報等に基づいて、アバターデータ記憶部５０から、機械学習によって識別したい顔表情に対応するアバターの顔画像のデータを抽出する。そして、アバター表示制御部３１は、抽出した顔表情のアバターを装着装置の表示部６２に表示させるとともに、装着装置３を装着したユーザにアバターの顔画像を真似るように促す。ステップＳ５２において、光センサ６１ａ～６１ｐが、装着装置３を装着したユーザがアバターの顔画像を真似したときのセンサ値を取得する。
　ステップＳ５３において、アバター表示制御部３１は、機械学習によって識別したい所定の顔表情数についてのセンサ値を取得したか否かを判定する。所定の顔表情数のセンサ値を取得していないと判定された場合、ステップＳ５０に戻り、残りの顔表情について同様の処理を繰り返す。例えば、５種類の顔表情について、１００フレームずつ、１０セットで合計５０００セットのデータセットを取得する。ステップＳ５３において所定の顔表情数のセンサ値を取得したと判定された場合、ステップＳ５４に移行する。
　ステップＳ５４において、学習データ生成部３２が、光センサ６１ａ～６１ｐのセンサ値を顔表情毎のクラスタに分類する。ステップＳ５５において、学習データ生成部３２が、分類されたクラスタに、アバター表示制御部３１により生成されたアバターの顔画像に対応するラベルを付与することにより、機械学習用のデータセットを生成する。学習データ生成部３２が、生成した機械学習用のデータセットを学習データ記憶部５１に格納する。ステップＳ５５において、顔表情識別部３３は、学習データ記憶部５１に格納された機械学習用のデータセットを用いて、顔表情を識別するための機械学習を行う。
　＜顔表情識別方法＞
　次に、図２４のフローチャートを参照しながら、本発明の第３の実施形態に係る顔表情識別方法（識別フェーズ）の一例を説明する。
　ステップＳ６１において、装着装置３がユーザの頭部に装着されている状態で、光センサ６１ａ～６１ｐがセンサ値を取得する。ステップＳ６２において、顔表情識別部３３は、光センサ６１ａ～６１ｐからのセンサ値を入力データとして、学習データ記憶部５１に格納された学習データを読み込んで、装着装置３を装着したユーザの顔表情を識別する。
　ステップＳ６３において、アバター表示制御部３１は、顔表情識別部３３による識別結果に基づいて、装着装置３を装着したユーザの顔表情に対応するアバターの顔画像のデータをアバターデータ記憶部５０から抽出する。アバター表示制御部３１は、抽出したアバターの顔画像を、装着装置３の表示部６２や、通信相手の装着装置の表示部等に表示させる。
　＜実験例＞
　学習フェーズにおいて、装着装置３の表示部６２に４種類のアバターの顔画像を周期的に表示し、装着装置３を装着したユーザがアバターの顔画像を真似たときに光センサ６１ａ～６１ｐがセンサ情報を１００フレームずつ取得した。図２５は、得られた光センサ６１ａ～６１ｐのセンサ値に対して主成分分析による第１主成分の算出結果を示す。
　図２６（ａ）～図２６（ｃ）は、眉を動かした場合のセンサ値の変化を示す。図２６（ａ）～図２６（ｃ）の左側は、眉を上げた状態、眉が通常の状態、眉を下げた状態をそれぞれ模式的に示し、図２６（ａ）～図２６（ｃ）の右側には、各状態のときのセンサ値を示す。図２６（ａ）～図２６（ｃ）の右側のグラフの縦軸はセンサ値の平均正規化値を示し、横軸のセンサ番号は、図１５～図１７に示した光センサ６１ａ～６１ｐに順次対応する（例えば、センサ番号の１番が光センサ６１ａに対応する。以降の図２７（ａ）～図２７（ｃ）、図２９（ａ）～図２９（ｃ）、図３０（ａ）及び図３０（ｂ）も同様である。）。但し、２番のセンサ値はデータが欠落している。図２６（ａ）～図２６（ｃ）に示すように、３番や１２番等の眉の位置に近いセンサ値は各状態で大きく変動しており、眉の動きが反映されていることが分かる。一方、６番や１４番等の眉の位置と離れたセンサ値は変動が少ないことが分かる。
　図２７（ａ）～図２７（ｃ）は、目を開閉した場合のセンサ値の変化を示す。図２７（ａ）～図２７（ｃ）の左側は、右目だけ閉じた状態、左目だけ閉じた状態、両目を閉じた（強くつぶった）状態をそれぞれ模式的に示し、図２７（ａ）～図２７（ｃ）の右側には、各状態のときのセンサ値を示す。図２７（ａ）に示すように、右目だけ閉じた状態では右目部分にある１２番のセンサ値が他に比べて変動していることが分かる。また、図２７（ｂ）に示すように、左目だけ閉じた状態では３，４，５番のセンサ値が他に比べて変動していることが分かる。また、図２７（ｃ）に示すように、両目を閉じた状態では、１番や９番のセンサ値が変動していることが分かる。
　図２８（ａ）には、図２７（ａ）～図２７（ｃ）の各状態に通常状態（両目を開けた状態）を加えたクラスタの分類結果を示し、図２８（ｂ）には、図２８（ａ）に対応する真値を示す。図２８（ａ）及び図２８（ｂ）に示すように、目の開閉については、通常状態、右目だけ閉じた状態、左目だけ閉じた状態、両目を閉じた状態でそれぞれ、大部分のデータを正しいクラスに分類できていることが分かる。
　図２９（ａ）～図２９（ｃ）、図３０（ａ）及び図３０（ｂ）は、口の動きを変化させた場合のセンサ値を示す。図２９（ａ）～図２９（ｃ）、図３０（ａ）及び図３０（ｂ）の左側は、ユーザの口を「ア」「イ」「ウ」「エ」「オ」を発声するときの形に変化させた状態をそれぞれ模式的に示し、図２９（ａ）～図２９（ｃ）、図３０（ａ）及び図３０（ｂ）の右側には、各状態のときのセンサ値を示す。図２９（ａ）～図２９（ｃ）、図３０（ａ）及び図３０（ｂ）に示すように、７番目及び１５番目の頬の位置に近いセンサ値が変動していることが分かる。
　図３１（ａ）には、図２９（ａ）～図２９（ｃ）、図３０（ａ）及び図３０（ｂ）の各状態のクラスタの分類結果を示し、図３１（ｂ）には、図３１（ａ）に対応する真値を示す。図３１（ａ）及び図３１（ｂ）に示すように、「エ」、「オ」等を中心に混ざってしまったが、「ウ」の口の動きだけが他の動きに比べてクラス間距離が離れており、良好に分類できていることが分かる。また、「ア」及び「イ」の状態、「エ」の状態、「ウ」及び「オ」の状態の３つのクラスタに分類可能であることが分かる。
　図３２（ａ）は、「無表情」、「微笑み」、「怒り」、「驚き」、「悲しみ」の５種類の顔表情の分類ネットワークの訓練データを示し、図３２（ｂ）は、主成分分析による第１主成分を示し、図３２（ｃ）は、主成分分析による第２主成分を示す。図３２（ａ）～図３２（ｃ）から、ユーザがアバターの顔画像を真似したときに、センサ値が変化していることが分かる。
　図３３（ａ）は、「微笑み」、「怒り」、「驚き」、「悲しみ」の４種類の顔表情を徐々に変化させたときの回帰ネットワークの訓練データを示し、図３３（ｂ）は、主成分分析による第１主成分を示す。図３４（ａ）は、ターゲットとする顔表情を示し、図３４（ｂ）は、マルチクラス分類の結果を示す。図３５（ａ）～図３５（ｄ）は、図３４（ｂ）に示したマルチクラス分類をマージした、「微笑み」、「怒り」、「驚き」、「悲しみ」の回帰結果をそれぞれ示す。図３５（ａ）～図３５（ｄ）から、各回帰の出力が線形に変化していることが分かる。
　以上説明したように、本発明の第３の実施形態によれば、学習フェーズにおいて、装着装置３の表示部６２にアバターを表示し、表示したアバターの表情をユーザが真似したときの光センサ６１ａ～６１ｐからのセンサ値から機械学習用のデータセットを生成することにより、機械学習用のデータセットを短時間で効率的に収集することができる。この際、ユーザはアバターの顔画像を真似すればよいので、アバターの表情を直感的に把握して真似ることができ、音声情報で顔表情を指示する場合よりもユーザの負担を低減することができる。更に、表示したアバターの顔画像の時系列を考慮して記録したデータに対して、ラベリングを行ない機械学習のための訓練データとするが、提示しているアバターとユーザの顔表情の間に時間的なずれが発生することがある。これに対して、クラスタリングよる分類又は推定モデルを参照することで時間的なずれを補正してラベリングを行うことができる。
　更に、識別フェーズにおいて、ユーザの顔表情の識別結果に基づいてアバターの顔画像を変化させる際に、学習フェーズでユーザが真似したアバターと同一又は類似のアバターを使用すれば、例えば口の開閉の程度や、眉の上下の程度等の部位の細かい動きについてもユーザが想定するようにアバターの顔画像を適切に変化させることができ、ユーザの感情をより鮮明に表現することができる。
　（第４の実施形態）
　本発明の第４の実施形態に係る顔表情識別システムは、図３６に示すように、装着装置３がずれセンサ６３を更に備える点と、ＣＰＵ１がずれ量算出部３４及び修正提示部３５を更に備える点と、記憶装置２がずれデータ記憶部５５を更に備える点が、図１５に示した第３の実施形態に係る顔表情識別システムと異なる。他の構成は図１５に示した第３の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。
　ずれセンサ６３としては、変位センサや測長センサが使用可能である。ずれセンサ６３は、装着装置３の光センサ６１ａ～６１ｐとは異なる位置に配置されている。ずれセンサ６３は１つのみ配置されていてもよく、複数個配置されていてもよい。ずれセンサ６３は、装着位置３を装着したユーザの目等のランドマークに基づいて、装着位置３を正常に装着したときの位置を基準位置として、基準位置に対する前後方向、上下方向、左右方向の少なくとも１方向のずれを検出する。ずれセンサ６３による検出結果はずれデータ記憶部５５に格納される。なお、ずれセンサ６３を個別に備えていなくても、顔表情検出のための距離検出に使用している光センサ６１ａ～６１ｐのセンサ値をずれの検出に用いることもできる。
　ずれ量算出部３４は、ずれセンサ６３による検出結果又は光センサ６１ａ～６１ｐのセンサ値の分布から、基準位置に対するずれ量及びずれ方向を検出する。例えば、図３７は、装着装置３を前後方向のずらしたときの種々の顔表情に対する光センサ６１ａ～６１ｐのセンサ値の変化を示すグラフである。レベル１～４でずれ量を変化させており、レベルの数値が高いほど装着装置３と人物の顔面との距離が遠くにずれている。ずれ量算出部３４は、図３７に示した光センサ６１ａ～６１ｐのセンサ値の一部を用いて、回帰により、図３８に示すように装着装置３の前後方向のずれ量を算出する。
　図３９（ａ）～図４２（ｂ）は、図３７に示した種々の顔表情に対するセンサ値の変化を、顔表情毎に分けたグラフである。図３９（ａ）は「無表情」、図３９（ｂ）は「喜び」、図４０（ａ）は「嫌悪」、図４０（ｂ）は「怒り」、図４１（ａ）は「驚き」、図４１（ｂ）は「恐怖」、図４２（ａ）は「悲しみ」、図４２（ｂ）は「軽蔑」に対するセンサ値の変化をそれぞれ示す。図３９（ａ）～図４２（ｂ）に示すように、レベルの数値が高く装着装置３と人物の顔面との距離が遠いほど、センサ値は全体的に低下する傾向がある。
　修正提示部３５は、ずれ量算出部３４により算出されたずれ量が所定の閾値以上の場合に、装着装置３を装着したユーザにずれの修正内容を提示し、ずれを修正するようにユーザに促す。所定の閾値は適宜設定可能であり、ずれデータ記憶部５５に予め格納されていてもよい。修正提示部３５は、ユーザにずれの修正内容を提示する際には、例えば「装着装置が右上方向にずれています」、「装着装置を左下方向に修正して下さい」等の修正方向を示す文字情報や、矢印等の修正方向を示す画像を表示部６２に表示してもよい。また、文字情報や画像の代わりに、音声情報を出力してもよく、或いは装着装置３のずれの修正方向が直感的に分かるように振動等でユーザの触覚に対して提示してもよい。
　本発明の第４の実施形態に係る顔表情識別システムを用いた機械学習方法の一例は、図２３に示した本発明の第３の実施形態に係る機械学習方法と基本的には同様とし、ステップＳ５２において、光センサ６１ａ～６１ｐによる検出と同時に、ずれセンサ６３がずれを検出する。また、ステップＳ５５において、学習データ生成部３２は、光センサ６１ａ～６１ｐによるセンサ値に対して、顔表情及びずれに対応するラベルを付与することにより機械学習用のデータセットを生成する。ずれに対応するラベルの情報は、例えば入力装置５を介して入力されてもよい。
　次に、図４３のフローチャートを参照しながら、本発明の第４の実施形態に係る顔表情識別方法の一例を説明する。
　ステップＳ７１において、光センサ６１ａ～６１ｐが、装着装置３を装着したユーザの顔面と装着装置３の間の距離を検出する。ステップＳ７２において、ずれセンサ６３がずれを検出する。ずれ量算出部３４が、ずれセンサ６３の検出結果に基づいて、ずれ量及びずれ方向を算出する。ステップＳ７３において、修正提示部３５は、ずれ量算出部３４により算出されたずれ量が所定の閾値以上か否かを判定する。ずれ量が所定の閾値以上の場合に、ステップＳ７４に移行して、修正提示部３５は、ずれを修正するようにユーザに修正内容を提示する。
　一方、ステップＳ７３において、ずれ量が所定の閾値未満の場合には、ステップＳ７６に移行し、顔表情識別部３３は、ずれに応じたラベルが付与された学習データを選択し、選択した学習データを用いてユーザの顔表情を識別する。ステップＳ７６において、アバター表示制御部１１が、顔表情識別部３３による識別結果に基づいて、アバターの顔画像を抽出し、抽出した顔表情のアバターを装着装置３の表示部６２等に表示する。
　以上説明したように、本発明の第４の実施形態によれば、装着装置３を装着したときのずれを検出して、ずれに応じたラベルが付与された学習データを選択することにより、顔表情を適切に識別することができる。また、装着装置３を装着したときのずれを検出して、ユーザに対してずれを修正するように促すことにより、装着装置３のずれを適切に修正することができる。
　（第５の実施形態）
　本発明の第５の実施形態に係る顔表情識別システムは、図４４に示すように、装着装置３が血流センサ６４を更に備える点と、記憶装置２が血流データ記憶部５６を更に備える点が、図１５に示した第３の実施形態に係る顔表情識別システムと異なる。他の構成は図１５に示した第３の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。
　血流センサ６４は、装着装置３を装着したユーザの血流量を検出する。血流センサ６４は、多波長の光を発光する光源と、多波長の反射光の光強度を検出する検出部とを備える。血流センサ６４は、頬等の顔色を計測し易い位置に多波長の光を照射し、反射光の光強度に基づいて血流量を検出する。例えば、血液中の赤血球に含まれるヘモグロビンは緑色の光を吸収する性質を持っており、血流量が増大するほどヘモグロビンが増え、多波長の光を照射したときに緑色の光が吸収されやすくなることを利用し、反射光のうちの緑色の波長の光強度に基づいて血流量を検出可能である。血流センサ６４により検出された血流量は、血流データ記憶部５６に記憶される。
　顔表情識別部３３は、血流センサ６４により検出された血流量を所定の閾値と比較することにより、ユーザの顔色を識別する。例えば、血流センサ６４により検出された血流量が第１の閾値以上の場合、顔表情識別部３３は、ユーザの顔色を「赤面」と識別する。また、血流センサ６４により検出された血流量が、第１の閾値未満である第２の閾値未満の場合、顔表情識別部３３は、ユーザの顔色を「蒼白」と識別する。血流センサ６４により検出された血流量が第１の閾値未満かつ第２の閾値以上の場合、顔表情識別部３３は、ユーザの顔色を「通常」と識別する。
　アバター表示制御部３１は、顔表情識別部３３によるユーザの顔表情及び顔色の識別結果に基づいて、アバターの顔画像を変化させる。アバター表示制御部３１は、例えばアバターの顔画像として、「赤面」且つ「怒り」の顔画像を表示したり、「蒼白」且つ「驚き」の顔画像を表示したりすることができる。
　以上説明したように、本発明の第５の実施形態によれば、装着装置３を装着したユーザの顔表情に加えて顔色も識別することにより、ユーザの感情をより詳細に識別することができる。更に、ユーザの顔色の識別結果に応じてアバターの顔色も変化させることにより、ＶＲ環境での表情コミュニケーションの自由度を向上させることができる。
　（第６の実施形態）
　本発明の第６の実施形態に係る顔表情識別システムは、図４５に示すように、ＣＰＵ１が光センサ調整部３７を更に備える点が、図１５に示した第３の実施形態に係る顔表情識別システムと異なる。他の構成は図１５に示した第３の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。
　光センサ調整部３７は、学習フェーズ又は識別フェーズのキャリブレーション時等において、光センサ６１ａ～６１ｐのセンサ値に応じて、光センサ６１ａ～６１ｐの発光強度及び感度を調整する。例えば、光センサ調整部３７は、光センサ６１ａ～６１ｐのセンサ値のうち、最大値及び最小値を抽出する。光センサ調整部３７は、抽出した最大値及び最小値を所定の閾値と比較することにより、光センサ６１ａ～６１ｐの発光強度及び感度の調整が必要か否かを判定する。
　光センサ６１ａ～６１ｐの発光強度及び感度の調整が必要と判定された場合に、光センサ調整部３７は、光センサ６１ａ～６１ｐの可変抵抗の値を調整することにより、発光強度及び感度を調整する。例えば、光センサ６１ａ～６１ｐのセンサ値の最大値が第１の閾値以上と判定された場合、光センサ６１ａ～６１ｐの可変抵抗の値を大きくすることにより、光センサ６１ａ～６１ｐの発光強度及び感度を低減する。また、光センサ６１ａ～６１ｐのセンサ値の最小値が、第１の閾値よりも小さい第２の閾値未満と判定された場合、光センサ６１ａ～６１ｐの可変抵抗の値を小さくすることにより、光センサ６１ａ～６１ｐの発光強度及び感度を増大する。
　次に、図４６のフローチャートを参照しながら、本発明の第６の実施形態に係る顔表情識別システムを用いた光センサの発光強度の調整方法の一例を説明する。なお、本発明の第６の実施形態に係る顔表情識別システムを用いた光センサの発光強度の調整方法は、例えば学習フェーズ又は識別フェーズのキャリブレーション時に実行される。
　ステップＳ８１において、光センサ６１ａ～６１ｐがセンサ値（反射強度）を取得する。ステップＳ８２において、光センサ調整部３７は、光センサ６１ａ～６１ｐにより取得されたセンサ値（反射強度）の最大値及び最小値を抽出する。
　ステップＳ８３において、光センサ調整部３７は、抽出した最大値及び最小値を所定の閾値と比較することにより、光センサ６１ａ～６１ｐの発光強度及び感度を調整する必要が有るか否かを判定する。光センサ６１ａ～６１ｐの発光強度及び感度の調整が必要と判定された場合には、ステップＳ８４に移行し、光センサ６１ａ～６１ｐの可変抵抗を調整することにより、光センサ６１ａ～６１ｐの発光強度及び感度を調整する。一方、ステップＳ８３において光センサ６１ａ～６１ｐの発光強度及び感度の調整が不要と判定された場合には、処理を完了する。
　以上説明したように、本発明の第６の実施形態によれば、光センサ６１ａ～６１ｐの反射強度情報に基づいて光センサ６１ａ～６１ｐの発光強度及び感度を調整することにより、適切なレンジでセンサ値を検出することができる。
　（その他の実施形態）
　上記のように、本発明は第１～第６の実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
　例えば、本発明の第１～第６の実施形態において、装着装置３が、装着装置３を装着したユーザの顔面の皮膚の移動量を検出する反射型イメージセンサを更に備えていてもよい。或いは、装着装置３が、光センサ６１ａ～６１ｐを用いる代わりに、装着装置３を装着したユーザの顔面の皮膚の移動量を検出する反射型イメージセンサを備えていてもよい。反射型イメージセンサとしては、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサが使用可能である。反射型イメージセンサは、例えば１次元又は２次元の顔面の皮膚の移動量を検出する。表情識別部３３は、光センサ６１ａ～６１ｐからのセンサ値と、反射型イメージセンサからの移動量に基づいて、装着装置３を装着したユーザの顔表情を識別する。これにより、ユーザの顔表情の識別精度を更に向上させることができる。
　また、本発明の第１～第６の実施形態において、装着装置３を装着しているユーザ本人の学習データが学習データ記憶部５１に格納されている場合には、顔表情識別部３３は、ユーザ本人の学習データを読み出して、顔表情を識別してもよい。一方、装着装置３を装着しているユーザ本人の学習データが学習データ記憶部５１に格納されていない場合には、顔表情識別部３３は、学習データ記憶部５１に格納されている他者の学習データを用いてよい。
　この場合、顔表情識別部３３は、光センサ６１ａ～６１ｐのセンサ値と、装着装置３を装着しているユーザの現在の顔表情に対応するラベルを入力データとして、他者の学習データ毎に、ユーザの現在の顔表情に対応するラベルと同一のラベルが付与された（同一の顔表情の）テンプレート表情に対する類似度を算出する。顔表情識別部３３は更に、類似度が最も高い他者の学習データを読み込んで、ユーザの顔表情を識別する。
　これにより、装着装置３を装着しているユーザ本人の学習データが無い場合であっても、ユーザと類似する他者の学習データを利用して、適切に顔表情を識別することができる。なお、ユーザの顔表情に対応するラベルは、入力装置５を介して入力されたものを使用してもよい。また、本発明の第３の実施形態のように、アバター表示制御部３１により抽出されたアバターの顔画像をユーザが真似て光センサ６１ａ～６１ｐのセンサ値を検出している場合には、アバター表示制御部３１により抽出されたアバターの顔画像のデータに基づいてラベルを生成してもよい。
　また、第１～第６の実施形態に係る顔表情識別システムの各構成を互いに組み合わせてもよい。例えば、図１に示したＣＰＵ１が、図９に示した時刻情報取得部１５及び顔表情分布算出部１６を更に備え、図１に示した記憶装置２が、図９に示した地理情報記憶部２２及び顔表情マップ記憶部２３を更に備えていてもよい。また、第１～第６の実施形態に係る機械学習方法（学習フェーズ）の処理と、第１～第６の実施形態に係る顔表情識別方法（識別方法）の処理とを、互いに異なる実施形態同士で組み合わせてもよい。
　本発明は、自動的に顔表情を識別する顔表情識別システム、顔表情識別方法及び顔表情識別プログラムに利用可能である。
１…中央演算処理装置（ＣＰＵ）
２…記憶装置
３…装着装置
４ａ，４ｂ，４ｃ，４ｄ，４ｅ，４ｆ，４ｇ，４ｈ，４ｉ，４ｊ，４ｋ，４ｌ，４ｍ，４ｎ，４ｏ，４ｐ，４ｑ…検出装置
５…入力装置
６…出力装置
１０…機械学習部
１１…顔表情識別部３３
１２…地理情報取得部
１３…顔表情マップ作成部
１４…推薦情報抽出部
１５…時刻情報取得部
１６…顔表情分布算出部
２０…学習データ記憶部
２１…顔表情記憶部
２２…地理情報記憶部
２３…顔表情マップ記憶部
２４…時刻情報記憶部
２５…顔表情分布記憶部
３１…アバター表示制御部
３２…学習データ生成部
３３…顔表情識別部
４０…表示部
４１，４２…アバター
５０…アバターデータ記憶部
５１…学習データ記憶部
５２…光センサデータ記憶部
５３…識別結果記憶部
６１ａ，６１ｂ，６１ｃ，６１ｄ，６１ｅ，６１ｆ，６１ｇ，６１ｈ，６１ｉ，６１ｊ，６１ｋ，６１ｌ，６１ｍ，６１ｎ，６１ｏ，６１ｐ…検出装置
６２…表示部
７１…本体部
７２…フレキシブル回路基板
７３ａ，７３ｂ…レンズ
８０…マルチクラス分類器
８１～８４…回帰ネットワーク
１００…アバター

Claims (15)

  1. 　人物の頭部に装着可能な装着装置と、
    　前記装着装置の前記人物の顔面に対向する複数箇所にそれぞれ配置され、前記装着装置を装着したときの前記顔面と前記装着装置間の距離を前記複数箇所でそれぞれ検出する、複数の検出装置と、
    　前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶する記憶装置と、
    　前記学習データを前記記憶装置から読み出し、前記複数の検出装置による検出結果を入力データとして前記人物の顔表情を識別する顔表情識別部と、
    　を備えることを特徴とする顔表情識別システム。
  2. 　前記複数の検出装置による検出結果が得られた時点での地理情報を取得する地理情報取得部と、
    　前記顔表情識別部による識別結果のデータと、前記地理情報取得部により取得された地理情報とを対応付けた顔表情マップを作成する顔表情マップ作成部と、
    　を更に備えることを特徴とする請求項１に記載の顔表情識別システム。
  3. 　ユーザから検索キーの入力データを受け付ける入力装置と、
    　前記顔表情マップ作成部により作成された顔表情マップに基づいて、前記検索キーに適合する地理情報を推薦情報として抽出する推薦情報抽出部と、
    　前記推薦情報抽出部により抽出された推薦情報を出力する出力装置と、
    　を更に備えることを特徴とする請求項２に記載の顔表情識別システム。
  4. 　前記複数の検出装置による検出結果のデータが得られた時点での時刻情報を取得する時刻情報取得部と、
    　前記顔表情識別部による識別結果のデータと、前記時刻情報取得部により取得された時刻情報とを対応付けた顔表情分布を算出する顔表情分布算出部と、
    　を更に備えることを特徴とする請求項１～３のいずれか１項に記載の顔表情識別システム。
  5. 　前記装着装置が、表示部を有するヘッドマウントディスプレイであり、
    　前記顔表情識別部による識別結果と同期して、前記表示部に表示される前記人物のアバターの顔画像のデータを変化させることを特徴とする請求項１～４のいずれか１項に記載の顔表情識別システム。
  6. 　前記顔表情識別部による識別結果のデータをネットワーク上で伝送し、前記伝送された識別結果のデータに応じてオンラインサービス上の前記人物のアバターの顔画像のデータを変化させることを特徴とする請求項１～５のいずれか１項に記載の顔表情識別システム。
  7. 　前記装着装置が表示部を有し、
    　前記機械学習のための顔画像のアバターを表示するように前記表示部を制御するアバター表示制御部と、
    　前記アバターの顔画像のデータと、前記アバターの顔画像のデータを前記表示部に表示したときの前記複数の検出装置による検出結果のデータとを対応付けることにより、前記機械学習のためのデータセットを生成する学習データ生成部
    　とを更に備えることを特徴とする請求項１に記載の顔表情識別システム。
  8. 　前記複数の検出装置による検出結果のデータを入力データとして、前記装着装置を装着したときのずれ量を算出するずれ量算出部を更に備え、
    　前記顔表情識別部が、前記ずれ量に対応付けられた前記学習データを用いて、前記人物の顔表情を識別する
    　ことを特徴とする請求項１に記載の顔表情識別システム。
  9. 　前記複数の検出装置による検出結果のデータを入力データとして、前記装着装置を装着したときのずれ量を算出するずれ量算出部を更に備え、
    　前記ずれ量を入力データとして、前記装着装置を装着した人物に対して前記ずれの修正内容を提示する修正提示部
    　を更に備えることを特徴とする請求項１に記載の顔表情識別システム。
  10. 　前記学習データ記憶部が、前記装着装置を装着している人物と異なる複数の他者の前記学習データを格納し、
    　前記顔表情識別部が、前記複数の検出装置の検出結果のデータと前記複数の他者の学習データとの類似度をそれぞれ算出し、
    　前記算出された類似度が最も高い前記他者の学習データを用いて、前記人物の顔表情を識別する
    　ことを特徴とする請求項１に記載の顔表情識別システム。
  11. 　前記装着装置が、前記人物の血流量を検出する血流センサを備え、
    　前記顔表情識別部が、前記検出された血流量のデータを入力データとして、前記人物の顔色を識別することを特徴とする請求項１に記載の顔表情識別システム。
  12. 　前記複数の検出装置がそれぞれ光センサであり、
    　前記光センサによる検出結果のデータを入力データとして、前記複数箇所における前記光センサの発光強度を調整する光センサ調整部を更に備える
    　ことを特徴とする請求項１に記載の顔表情識別システム。
  13. 　前記装着装置が、前記人物の顔面の皮膚の移動量を検出するイメージセンサを備え、
    　前記顔表情識別部が、前記複数の検出装置による検出結果のデータ及び前記検出された移動量のデータを入力データとして、前記人物の顔表情を識別する
    　ことを特徴とする請求項１に記載の顔表情識別システム。
  14. 　装着装置の複数箇所にそれぞれ配置された複数の検出装置が、前記装着装置を人物の頭部に装着したときの前記人物の顔面と前記装着装置間の距離を前記複数箇所で検出するステップと、
    　記憶装置に記憶された、前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを前記記憶装置から読み出し、顔表情識別部が前記複数の検出装置による検出結果のデータを入力データとして前記人物の顔表情を識別するステップ
    とを含むことを特徴とする顔表情識別方法。
  15. 　装着装置の複数箇所にそれぞれ配置された複数の検出装置に、前記装着装置を人物の頭部に装着したときの前記人物の顔面と前記装着装置間の距離を前記複数箇所で検出させる手順と、
    　記憶装置に記憶された、前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを前記記憶装置から読み出させ、前記複数の検出装置による検出結果のデータを入力データとして前記人物の顔表情を顔表情識別部に識別させる手順と、
    　を含む一連の処理をコンピュータに実行させることを特徴とする顔表情識別プログラム。
PCT/JP2016/069683 2015-07-03 2016-07-01 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム Ceased WO2017006872A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017527431A JP6850723B2 (ja) 2015-07-03 2016-07-01 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-134460 2015-07-03
JP2015134460 2015-07-03

Publications (1)

Publication Number Publication Date
WO2017006872A1 true WO2017006872A1 (ja) 2017-01-12

Family

ID=57685715

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069683 Ceased WO2017006872A1 (ja) 2015-07-03 2016-07-01 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム

Country Status (2)

Country Link
JP (1) JP6850723B2 (ja)
WO (1) WO2017006872A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2561537A (en) * 2017-02-27 2018-10-24 Emteq Ltd Optical muscle sensor
CN109670393A (zh) * 2018-09-26 2019-04-23 平安科技（深圳）有限公司 人脸数据采集方法、设备、装置及计算机可读存储介质
JP2019096130A (ja) * 2017-11-24 2019-06-20 Kddi株式会社 モーフィング画像生成装置及びモーフィング画像生成方法
KR20190130179A (ko) * 2018-04-13 2019-11-22 인하대학교 산학협력단 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
JP2020052793A (ja) * 2018-09-27 2020-04-02 株式会社Ｎｔｔドコモ システム
KR102108422B1 (ko) * 2019-08-07 2020-05-11 (주)자이언트스텝 Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
WO2020170645A1 (ja) * 2019-02-22 2020-08-27 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR20200119546A (ko) * 2019-04-10 2020-10-20 한양대학교 산학협력단 전자 장치, 아바타 얼굴 표정 표시 시스템 및 제어 방법
CN112106066A (zh) * 2018-03-16 2020-12-18 奇跃公司 根据眼睛跟踪相机的面部表情
WO2021145243A1 (ja) * 2020-01-16 2021-07-22 株式会社コロプラ プログラム、コンピュータが実行する方法及びコンピュータ
WO2022117776A1 (fr) * 2020-12-04 2022-06-09 Socialdream Dispositif immersif
WO2023287425A1 (en) * 2021-07-16 2023-01-19 Hewlett-Packard Development Company, L.P. Identification of facial expression of head-mountable display wearer
US20230035961A1 (en) * 2021-07-29 2023-02-02 Fannie Liu Emoji recommendation system using user context and biosignals
JP2023509822A (ja) * 2020-01-17 2023-03-10 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー 表情トラッキングのためのシステムおよび方法
CN111240482B (zh) * 2020-01-10 2023-06-30 北京字节跳动网络技术有限公司 一种特效展示方法及装置
JP2024069276A (ja) * 2018-10-09 2024-05-21 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11803237B2 (en) 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021707A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法
JP2015092646A (ja) * 2013-11-08 2015-05-14 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015031996A (ja) * 2013-07-31 2015-02-16 Kddi株式会社 携帯型動き検出装置、感情情報集計装置、感情情報取得報知システム、感情情報取得報知方法およびコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021707A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法
JP2015092646A (ja) * 2013-11-08 2015-05-14 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836236B2 (en) 2017-02-27 2023-12-05 Emteq Limited Optical expression detection
GB2561537A (en) * 2017-02-27 2018-10-24 Emteq Ltd Optical muscle sensor
GB2561537B (en) * 2017-02-27 2022-10-12 Emteq Ltd Optical expression detection
US12229237B2 (en) 2017-02-27 2025-02-18 Emteq Limited Optical expression detection
US11538279B2 (en) 2017-02-27 2022-12-27 Emteq Limited Optical expression detection
US11003899B2 (en) 2017-02-27 2021-05-11 Emteq Limited Optical expression detection
JP2019096130A (ja) * 2017-11-24 2019-06-20 Kddi株式会社 モーフィング画像生成装置及びモーフィング画像生成方法
JP2021517689A (ja) * 2018-03-16 2021-07-26 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼追跡カメラからの顔の表情
JP2023096152A (ja) * 2018-03-16 2023-07-06 マジック リープ， インコーポレイテッド 眼追跡カメラからの顔の表情
JP7344894B2 (ja) 2018-03-16 2023-09-14 マジック リープ， インコーポレイテッド 眼追跡カメラからの顔の表情
CN112106066A (zh) * 2018-03-16 2020-12-18 奇跃公司 根据眼睛跟踪相机的面部表情
KR20190130179A (ko) * 2018-04-13 2019-11-22 인하대학교 산학협력단 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
KR102138809B1 (ko) * 2018-04-13 2020-07-28 인하대학교 산학협력단 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
CN109670393B (zh) * 2018-09-26 2023-12-19 平安科技（深圳）有限公司 人脸数据采集方法、设备、装置及计算机可读存储介质
CN109670393A (zh) * 2018-09-26 2019-04-23 平安科技（深圳）有限公司 人脸数据采集方法、设备、装置及计算机可读存储介质
JP2020052793A (ja) * 2018-09-27 2020-04-02 株式会社Ｎｔｔドコモ システム
JP2024069276A (ja) * 2018-10-09 2024-05-21 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
JP7697085B2 (ja) 2018-10-09 2025-06-23 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
US20220084196A1 (en) * 2019-02-22 2022-03-17 Sony Group Corporation Information processing apparatus, information processing method, and program
CN113423334A (zh) * 2019-02-22 2021-09-21 索尼集团公司 信息处理设备、信息处理方法和程序
WO2020170645A1 (ja) * 2019-02-22 2020-08-27 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US12169929B2 (en) * 2019-02-22 2024-12-17 Sony Group Corporation Information processing apparatus and information processing method
KR102243040B1 (ko) * 2019-04-10 2021-04-21 한양대학교 산학협력단 전자 장치, 아바타 얼굴 표정 표시 시스템 및 제어 방법
US11106899B2 (en) 2019-04-10 2021-08-31 Industry University Cooperation Foundation Hanyang University Electronic device, avatar facial expression system and controlling method thereof
KR20200119546A (ko) * 2019-04-10 2020-10-20 한양대학교 산학협력단 전자 장치, 아바타 얼굴 표정 표시 시스템 및 제어 방법
KR102108422B1 (ko) * 2019-08-07 2020-05-11 (주)자이언트스텝 Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
WO2021025279A1 (ko) * 2019-08-07 2021-02-11 (주)자이언트스텝 Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
CN111240482B (zh) * 2020-01-10 2023-06-30 北京字节跳动网络技术有限公司 一种特效展示方法及装置
JP2021114036A (ja) * 2020-01-16 2021-08-05 株式会社コロプラ プログラム、コンピュータが実行する方法及びコンピュータ
WO2021145243A1 (ja) * 2020-01-16 2021-07-22 株式会社コロプラ プログラム、コンピュータが実行する方法及びコンピュータ
JP7295045B2 (ja) 2020-01-16 2023-06-20 株式会社コロプラ プログラム、コンピュータが実行する方法及びコンピュータ
JP2023509822A (ja) * 2020-01-17 2023-03-10 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー 表情トラッキングのためのシステムおよび方法
WO2022117776A1 (fr) * 2020-12-04 2022-06-09 Socialdream Dispositif immersif
FR3117221A1 (fr) * 2020-12-04 2022-06-10 Socialdream dispositif immersif
US12613413B2 (en) 2020-12-04 2026-04-28 Socialdream Immersive audio-visual headset
WO2023287425A1 (en) * 2021-07-16 2023-01-19 Hewlett-Packard Development Company, L.P. Identification of facial expression of head-mountable display wearer
US11765115B2 (en) * 2021-07-29 2023-09-19 Snap Inc. Emoji recommendation system using user context and biosignals
US20230035961A1 (en) * 2021-07-29 2023-02-02 Fannie Liu Emoji recommendation system using user context and biosignals

Also Published As

Publication number Publication date
JPWO2017006872A1 (ja) 2018-04-19
JP6850723B2 (ja) 2021-03-31

Similar Documents

Publication Publication Date Title
JP6850723B2 (ja) 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム
US12120423B2 (en) Augmented reality display with frame modulation functionality
JP7529710B2 (ja) 複合現実較正のための眼球周囲試験
US11430169B2 (en) Animating virtual avatar facial movements
KR102516112B1 (ko) 증강 현실 아이덴티티 검증
JP2021509495A (ja) ディスプレイデバイスのための向上された姿勢決定
CN115769174A (zh) 用于最佳注视辨别的化身定制
CN112106066A (zh) 根据眼睛跟踪相机的面部表情
US9482622B2 (en) Methods and apparatus for surface classification
US11720168B1 (en) Inferred body movement using wearable RF antennas
TWI829944B (zh) 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法
US20240029330A1 (en) Apparatus and method for generating a virtual avatar
US20220331196A1 (en) Biofeedback-based control of sexual stimulation devices
US20250199758A1 (en) Automatic Quantitative Food Intake Tracking
US12213930B2 (en) Adaptive speech and biofeedback control of sexual stimulation devices
Şencan Intention mining: surfacing and reshaping deep intentions by proactive human computer interaction
US12141937B1 (en) Fitness system
WO2025193843A1 (en) Hand-based light estimation for extended reality
KR20240036433A (ko) 가상 공간에 배치되는 아바타 오브젝트의 페르소나를 결정하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16821341

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017527431

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16821341

Country of ref document: EP

Kind code of ref document: A1