JPWO2007043712A1 - 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム - Google Patents
感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム Download PDFInfo
- Publication number
- JPWO2007043712A1 JPWO2007043712A1 JP2007540234A JP2007540234A JPWO2007043712A1 JP WO2007043712 A1 JPWO2007043712 A1 JP WO2007043712A1 JP 2007540234 A JP2007540234 A JP 2007540234A JP 2007540234 A JP2007540234 A JP 2007540234A JP WO2007043712 A1 JPWO2007043712 A1 JP WO2007043712A1
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- face
- subject
- evaluation
- months
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
乳児などの感情表現が困難な被験体についての表情画像データベースとして用い、各顔画像から抽出した特徴量を用いて表情を推定する方法を提案する。特徴量として顔領域のガボールフィルタの出力値を用い、それを識別器に入力して表情の名称を出力する。このとき、データベースとして乳児などの被験体の顔画像のみを用いることで、Ａｃｔｉｏｎ Ｕｎｉｔを用いることなく乳児などの被験体の表情を認識することが可能である。
Description
この発明は、顔画像および顔サーモグラフィーを用いた、乳児などの感情を表現しないかすることが難しい被験体について感情を判定する方法、システム、装置、プログラム、それを記録した記録媒体など（すなわち、翻訳機ともいう）に関する。
従来から顔画像を用いた表情認識技術があるが、多くの場合では対象を成人に限定しており、乳児を対象とした表情（情動）認識技術はない。また、認識時には表情動作の基本単位（Ａｃｔｉｏｎ Ｕｎｉｔ）を用いて表情を認識するのが一般的である。しかし、Ａｃｔｉｏｎ Ｕｎｉｔは成人を対象として作成されたものであり、乳幼児に対してそのまま適用することができないという問題がある。さらに表情以外の生理学的・客観的手法を用いて乳児の感情を評価する技術は確立されていない。さらに乳児の顔画像データベースが存在しないため、画像ベースの認識も困難であるという問題がある。
また、顔識別のための技術としては、従来から提案されている顔識別器に用いられているアルゴリズムの代表的なものとしては、主成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＰＣＡ）、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：ＬＤＡ）、ニューラル・ネットワーク（ＮｅｕｒａｌＮｅｔｗｏｒｋ：ＮＮ）等を応用したものがある。これらを含む一般的な顔識別アルゴリズムとしては、入力された顔画像（入力顔画像）に最も類似するものを登録されている顔データ（登録顔画像）の中から選択するものがある。
本発明に関連する先行文献として、次のものが挙げられる。
特開２０００−２２２５７６号公報
特開平４−３４２０７８号公報
特開平３−２５２７７５号公報
特開２００４−１８１２１８号公報
特開２００５−４４３３０
特開２００１−４３３４５号公報
特開平８−２４９４５３号公報
特開平１１−２３２４５６号公報
特開平１０−２５５０４３号公報
「平均顔を用いた顔印象分析」（永田、金子、原島：電子情報通信学会論文誌Ａ，Ｖｏｌ．８０−Ａ，Ｎｏ．８，ｐｐ．１２６６−１２７２
電子情報通信学会誌 Ｖｏｌ．８５ Ｎｏ．９ ｐｐ．６８０−６８５ ２００２月９月人間とコンピュータによる顔表情の認識〔Ｉ〕−コミュニケーションにおける表情とコンピュータによるその自動解析−赤松 茂
電子情報通信学会誌 Ｖｏｌ．８５ Ｎｏ．１０ ｐｐ７６６−７７１ ２００２年１０月人間とコンピュータによる顔表情の認識〔ＩＩ〕−コンピュータによる顔表情認識技術（１）：表情による感情の認識−赤松 茂
電子情報通信学会誌 Ｖｏｌ．８６ Ｎｏ．１ ｐｐ５４−６１２００３年１月人間とコンピュータによる顔表情の認識〔ＩＶ・完〕−コンピュータによる顔表情認識の展望：人間による表情認知に学ぶ−赤松 茂
電子情報通信学会誌 Ｖｏｌ．８５ Ｎｏ．１２ ｐｐ．９３６−９４１ ２００２月１２月人間とコンピュータによる顔表情の認識〔ＩＩＩ〕−コミュニケーションによる顔表情認識技術（２）：顔面の表情動作の認識−赤松 茂
また、顔識別のための技術としては、従来から提案されている顔識別器に用いられているアルゴリズムの代表的なものとしては、主成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＰＣＡ）、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：ＬＤＡ）、ニューラル・ネットワーク（ＮｅｕｒａｌＮｅｔｗｏｒｋ：ＮＮ）等を応用したものがある。これらを含む一般的な顔識別アルゴリズムとしては、入力された顔画像（入力顔画像）に最も類似するものを登録されている顔データ（登録顔画像）の中から選択するものがある。
本発明に関連する先行文献として、次のものが挙げられる。
例えば特許文献１には、画像を取得する映像取得手段と、取得された画像情報から人の頭部を検出する頭部検出追跡手段と、検出された頭部の部分画像中から正面顔画像を取得する正面顔位置合わせ手段と、正面顔画像を特徴量に変換する顔特徴抽出手段と、識別辞書を用いて特徴量から人物を識別する顔識別手段と、識別辞書を保存する識別辞書記憶手段とからなる人物識別装置が開示されている。そして、この顔識別手段は、線形判別辞書と特徴データから、登録されている人物の類似度を算出し、類似度が最大値のものを選択し、更にこの最大類似度を閥値処理して他人かどうかを判定する。
従来のデジタルカメラ付きの携帯電話やパーソナルコンピュータにおいて、デジタルカメラで撮った人物像の心理を人物像の表情を用いて決定する効率よい方法は存在しない。
人間の表情のうち、６種類の基本表情（怒り、嫌悪、恐れ、悲しみ、幸福、驚き）は人種・文化によらず共通であることが知られている。基本表情は、それぞれの表情が独立に生成される場合もあるが、複数の表情が連続して生成される場合もある。
従来の表情認識技術は以上のように構成されているので、人物の表情を認識する場合、その多くは、笑い、怒り、喜び、悲しみといった表情的にも、感情的にも大きく異なるものを扱う（そのような表情認識をカテゴリー別表情認識ということにする）ものであり、例えば、表情のはっきりしない乳幼児などの患者の状態を把握したい場合でも、一かゼロかという形で状態を判定していた。従って、表情認識装置を用いて表情の各度合いの状態を判定し、記述する有効な従来の技術、および表情の度合いを段階的に変化させた複数の状態の記述の労力を軽減させる従来の技術は見当たらず、また、表情の各度合いの状態を記述するもととなる顔画像や、認識対象の実写顔画像の方向が一致していない場合、それに対応させるために処理が複雑になるなどの課題があった。
特許文献２に示された従来の表情認識装置では、顔面全体にわたって筋肉の微少な動きを計測し、その時間的変化をパターン化し、そのパターンに基づいて、感情を表す表情の認識を行う手法が開示されている。
従来の表情認識装置としては、この他にも、筋肉の動きをパターン化して、標準表情パターンとの照合により表情認識する、特許文献３に示されたもの、あるいは、職種を同じとする複数の人間の平均顔から印象を指し示すパラメータを抽出する、非特許文献１に示されたものなどもある。
乳児の感情推定に特化した方法としては、生体情報センサから得られる音声と脈拍数を用いる方法（特許文献４）がある。一方、画像を用いた表情認識の方法としては、アダブーストとサポートベクタマシンを用いる手法（特許文献５）、表情遷移マップを用いた表情の度合いを判定する手法（特許文献６）、特徴ベクトルを量子化して得られるシンボル列を隠れマルコフモデルに入力して尤度が最大となる表情名を出力する手法（特許文献７）、顔動画像から抽出した移動ベクトルと隠れマルコフモデルを用いて表情を認識するもの（特許文献８）があるが、対象が乳児に特化したものではない。
特許文献９において記載される方法では、顔動画像から顔要素の速度ベクトルを算出してフーリエ変換し、そのフーリエ変換係数から特徴ベクトルを抽出し、各表情ごとに連続した出力確率を正規分布を用いて近似した複数の隠れマルコフモデル（ＨＭＭ）を作成し、ＨＭＭによって特徴ベクトルを生成する確率を算出し、算出したＨＭＭに対応する表情を認識結果とするものである。
このように、従来の顔画像を用いた表情認識では、入力された顔画像の表情名のみを出力するものが多いが、乳幼児の表情画像における表情判定には暖昧性があり、一意に表情名を出力することが困難な場合が多い。
非特許文献２は、表情認識の能力はコンピュータによる表情認識が目指すべき理想を示している。
該非特許文献２では、（ａ）〜（ｌ）までの１２個の技術目標が上げられており、例えば、（ｂ）顔の持ち主の年齢、人種、性別、あるいは外観（髭の有無、髪型など）によらずに有効であること、（ｃ）照明や背景の変化に対して頑健な処理であること、（ｉ）実際の人間が作り得る任意の表情を感情に対応づけることができること、などが記載されている。これらの目標課題のうち、〔（ａ）顔画像の入力から表情の解析結果の出力に至るまでの各ステップは自動的に処理されること〕については一部の研究で既に達成されているが、残りについてはまだほとんど未着手あるいは未完成であるのが現状であると記載されている。（ｉ）等は表情の認識に固有の課題といえる。
また、非特許文献３に記載されるように、これまでに成人の表情のデータベースが存在している。非特許文献３が記載するように、多様な表情の顔画像を集めたデータベースは、静止画像に関していえば、Ｅｋｍａｎ＆Ｆｒｉｅｓｅｎの顔画像セットに代表されるように、表情認知の心理実験で視覚刺激とする目的で収集されたもののなかに、一般的に公開されているものもある。しかしこれらの多くは、画像入力条件に対する統制や、同一人物・同一表情の顔画像データサンプル数が十分でないという点で、必ずしもここで取り扱うパターン認識の問題における学習サンプル、テストサンプルとして適しているとは言い難い。そこで、多くの研究では、研究者や研究機関が独自に収集した表情の画像データを用いているのが現状であるという課題がある。
非特許文献４は、多くの制約を設けた実験室環境の下でという条件付きとはいえ、今日では、顔画像の入力から表情が表している感情カテゴリーの認識までを自動かつほぼリアルタイムで処理できる「動くシステム」の構築に成功している事例も少なくない。しかしそれらは５〜７種類の基本感情を意識的に（しかも普段目にすることがまれなほどに強調した形で）表出した表情を入念にコントロールされた条件で顔画像として入力し、これを基本感情に対応する感情カテゴリーに強制的に分類するという、実験目的に限定されたタスクを実現したものであった。人間が顔表情を介して自然にやり取りしている感情情報をコンピュータで読み取れるようにすることで、機械が言葉によらない人間の意図をくみ取って対応してくれるような、高度なヒューマンインターフェースを実現したい、という最終目標と照らせば、表情認識の研究はようやく緒についたところといえると記載している。つまり、従来の代表的な成人の表情データベースは、データの収集目的やその内容において顔画像をＥｋｍａｎの６つの基本感情（喜び、悲しみ、嫌悪、驚き、悲しみ、怒り、恐れに無表情を加えた７つのカテゴリー）のいずれかに分類するというタスクの実現に適しているとは言い難い。そのため、多くの研究者や研究機関は、独自の成人の表情データベースの構築を行ってはいるが、その場合であっても「５〜７種類の基本感情を意識的に（しかも普段目にすることがまれなほどに強調した形で）表出した表情を入念にコントロールされた条件で顔画像」を元に作成されており、これを基本感情に対応する感情カテゴリーに強制的に分類することで、あくまでも実験目的に限定されたタスクを実現したにすぎない。また、従来の成人の表情のデータベースで用いている表情の表出は以下の方法で行っており、後述の問題を含んでいる。したがって、表情のデータベースはまだ完成していないと言える。
非特許文献５は、日常的に頻繁に見かける顔の表情は、基本的感情を表しているとされている顔面全体に顕著な変形を呈した典型的な表情よりも、中間的な強度の変形を示していたり、複数の表情による部分的な変形が混在している顔が大部分を占めている。顔面の変化を記述するパラメータとしてはＦＡＣＳにおけるＡＵをベースとするものもあるが、ＦＡＣＳは顔表情の画像としての見え方を体系化したものであり、必ずしも表情表出による顔面の形状変化を厳密に記述するパラメータとして適しているわけではない。しかしＦＡＣＳは、元来、コーダと呼ばれるＦＡＣＳ解釈に熟達した専門家が表情表出の際のビデオ映像をストップモーションを繰り返しながら観察し、そこに生じている顔面の動作を目視によって分析して記録するための手段として開発されたものである。このため、ＦＡＣＳに基づく表情の記述には多くの作業時間を要する。ＦＡＣＳによる表情の記録方法を習得する訓練にも最低で１００時間程度を要するともいわれている。このように一定の訓練を受けた専門家が目視によって表情を記録するという方法では時間とコストがかかりすぎるということが、ＦＡＣＳのより一層の普及の妨げになっているといえよう、と記載している。
従来のデジタルカメラ付きの携帯電話やパーソナルコンピュータにおいて、デジタルカメラで撮った人物像の心理を人物像の表情を用いて決定する効率よい方法は存在しない。
人間の表情のうち、６種類の基本表情（怒り、嫌悪、恐れ、悲しみ、幸福、驚き）は人種・文化によらず共通であることが知られている。基本表情は、それぞれの表情が独立に生成される場合もあるが、複数の表情が連続して生成される場合もある。
従来の表情認識技術は以上のように構成されているので、人物の表情を認識する場合、その多くは、笑い、怒り、喜び、悲しみといった表情的にも、感情的にも大きく異なるものを扱う（そのような表情認識をカテゴリー別表情認識ということにする）ものであり、例えば、表情のはっきりしない乳幼児などの患者の状態を把握したい場合でも、一かゼロかという形で状態を判定していた。従って、表情認識装置を用いて表情の各度合いの状態を判定し、記述する有効な従来の技術、および表情の度合いを段階的に変化させた複数の状態の記述の労力を軽減させる従来の技術は見当たらず、また、表情の各度合いの状態を記述するもととなる顔画像や、認識対象の実写顔画像の方向が一致していない場合、それに対応させるために処理が複雑になるなどの課題があった。
特許文献２に示された従来の表情認識装置では、顔面全体にわたって筋肉の微少な動きを計測し、その時間的変化をパターン化し、そのパターンに基づいて、感情を表す表情の認識を行う手法が開示されている。
従来の表情認識装置としては、この他にも、筋肉の動きをパターン化して、標準表情パターンとの照合により表情認識する、特許文献３に示されたもの、あるいは、職種を同じとする複数の人間の平均顔から印象を指し示すパラメータを抽出する、非特許文献１に示されたものなどもある。
乳児の感情推定に特化した方法としては、生体情報センサから得られる音声と脈拍数を用いる方法（特許文献４）がある。一方、画像を用いた表情認識の方法としては、アダブーストとサポートベクタマシンを用いる手法（特許文献５）、表情遷移マップを用いた表情の度合いを判定する手法（特許文献６）、特徴ベクトルを量子化して得られるシンボル列を隠れマルコフモデルに入力して尤度が最大となる表情名を出力する手法（特許文献７）、顔動画像から抽出した移動ベクトルと隠れマルコフモデルを用いて表情を認識するもの（特許文献８）があるが、対象が乳児に特化したものではない。
特許文献９において記載される方法では、顔動画像から顔要素の速度ベクトルを算出してフーリエ変換し、そのフーリエ変換係数から特徴ベクトルを抽出し、各表情ごとに連続した出力確率を正規分布を用いて近似した複数の隠れマルコフモデル（ＨＭＭ）を作成し、ＨＭＭによって特徴ベクトルを生成する確率を算出し、算出したＨＭＭに対応する表情を認識結果とするものである。
このように、従来の顔画像を用いた表情認識では、入力された顔画像の表情名のみを出力するものが多いが、乳幼児の表情画像における表情判定には暖昧性があり、一意に表情名を出力することが困難な場合が多い。
非特許文献２は、表情認識の能力はコンピュータによる表情認識が目指すべき理想を示している。
該非特許文献２では、（ａ）〜（ｌ）までの１２個の技術目標が上げられており、例えば、（ｂ）顔の持ち主の年齢、人種、性別、あるいは外観（髭の有無、髪型など）によらずに有効であること、（ｃ）照明や背景の変化に対して頑健な処理であること、（ｉ）実際の人間が作り得る任意の表情を感情に対応づけることができること、などが記載されている。これらの目標課題のうち、〔（ａ）顔画像の入力から表情の解析結果の出力に至るまでの各ステップは自動的に処理されること〕については一部の研究で既に達成されているが、残りについてはまだほとんど未着手あるいは未完成であるのが現状であると記載されている。（ｉ）等は表情の認識に固有の課題といえる。
また、非特許文献３に記載されるように、これまでに成人の表情のデータベースが存在している。非特許文献３が記載するように、多様な表情の顔画像を集めたデータベースは、静止画像に関していえば、Ｅｋｍａｎ＆Ｆｒｉｅｓｅｎの顔画像セットに代表されるように、表情認知の心理実験で視覚刺激とする目的で収集されたもののなかに、一般的に公開されているものもある。しかしこれらの多くは、画像入力条件に対する統制や、同一人物・同一表情の顔画像データサンプル数が十分でないという点で、必ずしもここで取り扱うパターン認識の問題における学習サンプル、テストサンプルとして適しているとは言い難い。そこで、多くの研究では、研究者や研究機関が独自に収集した表情の画像データを用いているのが現状であるという課題がある。
非特許文献４は、多くの制約を設けた実験室環境の下でという条件付きとはいえ、今日では、顔画像の入力から表情が表している感情カテゴリーの認識までを自動かつほぼリアルタイムで処理できる「動くシステム」の構築に成功している事例も少なくない。しかしそれらは５〜７種類の基本感情を意識的に（しかも普段目にすることがまれなほどに強調した形で）表出した表情を入念にコントロールされた条件で顔画像として入力し、これを基本感情に対応する感情カテゴリーに強制的に分類するという、実験目的に限定されたタスクを実現したものであった。人間が顔表情を介して自然にやり取りしている感情情報をコンピュータで読み取れるようにすることで、機械が言葉によらない人間の意図をくみ取って対応してくれるような、高度なヒューマンインターフェースを実現したい、という最終目標と照らせば、表情認識の研究はようやく緒についたところといえると記載している。つまり、従来の代表的な成人の表情データベースは、データの収集目的やその内容において顔画像をＥｋｍａｎの６つの基本感情（喜び、悲しみ、嫌悪、驚き、悲しみ、怒り、恐れに無表情を加えた７つのカテゴリー）のいずれかに分類するというタスクの実現に適しているとは言い難い。そのため、多くの研究者や研究機関は、独自の成人の表情データベースの構築を行ってはいるが、その場合であっても「５〜７種類の基本感情を意識的に（しかも普段目にすることがまれなほどに強調した形で）表出した表情を入念にコントロールされた条件で顔画像」を元に作成されており、これを基本感情に対応する感情カテゴリーに強制的に分類することで、あくまでも実験目的に限定されたタスクを実現したにすぎない。また、従来の成人の表情のデータベースで用いている表情の表出は以下の方法で行っており、後述の問題を含んでいる。したがって、表情のデータベースはまだ完成していないと言える。
非特許文献５は、日常的に頻繁に見かける顔の表情は、基本的感情を表しているとされている顔面全体に顕著な変形を呈した典型的な表情よりも、中間的な強度の変形を示していたり、複数の表情による部分的な変形が混在している顔が大部分を占めている。顔面の変化を記述するパラメータとしてはＦＡＣＳにおけるＡＵをベースとするものもあるが、ＦＡＣＳは顔表情の画像としての見え方を体系化したものであり、必ずしも表情表出による顔面の形状変化を厳密に記述するパラメータとして適しているわけではない。しかしＦＡＣＳは、元来、コーダと呼ばれるＦＡＣＳ解釈に熟達した専門家が表情表出の際のビデオ映像をストップモーションを繰り返しながら観察し、そこに生じている顔面の動作を目視によって分析して記録するための手段として開発されたものである。このため、ＦＡＣＳに基づく表情の記述には多くの作業時間を要する。ＦＡＣＳによる表情の記録方法を習得する訓練にも最低で１００時間程度を要するともいわれている。このように一定の訓練を受けた専門家が目視によって表情を記録するという方法では時間とコストがかかりすぎるということが、ＦＡＣＳのより一層の普及の妨げになっているといえよう、と記載している。
本発明は、このような点に鑑みなされたもので、乳児などの従来感情を表現することが困難な被験体の顔画像を用いた、乳児感情翻訳機を開発することを課題とする。本発明はまた、感情表示装置、方法、記録媒体、装置、ロボット装置、携帯端末などを開発することを課題とする。
乳児などの感情表現が困難な被験体についての表情画像データベースとして用い、各顔画像から抽出した特徴量を用いて表情を推定する方法を提案する。特徴量として顔領域のガボールフィルタの出力値を用い、それを識別器に入力して表情の名称を出力する。このとき、データベースとして乳児などの被験体の顔画像のみを用いることで、Ａｃｔｉｏｎ Ｕｎｉｔを用いることなく乳児などの被験体の表情を認識することが可能である。
本発明はまた、入力として与えられた顔画像の表情の程度を数値として出力する方法を提案する。
従って、本発明は、以下の特徴を有するものである。
（１）被験体の感情評価方法であって、
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
を包含する、方法。
（２）前記評価ステップにおいて、先に顔データを規格化し、該規格化された顔データを前記顔感情データベースと比較して評価スコアを出すものである、上記（１）記載の方法。
（３）前記規格化は、ガボールフィルタを用いることによって達成される、上記（２）記載の方法。
（４）前記評価ステップにおいて評価スコアを出す処理は、前記被験体に対応するデータベースに基づいて行われる、上記（１）記載の方法。
（５）前記被験体は、感情を言葉で表現できない被験体を含む、上記（１）記載の方法。
（６）前記被験体は、乳児、言葉を話せない聾唖者、寝たきり患者および認知症患者からなる群より選択される、上記（１）記載の方法。
（７）前記規格化は、ガボールフィルタを用いることによって達成され、かつ、前記被験体は、乳児、言葉を話せない聾唖者、寝たきり患者および認知症患者からなる群より選択される、上記（１）記載の方法。
（８）前記評価ステップが、感情パラメータの平均パターンと、入力顔パターンとのポテンシャル値を計算し、該ポテンシャル値を利用して前記感情を該感情パラメータの該当比率とするステップを含む、上記（１）記載の記載の方法。
（９）前記評価ステップが、前記顔データから生成された顔画像から顔領域を抽出するステップと、抽出された該顔領域に対して、必要に応じて補正を行うステップと、ガボールフィルタを用いてガボールフィルタの出力値を特徴量とするステップとを包含する、上記（１）記載の方法。
（１０）前記補正は、回転補正、明るさ補正およびサイズ補正からなる群より選択される、上記（９）記載の方法。
（１１）前記ガボールフィルタは、４方向または８方向のものが使用される、上記（９）記載の方法。
（１２）前記評価ステップが、特徴量について、前記顔感情データベースとのポテンシャル値を計算するステップと、該計算結果から、各感情への所属度合いを算出するステップとを包含する、上記（９）記載の方法。
（１３）評価ステップにおいて、前記特徴量を計算する場合に、
Ｃ種類の感情カテゴリーが存在しそのうち第ｊ感情に属するｄ次元の訓練パターンのガボール特徴量が、次式で示される一次元に並べたベクトル
で表され、ここで、該訓練パターンは、感情の種類が既知のパターンを意味することを特徴とする、上記（９）記載の方法。
（１４）評価ステップにおいて、前記第ｊ感情の訓練パターンの平均パターン
を辞書パターンとして計算し、
未知パターンのガボール特徴量
が与えられた場合、第ｊ感情のポテンシャル関数値が
として計算され、ここでαは正規分布の分散を決めるパラメータであることを特徴とする、上記（１３）記載の方法。
（１５）評価ステップにおいて、前記ポテンシャル関数値について、
を計算することによって該ポテンシャル関数値に対応する感情の割合が計算される、上記（１３）記載の方法。
（１６）判定ステップにおいて、前記ポテンシャル関数値について、
によりポテンシャル値が最大となる感情カテゴリーを計算し、算出された感情名を判定結果として出力することを特徴とする、上記（１３）記載の方法。
（１７）判定ステップに加えられ、前記感情のうちの特定の感情について、該感情を有するか否かを判定するステップであって、
該感情が含まれる感情カテゴリーの集合をＡ、該感情が含まれない感情カテゴリーをＢとしたときに、
上式の関係が満たされるならば、該感情が含まれており、そうでない場合には、該感情が含まれていないと判定することを特徴とする、上記（１３）記載の方法。
（１８）０歳２ヶ月〜６歳０ヶ月の乳幼児を被験体とし、前記評価ステップにおけるガボールフィルタの出力値を、判定ステップにおいて被験体の年齢に応じた識別器を用いて感情を判定するものである、上記（９）記載の方法。
（１９）被験体の年齢が、３ヶ月〜６ヶ月異なる毎に、それぞれの年齢に応じた識別器を用いて感情を判定するものである、上記（１８）記載の方法。
（２０）０歳３ヶ月〜１歳６ヶ月の乳幼児を被験体とし、０歳３ヶ月〜０歳７ヶ月の被験体については、０歳４ヶ月の乳幼児をサンプルとして形成された識別器を用いて感情を判定し、０歳７ヶ月〜１歳０ヶ月の被験体については、０歳１０ヶ月の乳幼児をサンプルとして形成された識別器を用いて感情を判定するものである、上記（１９）記載の方法。
（２１）被験体の感情表示方法であって、
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
（Ｄ）判定された該感情を表示する表示ステップと、
を包含する、前記感情表示方法。
（２２）被験体の感情を評価するためのシステムであって、
（Ａ）顔データを取得する取得手段と、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価手段と、
（Ｃ）該評価スコアから感情を判定する判定手段と
を備える、前記システム。
（２３）被験体の感情評価方法をコンピュータに実行させるプログラムであって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
を包含する、前記プログラム。
（２４）被験体の感情評価方法をコンピュータに実行させるプログラムを記録した記録媒体であって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと
を包含する、記録媒体。
（２５）被験体の感情を表示するシステムであって、
（Ａ）顔データを取得する取得手段と、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価手段と、
（Ｃ）該評価スコアから感情を判定する判定手段と、
（Ｄ）判定された該感情を表示する表示手段と
を備える、システム。
（２６）前記システムにおいて、携帯電話が使用される、上記（２５）記載のシステム。
（２７）前記システムにおいて、ウェブ技術が使用される、上記（２５）記載のシステム。
（２８）被験体の感情表示方法をコンピュータに実行させるプログラムであって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
（Ｄ）判定された該感情を表示する表示ステップと
を包含する、プログラム。
（２９）被験体の感情表示方法をコンピュータに実行させるプログラムを記録した記録媒体であって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
（Ｄ）判定された該感情を表示する表示ステップと
を包含する、記録媒体。
乳児などの感情表現が困難な被験体についての表情画像データベースとして用い、各顔画像から抽出した特徴量を用いて表情を推定する方法を提案する。特徴量として顔領域のガボールフィルタの出力値を用い、それを識別器に入力して表情の名称を出力する。このとき、データベースとして乳児などの被験体の顔画像のみを用いることで、Ａｃｔｉｏｎ Ｕｎｉｔを用いることなく乳児などの被験体の表情を認識することが可能である。
本発明はまた、入力として与えられた顔画像の表情の程度を数値として出力する方法を提案する。
従って、本発明は、以下の特徴を有するものである。
（１）被験体の感情評価方法であって、
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
を包含する、方法。
（２）前記評価ステップにおいて、先に顔データを規格化し、該規格化された顔データを前記顔感情データベースと比較して評価スコアを出すものである、上記（１）記載の方法。
（３）前記規格化は、ガボールフィルタを用いることによって達成される、上記（２）記載の方法。
（４）前記評価ステップにおいて評価スコアを出す処理は、前記被験体に対応するデータベースに基づいて行われる、上記（１）記載の方法。
（５）前記被験体は、感情を言葉で表現できない被験体を含む、上記（１）記載の方法。
（６）前記被験体は、乳児、言葉を話せない聾唖者、寝たきり患者および認知症患者からなる群より選択される、上記（１）記載の方法。
（７）前記規格化は、ガボールフィルタを用いることによって達成され、かつ、前記被験体は、乳児、言葉を話せない聾唖者、寝たきり患者および認知症患者からなる群より選択される、上記（１）記載の方法。
（８）前記評価ステップが、感情パラメータの平均パターンと、入力顔パターンとのポテンシャル値を計算し、該ポテンシャル値を利用して前記感情を該感情パラメータの該当比率とするステップを含む、上記（１）記載の記載の方法。
（９）前記評価ステップが、前記顔データから生成された顔画像から顔領域を抽出するステップと、抽出された該顔領域に対して、必要に応じて補正を行うステップと、ガボールフィルタを用いてガボールフィルタの出力値を特徴量とするステップとを包含する、上記（１）記載の方法。
（１０）前記補正は、回転補正、明るさ補正およびサイズ補正からなる群より選択される、上記（９）記載の方法。
（１１）前記ガボールフィルタは、４方向または８方向のものが使用される、上記（９）記載の方法。
（１２）前記評価ステップが、特徴量について、前記顔感情データベースとのポテンシャル値を計算するステップと、該計算結果から、各感情への所属度合いを算出するステップとを包含する、上記（９）記載の方法。
（１３）評価ステップにおいて、前記特徴量を計算する場合に、
Ｃ種類の感情カテゴリーが存在しそのうち第ｊ感情に属するｄ次元の訓練パターンのガボール特徴量が、次式で示される一次元に並べたベクトル
で表され、ここで、該訓練パターンは、感情の種類が既知のパターンを意味することを特徴とする、上記（９）記載の方法。
（１４）評価ステップにおいて、前記第ｊ感情の訓練パターンの平均パターン
を辞書パターンとして計算し、
未知パターンのガボール特徴量
が与えられた場合、第ｊ感情のポテンシャル関数値が
として計算され、ここでαは正規分布の分散を決めるパラメータであることを特徴とする、上記（１３）記載の方法。
（１５）評価ステップにおいて、前記ポテンシャル関数値について、
を計算することによって該ポテンシャル関数値に対応する感情の割合が計算される、上記（１３）記載の方法。
（１６）判定ステップにおいて、前記ポテンシャル関数値について、
によりポテンシャル値が最大となる感情カテゴリーを計算し、算出された感情名を判定結果として出力することを特徴とする、上記（１３）記載の方法。
（１７）判定ステップに加えられ、前記感情のうちの特定の感情について、該感情を有するか否かを判定するステップであって、
該感情が含まれる感情カテゴリーの集合をＡ、該感情が含まれない感情カテゴリーをＢとしたときに、
上式の関係が満たされるならば、該感情が含まれており、そうでない場合には、該感情が含まれていないと判定することを特徴とする、上記（１３）記載の方法。
（１８）０歳２ヶ月〜６歳０ヶ月の乳幼児を被験体とし、前記評価ステップにおけるガボールフィルタの出力値を、判定ステップにおいて被験体の年齢に応じた識別器を用いて感情を判定するものである、上記（９）記載の方法。
（１９）被験体の年齢が、３ヶ月〜６ヶ月異なる毎に、それぞれの年齢に応じた識別器を用いて感情を判定するものである、上記（１８）記載の方法。
（２０）０歳３ヶ月〜１歳６ヶ月の乳幼児を被験体とし、０歳３ヶ月〜０歳７ヶ月の被験体については、０歳４ヶ月の乳幼児をサンプルとして形成された識別器を用いて感情を判定し、０歳７ヶ月〜１歳０ヶ月の被験体については、０歳１０ヶ月の乳幼児をサンプルとして形成された識別器を用いて感情を判定するものである、上記（１９）記載の方法。
（２１）被験体の感情表示方法であって、
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
（Ｄ）判定された該感情を表示する表示ステップと、
を包含する、前記感情表示方法。
（２２）被験体の感情を評価するためのシステムであって、
（Ａ）顔データを取得する取得手段と、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価手段と、
（Ｃ）該評価スコアから感情を判定する判定手段と
を備える、前記システム。
（２３）被験体の感情評価方法をコンピュータに実行させるプログラムであって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
を包含する、前記プログラム。
（２４）被験体の感情評価方法をコンピュータに実行させるプログラムを記録した記録媒体であって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと
を包含する、記録媒体。
（２５）被験体の感情を表示するシステムであって、
（Ａ）顔データを取得する取得手段と、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価手段と、
（Ｃ）該評価スコアから感情を判定する判定手段と、
（Ｄ）判定された該感情を表示する表示手段と
を備える、システム。
（２６）前記システムにおいて、携帯電話が使用される、上記（２５）記載のシステム。
（２７）前記システムにおいて、ウェブ技術が使用される、上記（２５）記載のシステム。
（２８）被験体の感情表示方法をコンピュータに実行させるプログラムであって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
（Ｄ）判定された該感情を表示する表示ステップと
を包含する、プログラム。
（２９）被験体の感情表示方法をコンピュータに実行させるプログラムを記録した記録媒体であって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
（Ｄ）判定された該感情を表示する表示ステップと
を包含する、記録媒体。
図１は、乳児の情動を喚起する方法の代表例を示す。
図２は、顔領域抽出と抽出領域の規格化を示す。左から順に元画像、傾き補正を行った後の画像、顔領域抽出後の画像を表す。
図３は、ガボールフィルタの出力値の例を示す。左から順に、元画像、上段左からθ＝０、θ＝π／８、θ＝２π／８、θ＝３π／８としたときのガボール出力値を示し、下段左からθ＝４π／８、θ＝５π／８、θ＝６π／８、θ＝７π／８としたときのガボール出力値を示す。
図４は、辞書パターンの作成の手順を示す。各図は、左上から順に、嫌悪感、喜び、悲しみ、驚き、恐れ、怒りについて、それぞれの表情に属している複数の乳幼児の顔画像の輝度値（またはガボール出力値）を足し合わせ、その値を足し合わせた人数で割って平均パターンを作成し、その表情の辞書パターンとする。
図５は、表情推定のフローチャートを示す。画像入力後、前処理を行い、特徴抽出を行い、例えば乳児専用データベースと対比して表情を出力することができる。
図６は、最近傍決定則による乳児の表情決定の例と実験結果を示す。
図７は、最近傍決定則によって、成人データベースから作成したモデルにより乳幼児の表情決定を行った例とその実験結果を示している。
図８は、顔部位（目横幅）の距離による喜び、悲しみの識別を示す。各図は、それぞれ次の内容を示している。
Ａ．測定を行う９種の顔部位の距離。
Ｂ．感情と９種の顔部位の距離の変化の関係性。変化が見られる顔部位の組み合わせは感情によって異なっている。
Ｃ−１．乳児の表情データベースにおける感情ごとの目横幅の距離をプロットしたグラフ。
Ｃ−２．乳児の表情データベースにおける感情ごとの目縦幅の距離をプロットしたグラフ。
Ｃ−３．乳児の表情データベースにおける感情ごとの鼻下から頬間の距離をプロットしたグラフ。
Ｃ−４．乳児の表情データベースにおける感情ごとの口横幅の距離をプロットしたグラフ。
Ｃ−５．乳児の表情データベースにおける感情ごとの口縦幅の距離をプロットしたグラフ。
Ｃ−６．乳児の表情データベースにおける感情ごとの鼻下と口角間の距離をプロットしたグラフ。
図９は、後述する式（ｖ）の識別法によりエラーとなる例を示す。
図１０は、０歳４ヶ月の乳幼児の表情データベースにおける、各感情と変数（顔部位の距離の変化率）との関係を示すグラフである。
図１１は、０歳１０ヶ月の乳幼児の表情データベースにおける、各感情と変数（顔部位の距離の変化率）との関係を示すグラフである。
図１２は、図１０、図１１にそれぞれ示した、乳幼児の感情と９種の変数との関係性を示す表である。図１２（ａ）は、０歳４ヶ月の乳幼児に関し、図１２（ｂ）は、０歳１０ヶ月の乳幼児に関する。図１２（ｃ）は、表中の４種類の模様がそれぞれ意味する、ｔ検定による有意差を示している。
図１３は、二分木（バイナリーツリー）による感情識別法を例示する図である。
図２は、顔領域抽出と抽出領域の規格化を示す。左から順に元画像、傾き補正を行った後の画像、顔領域抽出後の画像を表す。
図３は、ガボールフィルタの出力値の例を示す。左から順に、元画像、上段左からθ＝０、θ＝π／８、θ＝２π／８、θ＝３π／８としたときのガボール出力値を示し、下段左からθ＝４π／８、θ＝５π／８、θ＝６π／８、θ＝７π／８としたときのガボール出力値を示す。
図４は、辞書パターンの作成の手順を示す。各図は、左上から順に、嫌悪感、喜び、悲しみ、驚き、恐れ、怒りについて、それぞれの表情に属している複数の乳幼児の顔画像の輝度値（またはガボール出力値）を足し合わせ、その値を足し合わせた人数で割って平均パターンを作成し、その表情の辞書パターンとする。
図５は、表情推定のフローチャートを示す。画像入力後、前処理を行い、特徴抽出を行い、例えば乳児専用データベースと対比して表情を出力することができる。
図６は、最近傍決定則による乳児の表情決定の例と実験結果を示す。
図７は、最近傍決定則によって、成人データベースから作成したモデルにより乳幼児の表情決定を行った例とその実験結果を示している。
図８は、顔部位（目横幅）の距離による喜び、悲しみの識別を示す。各図は、それぞれ次の内容を示している。
Ａ．測定を行う９種の顔部位の距離。
Ｂ．感情と９種の顔部位の距離の変化の関係性。変化が見られる顔部位の組み合わせは感情によって異なっている。
Ｃ−１．乳児の表情データベースにおける感情ごとの目横幅の距離をプロットしたグラフ。
Ｃ−２．乳児の表情データベースにおける感情ごとの目縦幅の距離をプロットしたグラフ。
Ｃ−３．乳児の表情データベースにおける感情ごとの鼻下から頬間の距離をプロットしたグラフ。
Ｃ−４．乳児の表情データベースにおける感情ごとの口横幅の距離をプロットしたグラフ。
Ｃ−５．乳児の表情データベースにおける感情ごとの口縦幅の距離をプロットしたグラフ。
Ｃ−６．乳児の表情データベースにおける感情ごとの鼻下と口角間の距離をプロットしたグラフ。
図９は、後述する式（ｖ）の識別法によりエラーとなる例を示す。
図１０は、０歳４ヶ月の乳幼児の表情データベースにおける、各感情と変数（顔部位の距離の変化率）との関係を示すグラフである。
図１１は、０歳１０ヶ月の乳幼児の表情データベースにおける、各感情と変数（顔部位の距離の変化率）との関係を示すグラフである。
図１２は、図１０、図１１にそれぞれ示した、乳幼児の感情と９種の変数との関係性を示す表である。図１２（ａ）は、０歳４ヶ月の乳幼児に関し、図１２（ｂ）は、０歳１０ヶ月の乳幼児に関する。図１２（ｃ）は、表中の４種類の模様がそれぞれ意味する、ｔ検定による有意差を示している。
図１３は、二分木（バイナリーツリー）による感情識別法を例示する図である。
例示的な形態では、提案手法では予め用意した５種類の表情（喜び、悲しみ、怒り、恐れ、驚き）の平均パターンと入力顔パターンとのポテンシャル値を計算し、その数値をグラフとして出力する。具体的には、まず顔画像から顔領域を抽出し、抽出した画像に対して回転、明るさ、サイズ補正を行った後、８方向のガボールフィルタを用いてガボールフィルタの出力値を特徴量とする。次に、予め蓄えられた表情辞書パターンとのポテンシャル値を計算し、各表情への所属の度合いを百分率（％）によってグラフとして表示する。
以下に、本発明の好ましい実施形態を示すが、当業者は本発明の説明および当該分野における周知慣用技術からその実施形態などを適宜実施することができ、本発明が奏する作用および効果を容易に理解することが認識されるべきである。
この発明によれば、乳児の顔画像より表情（情動）の認識が可能である。さらに、インターネットサービスを介して不特定多数からのデータの提供により、データベースの蓄積が期待され、表情の認識率が高まることが予想される。これにより、乳児の感情翻訳機の開発および任意の画像における顔領域の高速な位置推定が可能になるという効果を奏する。
本発明により、乳児など、感情表現ができないかまたは困難な被験体の感情を容易に判定することになった。このような感情翻訳機を用いることによって、例えば、医療用（小児科、精神科など）、および携帯端末などを用いて、感情表現に基づく商用サービスを展開する際に使用することができる。
本発明によるコンピュータによる表情の解析技術（以下本発明技術）は、従来の方法と比較して、以下の点において優れている。
先ず、コンピュータによる表情の解析技術は以下の点が望まれていることがわかっている。
従来の方法では、上記非特許文献２の説明で述べたように、（ｂ）顔の持ち主の年齢によらず有効ではないこと、（ｃ）照明や背景の変化に対して頑健な処理ではないこと、また、特に（ｉ）実際の人間が作り得る任意の表情を感情に対応づけることができないこと、が問題であった。
上記（ｂ）に対して、本発明では、顔の持ち主が乳児期であっても有効である。また、上記（ｃ）に対して、本発明では、照明や背景の変化に対して比較的頑健な処理が可能である。また、特に上記（ｉ）に関しては、従来、情動判定の対象としてきた成人では、演技や大げさな表現でしか感情（喜び、悲しみ、恐れ、怒り、驚き）に対応する表情を実験的に表出することができず、また、わずかな変化を解析したとしても感情との対応づけができていなかった。これに対して、本発明では、乳児を対象とすることで、実際の人間が作り得る任意の表情を感情に対応させることを可能とし、これまで不可能であった表情の認識の課題を解決することを可能としている。
従来の代表的な成人の表情データベースは、データの収集目的やその内容において顔画像をＥｋｍａｎの６つの基本感情（喜び、悲しみ、嫌悪、驚き、悲しみ、怒り、恐れに無表情を加えた７つのカテゴリー）のいずれかに分類するというタスクの実現に適しているとは言い難い。そのため、多くの研究者や研究機関は、独自の成人の表情データベースの構築を行ってはいるが、その場合であっても「５〜７種類の基本感情を意識的に（しかも普段目にすることがまれなほどに強調した形で）表出した表情を入念にコントロールされた条件で顔画像」を元に作成されており、これを基本感情に対応する感情カテゴリーに強制的に分類することで、あくまでも実験目的に限定されたタスクを実現したにすぎない。
また、従来の成人の表情のデータベースで用いている表情の表出は上述の方法で行っており、上述の問題を含んでいる。したがって、表情のデータベースはまだ完成していないと言える。
一方、本発明技術によって作成されたデータベースは、上述した従来の表情のデータベースのような問題を持たずに、実際の人間が作り得る任意の表情を感情に対応づけたものである。
以下に本発明を、必要に応じて、添付の図面を参照して例示の実施例により記載する。
本明細書の全体にわたり、単数形の表現は、特に言及しない限り、その複数形の概念をも含むことが理解されるべきである。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および科学技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。
（定義）
以下に本明細書において特に使用される用語の定義を列挙する。
本明細書において「表情」および「感情」は、交換可能に用いられ、主体の存続にとって肯定的あるいは否定的な状況変化に対する価値づけとしての主観的事象をいう。精神の働きを知・情・意に分けた時の情的過程全般を指す。本明細書においては、表情と感情とは、通常は、特に区別をしないで用いるが、特に言及するときは、「表情」は、心中の感情・情緒を、顔つきや身振りに出しあらわすことをいう。従って、厳密な意味で使用する場合は、「表情」は、「感情」が顔などに表れたことをいう。
本明細書において、「顔データ」とは、顔に関する任意のデータをいい、特に、顔の画像に関するデータ・情報を含む。そのような顔データは、カラー動画像（例えば、ＡＶＩファイル、ｍｐｇファイル）、カラー静止画像（ｐｐｍファイル、ｊｐｇファイル、ｂｍｐファイルなど）、モノクロ動画像、モノクロ静止画像（ｐｇｍファイルなど）などという形式で提供することができる。
本明細書において「顔感情データベース」とは、顔と感情との相関関係に関する情報を含むデータベースをいう。本明細書では、「表情辞書パターン」ともいう。
本明細書において「評価スコア」とは、ある顔データについて、特定の感情を意味するかどうかについて評価されたスコアを言う。
本明細書において「規格化」とは、当該分野において慣用されるのと同じ意味を持ち、規格・標準に合せることをいう。本発明では、例示的に、規格化は、ガボールフィルタを用いて行うことができる。
本明細書において「ガボールフィルタ（Ｇａｂｏｒ ｆｉｌｔｅｒｉｎｇ）」とは、特定の方位の輪郭線（エッジ）を抽出するための処理をいい、視覚皮質にある方向選択性を持つ神経細胞に似た働きを有する。ガボール関数は、通常、２次元のガウス関数とサイン関数との積で表される。
ガボールフィルタは、二次元ガウス曲面と二次元平面上を一方向に伝わる平面波とをかけ合わせたフィルタである。平面波の波長をλ、ガウス曲面のｘ方向とｙ方向との標準偏差を、それぞれ、σｘ（λ）、σｙ（λ）とし、波の進行方向とｘ軸とのなす角度を０≦θ≦πとすると、ガボールフィルタは、次式で与えられる。
ここで、標準偏差σｘ（λ）およびσｙ（λ）は、ガウス曲面の広がりを定めるが、平面波の波長の値に応じて値が変化するため波長λの関数として表される。
ガボールフィルタの実部は、次式で表される。
ガボールフィルタの虚部は、次式で表される。
ガボールフィルタを用いて顔画像からガボール特徴量を抽出するには、ガボールフィルタと顔画像パターンとの「たたみこみ（ｃｏｎｖｏｌｕｔｉｏｎ）」を計算する必要がある。ここで、顔画像の大きさを、Ｎ×Ｎピクセルのモノクロ画像Ｉ（ｉ，ｊ）（０≦ｉ≦Ｎ−１，０≦ｊ≦Ｎ−１）として、画像上のサンプリング点を（Ｘ，Ｙ）とする。ある特定のθ、λに対するガボールフィルタと画像のたたみこみは、次の式で与えられる。
このｇ（Ｘ，Ｙ，θ，λ）を用いて、ガボール特徴値は、
ｈ（Ｘ，Ｙ，θ，λ）＝｜ｇ（Ｘ，Ｙ，θ，λ）｜
で与えられる。ここで、ｚを複素数α＋ｉβとしたとき、記号｜ｚ｜はｚの絶対値を表し、その値は次式で表わされる。
例えば、本発明において使用され得る２０４８次元パターンの場合は、以下のような処理を行うことができる。
１６×１６ピクセルで切り出した顔画像にθ＝０、π／８、２／８π、３／８π、４／８π、５／８π、６／８π、７／８πの８方向のガボールフィルタを適用し、合計１６×１６×８＝２０４８次元のガボール特徴を得る。
本明細書において「対応する」データベースとは、特定の被験体の実際のデータに基づくか、またはその被験体と同様のグループ・属性に属すると考えられる他の被験体から得られたデータから構成されるデータベースをいう。
本明細書において「被験体」とは、実験または観察の対象となる客体をいう。被験体は、顔の表情を持つものであれば、どのような生物でもよいが、本発明では、特に、ヒトを被験体とするが、本発明は、これに限定されないことが理解される。本発明において特に対象とされる被験体としては、例えば、乳児のほかに、言葉を話せない聾唖者、寝たきり患者、認知症等を挙げることができる。
本明細書において「感情パラメータ」とは、感情を表す個々の要素をいい、例えば、喜怒哀楽などの、怒り、嫌悪、恐れ、悲しみ、幸福、驚きを含む種々の要素があり、本明細書では、特に、怒り、嫌悪、恐れ、悲しみ、幸福、驚き、無表情を使用することができることが理解される。
本明細書において、顔データの「パターン」とは、顔データについての類型化された類型をいう。
本明細書において、「平均パターン」とは、顔データについて、ある感情を有するものが平均的に有し得るパターンをいう。
本明細書において、ポテンシャル関数とは、データの確率密度を推定するために用いられる関数であり、例えば、ガウス関数が挙げられる。一方、「ポテンシャル値」とは、与えられたデータに対するポテンシャル関数の出力値を指し、データの出現確率を表す値である。
本明細書において「顔領域」とは、顔データに含まれる情報のうち、実際の顔に相当する部分の領域をいう。
本明細書において「抽出」とは、当該分野において通常用いられるのと同じ意味で用いられ、与えられた表現の選択部分から新しい表現をつくることをいう。
本明細書において、「特徴量」とは、ある要素について特徴となる量をいう。本明細書において「ガボール特徴量」とは、ガボール関数またはガボールフィルタによる処理によって得られた特徴量をいう。
本明細書において「補正」とは、当該分野において通常用いられるのと同じ意味で用いられ、測定、数値計算または理論式などで、より真に近い値を求めるために、読み取った値、計算値、数式にある数値または項、因子などを加える操作、または加えた値をいう。補正としては、例えば、回転補正、明るさ補正およびサイズ補正等を挙げることができる。
本明細書において、ガボールフィルタについて「方向」とは、当該分野において通常用いられるのと同じ意味で用いられ、二次元または三次元などにおいて、それらの間の距離に関係なく、空間における一つの点を他との比較で位置づけたものをいう。
ガボールフィルタは、本発明において、例えば、４方向（縦横）、８方向（縦横斜め）のものが用いられ得る。なお、本発明では、何方向でも使用可能である。方向を多くとるほど特徴量の次元数が大きくなる。従って、次元数が大きくならず、かつ、十分な特徴を抽出できる方向数を選ぶ。
本明細書において「訓練パターン」とは、感情の種類が既知のパターンをいう。これに対して、「未知パターン」とは、感情の種類が未知のパターンをいう。
本明細書において「最大割合を占める」感情パラメータとは、分析の結果複数種類のポテンシャル値が候補として現れたとき、最大の割合を示す感情パラメータをいう。
最大割合を占めるかどうかは、ポテンシャル値が最大となる感情カテゴリーを、例えば、次式（ｉ）によって判定することができる。
上記式（ｉ）において、Ｐ（ｑ｜ｊ）は、未知パターンの（ガボール）特徴量ｑについて第ｊ感情である確率（第ｊ感情が占める割合）を表す関数である。また、「ｍａｘａｒｇ」は、全ての感情について項Ｐ（ｑ｜ｊ）を求めたときの最大となる感情の番号を与えることを意味する関数記号である。
本明細書において「感情カテゴリー」とは、感情パラメータについて、分類したものを
いう。
本明細書において、「相関関係情報」とは、例えば、顔と感情とについては、ある顔（または顔データ）を有したとき、一定の割合で情報を相関づけることを言う。
（ポテンシャル関数（正規分布）を用いた表情量の算出）
Ｃ種類の表情カテゴリーがあり、そのうちの第ｊ表情に属するｄ次元の訓練パターンのガボール特徴値を一次元に並べたベクトルを次式で表す。
準備として、次式で表される第ｊ表情の訓練パターンの平均パターンを辞書パターンとして計算しておく。
未知パターンのガボール特徴量
が与えられた場合、第ｊ感情のポテンシャル関数値を、
として計算する。
ここで、ｘ、ｙをベクトルとして、記号「‖ｘ−ｙ‖」は、ベクトルｘとベクトルｙとの間のユークリッド距離を意味し、αは、正規分布の分散を決めるパラメータである。
ポテンシャル関数値について、次式（ｖ）で表されるＰ（ｑ｜ｊ）を計算することによって該ポテンシャル関数値に対応する感情の割合が計算される。百分率としたい場合は、Ｐ（ｑ｜ｊ）×１００％とする。
もし、未知パターンの表情を一意に出力したい場合には、上記式（ｉ）によりポテンシャル値が最大となる感情カテゴリーを計算し、表情名を出力する。
なお、特定の感情を有するか否かを判定する場合には、該感情が含まれる感情カテゴリーの集合をＡ、該感情が含まれない感情カテゴリーをＢとしたときに、次式（ｖｉ）の関係が成立する場合には、該感情が含まれており、そうでない場合には、該感情が含まれていないと判定することができる。
（好ましい実施形態）
以下に本発明において実施され得る好ましい実施形態を記載する。
本発明では、顔画像そのものから表情認識に有効な特徴量を抽出し、その特徴量を用いて表情を推定する方法を提案する。
具体的には、取得ステップで取得された顔データによる顔画像に対し、評価ステップにおいて、ガボールフィルタを用いて画面上にある顔領域を抽出し、抽出した顔領域のガボールフィルタの出力値をそのまま特徴量とし、これを当該評価ステップに含まれる識別器に入力し表情の名称を出力する。
「識別器」とは、上記式（ｉｉ）で表されるｍｊ（即ち、既知の感情ｊごとのガボール特徴量の平均（辞書）パターンｍｊ）を予め形成されたデータベースとして有し、入力として、未知パターンのガボール特徴量ｑを受け付け、最終的にｊ個のポテンシャル（関数）値Ｐ（ｑ｜ｊ）を出力するよう構成された演算処理部やプログラムステップ等を意味する。
また、同時に顔部位間の距離を測定することで、表情に特異的なパターンを抽出し、抽出した顔部位パターンから表情を推定する。このとき、データベースとして乳児の顔画像のみを用いることで、Ａｃｔｉｏｎ Ｕｎｉｔを用いることなく乳児の表情を認識することが可能である。
１つの実施形態では、被験体としては、任意の被験体（例えば、乳児、言葉を話せない聾唖者、寝たきり患者および認知症患者など）を対象とすることができるが、特に、感情を表現できない被験体、例えば、対象とする乳児の至適月齢（８−１２ヶ月）などが対象として挙げられ得る。感情がかなり豊かになっているが、なおも感情を表現することが困難な月齢であるからであるが、これに限定されない。
本発明でいう「感情を表現できない」とは、「感情を顔表情として安定的に表出することのできない」あるいは「顔表情による情動の表出（能力）に関してまだ未発達（未完成）の」という意味である。例えば、乳幼児の場合、心理学分野では、「怒り」は年齢０歳３ヵ月、「喜び」は年齢０歳４ヵ月、「悲しみ」「驚き」は年齢０歳６ヵ月、「恐れ」は年齢０歳７ヵ月齢で、それぞれ、その感情を顔表情として安定して表出できるようになると言われている。
顔感情データベースを予め構築しておくためには、乳児に対して種々の情動を喚起し、情動とそのときの表情とが関連付けられたデータが必要である。そのための、乳児の情動を喚起する方法は、例えば、図１に記載されているように、以下の方法を挙げることができる。
喜びを喚起する方法としては、マザリーズ提示法が挙げられる。
マザリーズ提示法は以下のように実施する。
乳児を母親のひざにカメラ側を向いて座らせる。まず、自然な状態で表情の撮影を開始した後、母親に乳児に呼びかけを行ってもらい表情の変化を誘発する。母親の呼びかけに加えて乳児の体に働きかけを行ったり、おもちゃを利用した“あやし”の行動を母親、または撮影者がカメラ側から行う。
乳児の体への働きかけの例としては、以下を挙げることができる。
・くすぐる（乳児の名前を呼びかける、または「コチョコチョ」と言いながら）
・ゆする（乳児の名前を呼びかけながら）
・持ち上げる（乳児の名前を呼びかける、または「たかい、たかい」と言いながら）
おもちゃを利用したあやしの例
・ぬいぐるみ、人形等のおもちゃを生きているように動かしながら近づける
・乗り物のおもちゃを乳児の方向へ走らせる。
悲しみを喚起する方法としては、母退出法が挙げられる。
母退出法は、以下のようにして実施する。
乳児をチャイルドシートにカメラ側を向いて座らせ、安全のために横に（乳児の左右９０度の位置）測定者１名が付き添う。乳児がチャイルドシートを嫌がる場合（保護者から普段の状況を聞き取り泣くことが予想される場合、または、チャイルドシートに座らせる過程でぐずったり、泣いたりした場合）測定者の母親のひざにカメラ側を向いて座らせる。チャイルドシート等に１〜２分慣れさせた後、乳児から見えなくなるよう母親にカメラ側から退出または隠れてもらう。
母親がいなくなったことに気づかない場合、母に、再度乳児の前へ出てもらい、状況に慣れたと判断した後、母の退出等を行う。
驚きを喚起する方法としては、ブザー音提示法が挙げられる。
ブザー音提示法は、以下のようにして実施する。
乳児を母親のひざにカメラ側を向いて座らせる。まず、自然な状態で表情の撮影を開始した後、カメラ側から乳児に見えないように防犯ブザー（８０−９０ｄＢ）を３〜５秒間鳴らす。
測定者が、乳児の明瞭な表情または動作の変化がみられないと判断した場合、１分以上時間を置いた後３回までブザー音提示を繰り返す。
恐れを喚起する方法としては、ストレンジャー法が挙げられる。
ストレンジャー法は、以下のようにして実施する。
乳児を母親のひざにカメラ側を向いて座らせる。まず、自然な状態で表情の撮影を開始した後、ストレンジャー：乳児が対面したことのない成人男性にカメラ側から無言で登場してもらう。測定者が、乳児の明瞭な表情または動作の変化がみられないと判断した場合、ストレンジャーに乳児へ近づいてもらう。
怒りを喚起する方法としては、おもちゃ消失法が挙げられる。
おもちゃ消失法は、以下のようにして実施する。
乳児は母親のひざにカメラ側を向いて座らせる。まず、自然な状態で表情の撮影を開始し乳児におもちゃを渡して自由に遊ばせる。おもちゃは乳児が興味を示すものを用いる。乳児が遊んでいる際に、測定者は「頂戴。もらった。」と声をかけながら乳児の手からおもちゃを奪う。
以上は、乳幼児を被験体とした場合の一例である。
上記の態様では、乳幼児の表情認識を行うための技術を提案しているが、被験体となる乳幼児の年齢（本発明でいう年齢とは、０歳４ヶ月、１歳２ヶ月など、１ヶ月単位で示される月齢をも含んだ概念である）については、特に区別することなく、全ての乳幼児に同一の識別器（顔識別アルゴリズム）を用いている。
しかし、上記態様例に加えて、本発明者等がさらなる研究を行なったところ、年齢によって、表情パターンが異なっていることが明らかになった。即ち、ある年齢（特に１歳未満のある月齢）の乳幼児にとって最適な識別器は、その後成長した年齢の乳幼児にとっては、総じては適しているが、最適ではないというケースも有り得ることがわかった。
次に示す態様は、本発明のより好ましい態様であって、評価ステップにおいて被験体の年齢に応じた最適な識別器を用いることによって、表情識別精度をさらに向上させるものである。年齢に応じて異なるアルゴリズムを用いるという構成やその作用効果（表情識別精度が向上すること）は、従来技術には全く無かったものである。
このような年齢に応じた最適な識別器を用いて行なう本発明の態様を、以下に「年齢別態様」と呼んで説明する。また、下記説明では、年齢を区別しない上記本発明の態様を「年齢無差別態様」と呼んで、両者を区別する。
本発明による年齢別態様においても、〔評価ステップにおいて、ガボールフィルタを用いて特徴抽出を行い、その出力値を識別器にかける〕という処理の流れ自体は、上記態様と同様である。
当該年齢別態様では、〔年齢ごとに異なる平均（辞書）パターンを持つ識別器〕を予め用意しておく。年齢ごとに用意すべき個々の識別器のそれぞれの構成自体は、上記年齢無差別態様における識別器と同様である。
年齢ごとの識別器としては、より具体的には、次のような構成が挙げられる。
年齢ごとに、感情ごとのガボール特徴量平均（辞書）パターンｍｊを計算する。即ち、年齢ごとに、上記式（ｉｉ）で表される既知の感情ｊごとのガボール特徴量の平均（辞書）パターンｍｊを予め計算し、辞書パターンとして記憶装置・記憶媒体に格納しておき、顔感情データベースとして利用可能としておく。
例えば、後述のように〔０歳４ヶ月、０歳１０ヶ月〕のための２つの識別器を用いる場合、次の例のようなステップにて顔感情データベースを構築する。
先ず、統計的な試料として十分な人数の０歳４ヶ月児、０歳１０ヶ月児を対象とし、各乳幼児に種々の情動を喚起し、そのときの表情画像を撮像装置によって取り込み記録して、各感情と表情とが対応した表情画像データ集（感情名によってラベル付けされた表情画像データの集合）とする。このデータの集合は、説明の便宜上のものであって、必ずしも、データ集として保持する必要はなく、取り込んだ顔画像に対して、直接的に、次のガボールフィルタ処理を行なってもよい。
次に、各表情画像をガボールフィルタ処理し、年齢ごと、感情ごとの、顔のガボール特徴量の平均（辞書）パターンを算出して、辞書パターンとし、０歳４ヶ月児における顔感情データベース、０歳１０ヶ月児における顔感情データベースとする。
以上が、年齢別態様における顔感情データベースの構築の概要である。
判定すべき乳幼児（被験体）の、情動の評価・判定は、次のように行なう。
被験体の表情画像を撮像装置で取り込み、ガボールフィルタ処理し、上記式（ｉｉｉ）で表される未知パターンのガボール特徴量ｑ（今から判定しようとする被験体の表情のガボール特徴量）を得、第ｊ感情のポテンシャル関数値を、データベースに格納された第ｊ感情の辞書パターンｍｊを用いて上記式（ｉｖ）で表されるｐｊとして計算する。
年齢別態様では、年齢ごとのガボール特徴量平均（辞書）パターンｍｊを用いるので、ｐｊの値が年齢ごとに変った値となる。
この処理ステップ以降は、上記年齢無差別態様と全く同じ処理である。
ここで、上記式（ｉｉ）で表されるガボール特徴量平均（辞書）パターンｍｊと、上記式（ｉｖ）で表されるｐｊとを使わずに、サポートベクターマシンやニューラルネットワークや最近傍決定則や最小距離法等の識別手法を、月齢ごとに変えたり、同じ識別手法でも月齢ごとにこれらで用いられるカーネルや重み係数等を変更してもよい。
また、識別器だけでなく、画像の規格化やガボールフィルタでのパラメータを月齢ごとに適したものを選ぶことも可能である。例えば、上記態様では均等に割り付けてあるθを、月齢ごとに、着目したい顔部位の方向に多く割り付けるなど、認識性能が向上するように適宜の変更を加えてもよい。
当該年齢別態様では、被験体として適する乳幼児の年齢は、特に限定はされないが、当該態様が有用となるのは、０歳２ヶ月〜６歳０ヶ月程度であるが、その有用性がより顕著になるのは０歳３ヶ月〜３歳０ヶ月程度、特に、０歳３ヶ月〜１歳６ヶ月の乳幼児は、感情を顔表情として安定的に表出できない度合いが顕著であり、また、成長による変化が著しいため、当該年齢別態様が最も効果的に実施され得る年齢である。
当該年齢別態様において、年齢をどの程度まで細分化した識別器を用いればよいかは特に限定はされないが、年齢が１ヵ月異なる毎に異なる識別器を用いるなど過度に細分化しても差異が少なく、用意すべき識別器、それに用いられる年齢別の表情データベースが膨大になり、経済的・効果的ではない。
本発明者等の研究によれば、特に、０歳３ヶ月〜３歳０ヶ月の年齢の乳幼児に対しては、６ヶ月程度の間隔をおいてそれぞれに異なる識別器を用いるのが適当であり、特に実施例において示すように、前記年齢の乳幼児に対しては、互いに顕著な差異を示す〔０歳４ヶ月、０歳１０ヶ月〕の２種類の識別器を用いることが経済的・効果的であることがわかった。
即ち、０歳３ヶ月〜０歳７ヶ月の被験体に対しては、４ヶ月の識別器を用い、０歳７ヶ月〜１歳６ヶ月の被験体に対しては、１０ヶ月の識別器を用いるのである。両者の境界０歳７ヶ月がオーバラップしているのは、劇的に変動するような臨界的境界がないからである。乳幼児の成長の度合いには大きな個体差があるため、例えば０歳６ヶ月〜０歳８ヶ月児などは、適宜、好ましい方の識別器を用いてよい。
また、同時に顔部位間の距離を測定することで、表情に特異的なパターンを抽出し、抽出した顔部位パターンから表情を推定する。このとき、データベースとして乳幼児の顔画像のみを用いるほか、月齢・年齢により表情パターンが異なることを踏まえ、表情認識の対象となる乳幼児の月齢・年齢に応じて、最適な識別器を識別に用いることで、高精度な表情認識を行うことが可能である。
被験体の部位間の距離を入力するに際しては、例えば、撮像装置で取り込んだ被験体の顔を従来公知の顔識別法で処理し、部位間の距離を自動で計測・演算し、結果の値を入力として用いる方法や、撮像装置で取り込んだ被験体の顔をモニターに映し出し、利用者に画像上で手動でポイントしてもらい、そのポイント位置から距離を自動で演算し、結果の値を入力として用いる方法などが挙げられる。また、入力に際しては、全ての顔部位を対象として入力してもよいが、後段の処理で特に有用な部位のみを入力として用いる方がより実用的である。
本発明は、ハードウェアの構成として説明することができるが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
本発明による被験体の感情評価方法をコンピュータに実行させるプログラムは、上記（１）のとおり、Ａ）取得ステップと、Ｂ）評価ステップと、Ｃ）判定ステップとを包含する方法のためのプログラムであるが、これは、次のように換言し得る。即ち、
コンピュータを、
顔データを取得する取得手段（Ａ）、
取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価手段（Ｂ）、
該評価スコアから感情を判定する判定手段（Ｃ）、
として機能させるためのプログラムである。
当該プログラムにおいて、「顔データを取得する取得手段（Ａ）」として機能するプログラムとは、外部機器で撮影されて、Ａ／Ｄ変換された画像デジタルデータを、当該プログラム自体で処理すべき入力データとして、取り入れるステップを意味する。
評価手段（Ｂ）、判定手段（Ｃ）は、プログラムのフローにおける演算部分、顔感情データベースを参照した比較・判定部分である。
顔感情データベースは、１つの同じコンピュータ内に格納しておく必要はなく、通信手段等によってアクセス可能な離れたコンピュータに格納されていてもよい。
判定手段（Ｃ）の後段に、判定された該感情を表示する表示手段が加えられてもよい。表示手段は、外部表示装置に判定結果を出力する部分である。表示手段は、各種モニターであっても、プリンターなどであってもよい。
さらに、入力機器、中央処理装置、記憶装置（顔感情データベースを格納している）、出力装置が、全て互いに離れた場所に配置され、それらが互いに通信手段等によって接続される構成であってもよい。
（ロボット装置の構成）
次に、このような顔表情判定装置を搭載した本実施の形態におけるロボット装置について説明する。本ロボット装置は、上述したように、顔表情判定装置を搭載すると共に、センサ入力等の外部環境及び自身の内部状態に応じて自立的に動作が可能な人間型のロボット装置である。
この人間型のロボット装置は、住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットであり、内部状態（怒り、悲しみ、喜び、楽しみ等）に応じて自律的に行動できるほか、人間が行う基本的な動作を表出できるエンターテインメントロボットである。
本明細書において引用された、科学文献、特許、特許出願などの参考文献は、その全体が、各々具体的に記載されたのと同じ程度に本明細書において参考として援用される。
以上、本発明を、理解の容易のために好ましい実施形態を示して説明してきた。以下に、実施例に基づいて本発明を説明するが、上述の説明および以下の実施例は、例示の目的のみに提供され、本発明を限定する目的で提供したのではない。従って、本発明の範囲は、本明細書に具体的に記載された実施形態にも実施例にも限定されず、特許請求の範囲によってのみ限定される。
以下に、本発明の好ましい実施形態を示すが、当業者は本発明の説明および当該分野における周知慣用技術からその実施形態などを適宜実施することができ、本発明が奏する作用および効果を容易に理解することが認識されるべきである。
この発明によれば、乳児の顔画像より表情（情動）の認識が可能である。さらに、インターネットサービスを介して不特定多数からのデータの提供により、データベースの蓄積が期待され、表情の認識率が高まることが予想される。これにより、乳児の感情翻訳機の開発および任意の画像における顔領域の高速な位置推定が可能になるという効果を奏する。
本発明により、乳児など、感情表現ができないかまたは困難な被験体の感情を容易に判定することになった。このような感情翻訳機を用いることによって、例えば、医療用（小児科、精神科など）、および携帯端末などを用いて、感情表現に基づく商用サービスを展開する際に使用することができる。
本発明によるコンピュータによる表情の解析技術（以下本発明技術）は、従来の方法と比較して、以下の点において優れている。
先ず、コンピュータによる表情の解析技術は以下の点が望まれていることがわかっている。
従来の方法では、上記非特許文献２の説明で述べたように、（ｂ）顔の持ち主の年齢によらず有効ではないこと、（ｃ）照明や背景の変化に対して頑健な処理ではないこと、また、特に（ｉ）実際の人間が作り得る任意の表情を感情に対応づけることができないこと、が問題であった。
上記（ｂ）に対して、本発明では、顔の持ち主が乳児期であっても有効である。また、上記（ｃ）に対して、本発明では、照明や背景の変化に対して比較的頑健な処理が可能である。また、特に上記（ｉ）に関しては、従来、情動判定の対象としてきた成人では、演技や大げさな表現でしか感情（喜び、悲しみ、恐れ、怒り、驚き）に対応する表情を実験的に表出することができず、また、わずかな変化を解析したとしても感情との対応づけができていなかった。これに対して、本発明では、乳児を対象とすることで、実際の人間が作り得る任意の表情を感情に対応させることを可能とし、これまで不可能であった表情の認識の課題を解決することを可能としている。
従来の代表的な成人の表情データベースは、データの収集目的やその内容において顔画像をＥｋｍａｎの６つの基本感情（喜び、悲しみ、嫌悪、驚き、悲しみ、怒り、恐れに無表情を加えた７つのカテゴリー）のいずれかに分類するというタスクの実現に適しているとは言い難い。そのため、多くの研究者や研究機関は、独自の成人の表情データベースの構築を行ってはいるが、その場合であっても「５〜７種類の基本感情を意識的に（しかも普段目にすることがまれなほどに強調した形で）表出した表情を入念にコントロールされた条件で顔画像」を元に作成されており、これを基本感情に対応する感情カテゴリーに強制的に分類することで、あくまでも実験目的に限定されたタスクを実現したにすぎない。
また、従来の成人の表情のデータベースで用いている表情の表出は上述の方法で行っており、上述の問題を含んでいる。したがって、表情のデータベースはまだ完成していないと言える。
一方、本発明技術によって作成されたデータベースは、上述した従来の表情のデータベースのような問題を持たずに、実際の人間が作り得る任意の表情を感情に対応づけたものである。
以下に本発明を、必要に応じて、添付の図面を参照して例示の実施例により記載する。
本明細書の全体にわたり、単数形の表現は、特に言及しない限り、その複数形の概念をも含むことが理解されるべきである。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および科学技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。
（定義）
以下に本明細書において特に使用される用語の定義を列挙する。
本明細書において「表情」および「感情」は、交換可能に用いられ、主体の存続にとって肯定的あるいは否定的な状況変化に対する価値づけとしての主観的事象をいう。精神の働きを知・情・意に分けた時の情的過程全般を指す。本明細書においては、表情と感情とは、通常は、特に区別をしないで用いるが、特に言及するときは、「表情」は、心中の感情・情緒を、顔つきや身振りに出しあらわすことをいう。従って、厳密な意味で使用する場合は、「表情」は、「感情」が顔などに表れたことをいう。
本明細書において、「顔データ」とは、顔に関する任意のデータをいい、特に、顔の画像に関するデータ・情報を含む。そのような顔データは、カラー動画像（例えば、ＡＶＩファイル、ｍｐｇファイル）、カラー静止画像（ｐｐｍファイル、ｊｐｇファイル、ｂｍｐファイルなど）、モノクロ動画像、モノクロ静止画像（ｐｇｍファイルなど）などという形式で提供することができる。
本明細書において「顔感情データベース」とは、顔と感情との相関関係に関する情報を含むデータベースをいう。本明細書では、「表情辞書パターン」ともいう。
本明細書において「評価スコア」とは、ある顔データについて、特定の感情を意味するかどうかについて評価されたスコアを言う。
本明細書において「規格化」とは、当該分野において慣用されるのと同じ意味を持ち、規格・標準に合せることをいう。本発明では、例示的に、規格化は、ガボールフィルタを用いて行うことができる。
本明細書において「ガボールフィルタ（Ｇａｂｏｒ ｆｉｌｔｅｒｉｎｇ）」とは、特定の方位の輪郭線（エッジ）を抽出するための処理をいい、視覚皮質にある方向選択性を持つ神経細胞に似た働きを有する。ガボール関数は、通常、２次元のガウス関数とサイン関数との積で表される。
ガボールフィルタは、二次元ガウス曲面と二次元平面上を一方向に伝わる平面波とをかけ合わせたフィルタである。平面波の波長をλ、ガウス曲面のｘ方向とｙ方向との標準偏差を、それぞれ、σｘ（λ）、σｙ（λ）とし、波の進行方向とｘ軸とのなす角度を０≦θ≦πとすると、ガボールフィルタは、次式で与えられる。
ここで、標準偏差σｘ（λ）およびσｙ（λ）は、ガウス曲面の広がりを定めるが、平面波の波長の値に応じて値が変化するため波長λの関数として表される。
ガボールフィルタの実部は、次式で表される。
ガボールフィルタの虚部は、次式で表される。
ガボールフィルタを用いて顔画像からガボール特徴量を抽出するには、ガボールフィルタと顔画像パターンとの「たたみこみ（ｃｏｎｖｏｌｕｔｉｏｎ）」を計算する必要がある。ここで、顔画像の大きさを、Ｎ×Ｎピクセルのモノクロ画像Ｉ（ｉ，ｊ）（０≦ｉ≦Ｎ−１，０≦ｊ≦Ｎ−１）として、画像上のサンプリング点を（Ｘ，Ｙ）とする。ある特定のθ、λに対するガボールフィルタと画像のたたみこみは、次の式で与えられる。
このｇ（Ｘ，Ｙ，θ，λ）を用いて、ガボール特徴値は、
ｈ（Ｘ，Ｙ，θ，λ）＝｜ｇ（Ｘ，Ｙ，θ，λ）｜
で与えられる。ここで、ｚを複素数α＋ｉβとしたとき、記号｜ｚ｜はｚの絶対値を表し、その値は次式で表わされる。
例えば、本発明において使用され得る２０４８次元パターンの場合は、以下のような処理を行うことができる。
１６×１６ピクセルで切り出した顔画像にθ＝０、π／８、２／８π、３／８π、４／８π、５／８π、６／８π、７／８πの８方向のガボールフィルタを適用し、合計１６×１６×８＝２０４８次元のガボール特徴を得る。
本明細書において「対応する」データベースとは、特定の被験体の実際のデータに基づくか、またはその被験体と同様のグループ・属性に属すると考えられる他の被験体から得られたデータから構成されるデータベースをいう。
本明細書において「被験体」とは、実験または観察の対象となる客体をいう。被験体は、顔の表情を持つものであれば、どのような生物でもよいが、本発明では、特に、ヒトを被験体とするが、本発明は、これに限定されないことが理解される。本発明において特に対象とされる被験体としては、例えば、乳児のほかに、言葉を話せない聾唖者、寝たきり患者、認知症等を挙げることができる。
本明細書において「感情パラメータ」とは、感情を表す個々の要素をいい、例えば、喜怒哀楽などの、怒り、嫌悪、恐れ、悲しみ、幸福、驚きを含む種々の要素があり、本明細書では、特に、怒り、嫌悪、恐れ、悲しみ、幸福、驚き、無表情を使用することができることが理解される。
本明細書において、顔データの「パターン」とは、顔データについての類型化された類型をいう。
本明細書において、「平均パターン」とは、顔データについて、ある感情を有するものが平均的に有し得るパターンをいう。
本明細書において、ポテンシャル関数とは、データの確率密度を推定するために用いられる関数であり、例えば、ガウス関数が挙げられる。一方、「ポテンシャル値」とは、与えられたデータに対するポテンシャル関数の出力値を指し、データの出現確率を表す値である。
本明細書において「顔領域」とは、顔データに含まれる情報のうち、実際の顔に相当する部分の領域をいう。
本明細書において「抽出」とは、当該分野において通常用いられるのと同じ意味で用いられ、与えられた表現の選択部分から新しい表現をつくることをいう。
本明細書において、「特徴量」とは、ある要素について特徴となる量をいう。本明細書において「ガボール特徴量」とは、ガボール関数またはガボールフィルタによる処理によって得られた特徴量をいう。
本明細書において「補正」とは、当該分野において通常用いられるのと同じ意味で用いられ、測定、数値計算または理論式などで、より真に近い値を求めるために、読み取った値、計算値、数式にある数値または項、因子などを加える操作、または加えた値をいう。補正としては、例えば、回転補正、明るさ補正およびサイズ補正等を挙げることができる。
本明細書において、ガボールフィルタについて「方向」とは、当該分野において通常用いられるのと同じ意味で用いられ、二次元または三次元などにおいて、それらの間の距離に関係なく、空間における一つの点を他との比較で位置づけたものをいう。
ガボールフィルタは、本発明において、例えば、４方向（縦横）、８方向（縦横斜め）のものが用いられ得る。なお、本発明では、何方向でも使用可能である。方向を多くとるほど特徴量の次元数が大きくなる。従って、次元数が大きくならず、かつ、十分な特徴を抽出できる方向数を選ぶ。
本明細書において「訓練パターン」とは、感情の種類が既知のパターンをいう。これに対して、「未知パターン」とは、感情の種類が未知のパターンをいう。
本明細書において「最大割合を占める」感情パラメータとは、分析の結果複数種類のポテンシャル値が候補として現れたとき、最大の割合を示す感情パラメータをいう。
最大割合を占めるかどうかは、ポテンシャル値が最大となる感情カテゴリーを、例えば、次式（ｉ）によって判定することができる。
上記式（ｉ）において、Ｐ（ｑ｜ｊ）は、未知パターンの（ガボール）特徴量ｑについて第ｊ感情である確率（第ｊ感情が占める割合）を表す関数である。また、「ｍａｘａｒｇ」は、全ての感情について項Ｐ（ｑ｜ｊ）を求めたときの最大となる感情の番号を与えることを意味する関数記号である。
本明細書において「感情カテゴリー」とは、感情パラメータについて、分類したものを
いう。
本明細書において、「相関関係情報」とは、例えば、顔と感情とについては、ある顔（または顔データ）を有したとき、一定の割合で情報を相関づけることを言う。
（ポテンシャル関数（正規分布）を用いた表情量の算出）
Ｃ種類の表情カテゴリーがあり、そのうちの第ｊ表情に属するｄ次元の訓練パターンのガボール特徴値を一次元に並べたベクトルを次式で表す。
準備として、次式で表される第ｊ表情の訓練パターンの平均パターンを辞書パターンとして計算しておく。
未知パターンのガボール特徴量
が与えられた場合、第ｊ感情のポテンシャル関数値を、
として計算する。
ここで、ｘ、ｙをベクトルとして、記号「‖ｘ−ｙ‖」は、ベクトルｘとベクトルｙとの間のユークリッド距離を意味し、αは、正規分布の分散を決めるパラメータである。
ポテンシャル関数値について、次式（ｖ）で表されるＰ（ｑ｜ｊ）を計算することによって該ポテンシャル関数値に対応する感情の割合が計算される。百分率としたい場合は、Ｐ（ｑ｜ｊ）×１００％とする。
もし、未知パターンの表情を一意に出力したい場合には、上記式（ｉ）によりポテンシャル値が最大となる感情カテゴリーを計算し、表情名を出力する。
なお、特定の感情を有するか否かを判定する場合には、該感情が含まれる感情カテゴリーの集合をＡ、該感情が含まれない感情カテゴリーをＢとしたときに、次式（ｖｉ）の関係が成立する場合には、該感情が含まれており、そうでない場合には、該感情が含まれていないと判定することができる。
（好ましい実施形態）
以下に本発明において実施され得る好ましい実施形態を記載する。
本発明では、顔画像そのものから表情認識に有効な特徴量を抽出し、その特徴量を用いて表情を推定する方法を提案する。
具体的には、取得ステップで取得された顔データによる顔画像に対し、評価ステップにおいて、ガボールフィルタを用いて画面上にある顔領域を抽出し、抽出した顔領域のガボールフィルタの出力値をそのまま特徴量とし、これを当該評価ステップに含まれる識別器に入力し表情の名称を出力する。
「識別器」とは、上記式（ｉｉ）で表されるｍｊ（即ち、既知の感情ｊごとのガボール特徴量の平均（辞書）パターンｍｊ）を予め形成されたデータベースとして有し、入力として、未知パターンのガボール特徴量ｑを受け付け、最終的にｊ個のポテンシャル（関数）値Ｐ（ｑ｜ｊ）を出力するよう構成された演算処理部やプログラムステップ等を意味する。
また、同時に顔部位間の距離を測定することで、表情に特異的なパターンを抽出し、抽出した顔部位パターンから表情を推定する。このとき、データベースとして乳児の顔画像のみを用いることで、Ａｃｔｉｏｎ Ｕｎｉｔを用いることなく乳児の表情を認識することが可能である。
１つの実施形態では、被験体としては、任意の被験体（例えば、乳児、言葉を話せない聾唖者、寝たきり患者および認知症患者など）を対象とすることができるが、特に、感情を表現できない被験体、例えば、対象とする乳児の至適月齢（８−１２ヶ月）などが対象として挙げられ得る。感情がかなり豊かになっているが、なおも感情を表現することが困難な月齢であるからであるが、これに限定されない。
本発明でいう「感情を表現できない」とは、「感情を顔表情として安定的に表出することのできない」あるいは「顔表情による情動の表出（能力）に関してまだ未発達（未完成）の」という意味である。例えば、乳幼児の場合、心理学分野では、「怒り」は年齢０歳３ヵ月、「喜び」は年齢０歳４ヵ月、「悲しみ」「驚き」は年齢０歳６ヵ月、「恐れ」は年齢０歳７ヵ月齢で、それぞれ、その感情を顔表情として安定して表出できるようになると言われている。
顔感情データベースを予め構築しておくためには、乳児に対して種々の情動を喚起し、情動とそのときの表情とが関連付けられたデータが必要である。そのための、乳児の情動を喚起する方法は、例えば、図１に記載されているように、以下の方法を挙げることができる。
喜びを喚起する方法としては、マザリーズ提示法が挙げられる。
マザリーズ提示法は以下のように実施する。
乳児を母親のひざにカメラ側を向いて座らせる。まず、自然な状態で表情の撮影を開始した後、母親に乳児に呼びかけを行ってもらい表情の変化を誘発する。母親の呼びかけに加えて乳児の体に働きかけを行ったり、おもちゃを利用した“あやし”の行動を母親、または撮影者がカメラ側から行う。
乳児の体への働きかけの例としては、以下を挙げることができる。
・くすぐる（乳児の名前を呼びかける、または「コチョコチョ」と言いながら）
・ゆする（乳児の名前を呼びかけながら）
・持ち上げる（乳児の名前を呼びかける、または「たかい、たかい」と言いながら）
おもちゃを利用したあやしの例
・ぬいぐるみ、人形等のおもちゃを生きているように動かしながら近づける
・乗り物のおもちゃを乳児の方向へ走らせる。
悲しみを喚起する方法としては、母退出法が挙げられる。
母退出法は、以下のようにして実施する。
乳児をチャイルドシートにカメラ側を向いて座らせ、安全のために横に（乳児の左右９０度の位置）測定者１名が付き添う。乳児がチャイルドシートを嫌がる場合（保護者から普段の状況を聞き取り泣くことが予想される場合、または、チャイルドシートに座らせる過程でぐずったり、泣いたりした場合）測定者の母親のひざにカメラ側を向いて座らせる。チャイルドシート等に１〜２分慣れさせた後、乳児から見えなくなるよう母親にカメラ側から退出または隠れてもらう。
母親がいなくなったことに気づかない場合、母に、再度乳児の前へ出てもらい、状況に慣れたと判断した後、母の退出等を行う。
驚きを喚起する方法としては、ブザー音提示法が挙げられる。
ブザー音提示法は、以下のようにして実施する。
乳児を母親のひざにカメラ側を向いて座らせる。まず、自然な状態で表情の撮影を開始した後、カメラ側から乳児に見えないように防犯ブザー（８０−９０ｄＢ）を３〜５秒間鳴らす。
測定者が、乳児の明瞭な表情または動作の変化がみられないと判断した場合、１分以上時間を置いた後３回までブザー音提示を繰り返す。
恐れを喚起する方法としては、ストレンジャー法が挙げられる。
ストレンジャー法は、以下のようにして実施する。
乳児を母親のひざにカメラ側を向いて座らせる。まず、自然な状態で表情の撮影を開始した後、ストレンジャー：乳児が対面したことのない成人男性にカメラ側から無言で登場してもらう。測定者が、乳児の明瞭な表情または動作の変化がみられないと判断した場合、ストレンジャーに乳児へ近づいてもらう。
怒りを喚起する方法としては、おもちゃ消失法が挙げられる。
おもちゃ消失法は、以下のようにして実施する。
乳児は母親のひざにカメラ側を向いて座らせる。まず、自然な状態で表情の撮影を開始し乳児におもちゃを渡して自由に遊ばせる。おもちゃは乳児が興味を示すものを用いる。乳児が遊んでいる際に、測定者は「頂戴。もらった。」と声をかけながら乳児の手からおもちゃを奪う。
以上は、乳幼児を被験体とした場合の一例である。
上記の態様では、乳幼児の表情認識を行うための技術を提案しているが、被験体となる乳幼児の年齢（本発明でいう年齢とは、０歳４ヶ月、１歳２ヶ月など、１ヶ月単位で示される月齢をも含んだ概念である）については、特に区別することなく、全ての乳幼児に同一の識別器（顔識別アルゴリズム）を用いている。
しかし、上記態様例に加えて、本発明者等がさらなる研究を行なったところ、年齢によって、表情パターンが異なっていることが明らかになった。即ち、ある年齢（特に１歳未満のある月齢）の乳幼児にとって最適な識別器は、その後成長した年齢の乳幼児にとっては、総じては適しているが、最適ではないというケースも有り得ることがわかった。
次に示す態様は、本発明のより好ましい態様であって、評価ステップにおいて被験体の年齢に応じた最適な識別器を用いることによって、表情識別精度をさらに向上させるものである。年齢に応じて異なるアルゴリズムを用いるという構成やその作用効果（表情識別精度が向上すること）は、従来技術には全く無かったものである。
このような年齢に応じた最適な識別器を用いて行なう本発明の態様を、以下に「年齢別態様」と呼んで説明する。また、下記説明では、年齢を区別しない上記本発明の態様を「年齢無差別態様」と呼んで、両者を区別する。
本発明による年齢別態様においても、〔評価ステップにおいて、ガボールフィルタを用いて特徴抽出を行い、その出力値を識別器にかける〕という処理の流れ自体は、上記態様と同様である。
当該年齢別態様では、〔年齢ごとに異なる平均（辞書）パターンを持つ識別器〕を予め用意しておく。年齢ごとに用意すべき個々の識別器のそれぞれの構成自体は、上記年齢無差別態様における識別器と同様である。
年齢ごとの識別器としては、より具体的には、次のような構成が挙げられる。
年齢ごとに、感情ごとのガボール特徴量平均（辞書）パターンｍｊを計算する。即ち、年齢ごとに、上記式（ｉｉ）で表される既知の感情ｊごとのガボール特徴量の平均（辞書）パターンｍｊを予め計算し、辞書パターンとして記憶装置・記憶媒体に格納しておき、顔感情データベースとして利用可能としておく。
例えば、後述のように〔０歳４ヶ月、０歳１０ヶ月〕のための２つの識別器を用いる場合、次の例のようなステップにて顔感情データベースを構築する。
先ず、統計的な試料として十分な人数の０歳４ヶ月児、０歳１０ヶ月児を対象とし、各乳幼児に種々の情動を喚起し、そのときの表情画像を撮像装置によって取り込み記録して、各感情と表情とが対応した表情画像データ集（感情名によってラベル付けされた表情画像データの集合）とする。このデータの集合は、説明の便宜上のものであって、必ずしも、データ集として保持する必要はなく、取り込んだ顔画像に対して、直接的に、次のガボールフィルタ処理を行なってもよい。
次に、各表情画像をガボールフィルタ処理し、年齢ごと、感情ごとの、顔のガボール特徴量の平均（辞書）パターンを算出して、辞書パターンとし、０歳４ヶ月児における顔感情データベース、０歳１０ヶ月児における顔感情データベースとする。
以上が、年齢別態様における顔感情データベースの構築の概要である。
判定すべき乳幼児（被験体）の、情動の評価・判定は、次のように行なう。
被験体の表情画像を撮像装置で取り込み、ガボールフィルタ処理し、上記式（ｉｉｉ）で表される未知パターンのガボール特徴量ｑ（今から判定しようとする被験体の表情のガボール特徴量）を得、第ｊ感情のポテンシャル関数値を、データベースに格納された第ｊ感情の辞書パターンｍｊを用いて上記式（ｉｖ）で表されるｐｊとして計算する。
年齢別態様では、年齢ごとのガボール特徴量平均（辞書）パターンｍｊを用いるので、ｐｊの値が年齢ごとに変った値となる。
この処理ステップ以降は、上記年齢無差別態様と全く同じ処理である。
ここで、上記式（ｉｉ）で表されるガボール特徴量平均（辞書）パターンｍｊと、上記式（ｉｖ）で表されるｐｊとを使わずに、サポートベクターマシンやニューラルネットワークや最近傍決定則や最小距離法等の識別手法を、月齢ごとに変えたり、同じ識別手法でも月齢ごとにこれらで用いられるカーネルや重み係数等を変更してもよい。
また、識別器だけでなく、画像の規格化やガボールフィルタでのパラメータを月齢ごとに適したものを選ぶことも可能である。例えば、上記態様では均等に割り付けてあるθを、月齢ごとに、着目したい顔部位の方向に多く割り付けるなど、認識性能が向上するように適宜の変更を加えてもよい。
当該年齢別態様では、被験体として適する乳幼児の年齢は、特に限定はされないが、当該態様が有用となるのは、０歳２ヶ月〜６歳０ヶ月程度であるが、その有用性がより顕著になるのは０歳３ヶ月〜３歳０ヶ月程度、特に、０歳３ヶ月〜１歳６ヶ月の乳幼児は、感情を顔表情として安定的に表出できない度合いが顕著であり、また、成長による変化が著しいため、当該年齢別態様が最も効果的に実施され得る年齢である。
当該年齢別態様において、年齢をどの程度まで細分化した識別器を用いればよいかは特に限定はされないが、年齢が１ヵ月異なる毎に異なる識別器を用いるなど過度に細分化しても差異が少なく、用意すべき識別器、それに用いられる年齢別の表情データベースが膨大になり、経済的・効果的ではない。
本発明者等の研究によれば、特に、０歳３ヶ月〜３歳０ヶ月の年齢の乳幼児に対しては、６ヶ月程度の間隔をおいてそれぞれに異なる識別器を用いるのが適当であり、特に実施例において示すように、前記年齢の乳幼児に対しては、互いに顕著な差異を示す〔０歳４ヶ月、０歳１０ヶ月〕の２種類の識別器を用いることが経済的・効果的であることがわかった。
即ち、０歳３ヶ月〜０歳７ヶ月の被験体に対しては、４ヶ月の識別器を用い、０歳７ヶ月〜１歳６ヶ月の被験体に対しては、１０ヶ月の識別器を用いるのである。両者の境界０歳７ヶ月がオーバラップしているのは、劇的に変動するような臨界的境界がないからである。乳幼児の成長の度合いには大きな個体差があるため、例えば０歳６ヶ月〜０歳８ヶ月児などは、適宜、好ましい方の識別器を用いてよい。
また、同時に顔部位間の距離を測定することで、表情に特異的なパターンを抽出し、抽出した顔部位パターンから表情を推定する。このとき、データベースとして乳幼児の顔画像のみを用いるほか、月齢・年齢により表情パターンが異なることを踏まえ、表情認識の対象となる乳幼児の月齢・年齢に応じて、最適な識別器を識別に用いることで、高精度な表情認識を行うことが可能である。
被験体の部位間の距離を入力するに際しては、例えば、撮像装置で取り込んだ被験体の顔を従来公知の顔識別法で処理し、部位間の距離を自動で計測・演算し、結果の値を入力として用いる方法や、撮像装置で取り込んだ被験体の顔をモニターに映し出し、利用者に画像上で手動でポイントしてもらい、そのポイント位置から距離を自動で演算し、結果の値を入力として用いる方法などが挙げられる。また、入力に際しては、全ての顔部位を対象として入力してもよいが、後段の処理で特に有用な部位のみを入力として用いる方がより実用的である。
本発明は、ハードウェアの構成として説明することができるが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
本発明による被験体の感情評価方法をコンピュータに実行させるプログラムは、上記（１）のとおり、Ａ）取得ステップと、Ｂ）評価ステップと、Ｃ）判定ステップとを包含する方法のためのプログラムであるが、これは、次のように換言し得る。即ち、
コンピュータを、
顔データを取得する取得手段（Ａ）、
取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価手段（Ｂ）、
該評価スコアから感情を判定する判定手段（Ｃ）、
として機能させるためのプログラムである。
当該プログラムにおいて、「顔データを取得する取得手段（Ａ）」として機能するプログラムとは、外部機器で撮影されて、Ａ／Ｄ変換された画像デジタルデータを、当該プログラム自体で処理すべき入力データとして、取り入れるステップを意味する。
評価手段（Ｂ）、判定手段（Ｃ）は、プログラムのフローにおける演算部分、顔感情データベースを参照した比較・判定部分である。
顔感情データベースは、１つの同じコンピュータ内に格納しておく必要はなく、通信手段等によってアクセス可能な離れたコンピュータに格納されていてもよい。
判定手段（Ｃ）の後段に、判定された該感情を表示する表示手段が加えられてもよい。表示手段は、外部表示装置に判定結果を出力する部分である。表示手段は、各種モニターであっても、プリンターなどであってもよい。
さらに、入力機器、中央処理装置、記憶装置（顔感情データベースを格納している）、出力装置が、全て互いに離れた場所に配置され、それらが互いに通信手段等によって接続される構成であってもよい。
（ロボット装置の構成）
次に、このような顔表情判定装置を搭載した本実施の形態におけるロボット装置について説明する。本ロボット装置は、上述したように、顔表情判定装置を搭載すると共に、センサ入力等の外部環境及び自身の内部状態に応じて自立的に動作が可能な人間型のロボット装置である。
この人間型のロボット装置は、住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットであり、内部状態（怒り、悲しみ、喜び、楽しみ等）に応じて自律的に行動できるほか、人間が行う基本的な動作を表出できるエンターテインメントロボットである。
本明細書において引用された、科学文献、特許、特許出願などの参考文献は、その全体が、各々具体的に記載されたのと同じ程度に本明細書において参考として援用される。
以上、本発明を、理解の容易のために好ましい実施形態を示して説明してきた。以下に、実施例に基づいて本発明を説明するが、上述の説明および以下の実施例は、例示の目的のみに提供され、本発明を限定する目的で提供したのではない。従って、本発明の範囲は、本明細書に具体的に記載された実施形態にも実施例にも限定されず、特許請求の範囲によってのみ限定される。
以下の実施例においては、被験体となる乳児などについては、保護者に対して予めインフォームドコンセントを得ておいた。他に、意思表示ができる被験体の場合は、本実験は長崎大学医学部倫理委員会（承認番号１７０１１７９３）の承認を受け、被験者には、実験内容についての医師による十分な説明を行い、書面による同意を得た。実験当日は特に何もしてもらっていない。
実施例１：乳児の情動を喚起する方法の標準実施例
本実施例は、顔画像データベースを実際に作成した例である。本実施例は、年齢無差別態様での顔画像データベースの作成例であるが、その作成方法自体は、本発明による年齢別態様における年齢別の顔画像データベースの作成に用いてよい。また、顔に対するガボールフィルター処理の説明は、被験体（今から情動を推定しようとする乳幼児）の顔に対するガボールフィルター処理の説明として用いてよい。
この実施例では、以下の実施例において標準となるデータを収集するために、８から１２ヶ月の月齢の乳児について、以下の各人数についてのデータを収集した（図１）。なお、各々の感情パラメータについては、その判定は、右に示す標準的な方法を用いた。
全測定は、以下の測定環境にて行う。
・温度２５℃
・入室後２０分環境に慣れるための時間をとる。
・測定者は成人女性のみとする（ストレンジャーを除く）。
各情動を喚起する方法として、喜び：マザリーズ提示法、悲しみ：母退出法、驚き：ブザー音提示法、恐れ：ストレンジャー法、怒り：おもちゃ消失法を、それぞれ用いた。
各情動を喚起する方法は、上記で詳細に説明したとおりであるが、それぞれに使用したパラメータは、以下の通りである。
マザリーズ提示法：上記されている通りに行う。
母退出法：上記されている通りに行う。
ブザー音提示法：防犯ブザー（８０−９０ｄＢ）の音を３〜５秒間提示する。音の提示は３回まで行う。
ストレンジャー法：乳児が対面したことのない成人男性。
おもちゃ消失法：使用するおもちゃは、乳児に提示しても、それを手にとって遊ばない場合は興味を持っていないと判断し使用しない。
（喜び１４人、悲しみ１４人、怒り１３人、恐れ１３人、驚き１５人）
（表情の撮影・記録方法、媒体、画像フォーマット）
表情撮影は、デジタルビデオカメラ（ＳＯＮＹ ＤＣＲ−ＴＲＶ１８ ＮＴＳＣ）をもちいて行い、ビデオテープに標準モードでＤＶ−ＡＶＩ形式にて記録する。動画より、何らかの表情変化が見られる瞬間をＪＰＥＧ画像として切り出しを行った。
（表情の補正（画像傾き補正））
入力画像にガボールフィルタを適用し、両目を検出した。その後、各目の重心を求め、両目の重心間を結ぶ直線が水平になるように画像を回転させた。
結果の例を図２に示す。
（顔領域抽出）
回転させた画像から、口、両目、眉を含む矩形領域をガボールフィルタ出力値に基づき決定する。
例示として、画像解像度１６×１６ピクセルのものを図２に示す。
図２に示すように、まず元画像が入力された後、ガボールフィルタの出力値に基づいて両目の位置を検出し、その重心間を結ぶ直線が水平となるように画像を回転させる。次に、口、両目、眉を含む矩形領域をガボールフィルタの出力値に基づき決定する。このような手順により、図２の右端に示すように表情認識に必要な顔領域を抽出することができる。
（顔領域線形変換）
決定した矩形領域を、線形変換により１６×１６ピクセルに縮小または拡大した。
ここでは、グレイ化（濃淡データ（０〜２５５階調））を例示する（図２）。
図２に示すように、まず元画像が入力された後、ガボールフィルタの出力値に基づいて両目の位置を検出し、その重心間を結ぶ直線が水平となるように画像を回転させる。次に、口、両目、眉を含む矩形領域をガボールフィルタの出力値に基づき決定する。このような手順により、図２の右端に示すように表情認識に必要な顔領域を抽出することができる。
（ガボールフィルタを用いた特徴量の抽出）
抽出した顔領域画像にガボールフィルタを適用することによって得た。
抽出例を図３に示す。
図３には、８方向のガボールフィルタを適用した後の出力値を画像の濃淡により表した。
（表情辞書パターンの作成）
上記全処理と特徴抽出をすべての乳幼児の顔画像に適用し、表情ごとに特徴量の平均（ベクトル）を算出し、それらを表情辞書パターンとした。
乳児用のものの作成例を図４に示す。
（表情認識のためのフローチャート）
表情認識のためには、画像を入力し、それを前処理（顔領域の抽出と回転、サイズ補正など）し、特徴を抽出し（例えば、ガボールイフィルタによる）、乳児の場合乳児専用データベースと対比して、表情（感情）を出力することができる。
乳児の表情認識のためのフローチャートは、図５に示す。
（最近傍決定則による識別）
入力パターンと辞書パターンとのユークリッド距離を計算し、距離が最小となる辞書パターンの属するカテゴリーを出力した。
未知データと各表情の辞書との距離を計算し、最も距離が短い辞書の属する表情名（感情パラメータ）を出力する。乳児の場合、悲しみが最も短く、識別率（推定値）は８１％となる。図６に、その模式図を示す（識別率 推定値８１％；図６）。
同様の処理を成人表情データベースを用いた場合の例（最近傍決定則）を図７に示す（識別率 推定値４５％）。
実施例２：顔データの各種分析
（顔部位（目横幅）の距離による喜び、悲しみの識別）
乳児の顔正面を捉えた静止画上において２点の座標、目頭（Ｕ１，Ｖ１）と目尻（Ｕ２，Ｖ２）とを計測し、次式を用いて２点間の距離、すなわち目横幅の距離ｌＥＷ１を測定する。
この目横幅の値をカメラからの距離を考慮して補正する。補正には、目横幅の距離ｌＥｗ１と同様に求めた、鼻根と鼻下との距離ｌｎｏｓｅ１とそのデータベース画像における平均値を利用する。該平均値は、下記（ｖｉｉ）の記号で表すものとする。
補正後の距離ｌＥｗは、次式で表される。
結果を図８に示す。
補正後の目横幅の値を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、目の横幅は、無感情時に比べて、悲しみの感情誘発時に伸張する傾向がみられた（ｐ＜０．１）。
一方、喜び、悲しみ、怒り、恐れ、驚きの感情誘発時には、無感情誘発時との差は見られなかった。ある表情変化によって目横幅の距離が増加した場合、この変化を誘発した感情は悲しみである可能性が挙げられる。
（顔部位（目縦幅）の距離による喜び、悲しみ、怒り、恐れの識別）
乳児の顔正面を捉えた静止画上において２点の座標上瞼の最も上側（Ｕ１，Ｖ１）と下瞼の最も下側（Ｕ２，Ｖ２）を計測し、次式を用いて２点間の距離、すなわち目縦幅の距離ｌＥｗ１を測定する。
この目縦幅の値をカメラからの距離を考慮して補正する。
補正には目横幅の距離ｌＥｗと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の目縦幅ｌＥＬは、次式で表される。
結果を図８に示す。
補正後の目縦幅の値を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、目縦幅は、無感情時に比べて、恐れの感情誘発時に統計的に有意な減少がみられ（ｐ＜０．０５）、喜び、悲しみ、怒りの感情誘発時に統計的に極めて有意な減少がみられた（ｐ＜０．０１）。
一方、驚きの感情誘発時には、無感情誘発時との差は見られなかった。ある表情変化によって目縦幅の距離が減少した場合、この変化を誘発した感情は喜び、悲しみ、怒り、恐れのいずれかである可能性が示唆される。
（顔部位（鼻下から頬まで）の距離による喜び、悲しみの識別）
乳児の顔正面を捉えた静止画上において２点の座標鼻下（Ｕ１，Ｖ１）と頬（Ｕ２，Ｖ２）を計測し、次式を用いて２点間の距離、すなわち鼻下から頬の距離ｌＣＨＥＥＫ１を測定する。
この鼻下から頬までの距離の値をカメラからの距離を考慮して補正する。
補正には目横幅の距離ｌＥｗと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の鼻下から頬までの距離ｌＣＨＥＥＫは、次式で表される。
結果を図８に示す。
補正後の鼻下から頬間までの距離を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、鼻下から頬間の距離は無感情時に比べて、喜び、悲しみの感情誘発時に統計的に極めて有意な増加がみられた（ｐ＜０．０１）。また、怒りの感情誘発時には増加の傾向がみられた（ｐ＜０．１）。一方、恐れ、驚きの感情誘発時には、無感情誘発時との差は見られなかった。ある表情変化によって鼻下から頬間の距離が増加した場合、この変化を誘発した感情は喜び、悲しみ、怒り、恐れのいずれかである可能性が示唆される。
（顔部位（口横幅）の距離による喜び、悲しみ、怒りの識別）
乳児の顔正面を捉えた静止画上において、２点の座標、即ち、鼻下（Ｕ１，Ｖ１）と頬（Ｕ２，Ｖ２）とを計測し、次式を用いて２点間の距離、即ち、口横幅ｌＭＷ１を測定する。
この口横幅の値をカメラからの距離を考慮して補正する。
補正には目横幅の距離ｌＥｗと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の口横幅ｌＭＷは、次式で表される。
結果を図８に示す。
補正後の口横幅の距離を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、口横幅の距離は、無感情時に比べて、喜び、悲しみの感情誘発時に統計的に極めて有意な増加がみられ（ｐ＜０．０１）、怒りの感情誘発時には有意な増加がみられた（ｐ＜０．０５）。一方、恐れ、驚きの感情誘発時には、無感情誘発時との差は見られなかった。ある表情変化によって口横幅の距離が増加した場合、この変化を誘発した感情は喜び、悲しみ、怒りのいずれかである可能性が示唆される。
（顔部位（口縦幅）の距離による喜び、悲しみ、怒り、恐れの識別）
乳児の顔正面を捉えた静止画上において、２点の座標、即ち、鼻下（Ｕ１，Ｖ１）と頬（Ｕ２，Ｖ２）を計測し、次式を用いて２点間の距離、即ち、口縦幅ｌＭＬ１を測定する。
この口縦幅の値をカメラからの距離を考慮して補正する。
補正には目横幅の距離ｌＥｗと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の距離ｌＭＬは、次式で表される。
結果を図８に示す。
補正後の口縦幅の距離を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、口縦幅の距離は、無感情時に比べて、悲しみの感情誘発時に統計的に極めて有意な増加がみられ（ｐ＜０．０１）、喜び、怒りの感情誘発時には有意な増加がみられた（ｐ＜０．０５）。また、恐れの感情誘発時には増加の傾向がみられた（ｐ＜０．１）。一方、驚きの感情誘発時には無感情誘発時との差は見られなかった。ある表情変化によって口縦幅の距離が増加した場合、この変化を誘発した感情は喜び、悲しみ、怒りのいずれかである可能性が示唆される。
（顔部位（鼻下から口角まで）の距離による悲しみ、怒り、恐れの識別）
乳児の顔正面を捉えた静止画上において２点の座標、即ち、鼻下（Ｕ１，Ｖ１）と頬（Ｕ２，Ｖ２）を計測し、次式を用いて２点間の距離、即ち、鼻下から口角までの距離ｌＡＮＧＵＬ１を測定する。
この鼻下から口角までの距離の値をカメラからの距離を考慮して補正する。補正には目横幅の距離ｌＥＷと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の鼻下から口角までの距離ｌＡＮＧＵＬは、次式で表される。
結果を図８に示す。
補正後の鼻下から口角までの距離を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、鼻下から口角までの距離は、無感情時に比べて、悲しみ、恐れの感情誘発時には有意な増加がみられた（ｐ＜０．０５）。また、怒りの感情誘発時には増加の傾向がみられた（ｐ＜０．１）。一方、喜び、驚きの感情誘発時には無感情誘発時との差は見られなかった。ある表情変化によって鼻下から口角の距離が増加した場合、この変化を誘発した感情は悲しみ、恐れのいずれかである可能性が示唆される。
実施例３：表情量の推定
１０人の乳幼児の５つの表情顔画像（喜び、悲しみ、怒り、恐れ、驚き）に対して上記手法を適用した。まず、画像サイズが１２８×１２８ピクセルの元画像を１６×１６ピクセルに変換した。次に、ガボールフィルタのパラメータを、λ＝６√２、σｘ（λ）＝σｙ（λ）＝λ／２として特徴量を算出した。ポテンシャル値を計算する際のαは、α＝０．０５とした。√２は、２の平方根である。
上記式（ｖ）を用いた場合の表情の認識率は７２．６％であり、上記式（ｖｉ）を用いた場合の快−不快の認識率は８６．３％である。エラー率は一つ抜き法で推定した。また、喜びと驚きを快を表すカテゴリーとし、悲しみと怒りのカテゴリーを不快を表すカテゴリーとした。
図９には、上記式（ｖ）の識別法によりエラーとなる例を示す。図９（ａ）に示した入力画像の正解感情パラメータは怒りであるが、上記式（ｖ）では悲しみと判定されてしまう。しかし、本発明では、顔表情による感情表出が未成熟な乳幼児を識別対象とするため、判定ステップにおいて感情名を一意に決定するのではなく、感情名を占有率に基づく順位付けをして出力することが可能である。図９（ｂ）において、正解感情名である怒りは、判定ステップにおいて第３位の候補として判定されることを読み取ることができる。また、図９（ｂ）より、上記式（ｖｉ）の識別法による快−不快の感情カテゴリーの識別では、正しく不快カテゴリーと判定されていることを読み取ることができる。
実施例５：ウェブカメラを使用した例
実施モデルとして、ウェブカメラにて撮影した乳児顔画像を、インターネットを通じてサーバに送信し、該サーバにおいてデータベースと照合し、認識結果を再びインターネットを通じて配信する例が挙げられる。
ウェブカメラとは、ＵＳＢ等を通じてパソコンに接続し、インターネット上のサーバにリアルタイムで画像を送信できるカメラであって、例えば、ロジクール、ＢＵＦＦＡＬＯ、サンワサプライ、クリエイティブ、ＰＥＲＳＯＬなどから入手することができる。
実施例６：携帯電話カメラを使用した例
実施モデルとして、携帯電話のカメラにて撮影した乳児顔画像をインターネットを通じてサーバに送信し、該サーバにおいてデータベースと照合し、認識結果を再びインターネットを通じて携帯電話に配信する例が挙げられる。
カメラ付携帯電話は、東芝、パナソニックモバイル、ＮＥＣ、シャープ、三洋電機、ソニー・エリクソン、ノキア、サムスン、モトローラなどから販売されているものを使用することができる。
実施例７
本実施例では、本発明による年齢別態様において、２種類の年齢（０歳４ヶ月、０歳１０ヶ月）の乳幼児を対象とし、年齢が異なれば、感情と〔顔部位の距離の変化率〕との関係が異なることを明らかにする実験を行なった。
顔データの各種分析手順自体は、上記２種類の年齢の乳幼児毎に行なったこと以外は、それぞれ、実施例２と同様である。
〔０歳４ヶ月の乳幼児の表情データベース〕
各感情と変数（顔部位の距離の変化率）との関係を、グラフとして図１０に示す。図１０に示した９種類のグラフ（変数１〜９）は、それぞれ、異なる顔部位に関するものである。変数１〜９とは、それぞれ顔部位間の距離であって、次のとおりである。
変数１：鼻根から眉内側までの距離
変数２：鼻根から眉中央までの距離
変数３：鼻根から眉尻までの距離
変数４：目横幅
変数５：目縦幅
変数６：鼻下から頬までの距離
変数７：口横幅
変数８：口縦幅
変数９：鼻下から口角までの距離
各グラフの縦軸「相対変化量」とは、対象となる情動における顔部位間の距離（変数の値）を、無感情における各部位の顔部位間の距離（変数の値）で割ったものである。即ち、相対変化量が１．０ということは、その情動における変数の値が、無表情のときの変数の値と等しいということを表している。
〔０歳１０ヶ月の乳幼児の表情データベース〕
各感情と変数（顔部位の距離の変化率）との関係を、グラフとして図１１に示す。図１１に示した９種類のグラフ（変数１〜９）は、上記０歳４ヶ月の場合と同様に、それぞれ、異なる顔部位に関するものである。変数１〜９の意味も、上記０歳４ヶ月の場合と同様である。
これら２系統のグラフに示された各感情と変数との関係が有意に異なるかどうかを、相対変化量と定数１．０との２ ｔａｉｌｅｄ ｐａｉｒｅｄ ｔ検定によって調べた。そして、調べた結果を、非常に有意に増加したもの（ｐ＜０．０１）、有意に増加したもの（ｐ＜０．０５）、非常に有意に減少したもの（ｐ＜０．０１）、有意に減少したもの（ｐ＜０．０５）で塗り分けて表示することで、図１２の２つの表を作成した。
図１２の２つの表から、０歳４ヶ月では、変数５（目縦幅）や変数８（口縦幅）の変化により、恐怖の感情とその他の感情を識別することができるが、０歳１０ヶ月では恐怖と驚きの感情が識別できないこと、また、喜びと悲しみを識別するには、０歳１０ヶ月では、変数４（目横幅）および変数６（鼻下から頬までの距離）の変化が有効であるが、０歳４ヶ月児では有効ではないことが判る。
このように、部位間の距離の変化量が月齢によって大きく異なっているものは、怒りの感情における変数９（鼻下から口角までの距離）、喜びの感情における変数４（目横幅）と変数６（鼻下から頬までの距離）、驚きの表情における変数５（目縦幅）と変数８（口縦幅）、恐怖の感情における変数１（鼻根から眉内側までの距離）となっている。
部位間の距離の変化量が月齢によって異なる傾向にあるものは、怒りの感情における変数４（目横幅）、喜びの感情における変数９（鼻下から口角までの距離）、悲しみの感情における変数１（鼻根から眉内側までの距離）、恐怖の感情における変数４（目横幅）と変数５（目縦幅）と変数９（鼻下から口角までの距離）となっている。
以上の結果から明らかなとおり、年齢が異なれば、感情と（顔部位の距離の変化率）との関係も異なるという、従来では全く着目されてはいない事実が明らかになった。
尚、図１２の２つの表から感情を識別する方法の１つとして、図１３に示す二分木（バイナリーツリー）による感情識別法を説明する。
この方法は、図１２（ｂ）の表から、１０ヶ月児に対して、
（イ）先ず、変数５、７、８に着目して、「怒り、喜び、悲しみ」と「驚き、恐怖」を識別する。
（ロ）次に、変数４、９に着目して（これらに加えて６にも着目してよい）、「怒り、悲しみ」と「喜び」を識別する。
（ハ）最後に、変数１に着目して（これに加えて６にも着目してよい）、「怒り」と「悲しみ」を識別し、変数１に着目して（これに加えて４、９にも着目してよい）「驚き」と「恐怖」を識別する。
同様に、図１２（ａ）の表から、４ヶ月児に対して、
（い）先ず、変数５、８に着目して「怒り、喜び、悲しみ、驚き」と「恐怖」を識別する。
（ロ）次に、変数１に着目して「怒り、喜び、驚き」と「悲しみ」を識別する。
（ハ）次に、変数７に着目して（これに加えて４、６にも着目してよい）、「怒り、喜び」と「驚き」を識別する。
（ニ）最後に、変数９に着目して「怒り」と「喜び」を識別する。
以上の手順にて、いずれの年齢についても、「怒り、喜び、悲しみ、驚き、恐怖」が識別できる。
ここでいう「着目」は、その部位間周辺だけの画像を切り出して、年齢無差別態様と同様の処理をしたり、重み付けやガボールフィルタのθをその部位周辺方向に集中的に配置したりする方法であってよい。また、単にそれらのグループごとに平均（辞書）パターンｍｊを作成し、従来の識別を行ってもよい。
実施例１：乳児の情動を喚起する方法の標準実施例
本実施例は、顔画像データベースを実際に作成した例である。本実施例は、年齢無差別態様での顔画像データベースの作成例であるが、その作成方法自体は、本発明による年齢別態様における年齢別の顔画像データベースの作成に用いてよい。また、顔に対するガボールフィルター処理の説明は、被験体（今から情動を推定しようとする乳幼児）の顔に対するガボールフィルター処理の説明として用いてよい。
この実施例では、以下の実施例において標準となるデータを収集するために、８から１２ヶ月の月齢の乳児について、以下の各人数についてのデータを収集した（図１）。なお、各々の感情パラメータについては、その判定は、右に示す標準的な方法を用いた。
全測定は、以下の測定環境にて行う。
・温度２５℃
・入室後２０分環境に慣れるための時間をとる。
・測定者は成人女性のみとする（ストレンジャーを除く）。
各情動を喚起する方法として、喜び：マザリーズ提示法、悲しみ：母退出法、驚き：ブザー音提示法、恐れ：ストレンジャー法、怒り：おもちゃ消失法を、それぞれ用いた。
各情動を喚起する方法は、上記で詳細に説明したとおりであるが、それぞれに使用したパラメータは、以下の通りである。
マザリーズ提示法：上記されている通りに行う。
母退出法：上記されている通りに行う。
ブザー音提示法：防犯ブザー（８０−９０ｄＢ）の音を３〜５秒間提示する。音の提示は３回まで行う。
ストレンジャー法：乳児が対面したことのない成人男性。
おもちゃ消失法：使用するおもちゃは、乳児に提示しても、それを手にとって遊ばない場合は興味を持っていないと判断し使用しない。
（喜び１４人、悲しみ１４人、怒り１３人、恐れ１３人、驚き１５人）
（表情の撮影・記録方法、媒体、画像フォーマット）
表情撮影は、デジタルビデオカメラ（ＳＯＮＹ ＤＣＲ−ＴＲＶ１８ ＮＴＳＣ）をもちいて行い、ビデオテープに標準モードでＤＶ−ＡＶＩ形式にて記録する。動画より、何らかの表情変化が見られる瞬間をＪＰＥＧ画像として切り出しを行った。
（表情の補正（画像傾き補正））
入力画像にガボールフィルタを適用し、両目を検出した。その後、各目の重心を求め、両目の重心間を結ぶ直線が水平になるように画像を回転させた。
結果の例を図２に示す。
（顔領域抽出）
回転させた画像から、口、両目、眉を含む矩形領域をガボールフィルタ出力値に基づき決定する。
例示として、画像解像度１６×１６ピクセルのものを図２に示す。
図２に示すように、まず元画像が入力された後、ガボールフィルタの出力値に基づいて両目の位置を検出し、その重心間を結ぶ直線が水平となるように画像を回転させる。次に、口、両目、眉を含む矩形領域をガボールフィルタの出力値に基づき決定する。このような手順により、図２の右端に示すように表情認識に必要な顔領域を抽出することができる。
（顔領域線形変換）
決定した矩形領域を、線形変換により１６×１６ピクセルに縮小または拡大した。
ここでは、グレイ化（濃淡データ（０〜２５５階調））を例示する（図２）。
図２に示すように、まず元画像が入力された後、ガボールフィルタの出力値に基づいて両目の位置を検出し、その重心間を結ぶ直線が水平となるように画像を回転させる。次に、口、両目、眉を含む矩形領域をガボールフィルタの出力値に基づき決定する。このような手順により、図２の右端に示すように表情認識に必要な顔領域を抽出することができる。
（ガボールフィルタを用いた特徴量の抽出）
抽出した顔領域画像にガボールフィルタを適用することによって得た。
抽出例を図３に示す。
図３には、８方向のガボールフィルタを適用した後の出力値を画像の濃淡により表した。
（表情辞書パターンの作成）
上記全処理と特徴抽出をすべての乳幼児の顔画像に適用し、表情ごとに特徴量の平均（ベクトル）を算出し、それらを表情辞書パターンとした。
乳児用のものの作成例を図４に示す。
（表情認識のためのフローチャート）
表情認識のためには、画像を入力し、それを前処理（顔領域の抽出と回転、サイズ補正など）し、特徴を抽出し（例えば、ガボールイフィルタによる）、乳児の場合乳児専用データベースと対比して、表情（感情）を出力することができる。
乳児の表情認識のためのフローチャートは、図５に示す。
（最近傍決定則による識別）
入力パターンと辞書パターンとのユークリッド距離を計算し、距離が最小となる辞書パターンの属するカテゴリーを出力した。
未知データと各表情の辞書との距離を計算し、最も距離が短い辞書の属する表情名（感情パラメータ）を出力する。乳児の場合、悲しみが最も短く、識別率（推定値）は８１％となる。図６に、その模式図を示す（識別率 推定値８１％；図６）。
同様の処理を成人表情データベースを用いた場合の例（最近傍決定則）を図７に示す（識別率 推定値４５％）。
実施例２：顔データの各種分析
（顔部位（目横幅）の距離による喜び、悲しみの識別）
乳児の顔正面を捉えた静止画上において２点の座標、目頭（Ｕ１，Ｖ１）と目尻（Ｕ２，Ｖ２）とを計測し、次式を用いて２点間の距離、すなわち目横幅の距離ｌＥＷ１を測定する。
この目横幅の値をカメラからの距離を考慮して補正する。補正には、目横幅の距離ｌＥｗ１と同様に求めた、鼻根と鼻下との距離ｌｎｏｓｅ１とそのデータベース画像における平均値を利用する。該平均値は、下記（ｖｉｉ）の記号で表すものとする。
補正後の距離ｌＥｗは、次式で表される。
結果を図８に示す。
補正後の目横幅の値を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、目の横幅は、無感情時に比べて、悲しみの感情誘発時に伸張する傾向がみられた（ｐ＜０．１）。
一方、喜び、悲しみ、怒り、恐れ、驚きの感情誘発時には、無感情誘発時との差は見られなかった。ある表情変化によって目横幅の距離が増加した場合、この変化を誘発した感情は悲しみである可能性が挙げられる。
（顔部位（目縦幅）の距離による喜び、悲しみ、怒り、恐れの識別）
乳児の顔正面を捉えた静止画上において２点の座標上瞼の最も上側（Ｕ１，Ｖ１）と下瞼の最も下側（Ｕ２，Ｖ２）を計測し、次式を用いて２点間の距離、すなわち目縦幅の距離ｌＥｗ１を測定する。
この目縦幅の値をカメラからの距離を考慮して補正する。
補正には目横幅の距離ｌＥｗと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の目縦幅ｌＥＬは、次式で表される。
結果を図８に示す。
補正後の目縦幅の値を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、目縦幅は、無感情時に比べて、恐れの感情誘発時に統計的に有意な減少がみられ（ｐ＜０．０５）、喜び、悲しみ、怒りの感情誘発時に統計的に極めて有意な減少がみられた（ｐ＜０．０１）。
一方、驚きの感情誘発時には、無感情誘発時との差は見られなかった。ある表情変化によって目縦幅の距離が減少した場合、この変化を誘発した感情は喜び、悲しみ、怒り、恐れのいずれかである可能性が示唆される。
（顔部位（鼻下から頬まで）の距離による喜び、悲しみの識別）
乳児の顔正面を捉えた静止画上において２点の座標鼻下（Ｕ１，Ｖ１）と頬（Ｕ２，Ｖ２）を計測し、次式を用いて２点間の距離、すなわち鼻下から頬の距離ｌＣＨＥＥＫ１を測定する。
この鼻下から頬までの距離の値をカメラからの距離を考慮して補正する。
補正には目横幅の距離ｌＥｗと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の鼻下から頬までの距離ｌＣＨＥＥＫは、次式で表される。
結果を図８に示す。
補正後の鼻下から頬間までの距離を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、鼻下から頬間の距離は無感情時に比べて、喜び、悲しみの感情誘発時に統計的に極めて有意な増加がみられた（ｐ＜０．０１）。また、怒りの感情誘発時には増加の傾向がみられた（ｐ＜０．１）。一方、恐れ、驚きの感情誘発時には、無感情誘発時との差は見られなかった。ある表情変化によって鼻下から頬間の距離が増加した場合、この変化を誘発した感情は喜び、悲しみ、怒り、恐れのいずれかである可能性が示唆される。
（顔部位（口横幅）の距離による喜び、悲しみ、怒りの識別）
乳児の顔正面を捉えた静止画上において、２点の座標、即ち、鼻下（Ｕ１，Ｖ１）と頬（Ｕ２，Ｖ２）とを計測し、次式を用いて２点間の距離、即ち、口横幅ｌＭＷ１を測定する。
この口横幅の値をカメラからの距離を考慮して補正する。
補正には目横幅の距離ｌＥｗと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の口横幅ｌＭＷは、次式で表される。
結果を図８に示す。
補正後の口横幅の距離を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、口横幅の距離は、無感情時に比べて、喜び、悲しみの感情誘発時に統計的に極めて有意な増加がみられ（ｐ＜０．０１）、怒りの感情誘発時には有意な増加がみられた（ｐ＜０．０５）。一方、恐れ、驚きの感情誘発時には、無感情誘発時との差は見られなかった。ある表情変化によって口横幅の距離が増加した場合、この変化を誘発した感情は喜び、悲しみ、怒りのいずれかである可能性が示唆される。
（顔部位（口縦幅）の距離による喜び、悲しみ、怒り、恐れの識別）
乳児の顔正面を捉えた静止画上において、２点の座標、即ち、鼻下（Ｕ１，Ｖ１）と頬（Ｕ２，Ｖ２）を計測し、次式を用いて２点間の距離、即ち、口縦幅ｌＭＬ１を測定する。
この口縦幅の値をカメラからの距離を考慮して補正する。
補正には目横幅の距離ｌＥｗと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の距離ｌＭＬは、次式で表される。
結果を図８に示す。
補正後の口縦幅の距離を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、口縦幅の距離は、無感情時に比べて、悲しみの感情誘発時に統計的に極めて有意な増加がみられ（ｐ＜０．０１）、喜び、怒りの感情誘発時には有意な増加がみられた（ｐ＜０．０５）。また、恐れの感情誘発時には増加の傾向がみられた（ｐ＜０．１）。一方、驚きの感情誘発時には無感情誘発時との差は見られなかった。ある表情変化によって口縦幅の距離が増加した場合、この変化を誘発した感情は喜び、悲しみ、怒りのいずれかである可能性が示唆される。
（顔部位（鼻下から口角まで）の距離による悲しみ、怒り、恐れの識別）
乳児の顔正面を捉えた静止画上において２点の座標、即ち、鼻下（Ｕ１，Ｖ１）と頬（Ｕ２，Ｖ２）を計測し、次式を用いて２点間の距離、即ち、鼻下から口角までの距離ｌＡＮＧＵＬ１を測定する。
この鼻下から口角までの距離の値をカメラからの距離を考慮して補正する。補正には目横幅の距離ｌＥＷと同様に、鼻根と鼻下との距離ｌｎｏｓｅ１と、そのデータベース画像における平均値（上記（ｖｉｉ）の記号を用いる）を利用する。
補正後の鼻下から口角までの距離ｌＡＮＧＵＬは、次式で表される。
結果を図８に示す。
補正後の鼻下から口角までの距離を感情ごとにグラフ化し、無感情のものとｔ検定を行ったところ、鼻下から口角までの距離は、無感情時に比べて、悲しみ、恐れの感情誘発時には有意な増加がみられた（ｐ＜０．０５）。また、怒りの感情誘発時には増加の傾向がみられた（ｐ＜０．１）。一方、喜び、驚きの感情誘発時には無感情誘発時との差は見られなかった。ある表情変化によって鼻下から口角の距離が増加した場合、この変化を誘発した感情は悲しみ、恐れのいずれかである可能性が示唆される。
実施例３：表情量の推定
１０人の乳幼児の５つの表情顔画像（喜び、悲しみ、怒り、恐れ、驚き）に対して上記手法を適用した。まず、画像サイズが１２８×１２８ピクセルの元画像を１６×１６ピクセルに変換した。次に、ガボールフィルタのパラメータを、λ＝６√２、σｘ（λ）＝σｙ（λ）＝λ／２として特徴量を算出した。ポテンシャル値を計算する際のαは、α＝０．０５とした。√２は、２の平方根である。
上記式（ｖ）を用いた場合の表情の認識率は７２．６％であり、上記式（ｖｉ）を用いた場合の快−不快の認識率は８６．３％である。エラー率は一つ抜き法で推定した。また、喜びと驚きを快を表すカテゴリーとし、悲しみと怒りのカテゴリーを不快を表すカテゴリーとした。
図９には、上記式（ｖ）の識別法によりエラーとなる例を示す。図９（ａ）に示した入力画像の正解感情パラメータは怒りであるが、上記式（ｖ）では悲しみと判定されてしまう。しかし、本発明では、顔表情による感情表出が未成熟な乳幼児を識別対象とするため、判定ステップにおいて感情名を一意に決定するのではなく、感情名を占有率に基づく順位付けをして出力することが可能である。図９（ｂ）において、正解感情名である怒りは、判定ステップにおいて第３位の候補として判定されることを読み取ることができる。また、図９（ｂ）より、上記式（ｖｉ）の識別法による快−不快の感情カテゴリーの識別では、正しく不快カテゴリーと判定されていることを読み取ることができる。
実施例５：ウェブカメラを使用した例
実施モデルとして、ウェブカメラにて撮影した乳児顔画像を、インターネットを通じてサーバに送信し、該サーバにおいてデータベースと照合し、認識結果を再びインターネットを通じて配信する例が挙げられる。
ウェブカメラとは、ＵＳＢ等を通じてパソコンに接続し、インターネット上のサーバにリアルタイムで画像を送信できるカメラであって、例えば、ロジクール、ＢＵＦＦＡＬＯ、サンワサプライ、クリエイティブ、ＰＥＲＳＯＬなどから入手することができる。
実施例６：携帯電話カメラを使用した例
実施モデルとして、携帯電話のカメラにて撮影した乳児顔画像をインターネットを通じてサーバに送信し、該サーバにおいてデータベースと照合し、認識結果を再びインターネットを通じて携帯電話に配信する例が挙げられる。
カメラ付携帯電話は、東芝、パナソニックモバイル、ＮＥＣ、シャープ、三洋電機、ソニー・エリクソン、ノキア、サムスン、モトローラなどから販売されているものを使用することができる。
実施例７
本実施例では、本発明による年齢別態様において、２種類の年齢（０歳４ヶ月、０歳１０ヶ月）の乳幼児を対象とし、年齢が異なれば、感情と〔顔部位の距離の変化率〕との関係が異なることを明らかにする実験を行なった。
顔データの各種分析手順自体は、上記２種類の年齢の乳幼児毎に行なったこと以外は、それぞれ、実施例２と同様である。
〔０歳４ヶ月の乳幼児の表情データベース〕
各感情と変数（顔部位の距離の変化率）との関係を、グラフとして図１０に示す。図１０に示した９種類のグラフ（変数１〜９）は、それぞれ、異なる顔部位に関するものである。変数１〜９とは、それぞれ顔部位間の距離であって、次のとおりである。
変数１：鼻根から眉内側までの距離
変数２：鼻根から眉中央までの距離
変数３：鼻根から眉尻までの距離
変数４：目横幅
変数５：目縦幅
変数６：鼻下から頬までの距離
変数７：口横幅
変数８：口縦幅
変数９：鼻下から口角までの距離
各グラフの縦軸「相対変化量」とは、対象となる情動における顔部位間の距離（変数の値）を、無感情における各部位の顔部位間の距離（変数の値）で割ったものである。即ち、相対変化量が１．０ということは、その情動における変数の値が、無表情のときの変数の値と等しいということを表している。
〔０歳１０ヶ月の乳幼児の表情データベース〕
各感情と変数（顔部位の距離の変化率）との関係を、グラフとして図１１に示す。図１１に示した９種類のグラフ（変数１〜９）は、上記０歳４ヶ月の場合と同様に、それぞれ、異なる顔部位に関するものである。変数１〜９の意味も、上記０歳４ヶ月の場合と同様である。
これら２系統のグラフに示された各感情と変数との関係が有意に異なるかどうかを、相対変化量と定数１．０との２ ｔａｉｌｅｄ ｐａｉｒｅｄ ｔ検定によって調べた。そして、調べた結果を、非常に有意に増加したもの（ｐ＜０．０１）、有意に増加したもの（ｐ＜０．０５）、非常に有意に減少したもの（ｐ＜０．０１）、有意に減少したもの（ｐ＜０．０５）で塗り分けて表示することで、図１２の２つの表を作成した。
図１２の２つの表から、０歳４ヶ月では、変数５（目縦幅）や変数８（口縦幅）の変化により、恐怖の感情とその他の感情を識別することができるが、０歳１０ヶ月では恐怖と驚きの感情が識別できないこと、また、喜びと悲しみを識別するには、０歳１０ヶ月では、変数４（目横幅）および変数６（鼻下から頬までの距離）の変化が有効であるが、０歳４ヶ月児では有効ではないことが判る。
このように、部位間の距離の変化量が月齢によって大きく異なっているものは、怒りの感情における変数９（鼻下から口角までの距離）、喜びの感情における変数４（目横幅）と変数６（鼻下から頬までの距離）、驚きの表情における変数５（目縦幅）と変数８（口縦幅）、恐怖の感情における変数１（鼻根から眉内側までの距離）となっている。
部位間の距離の変化量が月齢によって異なる傾向にあるものは、怒りの感情における変数４（目横幅）、喜びの感情における変数９（鼻下から口角までの距離）、悲しみの感情における変数１（鼻根から眉内側までの距離）、恐怖の感情における変数４（目横幅）と変数５（目縦幅）と変数９（鼻下から口角までの距離）となっている。
以上の結果から明らかなとおり、年齢が異なれば、感情と（顔部位の距離の変化率）との関係も異なるという、従来では全く着目されてはいない事実が明らかになった。
尚、図１２の２つの表から感情を識別する方法の１つとして、図１３に示す二分木（バイナリーツリー）による感情識別法を説明する。
この方法は、図１２（ｂ）の表から、１０ヶ月児に対して、
（イ）先ず、変数５、７、８に着目して、「怒り、喜び、悲しみ」と「驚き、恐怖」を識別する。
（ロ）次に、変数４、９に着目して（これらに加えて６にも着目してよい）、「怒り、悲しみ」と「喜び」を識別する。
（ハ）最後に、変数１に着目して（これに加えて６にも着目してよい）、「怒り」と「悲しみ」を識別し、変数１に着目して（これに加えて４、９にも着目してよい）「驚き」と「恐怖」を識別する。
同様に、図１２（ａ）の表から、４ヶ月児に対して、
（い）先ず、変数５、８に着目して「怒り、喜び、悲しみ、驚き」と「恐怖」を識別する。
（ロ）次に、変数１に着目して「怒り、喜び、驚き」と「悲しみ」を識別する。
（ハ）次に、変数７に着目して（これに加えて４、６にも着目してよい）、「怒り、喜び」と「驚き」を識別する。
（ニ）最後に、変数９に着目して「怒り」と「喜び」を識別する。
以上の手順にて、いずれの年齢についても、「怒り、喜び、悲しみ、驚き、恐怖」が識別できる。
ここでいう「着目」は、その部位間周辺だけの画像を切り出して、年齢無差別態様と同様の処理をしたり、重み付けやガボールフィルタのθをその部位周辺方向に集中的に配置したりする方法であってよい。また、単にそれらのグループごとに平均（辞書）パターンｍｊを作成し、従来の識別を行ってもよい。
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
本発明によれば、乳児の顔画像およびサーモグラフィーより表情（情動）の認識が可能である。さらに、インターネットサービスを介して不特定多数からのデータの提供により、データベースの蓄積が期待され、表情の認識率が高まることが予想される。これにより、乳児の感情翻訳機の開発および任意の画像における顔領域の高速な位置推定を利用したサービスを提供することができ、産業上の利用性は高い。乳児のほかに、言葉を話せない聾唖者、寝たきり患者、認知症といった場合の表情の読み取りにも利用できる可能性がある。
本出願は、日本で出願された特願２００５−３００８３３を基礎としておりそれらの内容は本明細書に全て包含される。
本発明によれば、乳児の顔画像およびサーモグラフィーより表情（情動）の認識が可能である。さらに、インターネットサービスを介して不特定多数からのデータの提供により、データベースの蓄積が期待され、表情の認識率が高まることが予想される。これにより、乳児の感情翻訳機の開発および任意の画像における顔領域の高速な位置推定を利用したサービスを提供することができ、産業上の利用性は高い。乳児のほかに、言葉を話せない聾唖者、寝たきり患者、認知症といった場合の表情の読み取りにも利用できる可能性がある。
本出願は、日本で出願された特願２００５−３００８３３を基礎としておりそれらの内容は本明細書に全て包含される。
Claims (29)
- 被験体の感情評価方法であって、
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと
を包含する、方法。 - 前記評価ステップにおいて、先に顔データを規格化し、該規格化された顔データを前記顔感情データベースと比較して評価スコアを出すものである、請求の範囲１に記載の方法。
- 前記規格化は、ガボールフィルタを用いることによって達成される、請求の範囲２に記載の方法。
- 前記評価ステップにおいて評価スコアを出す処理は、前記被験体に対応するデータベースに基づいて行われる、請求の範囲１に記載の方法。
- 前記被験体は、感情を言葉で表現できない被験体を含む、請求の範囲１に記載の方法。
- 前記被験体は、乳児、言葉を話せない聾唖者、寝たきり患者および認知症患者からなる群より選択される、請求の範囲１に記載の方法。
- 前記規格化は、ガボールフィルタを用いることによって達成され、かつ、前記被験体は、乳児、言葉を話せない聾唖者、寝たきり患者および認知症患者からなる群より選択される、請求の範囲１に記載の方法。
- 前記評価ステップが、感情パラメータの平均パターンと、入力顔パターンとのポテンシャル値を計算し、該ポテンシャル値を利用して前記感情を該感情パラメータの該当比率とするステップを含む、請求の範囲１に記載の方法。
- 前記評価ステップが、前記顔データから生成された顔画像から顔領域を抽出するステップと、抽出された該顔領域に対して、必要に応じて補正を行うステップと、ガボールフィルタを用いてガボールフィルタの出力値を特徴量とするステップとを包含する、請求の範囲１に記載の方法。
- 前記補正は、回転補正、明るさ補正およびサイズ補正からなる群より選択される、請求の範囲９に記載の方法。
- 前記ガボールフィルタは、４方向または８方向のものが使用される、請求の範囲９に記載の方法。
- 前記評価ステップが、特徴量について、前記顔感情データベースとのポテンシャル値を計算するステップと、該計算結果から、各感情への所属度合いを算出するステップとを包含する、請求の範囲９に記載の方法。
- 評価ステップにおいて、前記特徴量を計算する場合に、
Ｃ種類の感情カテゴリーが存在しそのうち第ｊ感情に属するｄ次元の訓練パターンのガボール特徴量が、次式で示される一次元に並べたベクトル
で表され、ここで、該訓練パターンは、感情の種類が既知のパターンを意味することを特徴とする、請求の範囲９に記載の方法。 - 評価ステップにおいて、前記第ｊ感情の訓練パターンの平均パターン
を辞書パターンとして計算し、
未知パターンのガボール特徴量
が与えられた場合、第ｊ感情のポテンシャル関数値が
として計算され、ここでαは正規分布の分散を決めるパラメータであることを特徴とする、請求の範囲１３に記載の方法。 - 評価ステップにおいて、前記ポテンシャル関数値について、
を計算することによって該ポテンシャル関数値に対応する感情の割合が計算される、請求の範囲１３に記載の方法。 - 判定ステップにおいて、前記ポテンシャル関数値について、
によりポテンシャル値が最大となる感情カテゴリーを計算し、算出された感情名を判定結果として出力することを特徴とする、請求の範囲１３に記載の方法。 - 判定ステップに加えられ、前記感情のうちの特定の感情について、該感情を有するか否かを判定するステップであって、
該感情が含まれる感情カテゴリーの集合をＡ、該感情が含まれない感情カテゴリーをＢとしたときに、
上式の関係が満たされるならば、該感情が含まれており、そうでない場合には、該感情が含まれていないと判定することを特徴とする、請求項１３に記載の方法。 - ０歳２ヶ月〜６歳０ヶ月の乳幼児を被験体とし、前記評価ステップにおけるガボールフィルタの出力値を、判定ステップにおいて被験体の年齢に応じた識別器を用いて感情を判定するものである、請求の範囲９に記載の方法。
- 被験体の年齢が、３ヶ月〜６ヶ月異なる毎に、それぞれの年齢に応じた識別器を用いて感情を判定するものである、請求の範囲１８に記載の方法。
- ０歳３ヶ月〜１歳６ヶ月の乳幼児を被験体とし、０歳３ヶ月〜０歳７ヶ月の被験体については、０歳４ヶ月の乳幼児をサンプルとして形成された識別器を用いて感情を判定し、０歳７ヶ月〜１歳０ヶ月の被験体については、０歳１０ヶ月の乳幼児をサンプルとして形成された識別器を用いて感情を判定するものである、請求の範囲１９に記載の方法。
- 被験体の感情表示方法であって、
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
（Ｄ）判定された該感情を表示する表示ステップと
を包含する、前記感情表示方法。 - 被験体の感情を評価するためのシステムであって、
（Ａ）顔データを取得する取得手段と、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価手段と、
（Ｃ）該評価スコアから感情を判定する判定手段と
を備える、前記システム。 - 被験体の感情評価方法をコンピュータに実行させるプログラムであって、
該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと
を包含する、前記プログラム。 - 被験体の感情評価方法をコンピュータに実行させるプログラムを記録した記録媒体であって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと
を包含する、記録媒体。 - 被験体の感情を表示するシステムであって、
（Ａ）顔データを取得する取得手段と、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価手段と、
（Ｃ）該評価スコアから感情を判定する判定手段と、
（Ｄ）判定された該感情を表示する表示手段と
を備える、システム。 - 前記システムにおいて、携帯電話が使用される、請求の範囲２５に記載のシステム。
- 前記システムにおいて、ウェブ技術が使用される、請求の範囲２５に記載のシステム。
- 被験体の感情表示方法をコンピュータに実行させるプログラムであって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
（Ｄ）判定された該感情を表示する表示ステップと
を包含する、プログラム。 - 被験体の感情表示方法をコンピュータに実行させるプログラムを記録した記録媒体であって、該方法は：
（Ａ）顔データを取得する取得ステップと、
（Ｂ）取得された顔データを、該被験体の顔と感情との相関関係情報を含む顔感情データベースと比較して評価スコアを出す評価ステップと、
（Ｃ）該評価スコアから感情を判定する判定ステップと、
（Ｄ）判定された該感情を表示する表示ステップと
を包含する、記録媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005300833 | 2005-10-14 | ||
| JP2005300833 | 2005-10-14 | ||
| PCT/JP2006/320894 WO2007043712A1 (ja) | 2005-10-14 | 2006-10-13 | 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2007043712A1 true JPWO2007043712A1 (ja) | 2009-04-23 |
Family
ID=37942923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007540234A Pending JPWO2007043712A1 (ja) | 2005-10-14 | 2006-10-13 | 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2007043712A1 (ja) |
| WO (1) | WO2007043712A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5219184B2 (ja) * | 2007-04-24 | 2013-06-26 | 任天堂株式会社 | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 |
| JP5109564B2 (ja) | 2007-10-02 | 2012-12-26 | ソニー株式会社 | 画像処理装置、撮像装置、これらにおける処理方法およびプログラム |
| JP5206366B2 (ja) * | 2008-11-27 | 2013-06-12 | カシオ計算機株式会社 | ３次元データ作成装置 |
| JP2010244381A (ja) * | 2009-04-08 | 2010-10-28 | Sony Corp | ガボアフィルタ、画像認識装置および方法、プログラム、並びに記録媒体 |
| EP2954459A4 (en) * | 2013-02-08 | 2016-10-19 | Emotient Inc | HARVESTING MACHINE LEARNING TRAINING DATA FOR EXPRESSION RECOGNITION |
| JP5711296B2 (ja) * | 2013-05-07 | 2015-04-30 | オリンパス株式会社 | 撮像方法及び撮像装置 |
| JP6886773B2 (ja) * | 2015-03-31 | 2021-06-16 | ポーラ化成工業株式会社 | 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 |
| CN107862292B (zh) * | 2017-11-15 | 2019-04-12 | 平安科技（深圳）有限公司 | 人物情绪分析方法、装置及存储介质 |
| JP6933999B2 (ja) * | 2018-06-27 | 2021-09-08 | 株式会社人総研 | 視覚アプローチ適性検査システム |
| US20200090392A1 (en) * | 2018-09-19 | 2020-03-19 | XRSpace CO., LTD. | Method of Facial Expression Generation with Data Fusion |
| JP7273637B2 (ja) * | 2019-07-17 | 2023-05-15 | 本田技研工業株式会社 | ロボット管理装置、ロボット管理方法およびロボット管理システム |
| CN111222464B (zh) * | 2020-01-07 | 2023-11-07 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及系统 |
| WO2022036483A1 (zh) * | 2020-08-17 | 2022-02-24 | 南京智导智能科技有限公司 | 一种面向hmd设备的面部表情识别系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11296679A (ja) * | 1998-04-14 | 1999-10-29 | Kiyoyuki Horii | 画像特徴抽出方法および装置並びに画像特徴抽出プロ グラムを記録したコンピュータ読み取り可能な記録媒 体 |
| JP2004112518A (ja) * | 2002-09-19 | 2004-04-08 | Takenaka Komuten Co Ltd | 情報提供装置 |
| JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
| JP2005056388A (ja) * | 2003-07-18 | 2005-03-03 | Canon Inc | 画像処理装置、画像処理方法、撮像装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004064102A (ja) * | 2002-07-24 | 2004-02-26 | Matsushita Electric Ind Co Ltd | 仮想テレビ電話装置および仮想テレビ電話装置における画像生成方法 |
-
2006
- 2006-10-13 WO PCT/JP2006/320894 patent/WO2007043712A1/ja active Application Filing
- 2006-10-13 JP JP2007540234A patent/JPWO2007043712A1/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11296679A (ja) * | 1998-04-14 | 1999-10-29 | Kiyoyuki Horii | 画像特徴抽出方法および装置並びに画像特徴抽出プロ グラムを記録したコンピュータ読み取り可能な記録媒 体 |
| JP2004112518A (ja) * | 2002-09-19 | 2004-04-08 | Takenaka Komuten Co Ltd | 情報提供装置 |
| JP2005056388A (ja) * | 2003-07-18 | 2005-03-03 | Canon Inc | 画像処理装置、画像処理方法、撮像装置 |
| JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007043712A1 (ja) | 2007-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2007043712A1 (ja) | 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム | |
| Bandini et al. | Analysis of facial expressions in parkinson's disease through video-based automatic methods | |
| Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
| Laurentini et al. | Computer analysis of face beauty: A survey | |
| CN114502061A (zh) | 使用深度学习的基于图像的自动皮肤诊断 | |
| Goulart et al. | Visual and thermal image processing for facial specific landmark detection to infer emotions in a child-robot interaction | |
| US20080260212A1 (en) | System for indicating deceit and verity | |
| JP2019517693A (ja) | 表情の認識および注釈付けのためのシステムおよび方法 | |
| Sivasangari et al. | Emotion recognition system for autism disordered people | |
| CN113837153B (zh) | 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统 | |
| Szwoch | FEEDB: a multimodal database of facial expressions and emotions | |
| Gomez et al. | Improving parkinson detection using dynamic features from evoked expressions in video | |
| Dadiz et al. | Detecting depression in videos using uniformed local binary pattern on facial features | |
| CN114067185A (zh) | 一种基于人脸表情识别的电影评价系统 | |
| Gilanie et al. | An Automated and Real-time Approach of Depression Detection from Facial Micro-expressions. | |
| Guarin et al. | Automatic facial landmark localization in clinical populations-improving model performance with a small dataset | |
| CN116092157A (zh) | 一种智能面舌诊方法、系统及智能设备 | |
| Satyanarayana et al. | Emotion recognition by deep learning and cloud access | |
| Buck et al. | Measuring the dynamic stream of display: Spontaneous and intentional facial expression and communication. | |
| TW201839635A (zh) | 情緒偵測系統及方法 | |
| Siegfried et al. | A deep learning approach for robust head pose independent eye movements recognition from videos | |
| Upadhyay et al. | Face Recognition Using EfficientNet | |
| Ketcham et al. | Emotional detection of patients major depressive disorder in medical diagnosis | |
| Musa | Facial Emotion Detection for Educational Purpose Using Image Processing Technique | |
| Dhekale et al. | Recognition of Emotions Based on Facial Expressions Using Bidirectional Long-Short-Term Memory and Machine Learning Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120214 |