JP6166981B2 - 表情解析装置及び表情解析プログラム - Google Patents

Description

本発明は、表情解析装置及び表情解析プログラムに関する。

人とコンピュータとの間の円滑なコミュニケーションを実現する手段の１つとして、
画像処理により人物の顔を表す顔画像に基づいて顔の表情を認識する表情認識技術が提案されている。認識される表情は、例えば、怒り、嫌悪、恐れ、幸福、悲しみ、驚き、といった基本６感情である。
例えば、非特許文献１には、顔画像の表情毎の強度を取得する方法が記載されている。この方法は、画像中の顔領域を検出し、顔領域を切り出して画像サイズを正規化し、正規化された顔画像を等分割し、各分割ブロックについての出力パターン毎の頻度を連結した顔画像特徴ベクトルを算出する過程を含む。この方法は、さらに、顔画像特徴ベクトルを独立変数とし、表情毎に学習処理により得られた回帰係数を用いて、表情毎の強度を計算する過程を含む。算出した強度の最大値に対応する表情が、認識された表情と定められる。

奥田誠、他２名、「主観的尺度に合致した顔表情の強度推定と認識」、映像情報メディア学会年次大会講演予稿集、映像情報メディア学会、２０１２年８月２９日、８−５

しかしながら、非特許文献１では、表情毎に独立に強度が算出されるため、認識された表情と異なる表情の強度が認識された表情の強度に近似する場合には、実際の表情はその異なる表情である可能性が高い。例えば、ある画像について、怒り、嫌悪、幸福のそれぞれの強度が６８、７２、３である場合、嫌悪と認識されるが、実際の表情は怒りである可能性がある。他方、算出される強度は撮像条件、例えば、顔の向きや顔に照射される光線の方向、強度によって影響を受けることがあるため、認識される表情について信頼性が失われるおそれがあった。

本発明は上記の点に鑑みてなされたものであり、信頼性が高い表情解析装置及び表情解析プログラムを提供する。

［１］上記の課題を解決するため、本発明の一態様は、取得した画像から顔が表された顔領域を抽出する顔領域抽出部と、前記顔領域の画像特徴量として画素毎に局所画像特徴量を計算する画像特徴量計算部と、前記局所画像特徴量の、前記画像に含まれる分割ブロック内における出現頻度に基づいて第１の演算を行って表情毎の強度を計算する第１指標計算部と、前記局所画像特徴量に基づいて第２の演算を行って表情毎の確率を計算する第２指標計算部と、前記強度と前記確率を所定の重み付けにより加算した表情毎の統合指標に基づいて表情を定める表情決定部と、を備える表情解析装置である。

［１］の構成によれば、局所画像特徴量について第１の演算を行って計算した強度と第２の演算を行って計算した確率の両者を考慮して、所定の表情である度合いを示す統合指標が算出される。そのため、第１の演算を行って計算した強度のみを用いる場合よりも高い信頼性をもって表情を定めることができる。

［２］本発明のその他の態様は、［１］の表情解析装置であって、前記表情決定部は、前記強度と前記確率を表情毎に異なる係数で重み付けして前記統合指標を算出し、前記統合指標が最大となる表情を定めることを特徴とする。
［２］の構成によれば、統合指標に対する強度と確率の寄与の表情による相違が考慮されるので、判定された表情の信頼性が向上する。

［３］本発明のその他の態様は、［１］又は［２］の表情解析装置であって、前記局所画像特徴量は、ローカルバイナリパターンであって、前記第２指標計算部は、前記第２の演算として単純ベイズ推定法を用いて前記表情毎の確率を計算することを特徴とする。
［３］の構成によれば、単純ベイズ推定法を用いることによって、簡素な処理によって第２の指標を計算することができる。また、ローカルバイナリパターンを用いることで、画像特徴量やその画像特徴量に応じた頻度の計算に係る処理量を低減することができる。また、ローカルバイナリパターンは、画素間の信号値の大小関係を示すものであるため、画像データの取得状況によって、例えば、照明状態に揺らぎが生じても頑健に表情を判定することができる。

［４］本発明のその他の態様は、［１］から［３］のいずれかの表情解析装置であって、
前記第２指標計算部は、前記局所画像特徴量の出現頻度に基づく出力値を出力する弱識別器を前記分割ブロック毎に備え、前記弱識別器からの出力値を前記分割ブロック毎に重み付け加算して前記確率を計算する強識別器を表情毎に備えることを特徴とする。
［４］の構成によれば、分割ブロック毎に、局所画像特徴量の第２の指標への寄与が考慮されるので、判定された表情の信頼性が向上する。

［５］本発明のその他の態様は、［１］から［４］のいずれかの表情解析装置であって、
前記表情決定部は、予め定めた区間における表情毎の統合指標の平均値又は総和値が最大となる表情を定めることを特徴とする。
［５］の構成によれば、被写体となる人物の表情が一時的に変化しても、統合指標の平均値又は総和値をとることで変化による統合指標の変化が緩和されるため安定した表情の認識を行うことができる。

［６］本発明のその他の態様は、［１］から［４］のいずれかの表情解析装置であって、
前記表情決定部は、予め定めた区間に含まれるフレーム毎の統合指標の最大値について当該区間内の総和値が最大となる表情を定めることを特徴とする。
［６］の構成によれば、被写体となる人物の表情が一時的に変化しても、統合指標の最大値について予め定めた区間内の総和値をとるため、表情の変化による統合指標の変化が緩和されるため安定した表情の認識を行うことができる。

［７］本発明のその他の態様は、表情解析装置が備えるコンピュータに、取得した画像から顔が表された顔領域を抽出する顔領域抽出手順、前記顔領域の画像特徴量として画素毎に局所画像特徴量を計算する画像特徴量計算手順、前記局所画像特徴量の、前記画像に含まれる分割ブロック内における出現頻度に基づいて第１の演算を行って表情毎の強度を計算する第１指標計算手順、前記局所画像特徴量に基づいて第２の演算を行って表情毎の確率を計算する第２指標計算手順、前記強度と前記確率を所定の重み付けにより加算した表情毎の統合指標に基づいて表情を定める表情決定手順、を実行させるための表情解析プログラムである。

［７］の構成によれば、局所画像特徴量について第１の演算を行って計算した強度と第２の演算を行って計算した確率の両者を考慮して、所定の表情である度合いを示す統合指標が算出される。そのため、第１の演算を行って計算した強度のみを用いる場合よりも高い信頼性をもって表情を定めることができる。

本発明によれば、表情解析の信頼性を向上することができる。

本実施形態に係る表情解析装置の構成を示すブロック図である。 本実施形態に係る表情強度推定部の構成を示すブロック図である。 学習用データのセットの例を示す図である。 顔領域データの一例を示す図である。 解析領域データの一例を示す図である。 ＬＢＰの例を説明する図である。 算出されたヒストグラムの例を示す図である。 本実施形態に係る表情認識処理の例を示すフローチャートである。 事前学習に係る処理の例を示すフローチャートである。 表情強度推定部の他の構成例を示すブロック図である。 表情毎の強度推定部に含まれるニューラルネットワークの構成例を示す図である。 表情強度推定部のさらに他の構成例を示す図である。 第２指標計算部の他の構成例を示すブロック図である。

以下、図面を参照しながら本発明の実施形態について説明する。
本実施形態に係る表情解析装置１の構成について説明する。
図１は、本実施形態に係る表情解析装置１の構成を示すブロック図である。
表情解析装置１は、画像データ取得部１０１、顔領域抽出部１０２、画像特徴量計算部１０５、第１指標計算部１０６、第２指標計算部１０８、及び表情決定部１０９を含んで構成される。

画像データ取得部１０１は、表情解析装置１に接続されている外部機器（図示せず）から画像データを取り込む。外部機器は、例えば、撮影装置、記録装置等である。画像データは、静止画を示す静止画像データ又は動画像を示す動画像データである。画像データが、静止画像データである場合には、画像データ取得部１０１は、その画像データを顔領域抽出部１０２に出力する。画像データが、動画像データである場合には、画像データ取得部１０１は、動画を構成するフレーム毎もしくは予め定めたフレーム数毎の静止画像データを顔領域抽出部１０２に抽出する。

顔領域抽出部１０２は、画像データ取得部１０１から入力された画像データから被写体である人物の顔を表す顔領域を抽出し、抽出した顔領域から解析対象とする解析領域を定める。顔領域抽出部１０２は、定めた解析領域を示す解析領域データを画像特徴量計算部１０５に出力する。
顔領域抽出部１０２は、その機能構成として、顔領域検出部１０３と解析領域決定部１０４とを含んで構成される。

顔領域検出部１０３は、入力された画像データについて顔検出処理を行って顔領域を検出し、検出した顔領域を示す顔領域データを解析領域決定部１０４に出力する。検出した顔領域は、例えば、顔を表す領域を含んだ長方形の領域である。顔を表す領域には、表情に依存する部分（例えば、両眉毛、両目、鼻、口）が含まれる。
顔領域検出部１０３は、顔検出処理において、公知の顔検出処理（例えば、ＡｄａＢｏｏｓｔ）を用いる。ＡｄａＢｏｏｓｔを用いた顔検出処理は、例えば、ＰＡＵＬ ＶＩＯＬＡ，ＭＩＣＨＥＡＬ Ｊ．ＪＯＮＥＳ，“Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００４，Ｖｏｌ．５７，Ｎｏ．２，１３７−１５４に開示されている。その他、顔領域検出部１０３は、特開２００５−４９８５４号公報に記載の顔検出処理を用いてもよい。

解析領域決定部１０４は、顔領域検出部１０３から入力された顔領域データが示す顔領域のサイズを所定のサイズ（例えば、水平方向１２８画素×垂直方向１２８画素）に正規化する。解析領域決定部１０４は、正規化した顔領域（正規化顔領域）を後述する画像特徴量を計算する対象とする解析領域と定め、その解析領域に含まれる画像を示す解析領域データを画像特徴量計算部１０５に出力する。

ここで、解析領域決定部１０４は、入力された顔領域データが示す顔領域を所定のサイズの長方形の画像に拡大または縮小する画像処理を実行して、解析領域データを生成する。つまり、画像データに含まれる顔の大きさは画像データによって様々であるため、解析領域決定部１０４は、顔領域を拡大または縮小させて、全ての画像データにおける顔領域の解像度を同程度にする。これにより、解像度が異なる顔領域データの情報量をほぼ均等（均等を含む）にすることができる。

解析領域決定部１０４は、正規化顔領域をさらに細分化した解析領域を決定し、決定した解析領域に含まれる画像を示す解析領域データを抽出してもよい。その場合、解析領域決定部１０４は、抽出した解析領域データを画像特徴量計算部１０５に出力する。解析領域は、例えば、正規化顔領域が予め定めた大きさに分割された分割ブロックである。解析領域は、これには限られず、表情の手がかりとなる顔の部位（例えば、目、口、等）が大部分を占める分割ブロックであってもよい。解析領域の例については、後述する。

画像特徴量計算部１０５は、顔領域抽出部１０２から入力された解析領域データの画像特徴量を計算し、計算した画像特徴量を第１指標計算部１０６に出力する。
また、画像特徴量計算部１０５は、解析領域データが示す解析領域における画素毎の信号値に基づいて局所画像特徴量を計算する。計算した局所画像特徴量を第２指標計算部１０８に出力する。
局所画像特徴量は、画像の局所的な特徴を示す画像特徴量である。以下の説明では、局所画像特徴量を、単に局所特徴量と呼ぶことがある。画像特徴量計算部１０５は、例えば、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ；ローカルバイナリパターン）を用いてもよい。ＬＢＰは、解析領域に含まれる注目画素の信号値と、注目画素の周辺の画素（周辺画素）の信号値との大小関係を二値化したパターン（バイナリパターン）を示す特徴量である。

ＬＢＰについては、Ｔｉｍｏ Ｏｊａｌａ， Ｍａｔｔｉ Ｐｉｅｔｉｋａｉｎｅｎ ａｎｄ Ｔｏｐｉ Ｍａｅｎｐａａ，”Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｇｒａｙ−Ｓｃａｌｅ ａｎｄ Ｒｏｔａｔｉｏｎ ｉｎｖａｒｉａｎｔ Ｔｅｘｔｕｒｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．２４， ｎｏ．７， Ｊｕｌｙ ２００２に詳細に開示されている。
画像特徴量計算部１０５は、解析領域に含まれる各画素（但し、解析領域の外縁の画素を除く）についてＬＢＰを算出してもよいし、水平方向又は垂直方向に予め定めた間隔（例えば、２画素）でＬＢＰを算出してもよい。ＬＢＰの算出例については、後述する。

そして、画像特徴量計算部１０５は、解析領域を格子状に分割した予め定めた大きさ（例えば、水平方向１６画素及び垂直方向１６画素）を有する分割ブロックのそれぞれについて、それぞれのＬＢＰをビン（ｂｉｎ）としてＬＢＰ毎の度数（出現頻度の頻度分布）を示すヒストグラムを生成する。つまり、分割ブロックは、入力された画像データ、顔領域データに含まれる領域である。画像特徴量計算部１０５は、正規化顔領域に含まれる分割ブロック間でヒストグラムを連結して連結ヒストグラムを画像特徴量として算出する。

なお、画像データ取得部１０１で取り込まれる画像データが動画像データである場合には、画像特徴量計算部１０５は、ＬＢＰに代えて拡張ＬＢＰを用いて連結ヒストグラムを画像特徴量として算出してもよい。拡張ＬＢＰは、上記のＬＢＰを時系列方向に拡張したバイナリパターンを示す特徴量である。つまり、拡張ＬＢＰは、現在解析対象となっている注目フレームでの注目画素の信号値と、注目フレームよりも過去や未来のフレームでの周辺画素の信号値との大小関係も含むバイナリパターンである。

拡張ＬＢＰについては、例えば、Ｇｕｏｙｉｎｇ Ｚｈａｏ， Ｍａｔｔｉ Ｐｉｅｔｉｋａｉｎｅｎ，“Ｄｙｎａｍｉｃ Ｔｅｘｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ ｗｉｔｈ ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．２９，ｎｏ．６，Ｊｕｎｅ ２００７に開示されている。

第１指標計算部１０６は、画像特徴量計算部１０５から入力された画像特徴量に基づいて第１の演算を行って表情毎の強度を示す表情強度値を計算する。表情強度推定部１０７及び正規化部１０７’を含んで構成される。
表情強度推定部１０７は、画像特徴量計算部１０５から入力された画像特徴量に基づいて表情毎の強度を示す表情強度値を推定し、推定した表情強度値を正規化部１０７’に出力する。表情強度推定部１０７は、表情毎に予め定めたパラメータを用いて回帰分析処理を行って、それぞれの表情の表情強度値を計算する。これにより、表情毎の主観的な強度を示す表情強度値が得られる。回帰分析処理に用いるパラメータは、予め事前学習を行って定めておく。回帰分析処理の例については、後述する。

正規化部１０７’は、表情強度推定部１０７から入力された表情毎の表情強度値を正規化して、それぞれの表情の強度を示す第１指標を計算し、計算した表情毎の第１指標を表情決定部１０９に出力する。
正規化部１０７’は、例えば式（１）に示すように表情毎の表情強度値Ｉｅを、表情強度の表情間の総和で除算（正規化）して、画像特徴量［Ｘ］が与えられているときに、それぞれの表情ｅの正規化した強度ｐ_１（ｅ｜［Ｘ］）を第１指標として計算する。［…］は、ベクトル又は行列を示す。

式（１）において、Ｉ_ａｎ、Ｉ_ｄｉ、Ｉ_ｆｅ、Ｉ_ｈａ、Ｉ_ｓａ、Ｉ_ｓｕは、それぞれ「怒り」（ａｎｇｅｒ）、「嫌悪」（ｄｉｓｇｕｓｔ）、「恐れ」（ｆｅａｒ）、「幸福」（ｈａｐｐｉｎｅｓｓ）、「悲しみ」（ｓａｄｎｅｓｓ）、「驚き」（ｓｕｒｐｒｉｓｅ）の表情強度値である。表情ｅは、６種類の表情、つまり「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」のいずれである。即ち、第１指標ｐ_１（ｅ｜［Ｘ］）は、画像特徴量［Ｘ］に基づく表情ｅの主観的な強度の、全ての取りうる表情ｅの間での強度の合計値に対する割合を示す。

第２指標計算部１０８は、画像特徴量計算部１０５から入力された局所画像特徴量について、第１の演算とは異なる演算（第２の演算）で、それぞれの表情ｅをとる確率ｐ_２（ｅ｜ｌ_１，ｌ_２，…，ｌ_ｎ）（ｎは、局所画像特徴量のパターン数）を第２指標として計算する。確率ｐ_２（ｅ｜ｌ_１，ｌ_２，…，ｌ_ｎ）は、取得した顔画像が示す表情ｅであることの信頼性を示す指標である。ここで、ｌ_１，ｌ_２，…，ｌ_ｎは、それぞれ局所画像特徴量の１、２、…ｎ番目のパターンである。以下の説明では、それぞれの局所画像特徴量をｌ_ｋと記載することがある。ｋは、それぞれの局所画像特徴量を区別するインデックスである。第２の演算は、例えば、局所画像特徴量ｌ_１，ｌ_２，…，ｌ_ｎのそれぞれ応じた頻度（例えば、確率）に基づいて第２指標を計算する方法である。その方法は、例えば、単純ベイズ推定法（Ｎａｉｖｅ Ｂａｙｅｓｉａｎ ｉｎｆｅｒｅｎｃｅ、単純ベイズ分類法とも呼ばれる）である。第２指標計算部１０８は、計算した表情毎の第２指標を表情決定部１０９に出力する。単純ベイズ推定法を用いて、第２指標を計算する処理の例については後述する。

表情決定部１０９は、正規化部１０７’から入力された第１指標と第２指標計算部１０８から入力された第２指標を重み付け加算して、表情毎の統合指標を計算する。表情決定部１０９は、計算した統合指標が最も高い表情を定める。表情決定部１０９は、定めた表情を示す表情種別情報を表情解析装置１の外部に出力する。
表情決定部１０９は、表情を定める際、例えば、式（２）に示すように第１指標と第２指標を対数領域で所定の重み付けにより加算する。

式（２）において、ｅ’は、定めた表情を示す。ａｒｇ_ｅ［…］は、…を与えるｅを示す。ｍａｘ｛…｝は、…の最大値を示す。ｗは、重み係数を示す。
式（２）は、第１指標の対数値ｌｏｇ（ｐ_１（ｅ｜［Ｘ］））に重み係数を乗ずる例を示しているが、これには限られず、第２指標の対数値ｌｏｇ（ｐ_２（ｅ｜ｌ_１，ｌ_２，…，ｌ_ｎ））に重み係数を乗じてもよい。
以下の説明では、表情決定部１０９での重み付け加算とは、特に断らない限り対数領域での重み付け加算を意味し、線形領域での重み係数によるべき乗値の乗算も含む。線形領域での重み係数によるべき乗値の乗算は、対数領域での重み付け加算に相当するためである。
即ち、表情決定部１０９は、式（２）を用いる代わりに式（３）を用いて表情ｅ’を定めてもよい。

重み係数ｗは、予め事前学習を行って定めておく。また、重み付け加算で用いられる重み係数ｗは、表情ｅ毎に異なっていてもよい。その場合には、事前学習では表情ｅ毎に独立に重み係数ｗを定めておく。
これにより、統合指標に対する第１指標と第２指標の寄与における表情による相違が考慮されるので、判定された表情の信頼性が向上する。

（第２指標を計算する処理の例）
次に、第２指標、即ち確率ｐ_２（ｅ｜ｌ_１，ｌ_２，…，ｌ_ｎ）を計算する処理の例として単純ベイズ推定法を用いる例について説明する。
第２指標計算部１０８は、例えば、式（４）を用いて、確率ｐ_２（ｅ｜ｌ_１，ｌ_２，…，ｌ_ｎ）と比例関係にあるｑ_２（ｅ｜ｌ_１，ｌ_２，…，ｌ_ｎ）を計算する。

式（４）において、ｔ（ｅ，ｌ_ｋ）は、事前学習で用いた学習用画像データのうち表情ｅを示す画像データについて計算されたｋ番目の局所画像特徴量ｌ_ｋの度数である。Ｌは、画像データから観測されうる局所画像特徴量のパターンの全種類を示す。従って、分母のΣ_ｌ∈Ｌｔ（ｅ，ｌ）は、表情ｅを示す学習用画像データで観測されうる局所画像特徴量の全パターンの合計個数を示す。ｐ（ｅ）は、表情ｅをとる確率（事前確率）を示す。とりうる表情の数が６種類である場合、例えば、ｐ（ｅ）を、各表情ともに予め１／６と定めておく。その場合、第２指標計算部１０８は、ｐ（ｅ）の乗算を省略してもよい。従って、ｑ_２（ｅ｜ｌ_１，ｌ_２，…，ｌ_ｎ）は、ｌ_１，ｌ_２，…，ｌ_ｎが観測されたときの表情ｅが示される尤度を示す。

確率ｑ_２（ｅ｜ｌ_１，ｌ_２，…，ｌ_ｎ）と比例関係にある確率ｐ_２（ｅ｜ｌ_１，ｌ_２，…，ｌ_ｎ）は、式（５）に示すベイズの定理から導出される。

式（５）において、ｐ（ｌ_１，ｌ_２，…，ｌ_ｎ｜ｅ）は、表情ｅが観測されたときに局所画像特徴量ｌ_１，ｌ_２，…，ｌ_ｎが観測される条件付確率（尤度）を示す。ｐ（ｌ_１，ｌ_２，…，ｌ_ｎ）は、局所画像特徴量ｌ_１，ｌ_２，…，ｌ_ｎがともに観測される確率（証拠）を示す。単純ベイズ推定法では、局所画像特徴量ｌ_１，ｌ_２，…，ｌ_ｎが生じる確率は互いに独立（条件付独立性）と仮定されている。その仮定のもとで、式（５）は、式（６）のように置き換えることができる。

式（６）において、ｐ（ｌ_k｜ｅ）は、表情ｅが観測されたときに局所画像特徴量ｌ_kが観測される条件付確率を示す。条件付確率ｐ（ｌ_１，ｌ_２，…，ｌ_ｎ｜ｅ）は、条件付確率ｐ（ｌ_ｋ｜ｅ）の全ての積であると仮定される。
局所画像特徴量ｌ_kの頻度が多項分布に従うと仮定すると，ｐ（ｌ_k｜ｅ）は、式（７）に示すように、上述した度数ｔ（ｅ，ｌ_ｋ）を用いて定めることができる。

そして、式（７）を式（６）に代入することによって、式（４）が得られる。ここで、式（６）の分母の確率ｐ（ｌ_１，ｌ_２，…，ｌ_ｎ）が省略されているのは、確率ｐ（ｌ_１，ｌ_２，…，ｌ_ｎ）は表情ｅに依存しないためである。

（表情強度推定部の構成）
次に、本実施形態に係る表情強度推定部１０７の構成について説明する。
図２は、本実施形態に係る表情強度推定部１０７の構成を示すブロック図である。
表情強度推定部１０７は、入力された画像特徴量［Ｘ］に対して独立に回帰分析処理を行って表情強度値を計算する構成部を表情毎に有する。例えば、表情強度推定部１０７は、怒り回帰部１０７１、嫌悪回帰部１０７２、恐れ回帰部１０７３、幸福回帰部１０７４、悲しみ回帰部１０７５、及び驚き回帰部１０７６を含んで構成される。これらの構成部は、それぞれの感情ｅ、つまり、「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」のそれぞれに係る表情強度値Ｉ_ｅを正規化部１０７’に出力する。

各構成部は、回帰分析処理として、例えば、線形回帰分析処理、ロジスティック回帰分析処理、サポートベクトル回帰分析処理、等のいずれを行ってもよい。
線形回帰分析処理は、式（８）に示すように入力である画像特徴量［Ｘ］に対して線形となる出力として対応する表情ｅの表情強度値Ｉ_ｅを計算する処理である。

式（８）において、β_ｉは、表情強度値Ｉ_ｅの画像特徴量のｉ番目の要素Ｘ_ｉへの寄与の度合いを示す重み係数である。αは、全ての画像特徴量の要素Ｘ_ｉが０である場合の表情強度値Ｉ_ｅを示すバイアス値である。Ｉは、画像特徴量の要素数を示す。

ロジスティック回帰分析処理は、式（９）に示すように入力である画像特徴量［Ｘ］に対して最大値が１００、最小値が０となる出力として対応する表情ｅの表情強度値Ｉ_ｅを計算する処理である。

式（９）に示すように、表情強度値Ｉ_ｅは、α＋Σ_ｉ＝１ ^Ｉ・β_ｉ・Ｘ_ｉに対して単調に増加する関数である。なお、表情強度値Ｉ_ｅの最大値は１００には限られず、０よりも大きい実数、例えば１に規格化されてもよい。

サポートベクトル回帰分析処理は、式（１０）に示すように入力である画像特徴量［Ｘ］をＪ（Ｊは、１よりも大きい整数であって、Ｉとは異なる）次元のベクトルに写像し、そのＪ次元のベクトルに対して線形となる出力として対応する表情ｅの表情強度値Ｉ_ｅを計算する処理である。

式（１０）において、Ｔは、ベクトル又は行列の転置を示す。φ（…）は、Ｉ次元の特徴量ベクトルをＪ次元のベクトルに写像する写像関数を示す。従って、パラメータβ_１，β_２，…，β_Ｊは、それぞれ写像された第１、第２、…、第Ｊ番目の要素に対応する重み係数である。上述したパラメータα、β_ｉ等は、例えば、事前学習によって表情ｅ毎に予め定めておく。

（事前学習）
次に、パラメータの事前学習について説明する。
事前学習を行う際、画像データ、その画像データが示す顔についての表情毎の表情強度値及び表情を対応付けた学習用データのセットを、多数（例えば、１，０００個又はそれよりも多い）含む画像データベースが記憶された記憶媒体を準備しておく。事前学習では、学習用データのセットに含まれる表情毎の表情強度値と表情が、それぞれの教師値（ｓｕｐｅｒｖｉｓｅｄ ｖａｌｕｅ）として用いられる。

表情強度値の教師値（表情強度教師値）は、対応する画像データが示す顔について、表情毎にその度合いを評価者の主観評価に従って表した値である。表情強度教師値は、予め定めた下限値（例えば、０）から上限値（例えば、１００）までの整数である。このとき、表情強度教師値が大きいほど、その表情の度合いが高く、表情強度教師値が小さいほど、その表情の度合いが低い。

表情の教師値（表情教師値）は、候補となる表情（例えば、上述の６種類の表情）のいずれかを示す分類語、又はその分類語を示す数値である。例えば、表情教師値は、「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」といった分類語であってもよいし、それぞれの分類語に対応する１、２、３、４、５、６といった数値でもよい。一般に、１つの顔画像には複数の表情が与えられる可能性があるが、１つの顔画像に対して１つの表情を示す表情教師値が与えられるようにしてもよい。ここで、被写体となる人物が予め定めた表情を意識して表しているとき、顔を構成する各部位の動きが予め定めた規則を満たしているときに、その表情が表情教師値として与えられてもよい。顔を構成する各部位は、ＡＵ（Ａｃｔｉｏｎ Ｕｎｉｔ）と呼ばれ、その予め定めた規則は、ＦＡＣＳ（Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ）と呼ばれる。ＡＵ、ＦＡＣＳについては、次の文献に詳しく述べられている。Ｐ．Ｅｋｍａｎ，Ｗ．Ｆｒｉｅｓｅｎ ａｎｄ Ｊ．Ｈａｇｅｒ：“Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ：Ｒｅｓｅａｒｃｈ Ｎｅｘｕｓ，”Ｎｅｔｗｏｒｋ Ｒｅｓｅａｒｃｈ Ｉｎｆｏｒｍａｔｉｏｎ，Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ，ＵＴ，ＵＳＡ，２００２．

なお、表情教師値は、これには限られず、予め評価者が１つの顔画像に対し、複数の表情について表情強度教師値を与え、そのうち表情強度教師値が最も大きい表情が表情教師値として与えられてもよいし、そのすべての表情が表情教師値として与えられてもよい。
なお、評価者は一人でもよいし、複数でもよい。評価者が複数である場合、各評価者によって付された表情強度教師値の平均値を、事前学習に用いてもよい。

図３は、学習用データのセットの例を示す図である。
図３に示すように、画像データベースは、表情毎に、各人物のニュートラル顔表情からピーク顔表情までの度合いがそれぞれ異なる画像データと、その表情強度教師値がそれぞれ対応付けられたデータのセットで形成されている。図３に示す例では、表情教師値は、上から順に、それぞれ「幸福」、「幸福」、「驚き」、を示す４、４、６である。
ニュートラル顔表情とは、いずれの判定対象の表情も表れていない中立的な状態である。ニュートラル顔表情には、例えば、無表情、その他、判別困難な表情が該当する。ピーク顔表情とは、その表情が最も極端に表れた表情である。

図３に示す例では、表情が「幸福」について、ニュートラル顔表情、ピーク顔表情に対して表情強度教師値は、それぞれ最低値０、最高値１００である。表情強度教師値は、例えば、第１行目の左端から右端に順に、０、８、４６、８３、１００である。
また、表情が「驚き」について表情強度教師値は、それぞれ最低値０、最高値１００である。ニュートラル顔表情、ピーク顔表情に対して表情強度教師値は、それぞれ最低値０、最高値１００である。表情強度教師値は、例えば、第３行目の左端から右端に順に、０、７、４３、８８、１００となる。

画像データベースとして、例えば、次の文献に記載のＣｏｈｎ−Ｋａｎａｄｅ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｄａｔａｂａｓｅを用いることができる。
Ｐａｔｒｉｃｋ Ｌｕｃｅｙ，Ｊｅｆｆｒｅｙ Ｆ． Ｃｏｈｎ，Ｔａｋｅｏ Ｋａｎａｄｅ，Ｊａｓｏｎ Ｓａｒａｇｉｈ ａｎｄ Ｚａｒａ Ａｍｂａｄａｒ，“Ｔｈｅ Ｅｘｔｅｎｄｅｄ Ｃｏｈｎ−Ｋａｎａｄｅ Ｄａｔａｓｅｔ （ＣＫ＋）： Ａ Ｃｏｍｐｌｅｔｅ ｄａｔａｓｅｔ ｆｏｒ ａｃｔｉｏｎ ｕｎｉｔ ａｎｄ ｅｍｏｔｉｏｎ−ｓｐｅｃｉｆｉｅｄ ｅｘｐｒｅｓｓｉｏｎ”， ｔｈｅ Ｔｈｉｒｄ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ ＣＶＰＲ ｆｏｒ Ｈｕｍａｎ Ｃｏｍｍｕｎｉｃａｔｉｖｅ Ｂｅｈａｖｉｏｒ Ａｎａｌｙｓｉｓ，ｐｐ．９４−１０１， ２０１０．

事前学習において、画像特徴量計算部１０５は、各セットの画像データに基づく解析領域データについて画像特徴量［Ｘ］を計算する。表情強度推定部１０７は、全ての画像データについて、各画像データに対応する表情強度教師値と、各セットの画像データについての画像特徴量［Ｘ］から算出した表情強度値との差の二乗値の総計が最小となるように表情強度値を算出する際に用いるパラメータを定める。そのパラメータとして、例えば、上述した回帰分析処理に係るパラメータα、β_ｉ、等が該当する。この過程は、表情毎に行う。表情毎に行うとは、ある表情について強度を算出するためのパラメータを定めるとき、表情教師値がその表情と同じ画像データについては、表情強度値として表情強度教師値を用いるが、同じでないときには、その画像データの表情強度値を０として計算を行う。即ち、例えば、「怒り」の表情強度を算出するためのパラメータを決定する際には、表情教師値が「怒り」の画像データの表情強度値は、表情強度教師値を用いるが、それ以外の表情教師値が与えられている画像データの表情強度値は、すべて０とする。

重み係数ｗを事前学習する際には、予めさまざまな重み係数の候補値を設定しておき、設定した候補値のそれぞれについて学習用の画像データベース内で交差検定を行う。そして、表情の認識率が最も高くなる候補値を重み係数ｗと定める。

（顔領域データ）
次に、顔領域データの例について説明する。
図４は、顔領域データの一例を示す図である。
図４には、上段から順に画像データ２、顔領域データ２ａが示されている。
画像データ２は、ある人物の頸部よりも上部の画像を示すデータである。画像データ２の下部に示されている下向きの矢印は、画像データ２から顔領域データ２ａが生成されることを示す。顔領域データ２ａは、画像データ２から、例えば、Ｖｉｏｌａらが提案した顔検出方法を用いて抽出された顔を含む領域を示すデータである。この顔検出方法は、例えば、次の論文に記載されている。
Ｐ．Ｖｉｏｌａ ｅｔ ａｌ．”Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．５７， ｎｏ．２，ｐｐ．１３７−１５４，２００４．

顔を含む領域とは、例えば、人物の表情を決定付ける部分（両眉毛、両目、鼻、口）を含む領域である。顔を含む領域には、表情を決定付ける部分が含まれていれば、顔のその他の部分が欠落していてもよいし、顔以外の部分が含まれていてもよい。
抽出された顔領域データ２ａは、その後、所定のサイズ（例えば、水平画素数Ｌ_Ｘ×垂直画素数Ｌ_Ｙ）に正規化した画像を示す解析領域データ２ｂ（図５）を生成するために用いられる。

図５は、解析領域データの一例を示す図である。
図５の上段の解析領域データ２ｂに表されている格子は、解析領域が予め定めた大きさの分割ブロックに細分化されていることを示す。上述した実施形態では、この分割ブロック内のそれぞれについて、局所画像特徴量としてＬＢＰが算出され、ＬＢＰ毎の度数を示すヒストグラムが画像特徴量［Ｘ］として算出される。
本実施形態では、図５の下段に示されているように、解析領域データ２ｂは、表情を表す際に重要な手掛かりとなる部位が大部分を占める分割ブロックに細分化してもよい。例えば、分割ブロック３ａには、両目と両眉が含まれる。分割ブロック３ｂには、鼻が含まれる。分割ブロック３ｃには、口が含まれる。そして、分割ブロック毎に、局所画像特徴量（例えば、ＬＢＰ）、画像特徴量（例えば、前述のヒストグラム）が算出されてもよい。

このように、主に表情を形成する部位や、互いに形状や位置の相関性が高い部位のグループ毎に、区分された分割ブロックの画像特徴量を得ることで、表情との相関性を的確に解析される、全領域について解析する場合よりも処理量を低減することができる。
なお、細分化された分割ブロックの形状は、上述したように四角形に限られず、任意の形状（例えば、円形、三角形、等）でよい。

（局所画像特徴量の例）
局所画像特徴量として、ＬＢＰの例について説明する。
図６は、ＬＢＰの例を説明する図である。
ＬＢＰは、上述したように注目画素ｐ０の信号値と、各周辺画素ｐ１−ｐ８の信号値との大小関係で二値化したバイナリパターンを示す特徴量である。図６の上部は、各画素が四角形で示され、それぞれの四角形では、ｐ１等の符号が周辺画素ｐ１等を示し、４８等の数値が信号値を示す。周辺画素ｐ１−ｐ８は、いずれも注目画素ｐ０に隣接する画素である。周辺画素ｐ１−ｐ８の順序は、注目画素の左上の周辺画素ｐ１を起点として右回りである。

画像特徴量計算部１０５は、周辺画素ｐ１−ｐ８の信号値のそれぞれと注目画素ｐ０の信号値との大小関係を判定する。画像特徴量計算部１０５は、周辺画素の信号値が注目画素ｐ０の信号値と等しいか、注目画素ｐ０の信号値よりも大きい場合、その周辺画素についての数値を１と定める。画像特徴量計算部１０５は、周辺画素の信号値が注目画素ｐ０の信号値よりも小さい場合、その周辺画素についての数値を０と定める。図６の上部では、数値が１と定められた周辺画素が塗りつぶされており、数値が０と定められた周辺画素は塗りつぶされていない。図６に示す例では、周辺画素ｐ１−ｐ８のそれぞれについて、０、１、０、１、１、０、０、０と定められている。
画像特徴量計算部１０５は、図６の下部に示すように、周辺画素ｐ１−ｐ８のそれぞれについて定められた数値（１又は０）を、上位の桁からより下位の桁に順次配列して８桁の二進数をＬＢＰとして形成する。図６に示す例では、形成されたＬＢＰは、０１０１１０００である。このＬＢＰは、十進数で８８に相当する。

このようにＬＢＰは、注目画素の周辺における信号値の空間的な変化を示す局所画像特徴量として、簡便な演算処理によって計算される。そのため、ＬＢＰを用いることで、画像特徴量やその画像特徴量に応じた頻度の計算に係る処理量を低減することができる。特に、上述した単純ベイズ推定法を用いる例では、事前学習により予め計算した度数ｔ（ｅ，ｌ_ｋ）を用いて第２指標を簡便に計算することができる。また、ＬＢＰは、画素間の信号値の大小関係を示すものであるため、画像データの取得状況によって顔領域の照明状態に揺らぎが生じても頑健に表情を判定することができ、また計算に要する時間が短い。

（ヒストグラムの例）
図７は、算出されたヒストグラムの例を示す図である。
図７の左上部、右上部、下部は、ヒストグラム１、ヒストグラム２、連結ヒストグラムをそれぞれ示す。いずれのヒストグラムも、横軸は特徴量を示し、縦軸は特徴量毎の頻度を示す。
ヒストグラム１は、ある分割ブロック（分割ブロック１）について算出されたヒストグラムである。ヒストグラム２は、分割ブロック１とは異なる分割ブロック（分割ブロック２）について算出されたヒストグラムである。連結ヒストグラムは、分割ブロック１と分割ブロック２からなる解析領域全体について取得したヒストグラムである。連結ヒストグラムの上部に示された下向きの矢印は、連結ヒストグラムがヒストグラム１とヒストグラム２を横軸方向に連結して形成されたことを示す。この場合には、解析領域全体の画像特徴量の次元数は、分割ブロック１に係る次元数と分割ブロック２に係る次元数の和となる。

（表情認識処理）
次に、本実施形態に係る表情認識処理について説明する。
図８は、本実施形態に係る表情認識処理の例を示すフローチャートである。
（ステップＳ１０１）画像データ取得部１０１には、フレーム毎に画像データが入力され、入力された画像データを顔領域抽出部１０２に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）顔領域抽出部１０２は、画像データ取得部１０１から入力された画像データが示す顔領域データを抽出し、抽出した顔領域データから解析領域データを定める。顔領域抽出部１０２は、定めた解析領域データを画像特徴量計算部１０５に出力する。
その後、ステップＳ１０３に進む。

（ステップＳ１０３）画像特徴量計算部１０５は、顔領域抽出部１０２から入力された解析領域データに基づいて局所画像特徴量を計算し、局所画像特徴量に基づいて分割ブロック毎の画像特徴量（例えば、上述のヒストグラム）を計算する。画像特徴量計算部１０５は、計算した画像特徴量を表情強度推定部１０７に出力する。また、画像特徴量計算部１０５は、計算した局所画像特徴量を第２指標計算部１０８に出力する。その後、ステップＳ１０４に進む。

（ステップＳ１０４）表情強度推定部１０７は、画像特徴量計算部１０５から入力された画像特徴量に基づいて第１の演算を行って表情毎の強度を示す表情強度値を推定し、推定した表情強度値を正規化部１０７’に出力する。その後、ステップＳ１０５に進む。
（ステップＳ１０５）正規化部１０７’は、表情強度推定部１０７から入力された表情毎の表情強度値を正規化して、表情毎の強度を示す第１指標を計算し、計算した表情毎の第１指標を表情決定部１０９に出力する。その後、ステップＳ１０６に進む。
（ステップＳ１０６）第２指標計算部１０８は、画像特徴量計算部１０５から入力された局所画像特徴量に基づいて第２の演算を行って、それぞれの表情をとる第２指標を計算する。その後、ステップＳ１０７に進む。

（ステップＳ１０７）表情決定部１０９は、正規化部１０７’から入力された第１指標と第２指標を所定の重み係数を用いて重み付け加算して、表情毎の統合指標を計算する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）表情決定部１０９は、計算した統合指標が最も高い表情を定める。表情決定部１０９は、定めた表情を示す表情種別情報を表情解析装置１の外部に出力する。その後、図８に示す処理を終了する。

次に、上述の表情認識処理に用いるパラメータを取得するための事前学習について述べる。
図９は、事前学習に係る処理の例を示すフローチャートである。
（ステップＳ２０１）画像データ取得部１０１には、学習用データのセット毎に、その一部である画像データが入力され、入力された画像データを顔領域抽出部１０２に出力する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）表情強度推定部１０７には、入力された画像データに対応する表情強度教師値が入力される。また、表情決定部１０９には、入力された画像データに対応する表示教師値が入力される。その後、ステップＳ２０３に進む。

（ステップＳ２０３）顔領域抽出部１０２は、画像データ取得部１０１から入力された画像データが示す顔領域データを抽出し、抽出した顔領域データから解析領域データを定める。顔領域抽出部１０２は、定めた解析領域データを画像特徴量計算部１０５に出力する。
その後、ステップＳ２０４に進む。
（ステップＳ２０４）画像特徴量計算部１０５は、顔領域抽出部１０２から入力された解析領域データの画像特徴量を計算し、計算した画像特徴量を表情強度推定部１０７に出力する。また、画像特徴量計算部１０５は、その解析領域データの画像データについて局所画像特徴量を計算し、計算した局所画像特徴量を第２指標計算部１０８に出力する。その後、ステップＳ２０５に進む。

（ステップＳ２０５）表情解析装置１の制御部（図示せず）は、学習用データのセットの取得（サンプリング）が終了したか否かを判定する。終了したと判定された場合には（ステップＳ２０５ ＹＥＳ）、ステップＳ２０６に進む。終了していないと判定された場合には（ステップＳ２０５ ＮＯ）、ステップＳ２０１に進む。

（ステップＳ２０６）表情強度推定部１０７は、全ての画像データについて、各画像データに対応する表情強度教師値と、各セットの画像データについての画像特徴量［Ｘ］から算出した表情強度値との差の二乗値の総計が最小となるように表情強度値ひいては第１指標を計算する際に用いるパラメータを定める。表情強度推定部１０７は、定めたパラメータを記憶する。表情強度推定部１０７は、計算した表情強度値を正規化部１０７’に出力する。正規化部１０７’は、表情強度推定部１０７から入力された表情強度値に基づいて第１指標を各セットについて算出し、算出した第１指標を表情決定部１０９に出力する。その後、ステップＳ２０７に進む。

（ステップＳ２０７）第２指標計算部１０８は、各セットについて計算した局所画像特徴量ｌ_１，ｌ_２，…，ｌ_ｎを用いて第２指標を算出する際に用いるパラメータとして、表情ｅを示す画像データについて計算されたｉ番目の局所画像特徴量ｌ_ｉについて度数ｔ（ｅ，ｌ_ｉ）を算出し、さらに、例えば式（７）を用いて確率ｐ（ｌ_ｋ｜ｅ）を計算する。第２指標計算部１０８は、定めたパラメータを記憶する。第２指標計算部１０８は、計算したパラメータを用いて第２指標を各セットについて計算し、計算した第２指標を表情決定部１０９に出力する。その後、ステップＳ２０８に進む。

（ステップＳ２０８）表情決定部１０９は、予め設定した複数の重み係数のそれぞれについて上述した交差検定を行い、その複数の重み係数のうち表情の認識率が最も高い重み係数をステップＳ１０７（図８）で用いられる重み係数として選択する。
その後、図９に示す処理を終了する。

（表情強度推定部１０７の他の構成例）
第１指標計算部１０６は、表情強度推定部１０７に代えて、表情強度推定部１０７ａを備えてもよい。
図１０は、表情強度推定部１０７ａの構成例を示す図である。
表情強度推定部１０７ａは、表情ｅ毎にニューラルネットワークを用いて第２の演算を行い、表情毎の表情強度値を計算する強度推定部１０７１ａ〜１０７６ａを備える。つまり、表情強度推定部１０７は、怒り強度推定部１０７１ａ、嫌悪強度推定部１０７２ａ、恐れ強度推定部１０７３ａ、幸福強度推定部１０７４ａ、悲しみ強度推定部１０７５ａ、及び驚き強度推定部１０７６ａを含んで構成される。強度推定部１０７１ａ〜１０７６ａのそれぞれは、入力された画像特徴量［Ｘ］を用いて、それぞれの感情ｅ毎の表情強度値Ｉ_ｅを算出し、算出した表情強度値Ｉ_ｅをそれぞれ正規化部１０７’に出力する。

次に、表情ｅ毎の強度推定部１０７１ａ〜１０７６ａに含まれるニューラルネットワークの構成について説明する。
図１１は、表情毎の強度推定部１０７１ａ〜１０７６ａに含まれるニューラルネットワークの構成例を示す図である。
図１１に示すニューラルネットワークは、神経回路網における入出力特性を模した処理部の階層を３層備える階層型ニューラルネットワークである。これらの階層は、左から順に入力層、中間層及び出力層である。
入力層、中間層、出力層には、それぞれＩ個、Ｉ_ｍ（Ｉ_ｍは、１よりも大きい予め定めた整数、例えば、Ｉ）個、１個の節点（ニューロン）Ｉｎ−１〜Ｉｎ−Ｉ、Ｍｄ−１〜Ｍｄ−Ｉ_ｍ、Ｏｔを備える。

節点Ｉｎ−１〜Ｉｎ−Ｉには、それぞれ画像特徴量［Ｘ］の要素Ｘ_１〜Ｘ_Ｉ、が入力される。節点Ｉｎ-１〜Ｉｎ-Ｉは、入力された信号を中間層の節点Ｍｄ−１〜Ｍｄ−Ｉ_ｍにそれぞれ出力する。
節点Ｍｄ−１〜Ｍｄ−Ｉ_ｍは、それぞれの入力信号として要素Ｘ_１〜Ｘ_Ｉをそれぞれの重み係数で重み付け加算して荷重和にバイアス値を加算して値ｕを算出する。節点Ｍｄ−１〜Ｍｄ−Ｉ_ｍは、値ｕについての出力関数ｆ（ｕ）を用いて出力信号ｙを算出する。節点Ｍｄ−１〜Ｍｄ−Ｉ_ｍは、生成した出力信号ｙを出力層の節点Ｏｔに出力する。

節点Ｏｔには、節点Ｍｄ−１〜Ｍｄ−Ｉ_ｍから出力された出力信号ｙが、入力信号Ｘ_１’〜Ｘ_ｍ’としてそれぞれ入力される。節点Ｏｔは、入力信号Ｘ_１’〜Ｘ_ｍ’をそれぞれの重み係数で重み付け加算した荷重和にバイアス値を加算して得られた値ｕ’についての出力関数ｆ（ｕ’）を用いて出力値ｙ’を算出する。節点Ｏｔは、算出した出力値ｙ’を表情強度値Ｉ_ｅとして正規化部１０７’に出力する。

出力関数ｆ（ｕ）、ｆ（ｕ’）は、例えば、シグモイド関数である。この関数は、式（９）の右辺に示す関数（但し、最大値が１に規格化されている）に相当する。但し、節点毎にパラメータ（バイアス値α、重み係数β_ｉ）を事前学習により予め取得しておく。
事前学習では、表情決定部１０９において学習用データを用いて算出した認識率が最大となるように、重み係数ｗと連立して節点毎のパラメータを定める。

なお、第１指標計算部１０６は、表情強度推定部１０７もしくは１０７ａに代えて、表情強度推定部１０７ｂを備えてもよい。
図１２は、表情強度推定部１０７ｂの構成例を示す図である。
表情強度推定部１０７ｂは、１個のニューラルネットワークを含んで構成され、全ての表情ｅのそれぞれに係る表情強度値Ｉ_ｅを出力する。表情強度推定部１０７ｂに含まれるニューラルネットワークは、出力層において表情ｅ毎に節点Ｏｔ−ｅ（ｅは、例えば、１から６までの整数）を備える点が、図１１に示すニューラルネットワークと異なる。表情強度推定部１０７ｂに含まれるニューラルネットワークは、その他の点において図１１に示すニューラルネットワークと同様である。

節点Ｏｔ−ｅには、節点Ｍｄ−１〜Ｍｄ−Ｉ_ｍから出力された出力信号ｙが、入力信号Ｘ_１’〜Ｘ_ｍ’としてそれぞれ入力される。各節点Ｏｔ−ｅは、入力信号Ｘ_１’〜Ｘ_ｍ’に、それぞれ独立な重み係数で重み付け加算して荷重和を算出し、さらにバイアス値を加算して表情ｅ毎の値ｕ_ｅ’を得る。各節点Ｏｔ−ｅは、得られた値ｕ_ｅ’についての出力関数ｆ（ｕ_ｅ’）を用いて表情ｅの表情強度値Ｉ_ｅを算出する。各節点Ｏｔ−ｅは、それぞれ算出した表情ｅの表情強度値Ｉ_ｅを正規化部１０７’に出力する。

なお、上述した例において、ニューラルネットワークにおける階層の数は、３階層に限らず、１階層よりも多い任意の数、例えば４階層（中間層が２階層）であってもよい。

（第２指標計算部１０８の他の構成例）
表情解析装置１は、第２指標計算部１０８に代えて、第２指標計算部１０８ｃを備えてもよい。
第２指標計算部１０８ｃは、画像特徴量計算部１０５から入力された画像特徴量［Ｘ］に基づいて、ＡｄａＢｏｏｓｔ識別器を用いて、それぞれの表情ｅをとる確率ｐ_２（ｅ｜[Ｘ]）を第２指標として計算する。画像特徴量［Ｘ］は、上述したように局所画像特徴量（例えば、ＬＢＰ）毎の出現頻度を示すデータである。
ＡｄａＢｏｏｓｔ識別器は、識別対象物を識別する複数の弱識別器（ｗｅａｋ ｃｌａｓｓｉｆｉｅｒ）と、これらの弱識別器に対応付けられた強識別器（ｓｔｒｏｎｇ ｃｌａｓｓｉｆｉｅｒ）から形成される識別器である。以下の説明では、ＡｄａＢｏｏｓｔ識別器を単にＡｄａＢｏｏｓｔと呼ぶことがある。

ＡｄａＢｏｏｓｔ識別器を用いて表情を認識する方法として、例えば、次の文献に記載されている方法を用いることができる。Ｃａｉｆｅｎｇ Ｓｈａｎ， Ｓｈａｏｇａｎｇ Ｇｏｎｇ， Ｐｅｔｅｒ Ｗ． ＭｃＯｗａｎ，“Ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ： Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｓｔｕｄｙ”， Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，２７，ｐｐ．８０３−８１６，２００９。

図１３は、第２指標計算部１０８ｃの構成例を示すブロック図である。
第２指標計算部１０８ｃは、表情ｅ（例えば、上述した「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」）毎のＡｄａＢｏｏｓｔ１０８１ｂ−１〜１０８１ｂ−６と、ＡｄａＢｏｏｓｔ１０８１ｂ−１〜１０８１ｂ−６からの出力値に基づいて表情ｅ毎の第２指標を計算する正規化部１０８２ｂを含んで構成される。各々のＡｄａＢｏｏｓｔ１０８１ｂ−ｅは、複数の弱識別器ｗ−ｅ−１、ｗ−ｅ−２、…と、１つの強識別器ｓ−ｅとで構成される。

ここで、表情ｅ毎のＡｄａＢｏｏｓｔ１０８１ｂ−ｅの処理について述べる。あるＡｄａＢｏｏｓｔ１０８１ｂ−ｅが含む複数の弱識別器ｗ−ｅ−１、ｗ−ｅ−２、…のそれぞれは、対応する分割ブロック毎の画像特徴量［Ｘ’］に係るデータを入力とし、入力データに応じて、＋１または−１を出力する。そのＡｄａＢｏｏｓｔ１０８１ｂ−ｅが含む強識別器ｓ−ｅは、弱識別器ｗ−ｅ−１、ｗ−ｅ−２、…からの出力のそれぞれに予め定められた所定の重みパラメータを乗じ、それらの総和を算出する。ＡｄａＢｏｏｓｔ１０８１ｂ−ｅからの出力値Ｏ_ｅは、強識別器ｓ−ｅによって算出される総和である。
正規化部１０８２ｂは、各ＡｄａＢｏｏｓｔ１０８１ｂ−ｅの出力値Ｏ_ｅを、全ＡｄａＢｏｏｓｔ１０８１ｂ−１〜１０８１ｂ−ｅの出力値の総和で除した値を、その表情の第２指標ｐ_２（ｅ｜[Ｘ]）として算出する。

なお、上述した強識別器及び弱識別器は、専用のハードウェアには限られず、これらと等価な機能をコンピュータもしくはその他のハードウェアで実現されてもよい。

以上に説明したように、本実施形態に係る表情解析装置（例えば、表情解析装置１）は、取得した画像から顔が表された顔領域を抽出する顔領域抽出部（例えば、顔領域抽出部１０２）と、前記顔領域の画像特徴量として画素毎に局所画像特徴量（例えば、ローカルバイナリパターン）を計算する画像特徴量計算部（例えば、画像特徴量計算部１０５）を有する。また、本実施形態に係る表情解析装置は、前記局所画像特徴量の、前記画像に含まれる分割ブロック内における出現頻度（例えば、画像特徴量［Ｘ］）に基づいて第１の演算を行って表情毎の強度を計算する第１指標計算部（例えば、第１指標計算部１０６）を有する。また、本実施形態に係る表情解析装置は、前記局所画像特徴量に基づいて第２の演算を行って表情毎の確率を計算する第２指標計算部（例えば、第２指標計算部１０８、１０８ｃ）を有する。また、本実施形態に係る表情解析装置は、前記強度と前記確率を所定の重み付けにより加算した統合指標に基づいて表情を定める表情決定部（例えば、表情決定部１０９）と、を備える。

これにより、局所画像特徴量について第１の演算を行って計算した強度と第２の演算を行って計算した確率の両者を考慮して、所定の表情である度合いを示す統合指標が算出される。そのため、第１の演算を行って計算した強度のみを用いる場合よりも高い信頼性をもって表情を定めることができる。

なお、上述では、局所画像特徴量ｌ_１，ｌ_２，…，ｌ_ｎについて、第１指標計算部１０６とは異なる１つの演算方法で、表情ｅ毎に１つの第２指標を計算する場合を例にとって説明したが、これには限られない。第２指標は、それぞれ異なる複数の演算方法で、表情ｅ毎に第２指標をそれぞれ計算してもよい。例えば、第２指標計算部１０８は、単純ベイズ推定法を用いて第２指標を算出し、並行してＡｄａＢｏｏｓｔ識別器を用いて第２指標をさらに算出してもよい。その場合、表情決定部１０９は、第１指標と計算された複数の第２指標とをそれぞれ独立な重み係数を用いて重み付けして統合指標を算出する。表情毎に統合指標に対する複数の方法間で寄与度の差異が考慮されるため、判定される表情の信頼性を向上することができる。

なお、上述では、事前学習が表情解析装置１の一部である第１指標計算部１０６、第２指標計算部１０８、１０８ｃ、及び表情決定部１０９で行われる場合を例にとって説明したが、これには限られない。事前学習は、表情解析装置１の外部に設置された外部機器で行われてもよい。その場合、表情解析装置１は、外部機器から事前学習で取得されたパラメータを取得し、それぞれ該当する構成部に設定しておく。

上述では、局所画像特徴量毎の頻度を示すヒストグラムを画像特徴量として取得する場合を例にとって説明したが、これには限られない。ヒストグラムを取得する際、画像特徴量計算部１０５は、算出した複数の局所画像特徴量を公知のクラスタリング方法（例えば、Ｋ平均法）でクラスタリングし、クラスタリングによって得られたクラスタ毎の頻度からなるヒストグラム（Ｂａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓ）を取得してもよい。Ｂａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓについては、例えば、Ｇａｂｒｉｅｌｌａ Ｃｓｕｒｋａ，Ｃｈｒｉｓｔｏｐｈｅｒ Ｒ． Ｄａｎｃｅ， Ｌｉｘｉｎ Ｆａｎ， Ｊｕｔｔａ Ｗｉｌｌａｍｏｗｓｋｉ， Ｇｅｄｒｉｃ Ｂｒａｙ，“Ｖｉｓｕａｌ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｗｉｔｈ Ｂａｇ ｏｆ Ｋｅｙｐｏｉｎｔｓ”， Ｐｒｏｃ． ｏｆ ＥＣＣＶ Ｗｏｒｋｓｈｏｐ ｏｎ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐｐ．５９−７４，２００４、に開示されている。

上述では、表情決定部１０９が、入力された各フレームの画像データについて計算した表情毎の統合指標に基づいて表情を定める場合を例にとって説明したが、これには限られない。画像データが動画像データである場合には、表情決定部１０９は、複数フレームからなる区間毎の統合指標の平均値を各表情について計算し、計算した平均値が最大となる表情をその区間における表情と定めてもよい。顔の表情は、ごく短時間、突発的に変化することがあり、変化した時点で撮像された画像からその表情が判定されることがある。他方、突発的に変化した表情は意思疎通において無視されるか、軽視されるため、そのような表情が判定されると利用者は誤判定と捉えることがある。また、感情以外の要因（例えば、発話、咀嚼、咳、くしゃみ、等）によっても表情が変化することがある。そこで、上述のように平均値を用いることで判定される表情の揺らぎが緩和されるので、表情の判定における信頼度が向上する。

また、表情決定部１０９は、その区間毎に、各表情について統合指標の総和値を計算し、計算した総和値が最大となる表情をその区間における表情と定めてもよい。この場合も、判定される表情の揺らぎが緩和され、信頼度が向上する。
また、表情決定部１０９は、その区間に含まれる、フレーム毎の統合指標の最大値のみを、各表情について加算して、各表情についての統合指標の総和値を計算してもよい。そして、表情決定部１０９は、計算した統合指標の総和値が最大となる表情（代表表情）をその区間における表情と定めてもよい。この場合も、判定される表情の揺らぎが緩和され、信頼度が向上する。

上述では、第１指標計算部１０６が、局所画像特徴量としてＬＢＰ毎の出現頻度を示す画像特徴量［Ｘ］に基づいて表情毎の第１指標を計算する場合を例にとって説明したが、これには限られない。第１指標計算部１０６は、その他の種類の局所画像特徴量を用いてもよい。第２指標計算部１０８が、局所画像特徴量としてＬＢＰ列に基づいて表情毎の第２指標を計算する場合を例にとって説明したが、これには限られない。

第２指標計算部１０８は、その他の種類の局所画像特徴量を用いてもよい。その他の種類の画像特徴量として、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）特徴量、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴量、または、これらの特徴量に基づき分類されたクラスタ等、を用いることができる。前記クラスタは，学習用の顔画像から計算される複数のＳＩＦＴやＳＵＲＦを公知のクラスタリング方法（例えば、Ｋ平均法）でクラスタリングすることにより得られる。
また、第１指標計算部１０６は、第１の演算として、画像特徴量［Ｘ］に基づいてＡｄａＢｏｏｓｔ識別器を用いて出力値を第１指標として計算してもよい。

また、上述した表情解析装置１の一部の機能、例えば、顔領域抽出部１０２、画像特徴量計算部１０５、第１指標計算部１０６、第２指標計算部１０８、１０８ｃ、及び表情決定部１０９の一部又は全部をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための顔表情解析プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された顔表情解析プログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記の顔表情解析プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１…表情解析装置、１０１…画像データ取得部、１０２…顔領域抽出部、
１０３…顔領域検出部、１０４…解析領域決定部、１０５…画像特徴量計算部、
１０６…第１指標計算部、１０７、１０７ａ、１０７ｂ…表情強度推定部、
１０７’…正規化部、１０８、１０８ｃ…第２指標計算部、１０９…表情決定部

Claims (7)

1. 取得した画像から顔が表された顔領域を抽出する顔領域抽出部と、
   前記顔領域の画像特徴量として画素毎に局所画像特徴量を計算する画像特徴量計算部と、
   前記局所画像特徴量の、前記画像に含まれる分割ブロック内における出現頻度に基づいて第１の演算を行って表情毎の強度を計算する第１指標計算部と、
   前記局所画像特徴量に基づいて第２の演算を行って表情毎の確率を計算する第２指標計算部と、
   前記強度と前記確率を所定の重み付けにより加算した表情毎の統合指標に基づいて表情を定める表情決定部と、
   を備える表情解析装置。
2. 前記表情決定部は、前記強度と前記確率を表情毎に異なる係数で重み付けして前記統合指標を算出し、前記統合指標が最大となる表情を定めることを特徴とする請求項１に記載の表情解析装置。
3. 前記局所画像特徴量は、ローカルバイナリパターンであって、
   前記第２指標計算部は、前記第２の演算として単純ベイズ推定法を用いて前記表情毎の確率を計算することを特徴とする請求項１又は２に記載の表情解析装置。
4. 前記第２指標計算部は、
   前記局所画像特徴量の出現頻度に基づく出力値を出力する弱識別器を前記分割ブロック毎に備え、
   前記弱識別器からの出力値を前記分割ブロック毎に重み付け加算して前記確率を計算する強識別器を表情毎に備えることを特徴とする請求項１から３のいずれかに記載の表情解析装置。
5. 前記表情決定部は、予め定めた区間における表情毎の統合指標の平均値又は総和値が最大となる表情を定めることを特徴とする請求項１から４のいずれかに記載の表情解析装置。
6. 前記表情決定部は、予め定めた区間に含まれるフレーム毎の統合指標の最大値について当該区間内の総和値が最大となる表情を定めることを特徴とする請求項１から４のいずれかに記載の表情解析装置。
7. 表情解析装置が備えるコンピュータに、
   取得した画像から顔が表された顔領域を抽出する顔領域抽出手順、
   前記顔領域の画像特徴量として画素毎に局所画像特徴量を計算する画像特徴量計算手順、
   前記局所画像特徴量の、前記画像に含まれる分割ブロック内における出現頻度に基づいて第１の演算を行って表情毎の強度を計算する第１指標計算手順、
   前記局所画像特徴量に基づいて第２の演算を行って表情毎の確率を計算する第２指標計算手順、
   前記強度と前記確率を所定の重み付けにより加算した表情毎の統合指標に基づいて表情を定める表情決定手順、
   を実行させるための表情解析プログラム。

Images