JP2840816B2 - 表情検出装置 - Google Patents
表情検出装置Info
- Publication number
- JP2840816B2 JP2840816B2 JP5273795A JP5273795A JP2840816B2 JP 2840816 B2 JP2840816 B2 JP 2840816B2 JP 5273795 A JP5273795 A JP 5273795A JP 5273795 A JP5273795 A JP 5273795A JP 2840816 B2 JP2840816 B2 JP 2840816B2
- Authority
- JP
- Japan
- Prior art keywords
- average power
- video signal
- frequency
- facial expression
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【産業上の利用分野】この発明は表情検出装置に関し、
さらに詳しくは、離れた場所を結ぶコンピュータグラフ
ィックスを利用したテレビ会議の参加者の表情検出や、
実時間でコンピュータグラフィックスにより作成した顔
の表情検出など、人間の顔の表情を実時間で検出する表
情検出装置に関する。
さらに詳しくは、離れた場所を結ぶコンピュータグラフ
ィックスを利用したテレビ会議の参加者の表情検出や、
実時間でコンピュータグラフィックスにより作成した顔
の表情検出など、人間の顔の表情を実時間で検出する表
情検出装置に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】人物
の顔の表情認識は、高度な符号化通信やコンピュータの
能動的なインタフェースの研究において重要な基礎技術
である。たとえば「大谷，北村，竹村，岸野：“臨場感
通信会議における３次元顔画像の実時間表示”，信学技
報，HC-92-61,pp.23-28(1993.1.)」に開示されているよ
うなコンピュータ制御による通信会議システムにおいて
は、表情認識が実現されれば、伝送すべき情報の高圧縮
率が達成できるとともに、より高度な強調作業などへの
応用が期待できる。
の顔の表情認識は、高度な符号化通信やコンピュータの
能動的なインタフェースの研究において重要な基礎技術
である。たとえば「大谷，北村，竹村，岸野：“臨場感
通信会議における３次元顔画像の実時間表示”，信学技
報，HC-92-61,pp.23-28(1993.1.)」に開示されているよ
うなコンピュータ制御による通信会議システムにおいて
は、表情認識が実現されれば、伝送すべき情報の高圧縮
率が達成できるとともに、より高度な強調作業などへの
応用が期待できる。
【０００３】上述した臨場感通信会議における従来の表
情検出方法では、顔の数カ所にマーカーを貼り付け、そ
のマーカーの動きを追跡することによって顔の表情を検
出していた。しかし、このような方法ではマーカーなど
の検出補助用具を必要とするため、表情検出を実行する
ための前準備に時間がかかるという問題があった。ま
た、ロバスト（堅牢）性が低いため、ヘルメットのずれ
や脈拍などの外乱要因によって誤動作を生じやすいとい
う問題もあった。
情検出方法では、顔の数カ所にマーカーを貼り付け、そ
のマーカーの動きを追跡することによって顔の表情を検
出していた。しかし、このような方法ではマーカーなど
の検出補助用具を必要とするため、表情検出を実行する
ための前準備に時間がかかるという問題があった。ま
た、ロバスト（堅牢）性が低いため、ヘルメットのずれ
や脈拍などの外乱要因によって誤動作を生じやすいとい
う問題もあった。
【０００４】また、コンピュータビジョンの分野では、
顔の特徴部位（目、鼻、口など）の位置や形状を画像か
ら抽出し、その測定量に基づいて顔の表情認識を試みて
いる例が多い。しかし、画像の特徴量として各部位の形
状や位置を写真などの静止画像から正確に抽出すること
は、撮影条件や被験者の面相に強く依存するため、非常
に困難であると同時に、複雑な処理アルゴリズムが必要
となり、実時間処理を実現するための障害となってい
た。
顔の特徴部位（目、鼻、口など）の位置や形状を画像か
ら抽出し、その測定量に基づいて顔の表情認識を試みて
いる例が多い。しかし、画像の特徴量として各部位の形
状や位置を写真などの静止画像から正確に抽出すること
は、撮影条件や被験者の面相に強く依存するため、非常
に困難であると同時に、複雑な処理アルゴリズムが必要
となり、実時間処理を実現するための障害となってい
た。
【０００５】ところで、時間変化に着目した顔の表情認
識についてはいくつかの報告がなされている。たとえば
「M.Rosenblum,Y.Yacoob and L.Davis: “Human Emotio
n Recognition form Motion Using a Radial Basis Fun
ction Network Architecture”,Proceedings of the IE
EE Workshop on Motion of Non-rigit and Articulated
Objects, pp.43-49(1994)」では、動画像中の表情によ
る顔表面の変化に着目し、オプティカルフローを用いた
認識を試みているが、非常に多次元の特徴となるため、
隠れマルコフモデル（ＨＭＭ：Hidden Markov Model ）
による認識には向かず、処理が複雑で計算量が多いとい
う問題があった。
識についてはいくつかの報告がなされている。たとえば
「M.Rosenblum,Y.Yacoob and L.Davis: “Human Emotio
n Recognition form Motion Using a Radial Basis Fun
ction Network Architecture”,Proceedings of the IE
EE Workshop on Motion of Non-rigit and Articulated
Objects, pp.43-49(1994)」では、動画像中の表情によ
る顔表面の変化に着目し、オプティカルフローを用いた
認識を試みているが、非常に多次元の特徴となるため、
隠れマルコフモデル（ＨＭＭ：Hidden Markov Model ）
による認識には向かず、処理が複雑で計算量が多いとい
う問題があった。
【０００６】ＨＭＭを利用した動画像認識の例として、
たとえば「大和，大谷，石井：“隠れマルコフモデルを
用いた動画像からの人物の行動認識”，信学会論文誌D-
II,Vol.J76-D-II,No.12,pp2556-2563(1993.12.) 」で
は、テニスプレーヤの動き認識を試みているが、画像の
特徴化に用いている輝度値のメッシュ特徴が人物表情の
ように類似度が高い場合は必ずしも有効でなく、類似し
たカテゴリへの分類には弱いなどの課題が残っていた。
たとえば「大和，大谷，石井：“隠れマルコフモデルを
用いた動画像からの人物の行動認識”，信学会論文誌D-
II,Vol.J76-D-II,No.12,pp2556-2563(1993.12.) 」で
は、テニスプレーヤの動き認識を試みているが、画像の
特徴化に用いている輝度値のメッシュ特徴が人物表情の
ように類似度が高い場合は必ずしも有効でなく、類似し
たカテゴリへの分類には弱いなどの課題が残っていた。
【０００７】この発明は上記のような問題点を解決する
ためになされたもので、ロバスト性の高い表情検出装置
を提供することを目的とする。
ためになされたもので、ロバスト性の高い表情検出装置
を提供することを目的とする。
【０００８】この発明の他の目的は、顔にマーカーを貼
り付けるなどの前準備を行なうことなく、実時間で顔の
表情を検出できる表情検出装置を提供することである。
り付けるなどの前準備を行なうことなく、実時間で顔の
表情を検出できる表情検出装置を提供することである。
【０００９】この発明のさらに他の目的は、処理が単純
で計算量が少ない表情検出装置を提供することである。
で計算量が少ない表情検出装置を提供することである。
【００１０】この発明のさらに他の目的は、ＨＭＭを適
用することにより高い表情認識率を得ることが可能な表
情検出装置を提供することである。
用することにより高い表情認識率を得ることが可能な表
情検出装置を提供することである。
【００１１】
【課題を解決するための手段】請求項１に係る表情検出
装置は、撮影手段、ウェーブレット変換手段、平均電力
算出手段、および差分算出手段を備える。撮影手段は、
人物の顔を撮影して映像信号を生成する。ウェーブレッ
ト変換手段は、映像信号をウェーブレット変換すること
により所定の各帯域ごとに空間周波数領域の周波数信号
を生成する。平均電力算出手段は、各帯域ごとに周波数
信号の平均電力を算出する。差分算出手段は、平均電力
算出手段から順次与えられる平均電力と、人物の顔が無
表情のときにその顔から得られる対応の平均電力との差
分を算出する。
装置は、撮影手段、ウェーブレット変換手段、平均電力
算出手段、および差分算出手段を備える。撮影手段は、
人物の顔を撮影して映像信号を生成する。ウェーブレッ
ト変換手段は、映像信号をウェーブレット変換すること
により所定の各帯域ごとに空間周波数領域の周波数信号
を生成する。平均電力算出手段は、各帯域ごとに周波数
信号の平均電力を算出する。差分算出手段は、平均電力
算出手段から順次与えられる平均電力と、人物の顔が無
表情のときにその顔から得られる対応の平均電力との差
分を算出する。
【００１２】請求項２に係る表情検出装置は、上記請求
項１の構成に加えて、抽出手段をさらに備える。抽出手
段は、映像手段から与えられる映像信号の中から人物の
顔の表情が出やすい所定領域に対応する部分を抽出して
ウェーブレット変換手段に与える。
項１の構成に加えて、抽出手段をさらに備える。抽出手
段は、映像手段から与えられる映像信号の中から人物の
顔の表情が出やすい所定領域に対応する部分を抽出して
ウェーブレット変換手段に与える。
【００１３】
【作用】請求項１に係る表情検出装置においては、人物
の顔が撮影されて映像信号が生成される。その生成され
た映像信号はウェーブレット変換されることにより所定
の各帯域ごとに空間周波数領域の周波数信号が生成さ
れ、さらに各帯域ごとにその生成された周波数信号の平
均電力が算出される。そして、その算出された平均電力
と、無表情の顔から得られる対応の平均電力との差分が
算出される。このように映像信号を一旦ウェーブレット
変換しているため、ロバスト性の高い表情検出が可能と
なる。
の顔が撮影されて映像信号が生成される。その生成され
た映像信号はウェーブレット変換されることにより所定
の各帯域ごとに空間周波数領域の周波数信号が生成さ
れ、さらに各帯域ごとにその生成された周波数信号の平
均電力が算出される。そして、その算出された平均電力
と、無表情の顔から得られる対応の平均電力との差分が
算出される。このように映像信号を一旦ウェーブレット
変換しているため、ロバスト性の高い表情検出が可能と
なる。
【００１４】請求項２に係る表情検出装置においては、
上記請求項１の作用に加えて、表情が出やすい部分だけ
を映像信号の中から抽出してウェーブレット変換してい
るため、より正確な表情検出が可能となる。
上記請求項１の作用に加えて、表情が出やすい部分だけ
を映像信号の中から抽出してウェーブレット変換してい
るため、より正確な表情検出が可能となる。
【００１５】
【実施例】以下、この発明に係る表情検出装置の一実施
例を図面を参照して詳しく説明する。なお、図中同一符
号は同一または相当部分を示す。
例を図面を参照して詳しく説明する。なお、図中同一符
号は同一または相当部分を示す。
【００１６】図１は、この発明の一実施例による表情検
出装置の全体構成を示すブロック図である。図１を参照
して、この表情検出装置は、人間の顔を撮影するための
ＣＣＤ（Charge Coupled Device ）カメラ１０と、ＣＣ
Ｄカメラ１０から与えられるアナログ映像信号ＡＶの中
から高域成分を除去するローパスフィルタ（ＬＰＦ）１
２と、ローパスフィルタ１２から与えられるアナログ低
域映像信号ＡＶＬをデジタル低域映像信号ＤＶＬに変換
するＡ／Ｄ変換器１４と、Ａ／Ｄ変換器１４から与えら
れるデジタル低域映像信号ＤＶＬの中から後述する予め
定められた部分だけを抽出する抽出部１６と、抽出部１
６によって抽出されたデジタル低域映像信号ＤＶＬｅを
ウェーブレット（Wavelet ）変換することにより所定の
各帯域ごとに空間周波数領域の周波数信号Ｆを生成する
ウェーブレットフィルタ１８と、各帯域ごとにその生成
された周波数信号Ｆの平均電力Ｐｃを算出する平均電力
算出部２０と、この平均電力Ｐｃに対応して無表情のと
きの平均電力Ｐｎが予め格納されている定常状態記憶メ
モリ２２と、それら平均電力ＰｃおよびＰｎの差分を算
出することにより特徴ベクトルＦＶを生成する差分算出
部２４とを備える。
出装置の全体構成を示すブロック図である。図１を参照
して、この表情検出装置は、人間の顔を撮影するための
ＣＣＤ（Charge Coupled Device ）カメラ１０と、ＣＣ
Ｄカメラ１０から与えられるアナログ映像信号ＡＶの中
から高域成分を除去するローパスフィルタ（ＬＰＦ）１
２と、ローパスフィルタ１２から与えられるアナログ低
域映像信号ＡＶＬをデジタル低域映像信号ＤＶＬに変換
するＡ／Ｄ変換器１４と、Ａ／Ｄ変換器１４から与えら
れるデジタル低域映像信号ＤＶＬの中から後述する予め
定められた部分だけを抽出する抽出部１６と、抽出部１
６によって抽出されたデジタル低域映像信号ＤＶＬｅを
ウェーブレット（Wavelet ）変換することにより所定の
各帯域ごとに空間周波数領域の周波数信号Ｆを生成する
ウェーブレットフィルタ１８と、各帯域ごとにその生成
された周波数信号Ｆの平均電力Ｐｃを算出する平均電力
算出部２０と、この平均電力Ｐｃに対応して無表情のと
きの平均電力Ｐｎが予め格納されている定常状態記憶メ
モリ２２と、それら平均電力ＰｃおよびＰｎの差分を算
出することにより特徴ベクトルＦＶを生成する差分算出
部２４とを備える。
【００１７】次に、この表情検出装置の動作について説
明する。まず被験者の顔の正面にＣＣＤカメラ１０を取
付ける。このＣＣＤカメラ１０は、常に定位置から被験
者の顔を撮影するように被験者に装着されたヘルメット
などに固定される。図２は、ＣＣＤカメラ１０によって
撮影した被験者の顔の画像を示す。
明する。まず被験者の顔の正面にＣＣＤカメラ１０を取
付ける。このＣＣＤカメラ１０は、常に定位置から被験
者の顔を撮影するように被験者に装着されたヘルメット
などに固定される。図２は、ＣＣＤカメラ１０によって
撮影した被験者の顔の画像を示す。
【００１８】表情を検出するのに先立って、予め無表情
のときの平均電力Ｐｎを定常状態記憶メモリ２２に格納
しておく。この平均電力Ｐｎの詳細は後述する。
のときの平均電力Ｐｎを定常状態記憶メモリ２２に格納
しておく。この平均電力Ｐｎの詳細は後述する。
【００１９】表情を検出するに当たっては、まずＣＣＤ
カメラ１０によって被験者の顔が撮影され、それにより
生成されたアナログ映像信号ＡＶがローパスフィルタ１
２に与えられる。ローパスフィルタ１２はその与えられ
たアナログ映像信号ＡＶの中から高域成分を除去し、低
域アナログ映像信号ＡＶＬをＡ／Ｄ変換器１４に与え
る。一般に人間の顔には、毛穴、凹凸、産毛などがある
ために、このアナログ映像信号ＡＶにはそれらに起因す
る高域成分が大量に含まれているが、このような高域成
分は顔の表情を検出するためには全く不要なものであ
る。また、ＳＮ比の低いアナログ映像信号ＡＶには大量
のノイズ成分が含まれているが、このようなノイズ成分
のほとんどは高い周波数を有している。したがって、ロ
ーパスフィルタ１２は、表情の検出を行なうために必要
な低域成分のみを通過させることによってこの装置の誤
動作を防止するためのものである。
カメラ１０によって被験者の顔が撮影され、それにより
生成されたアナログ映像信号ＡＶがローパスフィルタ１
２に与えられる。ローパスフィルタ１２はその与えられ
たアナログ映像信号ＡＶの中から高域成分を除去し、低
域アナログ映像信号ＡＶＬをＡ／Ｄ変換器１４に与え
る。一般に人間の顔には、毛穴、凹凸、産毛などがある
ために、このアナログ映像信号ＡＶにはそれらに起因す
る高域成分が大量に含まれているが、このような高域成
分は顔の表情を検出するためには全く不要なものであ
る。また、ＳＮ比の低いアナログ映像信号ＡＶには大量
のノイズ成分が含まれているが、このようなノイズ成分
のほとんどは高い周波数を有している。したがって、ロ
ーパスフィルタ１２は、表情の検出を行なうために必要
な低域成分のみを通過させることによってこの装置の誤
動作を防止するためのものである。
【００２０】Ａ／Ｄ変換器１４は、その与えられる低域
アナログ映像信号ＡＶＬを低域デジタル映像信号ＤＶＬ
に変換する。この低域デジタル映像信号ＤＶＬは抽出部
１６に与えられ、この低域デジタル映像信号ＤＶＬの一
部ＤＶＬｅが抽出される。この実施例では、図２に示さ
れるように目および眉を含む検出領域１６１と口を含む
検出領域１６２とが切り出される。つまり、映像信号Ｄ
ＶＬの中から検出領域１６１および１６２に対応する部
分ＤＶＬｅのみが抽出される。このように目、眉および
口を検出領域と定めたのは、これらが表情による変化が
顕著に現れる部位だからである。したがって検出領域は
上述した領域に限定されることなく、たとえば皺の生じ
やすい額を検出領域に設定してもよい。
アナログ映像信号ＡＶＬを低域デジタル映像信号ＤＶＬ
に変換する。この低域デジタル映像信号ＤＶＬは抽出部
１６に与えられ、この低域デジタル映像信号ＤＶＬの一
部ＤＶＬｅが抽出される。この実施例では、図２に示さ
れるように目および眉を含む検出領域１６１と口を含む
検出領域１６２とが切り出される。つまり、映像信号Ｄ
ＶＬの中から検出領域１６１および１６２に対応する部
分ＤＶＬｅのみが抽出される。このように目、眉および
口を検出領域と定めたのは、これらが表情による変化が
顕著に現れる部位だからである。したがって検出領域は
上述した領域に限定されることなく、たとえば皺の生じ
やすい額を検出領域に設定してもよい。
【００２１】このようにして抽出された映像信号ＤＶＬ
ｅはウェーブレットフィルタ１８に与えられ、ここでウ
ェーブレット変換が行なわれる。ウェーブレット変換と
は、画像の周波数領域への変換手法の１種であり、高周
波ほど変換基底幅が狭くなるオーバラップ変換と考えら
れる。画像を周波数領域に変換するウェーブレットフィ
ルタ１８は、帯域分割フィルタと考えることができ、図
３に示すようなフィルタバンクを多段階に組合せること
によって実現することができる。図３に示されるよう
に、１つのフィルタバンクは、水平方向分割用のローパ
スフィルタ２６およびハイパスフィルタ２８と、垂直方
向分割用のローパスフィルタ３４，４２およびハイパス
フィルタ３６，４４と、ダウンサンプラ３０，３２，３
８，４０，４６，４８とを備える。
ｅはウェーブレットフィルタ１８に与えられ、ここでウ
ェーブレット変換が行なわれる。ウェーブレット変換と
は、画像の周波数領域への変換手法の１種であり、高周
波ほど変換基底幅が狭くなるオーバラップ変換と考えら
れる。画像を周波数領域に変換するウェーブレットフィ
ルタ１８は、帯域分割フィルタと考えることができ、図
３に示すようなフィルタバンクを多段階に組合せること
によって実現することができる。図３に示されるよう
に、１つのフィルタバンクは、水平方向分割用のローパ
スフィルタ２６およびハイパスフィルタ２８と、垂直方
向分割用のローパスフィルタ３４，４２およびハイパス
フィルタ３６，４４と、ダウンサンプラ３０，３２，３
８，４０，４６，４８とを備える。
【００２２】抽出部１６からの映像信号ＤＶＬｅは、原
イメージとしてローパスフィルタ２６およびハイパスフ
ィルタ２８に与えられる。ローパスフィルタ２６を通過
した信号はダウンサンプラ３０によって圧縮され、さら
にローパスフィルタ３４およびハイパスフィルタ３６に
与えられる。ローパスフィルタ３４を通過した信号はダ
ウンサンプラ３８によって圧縮され、さらに次段のフィ
ルタバンクに与えられる。ハイパスフィルタ３６を通過
した信号はダウンサンプラ４０によって圧縮され、図４
に示された周波数帯域１８３に現れる。
イメージとしてローパスフィルタ２６およびハイパスフ
ィルタ２８に与えられる。ローパスフィルタ２６を通過
した信号はダウンサンプラ３０によって圧縮され、さら
にローパスフィルタ３４およびハイパスフィルタ３６に
与えられる。ローパスフィルタ３４を通過した信号はダ
ウンサンプラ３８によって圧縮され、さらに次段のフィ
ルタバンクに与えられる。ハイパスフィルタ３６を通過
した信号はダウンサンプラ４０によって圧縮され、図４
に示された周波数帯域１８３に現れる。
【００２３】他方、ハイパスフィルタ２８を通過した信
号はダウンサンプラ３２によって圧縮され、さらにロー
パスフィルタ４２およびハイパスフィルタ４４に与えら
れる。ローパスフィルタ４２を通過した信号はダウンサ
ンプラ４６によって圧縮され、図４に示された周波数帯
域１８２に現れる。ハイパスフィルタ４４を通過した信
号はダウンサンプラ４８によって圧縮され、図４に示さ
れた周波数帯域１８１に現れる。
号はダウンサンプラ３２によって圧縮され、さらにロー
パスフィルタ４２およびハイパスフィルタ４４に与えら
れる。ローパスフィルタ４２を通過した信号はダウンサ
ンプラ４６によって圧縮され、図４に示された周波数帯
域１８２に現れる。ハイパスフィルタ４４を通過した信
号はダウンサンプラ４８によって圧縮され、図４に示さ
れた周波数帯域１８１に現れる。
【００２４】次段のフィルタバンクに与えられた映像信
号は同様に、図４に示された３つの周波数帯域１８４〜
１８６に分割される。さらにその次の段のフィルタバン
クに与えられた映像信号も同様に、３つの周波数帯域１
８７〜１８９に分割される。この終段のフィルタバンク
におけるローパスフィルタ３４を通過した信号はダウン
サンプラ３８によって圧縮され、図４に示された周波数
帯域１９０に現れる。したがって、周波数帯域１８１に
は最高の空間周波数が含まれ、周波数帯域１９０には最
低の空間周波数が含まれる。
号は同様に、図４に示された３つの周波数帯域１８４〜
１８６に分割される。さらにその次の段のフィルタバン
クに与えられた映像信号も同様に、３つの周波数帯域１
８７〜１８９に分割される。この終段のフィルタバンク
におけるローパスフィルタ３４を通過した信号はダウン
サンプラ３８によって圧縮され、図４に示された周波数
帯域１９０に現れる。したがって、周波数帯域１８１に
は最高の空間周波数が含まれ、周波数帯域１９０には最
低の空間周波数が含まれる。
【００２５】図５は、眉および目を含む検出領域１６１
の映像信号が上記のような３段のフィルタバンクを通過
した場合の画像を示す。この画像は可視化するために各
帯域ごとにバイアスをかけている。
の映像信号が上記のような３段のフィルタバンクを通過
した場合の画像を示す。この画像は可視化するために各
帯域ごとにバイアスをかけている。
【００２６】ウェーブレットフィルタ１８中のローパス
フィルタ２６，３４，４２およびハイパスフィルタ２
８，３６，４４には、完全可逆性、線形位相に近い位相
特性、急峻な遮断特性、周波数応答の直交性などの条件
が必要とされるが、これらの条件にはトレードオフがあ
る。この実施例では、遮断特性は比較的低いが直線位相
特性を持った３２次の直交ミラーフィルタが用いられ
る。
フィルタ２６，３４，４２およびハイパスフィルタ２
８，３６，４４には、完全可逆性、線形位相に近い位相
特性、急峻な遮断特性、周波数応答の直交性などの条件
が必要とされるが、これらの条件にはトレードオフがあ
る。この実施例では、遮断特性は比較的低いが直線位相
特性を持った３２次の直交ミラーフィルタが用いられ
る。
【００２７】図５に示されたようにウェーブレットフィ
ルタ１８を通過した画像では、その周波数特性とともに
画像上での位置情報が保存されている。この情報量は原
画像と同一であるので、これから特徴を得ることは困難
である。また、このまま特徴として用いたとすると、Ｃ
ＣＤカメラ１０の位置の変動や個人差の影響を強く受け
てしまう。そこで、この発明では各帯域ごとの平均電力
の増減のみを特徴とする手法が採用されている。したが
って、ウェーブレットフィルタ１８によって各帯域ごと
に生成された空間周波数Ｆは平均電力算出部２０に与え
られ、ここで空間周波数Ｆの平均電力Ｐｃが各帯域ごと
に算出される。
ルタ１８を通過した画像では、その周波数特性とともに
画像上での位置情報が保存されている。この情報量は原
画像と同一であるので、これから特徴を得ることは困難
である。また、このまま特徴として用いたとすると、Ｃ
ＣＤカメラ１０の位置の変動や個人差の影響を強く受け
てしまう。そこで、この発明では各帯域ごとの平均電力
の増減のみを特徴とする手法が採用されている。したが
って、ウェーブレットフィルタ１８によって各帯域ごと
に生成された空間周波数Ｆは平均電力算出部２０に与え
られ、ここで空間周波数Ｆの平均電力Ｐｃが各帯域ごと
に算出される。
【００２８】表情が表出される際には顔の構成要素の形
状や大きさ、傾き等が変化する。この変化が各々の周波
数帯域内に与える影響を特徴とする。たとえば被験者が
目を閉じた場合は、それまで電力の存在していた水平周
波数成分が減少し、逆に電力の少なかった垂直高周波成
分が増加する。
状や大きさ、傾き等が変化する。この変化が各々の周波
数帯域内に与える影響を特徴とする。たとえば被験者が
目を閉じた場合は、それまで電力の存在していた水平周
波数成分が減少し、逆に電力の少なかった垂直高周波成
分が増加する。
【００２９】表情が変化した場合、高周波数帯域１８１
〜１８３では顕著な電力変化は認められないが、低周波
数帯域１８４〜１８９では顕著な電力変化が認められ
る。これは、ウェーブレットフィルタ１８を通過した後
の高域成分には主に画像のエッジ情報が含まれ、低域成
分には顔の構成要素の形状情報が含まれているからであ
る。このことは、表情変化に伴なうエッジ方向や強度の
変化に比べ、形状そのものの変化のほうが特徴として有
効であることを示す。したがって、この実施例では周波
数帯域１８４〜１８９内の平均電力Ｐｃが好ましく用い
られる。
〜１８３では顕著な電力変化は認められないが、低周波
数帯域１８４〜１８９では顕著な電力変化が認められ
る。これは、ウェーブレットフィルタ１８を通過した後
の高域成分には主に画像のエッジ情報が含まれ、低域成
分には顔の構成要素の形状情報が含まれているからであ
る。このことは、表情変化に伴なうエッジ方向や強度の
変化に比べ、形状そのものの変化のほうが特徴として有
効であることを示す。したがって、この実施例では周波
数帯域１８４〜１８９内の平均電力Ｐｃが好ましく用い
られる。
【００３０】図６は、被験者が驚いた場合に口を含む検
出領域１６２から得られた周波数帯域１８５の平均電力
Ｐｃの変化を示すグラフである。この表の横軸はフレー
ム数を示し、縦軸は平均電力を示す。驚きの表情が現れ
た場合、口が縦に開かれるため、帯域１８５に現れる水
平の低域成分の電力が顕著に増加する。
出領域１６２から得られた周波数帯域１８５の平均電力
Ｐｃの変化を示すグラフである。この表の横軸はフレー
ム数を示し、縦軸は平均電力を示す。驚きの表情が現れ
た場合、口が縦に開かれるため、帯域１８５に現れる水
平の低域成分の電力が顕著に増加する。
【００３１】図７は、被験者が瞬きをした場合に眉およ
び目を含む領域１６１から得られる周波数帯域１８５お
よび１８６の平均電力の変化を示すグラフである。図７
に示されるように、瞬きが行なわれると、目が細くなる
ので帯域１８５に現れる水平の低域成分の平均電力が瞬
間的に減少し、帯域１８６に現れる垂直の低域成分の平
均電力が瞬間的に増加する。
び目を含む領域１６１から得られる周波数帯域１８５お
よび１８６の平均電力の変化を示すグラフである。図７
に示されるように、瞬きが行なわれると、目が細くなる
ので帯域１８５に現れる水平の低域成分の平均電力が瞬
間的に減少し、帯域１８６に現れる垂直の低域成分の平
均電力が瞬間的に増加する。
【００３２】このように、ウェーブレット変換により得
られた空間周波数の低域成分における平均電力は、顔の
表情に応じて変化する。平均電力算出部２０において算
出されたこのような平均電力Ｐｃは各フレームごとに差
分算出部２４に与えられる。差分算出部２４では、この
算出された平均電力Ｐｃと定常状態記憶メモリ２２から
与えられる無表情の平均電力Ｐｎとの差分が算出され
る。ここで、定常状態記憶メモリ２２には、算出された
平均電力Ｐｃに対応するような平均電力Ｐｎが格納され
ていなければならない。したがって、表情を検出するの
に先立って、まず無表情の顔を撮影し、上記と同様にウ
ェーブレット変換を行ない、さらに帯域１８４〜１８９
の平均電力を算出して定常状態記憶メモリ２２に予め格
納しておく必要がある。したがって、算出された平均電
力Ｐｃと無表情の平均電力Ｐｎとの差分が差分算出部２
４から特徴ベクトルＦＶとして出力される。特徴ベクト
ルＦＶは、無表情を基準とした顔の変位を示す。
られた空間周波数の低域成分における平均電力は、顔の
表情に応じて変化する。平均電力算出部２０において算
出されたこのような平均電力Ｐｃは各フレームごとに差
分算出部２４に与えられる。差分算出部２４では、この
算出された平均電力Ｐｃと定常状態記憶メモリ２２から
与えられる無表情の平均電力Ｐｎとの差分が算出され
る。ここで、定常状態記憶メモリ２２には、算出された
平均電力Ｐｃに対応するような平均電力Ｐｎが格納され
ていなければならない。したがって、表情を検出するの
に先立って、まず無表情の顔を撮影し、上記と同様にウ
ェーブレット変換を行ない、さらに帯域１８４〜１８９
の平均電力を算出して定常状態記憶メモリ２２に予め格
納しておく必要がある。したがって、算出された平均電
力Ｐｃと無表情の平均電力Ｐｎとの差分が差分算出部２
４から特徴ベクトルＦＶとして出力される。特徴ベクト
ルＦＶは、無表情を基準とした顔の変位を示す。
【００３３】以上のようにこの実施例によれば、顔の映
像信号を一旦ウェーブレット変換しているため、ロバス
ト性が高く、画面内で顔が多少移動しても、あるいは多
少照明条件が異なっていても、表情を正確に検出するこ
とができる。また、単純な構成のフィルタによってウェ
ーブレット変換が行なわれるため、処理が簡潔で計算量
が少ない。そのため、実時間で表情の検出を行なうこと
ができる。
像信号を一旦ウェーブレット変換しているため、ロバス
ト性が高く、画面内で顔が多少移動しても、あるいは多
少照明条件が異なっていても、表情を正確に検出するこ
とができる。また、単純な構成のフィルタによってウェ
ーブレット変換が行なわれるため、処理が簡潔で計算量
が少ない。そのため、実時間で表情の検出を行なうこと
ができる。
【００３４】また、表情の出やすい眉、目および口を含
む検出領域１６１，１６２のみを抽出しているため、表
情変化と無関係な顔の動きによって誤動作を引起こすこ
とはなく、より正確な表情検出が可能となる。
む検出領域１６１，１６２のみを抽出しているため、表
情変化と無関係な顔の動きによって誤動作を引起こすこ
とはなく、より正確な表情検出が可能となる。
【００３５】また、この実施例によって得られた特徴ベ
クトルＦＶをベクトル量子化し、ＨＭＭを用いて表情の
認識を行なうことも可能である。このようにＨＭＭによ
る時間変化と組合せれば、より高い認識率を得ることが
可能となる。
クトルＦＶをベクトル量子化し、ＨＭＭを用いて表情の
認識を行なうことも可能である。このようにＨＭＭによ
る時間変化と組合せれば、より高い認識率を得ることが
可能となる。
【００３６】
【発明の効果】請求項１に係る表情検出装置によれば、
顔の映像信号をウェーブレット変換し、それにより得ら
れた空間周波数の平均電力を無表情のときの平均電力と
比較するようにしているため、ロバスト性の高い表情検
出が可能である。
顔の映像信号をウェーブレット変換し、それにより得ら
れた空間周波数の平均電力を無表情のときの平均電力と
比較するようにしているため、ロバスト性の高い表情検
出が可能である。
【００３７】請求項２に係る表情検出装置によれば、表
情の出やすい映像信号のみを抽出しているため、より正
確な表情検出が可能である。
情の出やすい映像信号のみを抽出しているため、より正
確な表情検出が可能である。
【図１】この発明の実施例による表情検出装置の全体構
成を示すブロック図である。
成を示すブロック図である。
【図２】図１中のＣＣＤカメラによって撮影された画像
であり、その中には図１中の抽出部によって抽出される
検出領域が示される。
であり、その中には図１中の抽出部によって抽出される
検出領域が示される。
【図３】図１中のウェーブレットフィルタを構成する１
つのフィルタバンクの構成を示すブロック図である。
つのフィルタバンクの構成を示すブロック図である。
【図４】図１中のウェーブレットフィルタによって得ら
れた空間周波数の画像の構成図である。
れた空間周波数の画像の構成図である。
【図５】図２に示された眉および目を含む検出領域の映
像信号が実際に図１中のウェーブレットフィルタを通過
した場合における空間周波数の画像である。
像信号が実際に図１中のウェーブレットフィルタを通過
した場合における空間周波数の画像である。
【図６】被験者が怒った場合に図１中の平均電力算出部
から得られる平均電力の変化を示すグラフである。
から得られる平均電力の変化を示すグラフである。
【図７】被験者が瞬きをした場合に図１中の平均電力算
出部から得られる平均電力の変化を示すグラフである。
出部から得られる平均電力の変化を示すグラフである。
１０ ＣＣＤカメラ １２ ローパスフィルタ １４ Ａ／Ｄ変換器 １６ 抽出部 １８ ウェーブレットフィルタ ２０ 平均電力算出部 ２２ 定常状態記憶メモリ ２４ 差分算出部 １８１〜１９０ 周波数帯域 ＡＶ アナログ映像信号 ＡＶＬ 低域アナログ映像信号 ＤＶＬ，ＤＶＬｅ 低域デジタル映像信号 Ｆ 空間周波数 Ｐｃ，Ｐｎ 平均電力
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 H04N 7/24 - 7/68
Claims (2)
- 【請求項１】 人物の顔を撮影して映像信号を生成する
撮影手段と、 前記映像信号をウェーブレット変換することにより所定
の各帯域ごとに空間周波数領域の周波数信号を生成する
ウェーブレット変換手段と、 前記各帯域ごとに前記周波数信号の平均電力を算出する
平均電力算出手段と、 前記平均電力算出手段から順次与えられる平均電力と、
前記人物の顔が無表情のときにその顔から得られる対応
の平均電力との差分を算出する差分算出手段とを備えた
表情検出装置。 - 【請求項２】 前記撮影手段から与えられる映像信号の
中から前記人物の顔の表情が出やすい所定領域に対応す
る部分を抽出して前記ウェーブレット変換手段に与える
抽出手段をさらに備えたことを特徴とする請求項１に記
載の表情検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5273795A JP2840816B2 (ja) | 1995-03-13 | 1995-03-13 | 表情検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5273795A JP2840816B2 (ja) | 1995-03-13 | 1995-03-13 | 表情検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08249447A JPH08249447A (ja) | 1996-09-27 |
| JP2840816B2 true JP2840816B2 (ja) | 1998-12-24 |
Family
ID=12923248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5273795A Expired - Lifetime JP2840816B2 (ja) | 1995-03-13 | 1995-03-13 | 表情検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2840816B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1953675A1 (en) | 2007-01-30 | 2008-08-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US8254691B2 (en) | 2007-06-18 | 2012-08-28 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR9909611B1 (pt) * | 1998-04-13 | 2012-08-07 | mÉtodo e aparelho para detectar caracterÍsticas faciais em uma sequÊncia de quadros de imagem compreendendo uma imagem de um rosto. | |
| JP2002169582A (ja) * | 2000-11-29 | 2002-06-14 | Canon Inc | 音声合成装置及びその制御方法、コンピュータ可読メモリ |
| JP3903783B2 (ja) | 2001-12-14 | 2007-04-11 | 日本電気株式会社 | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 |
| JP2003219218A (ja) * | 2002-01-23 | 2003-07-31 | Fuji Photo Film Co Ltd | デジタルカメラ |
| JP4641389B2 (ja) * | 2004-06-03 | 2011-03-02 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
| US8542928B2 (en) * | 2005-09-26 | 2013-09-24 | Canon Kabushiki Kaisha | Information processing apparatus and control method therefor |
| JP4757173B2 (ja) | 2006-11-17 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| JP2011113318A (ja) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
-
1995
- 1995-03-13 JP JP5273795A patent/JP2840816B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1953675A1 (en) | 2007-01-30 | 2008-08-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US8165399B2 (en) | 2007-01-30 | 2012-04-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| US8494233B2 (en) | 2007-01-30 | 2013-07-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| US8254691B2 (en) | 2007-06-18 | 2012-08-28 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08249447A (ja) | 1996-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4939968B2 (ja) | 監視画像処理方法、監視システム及び監視画像処理プログラム | |
| CN110969124B (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及系统 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| US20130076943A1 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
| US20050219642A1 (en) | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system | |
| JP2840816B2 (ja) | 表情検出装置 | |
| CN104584531A (zh) | 图像处理装置以及图像显示装置 | |
| Winarno et al. | Anti-cheating presence system based on 3WPCA-dual vision face recognition | |
| JP2008009728A (ja) | 表情認識方法及び表情認識装置 | |
| JP2727066B2 (ja) | 可塑性物体特徴検出装置 | |
| CN111246116B (zh) | 一种用于屏幕上智能取景显示的方法及移动终端 | |
| JP3414683B2 (ja) | 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体 | |
| CN110321782B (zh) | 一种检测人体特征信号的系统 | |
| JP6544970B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN116567349A (zh) | 基于多摄像机的视频展示方法、装置及存储介质 | |
| JP3784474B2 (ja) | ジェスチャー認識方法および装置 | |
| CN113920023A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| JPH0714208B2 (ja) | 動画像伝送方式 | |
| JP3401511B2 (ja) | 画像の特徴点の抽出方法、およびコンピュータに当該画像の特徴点の抽出方法を実行させるためのプログラム記録した、コンピュータ読取可能な記録媒体ならびに画像特徴点抽出装置 | |
| Lin et al. | Face recognition from super-resolved images. | |
| JP2008059108A (ja) | 画像処理装置，画像処理方法、そのプログラムおよび人流監視システム | |
| KR20040079637A (ko) | 3차원 얼굴기술자를 이용한 얼굴인식방법 및 장치 | |
| JP2663878B2 (ja) | 人物動き領域検出装置 | |
| Kuang et al. | Shuffle-rPPGNet: Efficient Network with Global Context for Remote Heart Rate Variability Measurement | |
| JP3264527B2 (ja) | 画像処理装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980901 |