JP2727066B2 - 可塑性物体特徴検出装置 - Google Patents
可塑性物体特徴検出装置Info
- Publication number
- JP2727066B2 JP2727066B2 JP6045395A JP6045395A JP2727066B2 JP 2727066 B2 JP2727066 B2 JP 2727066B2 JP 6045395 A JP6045395 A JP 6045395A JP 6045395 A JP6045395 A JP 6045395A JP 2727066 B2 JP2727066 B2 JP 2727066B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- plastic object
- video signal
- difference data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】この発明は可塑性物体特徴検出装
置に関し、さらに詳しくは、離れた場所を結ぶコンピュ
ータグラフィックスを利用したテレビ会議の参加者の表
情検出や、実時間でコンピュータグラフィックスにより
作成した顔の表情検出など、人間の顔の表情を実時間で
検出する顔表情検出装置に関する。
置に関し、さらに詳しくは、離れた場所を結ぶコンピュ
ータグラフィックスを利用したテレビ会議の参加者の表
情検出や、実時間でコンピュータグラフィックスにより
作成した顔の表情検出など、人間の顔の表情を実時間で
検出する顔表情検出装置に関する。
【０００２】
【従来の技術】人間の顔は千差万別であり、個人差が大
きく汎用的な表情の検出を実時間で行なうことは従来困
難であった。これを実現する手法の１つとして、「臨場
感通信会議における３次元顔画像の実時間表示（信学技
報ＨＣ９２−９１）１９９３−０１」に、顔にマーカー
を貼り付けるなどの前準備をした後にそのマーカーを追
跡することにより顔の表情を検出するようにしたものが
開示されている。
きく汎用的な表情の検出を実時間で行なうことは従来困
難であった。これを実現する手法の１つとして、「臨場
感通信会議における３次元顔画像の実時間表示（信学技
報ＨＣ９２−９１）１９９３−０１」に、顔にマーカー
を貼り付けるなどの前準備をした後にそのマーカーを追
跡することにより顔の表情を検出するようにしたものが
開示されている。
【０００３】図６は、このような従来の顔表情検出手法
を説明するための図である。図６に示されるように、表
情を検出しようとする顔の数ヶ所にマーカー１が貼り付
けられる。そして、この人物にヘルメットが装着され、
さらにこのヘルメットに取付けられたカメラによってこ
の人物の顔が常に真正面から撮影される。このような準
備をした後、マーカー１の動きを追跡することによって
顔の表情が検出される。なお、この臨場感通信会議で
は、検出されたマーカー１の位置情報に応じて予め作成
された３次元ワイヤフレームモデルを変形するように構
成されている。
を説明するための図である。図６に示されるように、表
情を検出しようとする顔の数ヶ所にマーカー１が貼り付
けられる。そして、この人物にヘルメットが装着され、
さらにこのヘルメットに取付けられたカメラによってこ
の人物の顔が常に真正面から撮影される。このような準
備をした後、マーカー１の動きを追跡することによって
顔の表情が検出される。なお、この臨場感通信会議で
は、検出されたマーカー１の位置情報に応じて予め作成
された３次元ワイヤフレームモデルを変形するように構
成されている。
【０００４】また、これに関連する技術が「Facial ima
ge synthesis by hierachical wireframe model（SPIE'
92,Visual communication Image Processing '92.) 」
に開示されている。
ge synthesis by hierachical wireframe model（SPIE'
92,Visual communication Image Processing '92.) 」
に開示されている。
【０００５】
【発明が解決しようとする課題】このような顔の表情検
出方法では、マーカーなどの検出補助用具を必要とする
ため、表情検出を実行する前準備に時間がかかるという
問題があった。また、ヘルメットのずれや脈拍などの外
乱要因によって誤動作しやすいという問題もあった。
出方法では、マーカーなどの検出補助用具を必要とする
ため、表情検出を実行する前準備に時間がかかるという
問題があった。また、ヘルメットのずれや脈拍などの外
乱要因によって誤動作しやすいという問題もあった。
【０００６】この発明は上記のような問題点を解消する
ためになされたもので、顔にマーカーを貼り付けるなど
の前準備を行なうことなく、実時間で顔の表情を検出可
能な顔表情検出装置を提供することを目的とする。
ためになされたもので、顔にマーカーを貼り付けるなど
の前準備を行なうことなく、実時間で顔の表情を検出可
能な顔表情検出装置を提供することを目的とする。
【０００７】この発明の他の目的は、耐ノイズ性が高い
顔表情検出装置を提供することにある。
顔表情検出装置を提供することにある。
【０００８】この発明のさらに他の目的は、単純なアル
ゴリズムにより構成される顔表情検出装置を提供するこ
とである。
ゴリズムにより構成される顔表情検出装置を提供するこ
とである。
【０００９】
【課題を解決するための手段】この発明に係る可塑性物
体特徴検出装置は、可塑性物体の特徴、好ましくは人間
の顔の表情を検出するものであって、撮影手段、高域除
去手段、Ａ／Ｄ変換手段、周波数変換手段、抽出手段、
積分手段、メモリ手段、差分手段、フィルタリング手段
および正規化手段を備える。撮影手段は、可塑性物体を
撮影してアナログ映像信号を生成する。高域除去手段
は、撮影手段から与えられるアナログ映像信号の中から
高域成分を除去する。Ａ／Ｄ変換手段は、高域除去手段
から与えられるアナログ映像信号をデジタル映像信号に
変換する。周波数変換手段は、Ａ／Ｄ変換手段から与え
られるデジタル映像信号を周波数空間における周波数信
号に変換する。抽出手段は、周波数変換手段から与えら
れる周波数信号の中から可塑性物体の特徴を含む所定領
域に対応する部分を抽出する。積分手段は、抽出手段か
ら与えられる周波数信号を積分する。メモリ手段は、積
分手段から与えられる積分データを順次蓄積する。差分
手段は、メモリ手段に蓄積された積分データの各々と可
塑性物体の標準形状の対応する積分データとの差分デー
タを算出する。フィルタリング手段は、差分手段から順
次与えられる差分データの各々をその前後の差分データ
のいずれかを用いてフィルタリングする。正規化手段
は、フィルタリング手段から与えられる差分データを正
規化することにより可塑性物体の標準形状からの変位を
算出する。ここで、周波数変換手段として、たとえば離
散的コサイン変換（Discrete Cosine Transform ）器が
用いられる。
体特徴検出装置は、可塑性物体の特徴、好ましくは人間
の顔の表情を検出するものであって、撮影手段、高域除
去手段、Ａ／Ｄ変換手段、周波数変換手段、抽出手段、
積分手段、メモリ手段、差分手段、フィルタリング手段
および正規化手段を備える。撮影手段は、可塑性物体を
撮影してアナログ映像信号を生成する。高域除去手段
は、撮影手段から与えられるアナログ映像信号の中から
高域成分を除去する。Ａ／Ｄ変換手段は、高域除去手段
から与えられるアナログ映像信号をデジタル映像信号に
変換する。周波数変換手段は、Ａ／Ｄ変換手段から与え
られるデジタル映像信号を周波数空間における周波数信
号に変換する。抽出手段は、周波数変換手段から与えら
れる周波数信号の中から可塑性物体の特徴を含む所定領
域に対応する部分を抽出する。積分手段は、抽出手段か
ら与えられる周波数信号を積分する。メモリ手段は、積
分手段から与えられる積分データを順次蓄積する。差分
手段は、メモリ手段に蓄積された積分データの各々と可
塑性物体の標準形状の対応する積分データとの差分デー
タを算出する。フィルタリング手段は、差分手段から順
次与えられる差分データの各々をその前後の差分データ
のいずれかを用いてフィルタリングする。正規化手段
は、フィルタリング手段から与えられる差分データを正
規化することにより可塑性物体の標準形状からの変位を
算出する。ここで、周波数変換手段として、たとえば離
散的コサイン変換（Discrete Cosine Transform ）器が
用いられる。
【００１０】
【作用】この発明に係る可塑性物体特徴検出装置におい
ては、たとえば人間の顔などの可塑性物体が撮影され、
これによりアナログ映像信号が生成される。その生成さ
れたアナログ映像信号の中から高域成分が除去され、さ
らにそのアナログ映像信号がデジタル映像信号に変換さ
れる。このデジタル映像信号は周波数空間における周波
数信号に変換される。ここで、好ましくは離散的コサイ
ン変換が用いられる。次いで、その周波数信号の中から
可塑性物体の特徴を含む所定領域に対応する部分が抽出
され、さらにその抽出された周波数信号が積分される。
このようにして得られた積分データはメモリ手段に順次
蓄積される。そして、この積分データの各々と可塑性物
体の標準形状の対応する積分データとの差分データが算
出され、さらにその差分データがその前後の差分データ
を用いてフィルタリングされる。フィルタリングされた
差分データは正規化され、これにより可塑性物体の標準
形状からの変位が算出される。
ては、たとえば人間の顔などの可塑性物体が撮影され、
これによりアナログ映像信号が生成される。その生成さ
れたアナログ映像信号の中から高域成分が除去され、さ
らにそのアナログ映像信号がデジタル映像信号に変換さ
れる。このデジタル映像信号は周波数空間における周波
数信号に変換される。ここで、好ましくは離散的コサイ
ン変換が用いられる。次いで、その周波数信号の中から
可塑性物体の特徴を含む所定領域に対応する部分が抽出
され、さらにその抽出された周波数信号が積分される。
このようにして得られた積分データはメモリ手段に順次
蓄積される。そして、この積分データの各々と可塑性物
体の標準形状の対応する積分データとの差分データが算
出され、さらにその差分データがその前後の差分データ
を用いてフィルタリングされる。フィルタリングされた
差分データは正規化され、これにより可塑性物体の標準
形状からの変位が算出される。
【００１１】したがって、顔にマーカーなどを貼り付け
ることなく、実時間で顔の表情を検出することができ
る。また、映像信号を周波数空間に変換してからデータ
処理を行なっているので、耐ノイズ性が向上する。さら
に、単純なアルゴリズムにより顔の表情が検出されるの
で、この装置の構成が小さくなる。
ることなく、実時間で顔の表情を検出することができ
る。また、映像信号を周波数空間に変換してからデータ
処理を行なっているので、耐ノイズ性が向上する。さら
に、単純なアルゴリズムにより顔の表情が検出されるの
で、この装置の構成が小さくなる。
【００１２】
【実施例】以下、この発明の代表的な実施例を図面を参
照して詳しく説明する。なお、図中同一符号は同一また
は相当部分を示す。
照して詳しく説明する。なお、図中同一符号は同一また
は相当部分を示す。
【００１３】図１は、この発明の一実施例による顔表情
検出装置の全体構成を示すブロック図である。図１を参
照して、この顔表情検出装置は、人間の顔を撮影するた
めのＣＣＤ（Charge Coupled Device ）カメラ１０と、
ＣＣＤカメラ１０から与えられるアナログ映像信号ＡＶ
の中から高域成分を除去するローパスフィルタ（ＬＰ
Ｆ）１２と、ローパスフィルタ１２から与えられるアナ
ログ低域映像信号ＡＶＬをデジタル低域映像信号ＤＶＬ
に変換するＡ／Ｄ変換回路１４と、Ａ／Ｄ変換回路１４
から与えられるデジタル低域映像信号ＤＶＬを予め定め
られたブロックごとに分割するラスタブロック変換回路
１６と、ラスタブロック変換回路１６によって分割され
た映像信号を離散的コサイン変換（以下「ＤＣＴ変換」
という）を用いて周波数信号Ｆに変換する周波数変換回
路１８と、周波数変換回路１８から順次与えられる周波
数信号Ｆの中から予め定められた部分を抽出し、かつそ
の抽出した周波数信号を積分するエリア積分回路２０
と、エリア積分回路２０によって得られた積分データＦ
Ｉを時間方向に蓄積する時間軸メモリ２２とを備える。
検出装置の全体構成を示すブロック図である。図１を参
照して、この顔表情検出装置は、人間の顔を撮影するた
めのＣＣＤ（Charge Coupled Device ）カメラ１０と、
ＣＣＤカメラ１０から与えられるアナログ映像信号ＡＶ
の中から高域成分を除去するローパスフィルタ（ＬＰ
Ｆ）１２と、ローパスフィルタ１２から与えられるアナ
ログ低域映像信号ＡＶＬをデジタル低域映像信号ＤＶＬ
に変換するＡ／Ｄ変換回路１４と、Ａ／Ｄ変換回路１４
から与えられるデジタル低域映像信号ＤＶＬを予め定め
られたブロックごとに分割するラスタブロック変換回路
１６と、ラスタブロック変換回路１６によって分割され
た映像信号を離散的コサイン変換（以下「ＤＣＴ変換」
という）を用いて周波数信号Ｆに変換する周波数変換回
路１８と、周波数変換回路１８から順次与えられる周波
数信号Ｆの中から予め定められた部分を抽出し、かつそ
の抽出した周波数信号を積分するエリア積分回路２０
と、エリア積分回路２０によって得られた積分データＦ
Ｉを時間方向に蓄積する時間軸メモリ２２とを備える。
【００１４】この顔表情検出装置はさらに、無表情のと
きの顔の映像信号をＤＣＴ変換しかつ積分することによ
り得られた標準状態の積分データＦＮが予め蓄積されて
いる定常状態記憶メモリ２４と、上述した時間軸メモリ
２２に蓄積された積分データＦＩの各々と定常状態記憶
メモリ２４に蓄積された対応の積分データＦＮとの差分
を算出する減算器２６と、減算器２６から与えられる差
分データをフィルタリングする時間軸フィルタ２８と、
時間軸フィルタ２８においてフィルタリングされた差分
データＦＤを正規化する正規化回路３０とを備える。
きの顔の映像信号をＤＣＴ変換しかつ積分することによ
り得られた標準状態の積分データＦＮが予め蓄積されて
いる定常状態記憶メモリ２４と、上述した時間軸メモリ
２２に蓄積された積分データＦＩの各々と定常状態記憶
メモリ２４に蓄積された対応の積分データＦＮとの差分
を算出する減算器２６と、減算器２６から与えられる差
分データをフィルタリングする時間軸フィルタ２８と、
時間軸フィルタ２８においてフィルタリングされた差分
データＦＤを正規化する正規化回路３０とを備える。
【００１５】次に、たとえばこの顔表情検出装置の動作
について説明する。ＣＣＤカメラ１０はヘルメット（図
示せず）に取付けられ、このヘルメットを顔の表情を検
出しようとする人間に装着し、ＣＣＤカメラ１０が顔の
真正面の定位置に固定される。これにより表情検出のた
めの前準備はすべて完了する。
について説明する。ＣＣＤカメラ１０はヘルメット（図
示せず）に取付けられ、このヘルメットを顔の表情を検
出しようとする人間に装着し、ＣＣＤカメラ１０が顔の
真正面の定位置に固定される。これにより表情検出のた
めの前準備はすべて完了する。
【００１６】次に、臨場感通信会議が開始されると、人
間の顔がＣＣＤカメラ１０によって撮影され、その撮影
された映像に応じたアナログ映像信号ＡＶがローパスフ
ィルタ１２へ与えられる。
間の顔がＣＣＤカメラ１０によって撮影され、その撮影
された映像に応じたアナログ映像信号ＡＶがローパスフ
ィルタ１２へ与えられる。
【００１７】ローパスフィルタ１２ではアナログ映像信
号ＡＶの高域成分が除去される。一般に、人間の顔は、
毛穴、凹凸、産毛などがあるために、映像信号にはそれ
らに起因する高域成分が非常に多く含まれている。この
ような高域成分は、顔の表情を検出するためには全く不
要なものである。また、ＳＮ比の低い映像信号には多く
のノイズ成分が含まれているが、このようなノイズ成分
のほとんどは高い周波数を有している。したがって、こ
のローパスフィルタ１２は表情の検出を行なうために必
要な低域成分のみを通過させることによって誤動作を防
止するためのものである。また、映像信号ＡＶとしてコ
ンポジット信号が与えられた場合にあっては、色成分が
ローパスフィルタ１２を通過できないので輝度成分のみ
が通過することとなる。したがって、映像信号ＡＶとし
てＹ／Ｃ分離を行なった後の輝度信号のみを用いても、
あるいはコンポジット信号を用いても、この装置は正常
に動作する。
号ＡＶの高域成分が除去される。一般に、人間の顔は、
毛穴、凹凸、産毛などがあるために、映像信号にはそれ
らに起因する高域成分が非常に多く含まれている。この
ような高域成分は、顔の表情を検出するためには全く不
要なものである。また、ＳＮ比の低い映像信号には多く
のノイズ成分が含まれているが、このようなノイズ成分
のほとんどは高い周波数を有している。したがって、こ
のローパスフィルタ１２は表情の検出を行なうために必
要な低域成分のみを通過させることによって誤動作を防
止するためのものである。また、映像信号ＡＶとしてコ
ンポジット信号が与えられた場合にあっては、色成分が
ローパスフィルタ１２を通過できないので輝度成分のみ
が通過することとなる。したがって、映像信号ＡＶとし
てＹ／Ｃ分離を行なった後の輝度信号のみを用いても、
あるいはコンポジット信号を用いても、この装置は正常
に動作する。
【００１８】ローパスフィルタ１２を通過した低域アナ
ログ映像信号ＡＶＬはＡ／Ｄ変換回路１４に与えられ、
ここでデジタル低域映像信号ＤＶＬに変換される。この
低域映像信号ＤＶＬは、ラスタブロック変換回路１６お
よび周波数変換回路１８においてＤＣＴ変換が行なわれ
る。ＤＣＴ変換を行なうために、まず１フレームの画像
を（ｍ×ｎ）画素（ｍ＜Ｍ，ｎ＜Ｎ；Ｍ，Ｎは１フレー
ムの画素サイズ）からなる複数のブロックに変換する必
要がある。図２では、１つのブロック３４が（８×８）
個の画素３２から構成される例が示されている。このよ
うに１フレームの映像信号ＤＶＬを複数のブロック３４
に分割するのがラスタブロック変換回路１６である。
ログ映像信号ＡＶＬはＡ／Ｄ変換回路１４に与えられ、
ここでデジタル低域映像信号ＤＶＬに変換される。この
低域映像信号ＤＶＬは、ラスタブロック変換回路１６お
よび周波数変換回路１８においてＤＣＴ変換が行なわれ
る。ＤＣＴ変換を行なうために、まず１フレームの画像
を（ｍ×ｎ）画素（ｍ＜Ｍ，ｎ＜Ｎ；Ｍ，Ｎは１フレー
ムの画素サイズ）からなる複数のブロックに変換する必
要がある。図２では、１つのブロック３４が（８×８）
個の画素３２から構成される例が示されている。このよ
うに１フレームの映像信号ＤＶＬを複数のブロック３４
に分割するのがラスタブロック変換回路１６である。
【００１９】ラスタブロック変換回路１６によって複数
のブロック３４に分割された映像信号ＤＶＬｄは周波数
変換回路１８に与えられる。周波数変換回路１８では映
像信号ＤＶＬｄが各ブロック３４ごとにＤＣＴ変換され
る。図２には、ＤＣＴ変換された信号の例が示されてい
る。図２に示されるように、時間領域の関数である映像
信号ＤＶＬが周波数領域の関数である周波数信号Ｆに変
換される。したがって、各画素３２は、明るさを示す直
流成分と、水平、垂直および斜めの各方向の交流成分と
に分解される。ここで、人間の各パーツの動きに注目す
ると、目は瞑る動作によって細くなるため、この場合は
垂直成分が増加し、水平および斜め成分が減少する。逆
に見開く場合には、垂直成分が減少し、水平および斜め
成分が増加する。同様に額の部分では、皺が発生するの
に伴って垂直成分が増加する。
のブロック３４に分割された映像信号ＤＶＬｄは周波数
変換回路１８に与えられる。周波数変換回路１８では映
像信号ＤＶＬｄが各ブロック３４ごとにＤＣＴ変換され
る。図２には、ＤＣＴ変換された信号の例が示されてい
る。図２に示されるように、時間領域の関数である映像
信号ＤＶＬが周波数領域の関数である周波数信号Ｆに変
換される。したがって、各画素３２は、明るさを示す直
流成分と、水平、垂直および斜めの各方向の交流成分と
に分解される。ここで、人間の各パーツの動きに注目す
ると、目は瞑る動作によって細くなるため、この場合は
垂直成分が増加し、水平および斜め成分が減少する。逆
に見開く場合には、垂直成分が減少し、水平および斜め
成分が増加する。同様に額の部分では、皺が発生するの
に伴って垂直成分が増加する。
【００２０】周波数変換回路１８において生成された周
波数信号Ｆはエリア積分回路２０に与えられる。エリア
積分回路２０では、図３に示されるように額の検出エリ
ア３６、両目の検出エリア３８および口の検出エリア４
０が設定されている。額、両目および口は、人間の表情
が顕著に現れる重要な部分である。このような検出エリ
ア３６，３８，４０は、たとえば図示しないモニタの画
面上で設定される。そして、この検出エリア内の周波数
信号Ｆのみが抽出され、さらにその検出エリア３６，３
８，４０の範囲で積分される。ここでは、額、両目およ
び口に検出エリア３６、３８および４０を設定している
が、表情の検出精度を向上させるためには検出エリアを
より再分化して設定するのが好ましい。
波数信号Ｆはエリア積分回路２０に与えられる。エリア
積分回路２０では、図３に示されるように額の検出エリ
ア３６、両目の検出エリア３８および口の検出エリア４
０が設定されている。額、両目および口は、人間の表情
が顕著に現れる重要な部分である。このような検出エリ
ア３６，３８，４０は、たとえば図示しないモニタの画
面上で設定される。そして、この検出エリア内の周波数
信号Ｆのみが抽出され、さらにその検出エリア３６，３
８，４０の範囲で積分される。ここでは、額、両目およ
び口に検出エリア３６、３８および４０を設定している
が、表情の検出精度を向上させるためには検出エリアを
より再分化して設定するのが好ましい。
【００２１】このようにエリア積分回路２０では、周波
数変換回路１８から与えられた周波数信号Ｆが各検出エ
リア３６，３８，４０ごとに積分され、各検出エリア３
６，３８，４０における垂直、水平および斜め方向の周
波数成分の増減が測定される。ここでは映像信号を周波
数空間に変換しているため、各検出エリア３６，３８，
４０の設定は厳密でなくてもよく、表情を検出しようと
する人間が多少動いても設定した検出エリア内に顔の各
構成要素が入っていればよい。このようにしてエリア積
分回路２０によって得られた積分データＦＩは時間軸メ
モリ２２に格納される。
数変換回路１８から与えられた周波数信号Ｆが各検出エ
リア３６，３８，４０ごとに積分され、各検出エリア３
６，３８，４０における垂直、水平および斜め方向の周
波数成分の増減が測定される。ここでは映像信号を周波
数空間に変換しているため、各検出エリア３６，３８，
４０の設定は厳密でなくてもよく、表情を検出しようと
する人間が多少動いても設定した検出エリア内に顔の各
構成要素が入っていればよい。このようにしてエリア積
分回路２０によって得られた積分データＦＩは時間軸メ
モリ２２に格納される。
【００２２】一方、定常状態記憶メモリ２４には無表情
のときの顔の積分データＦＮが予め蓄積されている。こ
の積分データＦＮは顔の表情を検出するための標準とな
るもので、時間軸メモリ２２に格納される積分データＦ
Ｉと対応している。したがって、この標準積分データＦ
Ｎは、たとえばＣＣＤカメラ１０によって無表情の顔を
撮影したときにエリア積分回路２０から得ることができ
る。
のときの顔の積分データＦＮが予め蓄積されている。こ
の積分データＦＮは顔の表情を検出するための標準とな
るもので、時間軸メモリ２２に格納される積分データＦ
Ｉと対応している。したがって、この標準積分データＦ
Ｎは、たとえばＣＣＤカメラ１０によって無表情の顔を
撮影したときにエリア積分回路２０から得ることができ
る。
【００２３】減算器２６では、時間軸メモリ２２から与
えられる積分データＦＩと定常状態記憶メモリ２４から
与えられる積分データＦＮとの差分が算出される。この
算出された差分データは時間軸フィルタ２８に与えられ
る。
えられる積分データＦＩと定常状態記憶メモリ２４から
与えられる積分データＦＮとの差分が算出される。この
算出された差分データは時間軸フィルタ２８に与えられ
る。
【００２４】ここまでの処理は静止画単位で行なわれる
が、実際の処理は実時間で行なわれるため、通常、ＮＴ
ＳＣ信号であれば１６．６ｍｓの垂直同期期間内に処理
は終了する。静止画単位の検出結果は、人間の脈拍や筋
肉の微妙な動きなどのノイズ成分を含んでいる。そのた
め、時間軸フィルタ２８は時間軸方向にフィルタ処理を
行なうことによりこれらのノイズ成分を除去し、これに
より滑らかな動き検出を可能としている。
が、実際の処理は実時間で行なわれるため、通常、ＮＴ
ＳＣ信号であれば１６．６ｍｓの垂直同期期間内に処理
は終了する。静止画単位の検出結果は、人間の脈拍や筋
肉の微妙な動きなどのノイズ成分を含んでいる。そのた
め、時間軸フィルタ２８は時間軸方向にフィルタ処理を
行なうことによりこれらのノイズ成分を除去し、これに
より滑らかな動き検出を可能としている。
【００２５】図４は、時間軸フィルタ２８の処理前と処
理後の結果を示すグラフである。横軸は時間、ここでは
フレーム数を示し、縦軸は差分データ、ここでは目の開
度を示す。無表情のとき差分データは０となり、目を大
きく見開くと差分データは数十程度となり、さらに目を
瞑ると差分データは−１００となる。図４では、第８フ
レーム辺りで無表情となり、第１３フレーム辺りで目は
完全に閉じている。図４に示されるように、第２０フレ
ーム以降におけるフィルタ処理前の差分データには多く
のノイズ成分が含まれているが、フィルタ処理後の差分
データにはノイズ成分はほとんど含まれていない。
理後の結果を示すグラフである。横軸は時間、ここでは
フレーム数を示し、縦軸は差分データ、ここでは目の開
度を示す。無表情のとき差分データは０となり、目を大
きく見開くと差分データは数十程度となり、さらに目を
瞑ると差分データは−１００となる。図４では、第８フ
レーム辺りで無表情となり、第１３フレーム辺りで目は
完全に閉じている。図４に示されるように、第２０フレ
ーム以降におけるフィルタ処理前の差分データには多く
のノイズ成分が含まれているが、フィルタ処理後の差分
データにはノイズ成分はほとんど含まれていない。
【００２６】図５は、図１に示された時間軸フィルタ２
８の処理方法の一例を示す説明図である。図５に示され
るように、時間軸フィルタ２８にはフレームごとに差分
データＤ１〜Ｄ６が順次与えられる。この時間軸フィル
タ２８は３タップデジタルフィルタ４２を含み、その３
つのタップに連続する３フレーム分の差分データがそれ
ぞれ与えられる。図５では、差分データＤ３が与えられ
るとともに、その１フレーム前の差分データＤ２と、そ
の１フレーム後の差分データＤ４とがそれぞれ与えられ
る。差分データＤ３にはフィルタ係数０．５が乗じら
れ、その結果が加算器４４に与えられる。差分データＤ
２にはフィルタ係数０．２５が乗じられ、その結果が加
算器４４に与えられる。差分データＤ４にはフィルタ係
数０．２５が乗じられ、その結果が加算器４４に与えら
れる。加算器４４ではこれら３つの結果が加算され、こ
れにより新たに１フレーム分の差分データＤ３′が生成
される。このようにして時間軸フィルタ２８は与えられ
た差分データＤ１〜Ｄ６をフィルタリングすることによ
り差分データＤ１′〜Ｄ６′を生成する。ここでは前後
各１フレームの差分データを用いてフィルタリングを行
なっているが、フィルタリングを行なうために用いるフ
レーム数やフィルタ係数を適宜変更することによってノ
イズ除去のレベルを調節することができる。
８の処理方法の一例を示す説明図である。図５に示され
るように、時間軸フィルタ２８にはフレームごとに差分
データＤ１〜Ｄ６が順次与えられる。この時間軸フィル
タ２８は３タップデジタルフィルタ４２を含み、その３
つのタップに連続する３フレーム分の差分データがそれ
ぞれ与えられる。図５では、差分データＤ３が与えられ
るとともに、その１フレーム前の差分データＤ２と、そ
の１フレーム後の差分データＤ４とがそれぞれ与えられ
る。差分データＤ３にはフィルタ係数０．５が乗じら
れ、その結果が加算器４４に与えられる。差分データＤ
２にはフィルタ係数０．２５が乗じられ、その結果が加
算器４４に与えられる。差分データＤ４にはフィルタ係
数０．２５が乗じられ、その結果が加算器４４に与えら
れる。加算器４４ではこれら３つの結果が加算され、こ
れにより新たに１フレーム分の差分データＤ３′が生成
される。このようにして時間軸フィルタ２８は与えられ
た差分データＤ１〜Ｄ６をフィルタリングすることによ
り差分データＤ１′〜Ｄ６′を生成する。ここでは前後
各１フレームの差分データを用いてフィルタリングを行
なっているが、フィルタリングを行なうために用いるフ
レーム数やフィルタ係数を適宜変更することによってノ
イズ除去のレベルを調節することができる。
【００２７】時間軸フィルタ２８を通った差分データＦ
Ｄは正規化回路３０に与えられる。正規化回路３０では
差分データＦＤが正規化され、これにより無表情からの
動き量が算出される。すなわち、額の皺の増加量、ある
いは目や口の開き量が算出される。
Ｄは正規化回路３０に与えられる。正規化回路３０では
差分データＦＤが正規化され、これにより無表情からの
動き量が算出される。すなわち、額の皺の増加量、ある
いは目や口の開き量が算出される。
【００２８】以上のようにこの実施例によれば、顔の映
像信号をＤＣＴ変換することにより顔の各パーツの動き
を検出しているため、顔にマーカーを貼り付けるなどの
前準備を行なうことなく、単純なアルゴリズムにより構
成される小規模な回路によって顔の表情を実時間で検出
することができる。また、表情の出やすい額、目、口な
どの検出エリア３６，３８，４０を設定しているため、
検出エリア以外の動きを検出することによって誤動作を
引起こすことはない。また、時間軸フィルタ２８により
時間軸方向のフィルタ処理が施されているため、表情検
出に不要な些細な動きを検出することによって誤動作を
引起こすことはない。
像信号をＤＣＴ変換することにより顔の各パーツの動き
を検出しているため、顔にマーカーを貼り付けるなどの
前準備を行なうことなく、単純なアルゴリズムにより構
成される小規模な回路によって顔の表情を実時間で検出
することができる。また、表情の出やすい額、目、口な
どの検出エリア３６，３８，４０を設定しているため、
検出エリア以外の動きを検出することによって誤動作を
引起こすことはない。また、時間軸フィルタ２８により
時間軸方向のフィルタ処理が施されているため、表情検
出に不要な些細な動きを検出することによって誤動作を
引起こすことはない。
【００２９】この顔表情検出装置を臨場感通信会議に適
用した場合は、得られた顔の動き情報に応じて、たとえ
ば顔の３次元ワイヤフレームが変形される。このように
上述した顔表情検出装置は、実時間での表情検出を要求
される通信のほか、コンピュータグラフィックスなどの
分野でも応用が可能なものである。
用した場合は、得られた顔の動き情報に応じて、たとえ
ば顔の３次元ワイヤフレームが変形される。このように
上述した顔表情検出装置は、実時間での表情検出を要求
される通信のほか、コンピュータグラフィックスなどの
分野でも応用が可能なものである。
【００３０】以上、この発明の一実施例を詳述したが、
この発明の範囲は上述した実施例によって限定されるも
のではない。たとえばＤＣＴ変換の代わりにフーリエ変
換など種々の直交変換を用いることも可能である。ま
た、ローパスや時間軸フィルタの特性は特に限定される
ものではなく、むしろこの特性を適宜変更することによ
って所望の検出精度を得ることができる。その他、顔の
表情だけでなくあらゆる可塑性物体の特徴を検出するた
めにも適用可能であるなど、この発明はその趣旨を逸脱
しない範囲内で当業者の知識に基づき種々の改良、修
正、変形などを加えた態様で実施し得るものである。
この発明の範囲は上述した実施例によって限定されるも
のではない。たとえばＤＣＴ変換の代わりにフーリエ変
換など種々の直交変換を用いることも可能である。ま
た、ローパスや時間軸フィルタの特性は特に限定される
ものではなく、むしろこの特性を適宜変更することによ
って所望の検出精度を得ることができる。その他、顔の
表情だけでなくあらゆる可塑性物体の特徴を検出するた
めにも適用可能であるなど、この発明はその趣旨を逸脱
しない範囲内で当業者の知識に基づき種々の改良、修
正、変形などを加えた態様で実施し得るものである。
【００３１】
【発明の効果】この発明に係る可塑性物体特徴検出装置
によれば、可塑性物体の特徴、たとえば顔の表情の映像
信号を周波数空間に変換することによりその形状の変化
を検出しているため、顔にマーカーを貼り付けるなどの
前準備を行なうことなく、実時間で顔の表情などを検出
することができ、しかもこれを単純なアルゴリズムによ
り構成される小規模な装置によって実現することができ
る。また、顔の表情が出やすい部分の周波数信号のみを
抽出しているため、その部分以外の動きを検出すること
によって誤動作が引起こされることはない。さらに、各
差分データをその前後の差分データを用いてフィルタリ
ングしているため、細かい動きを検出しすぎることによ
って誤動作が引起こされることもない。
によれば、可塑性物体の特徴、たとえば顔の表情の映像
信号を周波数空間に変換することによりその形状の変化
を検出しているため、顔にマーカーを貼り付けるなどの
前準備を行なうことなく、実時間で顔の表情などを検出
することができ、しかもこれを単純なアルゴリズムによ
り構成される小規模な装置によって実現することができ
る。また、顔の表情が出やすい部分の周波数信号のみを
抽出しているため、その部分以外の動きを検出すること
によって誤動作が引起こされることはない。さらに、各
差分データをその前後の差分データを用いてフィルタリ
ングしているため、細かい動きを検出しすぎることによ
って誤動作が引起こされることもない。
【図１】この発明の一実施例による顔表情検出装置の全
体構成を示すブロック図である。
体構成を示すブロック図である。
【図２】図１中のラスタブロック変換回路および周波数
変換回路で行なわれる離散的コサイン変換を説明するた
めの概念図である。
変換回路で行なわれる離散的コサイン変換を説明するた
めの概念図である。
【図３】図１中のエリア積分回路で設定される検出エリ
アを示す説明図である。
アを示す説明図である。
【図４】図１中の時間軸フィルタによる処理前と処理後
の差分データを表わすグラフである。
の差分データを表わすグラフである。
【図５】図１中の時間軸フィルタによる処理の一例を示
す説明図である。
す説明図である。
【図６】マーカーを用いて顔の表情を検出する従来の方
法を示す説明図である。
法を示す説明図である。
１０ ＣＣＤカメラ １２ ローパスフィルタ １４ Ａ／Ｄ変換回路 １６ ラスタブロック変換回路 １８ 周波数変換回路 ２０ エリア積分回路 ２２ 時間軸メモリ ２４ 定常状態記憶メモリ ２６ 減算器 ２８ 時間軸フィルタ ３０ 正規化回路 ３６，３８，４０ 検出エリア ＡＶ アナログ映像信号 ＡＶＬ アナログ低域映像信号 ＤＶＬ デジタル低域映像信号 Ｆ 周波数信号 ＦＩ 積分データ ＦＮ 標準積分データ ＦＤ，Ｄ１〜Ｄ６，Ｄ１′〜Ｄ６′ 差分データ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 ＷＡＶＥＬＥＴ変換による顔動画像の 特徴抽出と表情認識への応用 坂口 竜 己，大谷 淳，岸野 文郎 電子情報通 信学会技術研究報告 ＶＯＬ．94 Ｎ Ｏ．549 ＩＥ94−145〜162 〔画像工 学〕 Ｐ．15〜22 1995年３月17日 臨場感通信会議にのめの実時間表情検 出 海老原 一之，大谷 淳，岸野 文 郎 テレビジョン学会誌 ＶＯＬ．50, ＮＯ．10，ＰＰ．1497〜1506 （1996)
Claims (3)
- 【請求項１】 可塑性物体の特徴を検出する可塑性物体
特徴検出装置であって、 前記可塑性物体を撮影してアナログ映像信号を生成する
撮影手段と、 前記撮影手段から与えられるアナログ映像信号の中から
高域成分を除去する高域除去手段と、 前記高域除去手段から与えられるアナログ映像信号をデ
ジタル映像信号に変換するＡ／Ｄ変換手段と、 前記Ａ／Ｄ変換手段から与えられるデジタル映像信号を
周波数空間における周波数信号に変換する周波数変換手
段と、 前記周波数変換手段から与えられる周波数信号の中から
前記可塑性物体の特徴を含む所定領域に対応する部分を
抽出する抽出手段と、 前記抽出手段から与えられる周波数信号を積分する積分
手段と、 前記積分手段から与えられる積分データを順次蓄積する
メモリ手段と、 前記メモリ手段に蓄積された積分データの各々と前記可
塑性物体の標準形状の対応する積分データとの差分デー
タを算出する差分手段と、 前記差分手段から順次与えられる差分データの各々をそ
の前後の差分データのいずれかを用いてフィルタリング
するフィルタリング手段と、 前記フィルタリング手段から与えられる差分データを正
規化することにより前記可塑性物体の標準形状からの変
位を算出する正規化手段とを備えた可塑性物体特徴検出
装置。 - 【請求項２】 前記可塑性物体の特徴が人間の顔の表情
であることを特徴とする請求項１に記載の可塑性物体特
徴検出装置。 - 【請求項３】 前記周波数変換手段が離散的コサイン変
換器であることを特徴とする請求項１または２に記載の
可塑性物体特徴検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6045395A JP2727066B2 (ja) | 1995-03-20 | 1995-03-20 | 可塑性物体特徴検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6045395A JP2727066B2 (ja) | 1995-03-20 | 1995-03-20 | 可塑性物体特徴検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08263623A JPH08263623A (ja) | 1996-10-11 |
| JP2727066B2 true JP2727066B2 (ja) | 1998-03-11 |
Family
ID=13142713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6045395A Expired - Fee Related JP2727066B2 (ja) | 1995-03-20 | 1995-03-20 | 可塑性物体特徴検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2727066B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010042486A1 (en) | 2008-10-07 | 2010-04-15 | Euclid Discoveries, Llc | Feature-based video compression |
| US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| WO2008091485A2 (en) * | 2007-01-23 | 2008-07-31 | Euclid Discoveries, Llc | Systems and methods for providing personal video services |
| CN101622874A (zh) | 2007-01-23 | 2010-01-06 | 欧几里得发现有限责任公司 | 对象存档系统和方法 |
| JP2010526455A (ja) | 2007-01-23 | 2010-07-29 | ユークリッド・ディスカバリーズ・エルエルシー | 画像データを処理するコンピュータ方法および装置 |
| JP4720810B2 (ja) | 2007-09-28 | 2011-07-13 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
| JP4942197B2 (ja) * | 2007-10-31 | 2012-05-30 | 日本電信電話株式会社 | テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体 |
| US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| WO2015138008A1 (en) | 2014-03-10 | 2015-09-17 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
| US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
-
1995
- 1995-03-20 JP JP6045395A patent/JP2727066B2/ja not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| ＷＡＶＥＬＥＴ変換による顔動画像の特徴抽出と表情認識への応用 坂口 竜己，大谷 淳，岸野 文郎 電子情報通信学会技術研究報告 ＶＯＬ．９４ ＮＯ．５４９ ＩＥ９４−１４５〜１６２ 〔画像工学〕 Ｐ．１５〜２２ １９９５年３月１７日 |
| 臨場感通信会議にのめの実時間表情検出 海老原 一之，大谷 淳，岸野 文郎 テレビジョン学会誌 ＶＯＬ．５０，ＮＯ．１０，ＰＰ．１４９７〜１５０６ （１９９６） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08263623A (ja) | 1996-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Benoit et al. | Using human visual system modeling for bio-inspired low level image processing | |
| JP2727066B2 (ja) | 可塑性物体特徴検出装置 | |
| CN111784578A (zh) | 图像处理、模型训练方法及装置、设备、存储介质 | |
| JP2008199549A (ja) | 監視画像処理方法、監視システム及び監視画像処理プログラム | |
| JP5468930B2 (ja) | 画像処理装置及び画像処理プログラム | |
| US8606032B2 (en) | Image processing method, device and program to process a moving image | |
| JP5404580B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体 | |
| JP2840816B2 (ja) | 表情検出装置 | |
| JPH10240908A (ja) | 映像合成方法 | |
| CN111062904B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| CN116129016B (zh) | 一种姿态运动的数字同步方法、装置、设备及存储介质 | |
| JP3414683B2 (ja) | 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体 | |
| JP6544970B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2010187208A (ja) | 電子スチルカメラ | |
| JP4141090B2 (ja) | 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体 | |
| CN111382646A (zh) | 一种活体识别方法、存储介质及终端设备 | |
| Dimoulas et al. | Joint wavelet video denoising and motion activity detection in multimodal human activity analysis: application to video-assisted bioacoustic/psychophysiological monitoring | |
| JP4750758B2 (ja) | 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体 | |
| JP3401511B2 (ja) | 画像の特徴点の抽出方法、およびコンピュータに当該画像の特徴点の抽出方法を実行させるためのプログラム記録した、コンピュータ読取可能な記録媒体ならびに画像特徴点抽出装置 | |
| Wang et al. | Fast image super-resolution using connected component enhancement | |
| JP3344600B2 (ja) | 画像処理装置 | |
| EP4358016A1 (en) | Method for image processing | |
| JP2004199386A (ja) | 顔画像合成装置および顔画像の瞬き検出方法 | |
| JP4571370B2 (ja) | 動画像合成方法および装置並びにプログラム並びにデジタルカメラ | |
| JP5901353B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19971028 |
|
| LAPS | Cancellation because of no payment of annual fees |