JPH08263623A - 可塑性物体特徴検出装置 - Google Patents
可塑性物体特徴検出装置Info
- Publication number
- JPH08263623A JPH08263623A JP6045395A JP6045395A JPH08263623A JP H08263623 A JPH08263623 A JP H08263623A JP 6045395 A JP6045395 A JP 6045395A JP 6045395 A JP6045395 A JP 6045395A JP H08263623 A JPH08263623 A JP H08263623A
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- plastic object
- data
- video signal
- difference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 顔にマーカーを貼り付けるなどの前準備を行
なうことなく、実時間で顔の表情を検出する。 【構成】 顔の映像信号DVLをラスタブロック変換回
路16および周波数変換回路18でDCT変換し、さら
にエリア積分回路20でその生成された周波数信号Fか
ら表情の出やすい検出エリア内のものだけを抽出し、か
つその検出エリア内で積分する。その積分データFIは
時間軸メモリ22に順次格納し、定常状態記憶メモリ2
4に予め格納されている無表情の積分データFNとその
積分データFIとの差分データを算出する。差分データ
は時間軸フィルタ28で時間軸方向にフィルタリングし
た後に正規化回路30で正規化するように構成した。
なうことなく、実時間で顔の表情を検出する。 【構成】 顔の映像信号DVLをラスタブロック変換回
路16および周波数変換回路18でDCT変換し、さら
にエリア積分回路20でその生成された周波数信号Fか
ら表情の出やすい検出エリア内のものだけを抽出し、か
つその検出エリア内で積分する。その積分データFIは
時間軸メモリ22に順次格納し、定常状態記憶メモリ2
4に予め格納されている無表情の積分データFNとその
積分データFIとの差分データを算出する。差分データ
は時間軸フィルタ28で時間軸方向にフィルタリングし
た後に正規化回路30で正規化するように構成した。
Description
【0001】
【産業上の利用分野】この発明は可塑性物体特徴検出装
置に関し、さらに詳しくは、離れた場所を結ぶコンピュ
ータグラフィックスを利用したテレビ会議の参加者の表
情検出や、実時間でコンピュータグラフィックスにより
作成した顔の表情検出など、人間の顔の表情を実時間で
検出する顔表情検出装置に関する。
置に関し、さらに詳しくは、離れた場所を結ぶコンピュ
ータグラフィックスを利用したテレビ会議の参加者の表
情検出や、実時間でコンピュータグラフィックスにより
作成した顔の表情検出など、人間の顔の表情を実時間で
検出する顔表情検出装置に関する。
【0002】
【従来の技術】人間の顔は千差万別であり、個人差が大
きく汎用的な表情の検出を実時間で行なうことは従来困
難であった。これを実現する手法の1つとして、「臨場
感通信会議における3次元顔画像の実時間表示(信学技
報HC92−91)1993−01」に、顔にマーカー
を貼り付けるなどの前準備をした後にそのマーカーを追
跡することにより顔の表情を検出するようにしたものが
開示されている。
きく汎用的な表情の検出を実時間で行なうことは従来困
難であった。これを実現する手法の1つとして、「臨場
感通信会議における3次元顔画像の実時間表示(信学技
報HC92−91)1993−01」に、顔にマーカー
を貼り付けるなどの前準備をした後にそのマーカーを追
跡することにより顔の表情を検出するようにしたものが
開示されている。
【0003】図6は、このような従来の顔表情検出手法
を説明するための図である。図6に示されるように、表
情を検出しようとする顔の数ヶ所にマーカー1が貼り付
けられる。そして、この人物にヘルメットが装着され、
さらにこのヘルメットに取付けられたカメラによってこ
の人物の顔が常に真正面から撮影される。このような準
備をした後、マーカー1の動きを追跡することによって
顔の表情が検出される。なお、この臨場感通信会議で
は、検出されたマーカー1の位置情報に応じて予め作成
された3次元ワイヤフレームモデルを変形するように構
成されている。
を説明するための図である。図6に示されるように、表
情を検出しようとする顔の数ヶ所にマーカー1が貼り付
けられる。そして、この人物にヘルメットが装着され、
さらにこのヘルメットに取付けられたカメラによってこ
の人物の顔が常に真正面から撮影される。このような準
備をした後、マーカー1の動きを追跡することによって
顔の表情が検出される。なお、この臨場感通信会議で
は、検出されたマーカー1の位置情報に応じて予め作成
された3次元ワイヤフレームモデルを変形するように構
成されている。
【0004】また、これに関連する技術が「Facial ima
ge synthesis by hierachical wireframe model(SPIE'
92,Visual communication Image Processing '92.) 」
に開示されている。
ge synthesis by hierachical wireframe model(SPIE'
92,Visual communication Image Processing '92.) 」
に開示されている。
【0005】
【発明が解決しようとする課題】このような顔の表情検
出方法では、マーカーなどの検出補助用具を必要とする
ため、表情検出を実行する前準備に時間がかかるという
問題があった。また、ヘルメットのずれや脈拍などの外
乱要因によって誤動作しやすいという問題もあった。
出方法では、マーカーなどの検出補助用具を必要とする
ため、表情検出を実行する前準備に時間がかかるという
問題があった。また、ヘルメットのずれや脈拍などの外
乱要因によって誤動作しやすいという問題もあった。
【0006】この発明は上記のような問題点を解消する
ためになされたもので、顔にマーカーを貼り付けるなど
の前準備を行なうことなく、実時間で顔の表情を検出可
能な顔表情検出装置を提供することを目的とする。
ためになされたもので、顔にマーカーを貼り付けるなど
の前準備を行なうことなく、実時間で顔の表情を検出可
能な顔表情検出装置を提供することを目的とする。
【0007】この発明の他の目的は、耐ノイズ性が高い
顔表情検出装置を提供することにある。
顔表情検出装置を提供することにある。
【0008】この発明のさらに他の目的は、単純なアル
ゴリズムにより構成される顔表情検出装置を提供するこ
とである。
ゴリズムにより構成される顔表情検出装置を提供するこ
とである。
【0009】
【課題を解決するための手段】この発明に係る可塑性物
体特徴検出装置は、可塑性物体の特徴、好ましくは人間
の顔の表情を検出するものであって、撮影手段、高域除
去手段、A/D変換手段、周波数変換手段、抽出手段、
積分手段、メモリ手段、差分手段、フィルタリング手段
および正規化手段を備える。撮影手段は、可塑性物体を
撮影してアナログ映像信号を生成する。高域除去手段
は、撮影手段から与えられるアナログ映像信号の中から
高域成分を除去する。A/D変換手段は、高域除去手段
から与えられるアナログ映像信号をデジタル映像信号に
変換する。周波数変換手段は、A/D変換手段から与え
られるデジタル映像信号を周波数空間における周波数信
号に変換する。抽出手段は、周波数変換手段から与えら
れる周波数信号の中から可塑性物体の特徴を含む所定領
域に対応する部分を抽出する。積分手段は、抽出手段か
ら与えられる周波数信号を積分する。メモリ手段は、積
分手段から与えられる積分データを順次蓄積する。差分
手段は、メモリ手段に蓄積された積分データの各々と可
塑性物体の標準形状の対応する積分データとの差分デー
タを算出する。フィルタリング手段は、差分手段から順
次与えられる差分データの各々をその前後の差分データ
のいずれかを用いてフィルタリングする。正規化手段
は、フィルタリング手段から与えられる差分データを正
規化することにより可塑性物体の標準形状からの変位を
算出する。ここで、周波数変換手段として、たとえば離
散的コサイン変換(Discrete Cosine Transform )器が
用いられる。
体特徴検出装置は、可塑性物体の特徴、好ましくは人間
の顔の表情を検出するものであって、撮影手段、高域除
去手段、A/D変換手段、周波数変換手段、抽出手段、
積分手段、メモリ手段、差分手段、フィルタリング手段
および正規化手段を備える。撮影手段は、可塑性物体を
撮影してアナログ映像信号を生成する。高域除去手段
は、撮影手段から与えられるアナログ映像信号の中から
高域成分を除去する。A/D変換手段は、高域除去手段
から与えられるアナログ映像信号をデジタル映像信号に
変換する。周波数変換手段は、A/D変換手段から与え
られるデジタル映像信号を周波数空間における周波数信
号に変換する。抽出手段は、周波数変換手段から与えら
れる周波数信号の中から可塑性物体の特徴を含む所定領
域に対応する部分を抽出する。積分手段は、抽出手段か
ら与えられる周波数信号を積分する。メモリ手段は、積
分手段から与えられる積分データを順次蓄積する。差分
手段は、メモリ手段に蓄積された積分データの各々と可
塑性物体の標準形状の対応する積分データとの差分デー
タを算出する。フィルタリング手段は、差分手段から順
次与えられる差分データの各々をその前後の差分データ
のいずれかを用いてフィルタリングする。正規化手段
は、フィルタリング手段から与えられる差分データを正
規化することにより可塑性物体の標準形状からの変位を
算出する。ここで、周波数変換手段として、たとえば離
散的コサイン変換(Discrete Cosine Transform )器が
用いられる。
【0010】
【作用】この発明に係る可塑性物体特徴検出装置におい
ては、たとえば人間の顔などの可塑性物体が撮影され、
これによりアナログ映像信号が生成される。その生成さ
れたアナログ映像信号の中から高域成分が除去され、さ
らにそのアナログ映像信号がデジタル映像信号に変換さ
れる。このデジタル映像信号は周波数空間における周波
数信号に変換される。ここで、好ましくは離散的コサイ
ン変換が用いられる。次いで、その周波数信号の中から
可塑性物体の特徴を含む所定領域に対応する部分が抽出
され、さらにその抽出された周波数信号が積分される。
このようにして得られた積分データはメモリ手段に順次
蓄積される。そして、この積分データの各々と可塑性物
体の標準形状の対応する積分データとの差分データが算
出され、さらにその差分データがその前後の差分データ
を用いてフィルタリングされる。フィルタリングされた
差分データは正規化され、これにより可塑性物体の標準
形状からの変位が算出される。
ては、たとえば人間の顔などの可塑性物体が撮影され、
これによりアナログ映像信号が生成される。その生成さ
れたアナログ映像信号の中から高域成分が除去され、さ
らにそのアナログ映像信号がデジタル映像信号に変換さ
れる。このデジタル映像信号は周波数空間における周波
数信号に変換される。ここで、好ましくは離散的コサイ
ン変換が用いられる。次いで、その周波数信号の中から
可塑性物体の特徴を含む所定領域に対応する部分が抽出
され、さらにその抽出された周波数信号が積分される。
このようにして得られた積分データはメモリ手段に順次
蓄積される。そして、この積分データの各々と可塑性物
体の標準形状の対応する積分データとの差分データが算
出され、さらにその差分データがその前後の差分データ
を用いてフィルタリングされる。フィルタリングされた
差分データは正規化され、これにより可塑性物体の標準
形状からの変位が算出される。
【0011】したがって、顔にマーカーなどを貼り付け
ることなく、実時間で顔の表情を検出することができ
る。また、映像信号を周波数空間に変換してからデータ
処理を行なっているので、耐ノイズ性が向上する。さら
に、単純なアルゴリズムにより顔の表情が検出されるの
で、この装置の構成が小さくなる。
ることなく、実時間で顔の表情を検出することができ
る。また、映像信号を周波数空間に変換してからデータ
処理を行なっているので、耐ノイズ性が向上する。さら
に、単純なアルゴリズムにより顔の表情が検出されるの
で、この装置の構成が小さくなる。
【0012】
【実施例】以下、この発明の代表的な実施例を図面を参
照して詳しく説明する。なお、図中同一符号は同一また
は相当部分を示す。
照して詳しく説明する。なお、図中同一符号は同一また
は相当部分を示す。
【0013】図1は、この発明の一実施例による顔表情
検出装置の全体構成を示すブロック図である。図1を参
照して、この顔表情検出装置は、人間の顔を撮影するた
めのCCD(Charge Coupled Device )カメラ10と、
CCDカメラ10から与えられるアナログ映像信号AV
の中から高域成分を除去するローパスフィルタ(LP
F)12と、ローパスフィルタ12から与えられるアナ
ログ低域映像信号AVLをデジタル低域映像信号DVL
に変換するA/D変換回路14と、A/D変換回路14
から与えられるデジタル低域映像信号DVLを予め定め
られたブロックごとに分割するラスタブロック変換回路
16と、ラスタブロック変換回路16によって分割され
た映像信号を離散的コサイン変換(以下「DCT変換」
という)を用いて周波数信号Fに変換する周波数変換回
路18と、周波数変換回路18から順次与えられる周波
数信号Fの中から予め定められた部分を抽出し、かつそ
の抽出した周波数信号を積分するエリア積分回路20
と、エリア積分回路20によって得られた積分データF
Iを時間方向に蓄積する時間軸メモリ22とを備える。
検出装置の全体構成を示すブロック図である。図1を参
照して、この顔表情検出装置は、人間の顔を撮影するた
めのCCD(Charge Coupled Device )カメラ10と、
CCDカメラ10から与えられるアナログ映像信号AV
の中から高域成分を除去するローパスフィルタ(LP
F)12と、ローパスフィルタ12から与えられるアナ
ログ低域映像信号AVLをデジタル低域映像信号DVL
に変換するA/D変換回路14と、A/D変換回路14
から与えられるデジタル低域映像信号DVLを予め定め
られたブロックごとに分割するラスタブロック変換回路
16と、ラスタブロック変換回路16によって分割され
た映像信号を離散的コサイン変換(以下「DCT変換」
という)を用いて周波数信号Fに変換する周波数変換回
路18と、周波数変換回路18から順次与えられる周波
数信号Fの中から予め定められた部分を抽出し、かつそ
の抽出した周波数信号を積分するエリア積分回路20
と、エリア積分回路20によって得られた積分データF
Iを時間方向に蓄積する時間軸メモリ22とを備える。
【0014】この顔表情検出装置はさらに、無表情のと
きの顔の映像信号をDCT変換しかつ積分することによ
り得られた標準状態の積分データFNが予め蓄積されて
いる定常状態記憶メモリ24と、上述した時間軸メモリ
22に蓄積された積分データFIの各々と定常状態記憶
メモリ24に蓄積された対応の積分データFNとの差分
を算出する減算器26と、減算器26から与えられる差
分データをフィルタリングする時間軸フィルタ28と、
時間軸フィルタ28においてフィルタリングされた差分
データFDを正規化する正規化回路30とを備える。
きの顔の映像信号をDCT変換しかつ積分することによ
り得られた標準状態の積分データFNが予め蓄積されて
いる定常状態記憶メモリ24と、上述した時間軸メモリ
22に蓄積された積分データFIの各々と定常状態記憶
メモリ24に蓄積された対応の積分データFNとの差分
を算出する減算器26と、減算器26から与えられる差
分データをフィルタリングする時間軸フィルタ28と、
時間軸フィルタ28においてフィルタリングされた差分
データFDを正規化する正規化回路30とを備える。
【0015】次に、たとえばこの顔表情検出装置の動作
について説明する。CCDカメラ10はヘルメット(図
示せず)に取付けられ、このヘルメットを顔の表情を検
出しようとする人間に装着し、CCDカメラ10が顔の
真正面の定位置に固定される。これにより表情検出のた
めの前準備はすべて完了する。
について説明する。CCDカメラ10はヘルメット(図
示せず)に取付けられ、このヘルメットを顔の表情を検
出しようとする人間に装着し、CCDカメラ10が顔の
真正面の定位置に固定される。これにより表情検出のた
めの前準備はすべて完了する。
【0016】次に、臨場感通信会議が開始されると、人
間の顔がCCDカメラ10によって撮影され、その撮影
された映像に応じたアナログ映像信号AVがローパスフ
ィルタ12へ与えられる。
間の顔がCCDカメラ10によって撮影され、その撮影
された映像に応じたアナログ映像信号AVがローパスフ
ィルタ12へ与えられる。
【0017】ローパスフィルタ12ではアナログ映像信
号AVの高域成分が除去される。一般に、人間の顔は、
毛穴、凹凸、産毛などがあるために、映像信号にはそれ
らに起因する高域成分が非常に多く含まれている。この
ような高域成分は、顔の表情を検出するためには全く不
要なものである。また、SN比の低い映像信号には多く
のノイズ成分が含まれているが、このようなノイズ成分
のほとんどは高い周波数を有している。したがって、こ
のローパスフィルタ12は表情の検出を行なうために必
要な低域成分のみを通過させることによって誤動作を防
止するためのものである。また、映像信号AVとしてコ
ンポジット信号が与えられた場合にあっては、色成分が
ローパスフィルタ12を通過できないので輝度成分のみ
が通過することとなる。したがって、映像信号AVとし
てY/C分離を行なった後の輝度信号のみを用いても、
あるいはコンポジット信号を用いても、この装置は正常
に動作する。
号AVの高域成分が除去される。一般に、人間の顔は、
毛穴、凹凸、産毛などがあるために、映像信号にはそれ
らに起因する高域成分が非常に多く含まれている。この
ような高域成分は、顔の表情を検出するためには全く不
要なものである。また、SN比の低い映像信号には多く
のノイズ成分が含まれているが、このようなノイズ成分
のほとんどは高い周波数を有している。したがって、こ
のローパスフィルタ12は表情の検出を行なうために必
要な低域成分のみを通過させることによって誤動作を防
止するためのものである。また、映像信号AVとしてコ
ンポジット信号が与えられた場合にあっては、色成分が
ローパスフィルタ12を通過できないので輝度成分のみ
が通過することとなる。したがって、映像信号AVとし
てY/C分離を行なった後の輝度信号のみを用いても、
あるいはコンポジット信号を用いても、この装置は正常
に動作する。
【0018】ローパスフィルタ12を通過した低域アナ
ログ映像信号AVLはA/D変換回路14に与えられ、
ここでデジタル低域映像信号DVLに変換される。この
低域映像信号DVLは、ラスタブロック変換回路16お
よび周波数変換回路18においてDCT変換が行なわれ
る。DCT変換を行なうために、まず1フレームの画像
を(m×n)画素(m<M,n<N;M,Nは1フレー
ムの画素サイズ)からなる複数のブロックに変換する必
要がある。図2では、1つのブロック34が(8×8)
個の画素32から構成される例が示されている。このよ
うに1フレームの映像信号DVLを複数のブロック34
に分割するのがラスタブロック変換回路16である。
ログ映像信号AVLはA/D変換回路14に与えられ、
ここでデジタル低域映像信号DVLに変換される。この
低域映像信号DVLは、ラスタブロック変換回路16お
よび周波数変換回路18においてDCT変換が行なわれ
る。DCT変換を行なうために、まず1フレームの画像
を(m×n)画素(m<M,n<N;M,Nは1フレー
ムの画素サイズ)からなる複数のブロックに変換する必
要がある。図2では、1つのブロック34が(8×8)
個の画素32から構成される例が示されている。このよ
うに1フレームの映像信号DVLを複数のブロック34
に分割するのがラスタブロック変換回路16である。
【0019】ラスタブロック変換回路16によって複数
のブロック34に分割された映像信号DVLdは周波数
変換回路18に与えられる。周波数変換回路18では映
像信号DVLdが各ブロック34ごとにDCT変換され
る。図2には、DCT変換された信号の例が示されてい
る。図2に示されるように、時間領域の関数である映像
信号DVLが周波数領域の関数である周波数信号Fに変
換される。したがって、各画素32は、明るさを示す直
流成分と、水平、垂直および斜めの各方向の交流成分と
に分解される。ここで、人間の各パーツの動きに注目す
ると、目は瞑る動作によって細くなるため、この場合は
垂直成分が増加し、水平および斜め成分が減少する。逆
に見開く場合には、垂直成分が減少し、水平および斜め
成分が増加する。同様に額の部分では、皺が発生するの
に伴って垂直成分が増加する。
のブロック34に分割された映像信号DVLdは周波数
変換回路18に与えられる。周波数変換回路18では映
像信号DVLdが各ブロック34ごとにDCT変換され
る。図2には、DCT変換された信号の例が示されてい
る。図2に示されるように、時間領域の関数である映像
信号DVLが周波数領域の関数である周波数信号Fに変
換される。したがって、各画素32は、明るさを示す直
流成分と、水平、垂直および斜めの各方向の交流成分と
に分解される。ここで、人間の各パーツの動きに注目す
ると、目は瞑る動作によって細くなるため、この場合は
垂直成分が増加し、水平および斜め成分が減少する。逆
に見開く場合には、垂直成分が減少し、水平および斜め
成分が増加する。同様に額の部分では、皺が発生するの
に伴って垂直成分が増加する。
【0020】周波数変換回路18において生成された周
波数信号Fはエリア積分回路20に与えられる。エリア
積分回路20では、図3に示されるように額の検出エリ
ア36、両目の検出エリア38および口の検出エリア4
0が設定されている。額、両目および口は、人間の表情
が顕著に現れる重要な部分である。このような検出エリ
ア36,38,40は、たとえば図示しないモニタの画
面上で設定される。そして、この検出エリア内の周波数
信号Fのみが抽出され、さらにその検出エリア36,3
8,40の範囲で積分される。ここでは、額、両目およ
び口に検出エリア36、38および40を設定している
が、表情の検出精度を向上させるためには検出エリアを
より再分化して設定するのが好ましい。
波数信号Fはエリア積分回路20に与えられる。エリア
積分回路20では、図3に示されるように額の検出エリ
ア36、両目の検出エリア38および口の検出エリア4
0が設定されている。額、両目および口は、人間の表情
が顕著に現れる重要な部分である。このような検出エリ
ア36,38,40は、たとえば図示しないモニタの画
面上で設定される。そして、この検出エリア内の周波数
信号Fのみが抽出され、さらにその検出エリア36,3
8,40の範囲で積分される。ここでは、額、両目およ
び口に検出エリア36、38および40を設定している
が、表情の検出精度を向上させるためには検出エリアを
より再分化して設定するのが好ましい。
【0021】このようにエリア積分回路20では、周波
数変換回路18から与えられた周波数信号Fが各検出エ
リア36,38,40ごとに積分され、各検出エリア3
6,38,40における垂直、水平および斜め方向の周
波数成分の増減が測定される。ここでは映像信号を周波
数空間に変換しているため、各検出エリア36,38,
40の設定は厳密でなくてもよく、表情を検出しようと
する人間が多少動いても設定した検出エリア内に顔の各
構成要素が入っていればよい。このようにしてエリア積
分回路20によって得られた積分データFIは時間軸メ
モリ22に格納される。
数変換回路18から与えられた周波数信号Fが各検出エ
リア36,38,40ごとに積分され、各検出エリア3
6,38,40における垂直、水平および斜め方向の周
波数成分の増減が測定される。ここでは映像信号を周波
数空間に変換しているため、各検出エリア36,38,
40の設定は厳密でなくてもよく、表情を検出しようと
する人間が多少動いても設定した検出エリア内に顔の各
構成要素が入っていればよい。このようにしてエリア積
分回路20によって得られた積分データFIは時間軸メ
モリ22に格納される。
【0022】一方、定常状態記憶メモリ24には無表情
のときの顔の積分データFNが予め蓄積されている。こ
の積分データFNは顔の表情を検出するための標準とな
るもので、時間軸メモリ22に格納される積分データF
Iと対応している。したがって、この標準積分データF
Nは、たとえばCCDカメラ10によって無表情の顔を
撮影したときにエリア積分回路20から得ることができ
る。
のときの顔の積分データFNが予め蓄積されている。こ
の積分データFNは顔の表情を検出するための標準とな
るもので、時間軸メモリ22に格納される積分データF
Iと対応している。したがって、この標準積分データF
Nは、たとえばCCDカメラ10によって無表情の顔を
撮影したときにエリア積分回路20から得ることができ
る。
【0023】減算器26では、時間軸メモリ22から与
えられる積分データFIと定常状態記憶メモリ24から
与えられる積分データFNとの差分が算出される。この
算出された差分データは時間軸フィルタ28に与えられ
る。
えられる積分データFIと定常状態記憶メモリ24から
与えられる積分データFNとの差分が算出される。この
算出された差分データは時間軸フィルタ28に与えられ
る。
【0024】ここまでの処理は静止画単位で行なわれる
が、実際の処理は実時間で行なわれるため、通常、NT
SC信号であれば16.6msの垂直同期期間内に処理
は終了する。静止画単位の検出結果は、人間の脈拍や筋
肉の微妙な動きなどのノイズ成分を含んでいる。そのた
め、時間軸フィルタ28は時間軸方向にフィルタ処理を
行なうことによりこれらのノイズ成分を除去し、これに
より滑らかな動き検出を可能としている。
が、実際の処理は実時間で行なわれるため、通常、NT
SC信号であれば16.6msの垂直同期期間内に処理
は終了する。静止画単位の検出結果は、人間の脈拍や筋
肉の微妙な動きなどのノイズ成分を含んでいる。そのた
め、時間軸フィルタ28は時間軸方向にフィルタ処理を
行なうことによりこれらのノイズ成分を除去し、これに
より滑らかな動き検出を可能としている。
【0025】図4は、時間軸フィルタ28の処理前と処
理後の結果を示すグラフである。横軸は時間、ここでは
フレーム数を示し、縦軸は差分データ、ここでは目の開
度を示す。無表情のとき差分データは0となり、目を大
きく見開くと差分データは数十程度となり、さらに目を
瞑ると差分データは−100となる。図4では、第8フ
レーム辺りで無表情となり、第13フレーム辺りで目は
完全に閉じている。図4に示されるように、第20フレ
ーム以降におけるフィルタ処理前の差分データには多く
のノイズ成分が含まれているが、フィルタ処理後の差分
データにはノイズ成分はほとんど含まれていない。
理後の結果を示すグラフである。横軸は時間、ここでは
フレーム数を示し、縦軸は差分データ、ここでは目の開
度を示す。無表情のとき差分データは0となり、目を大
きく見開くと差分データは数十程度となり、さらに目を
瞑ると差分データは−100となる。図4では、第8フ
レーム辺りで無表情となり、第13フレーム辺りで目は
完全に閉じている。図4に示されるように、第20フレ
ーム以降におけるフィルタ処理前の差分データには多く
のノイズ成分が含まれているが、フィルタ処理後の差分
データにはノイズ成分はほとんど含まれていない。
【0026】図5は、図1に示された時間軸フィルタ2
8の処理方法の一例を示す説明図である。図5に示され
るように、時間軸フィルタ28にはフレームごとに差分
データD1〜D6が順次与えられる。この時間軸フィル
タ28は3タップデジタルフィルタ42を含み、その3
つのタップに連続する3フレーム分の差分データがそれ
ぞれ与えられる。図5では、差分データD3が与えられ
るとともに、その1フレーム前の差分データD2と、そ
の1フレーム後の差分データD4とがそれぞれ与えられ
る。差分データD3にはフィルタ係数0.5が乗じら
れ、その結果が加算器44に与えられる。差分データD
2にはフィルタ係数0.25が乗じられ、その結果が加
算器44に与えられる。差分データD4にはフィルタ係
数0.25が乗じられ、その結果が加算器44に与えら
れる。加算器44ではこれら3つの結果が加算され、こ
れにより新たに1フレーム分の差分データD3′が生成
される。このようにして時間軸フィルタ28は与えられ
た差分データD1〜D6をフィルタリングすることによ
り差分データD1′〜D6′を生成する。ここでは前後
各1フレームの差分データを用いてフィルタリングを行
なっているが、フィルタリングを行なうために用いるフ
レーム数やフィルタ係数を適宜変更することによってノ
イズ除去のレベルを調節することができる。
8の処理方法の一例を示す説明図である。図5に示され
るように、時間軸フィルタ28にはフレームごとに差分
データD1〜D6が順次与えられる。この時間軸フィル
タ28は3タップデジタルフィルタ42を含み、その3
つのタップに連続する3フレーム分の差分データがそれ
ぞれ与えられる。図5では、差分データD3が与えられ
るとともに、その1フレーム前の差分データD2と、そ
の1フレーム後の差分データD4とがそれぞれ与えられ
る。差分データD3にはフィルタ係数0.5が乗じら
れ、その結果が加算器44に与えられる。差分データD
2にはフィルタ係数0.25が乗じられ、その結果が加
算器44に与えられる。差分データD4にはフィルタ係
数0.25が乗じられ、その結果が加算器44に与えら
れる。加算器44ではこれら3つの結果が加算され、こ
れにより新たに1フレーム分の差分データD3′が生成
される。このようにして時間軸フィルタ28は与えられ
た差分データD1〜D6をフィルタリングすることによ
り差分データD1′〜D6′を生成する。ここでは前後
各1フレームの差分データを用いてフィルタリングを行
なっているが、フィルタリングを行なうために用いるフ
レーム数やフィルタ係数を適宜変更することによってノ
イズ除去のレベルを調節することができる。
【0027】時間軸フィルタ28を通った差分データF
Dは正規化回路30に与えられる。正規化回路30では
差分データFDが正規化され、これにより無表情からの
動き量が算出される。すなわち、額の皺の増加量、ある
いは目や口の開き量が算出される。
Dは正規化回路30に与えられる。正規化回路30では
差分データFDが正規化され、これにより無表情からの
動き量が算出される。すなわち、額の皺の増加量、ある
いは目や口の開き量が算出される。
【0028】以上のようにこの実施例によれば、顔の映
像信号をDCT変換することにより顔の各パーツの動き
を検出しているため、顔にマーカーを貼り付けるなどの
前準備を行なうことなく、単純なアルゴリズムにより構
成される小規模な回路によって顔の表情を実時間で検出
することができる。また、表情の出やすい額、目、口な
どの検出エリア36,38,40を設定しているため、
検出エリア以外の動きを検出することによって誤動作を
引起こすことはない。また、時間軸フィルタ28により
時間軸方向のフィルタ処理が施されているため、表情検
出に不要な些細な動きを検出することによって誤動作を
引起こすことはない。
像信号をDCT変換することにより顔の各パーツの動き
を検出しているため、顔にマーカーを貼り付けるなどの
前準備を行なうことなく、単純なアルゴリズムにより構
成される小規模な回路によって顔の表情を実時間で検出
することができる。また、表情の出やすい額、目、口な
どの検出エリア36,38,40を設定しているため、
検出エリア以外の動きを検出することによって誤動作を
引起こすことはない。また、時間軸フィルタ28により
時間軸方向のフィルタ処理が施されているため、表情検
出に不要な些細な動きを検出することによって誤動作を
引起こすことはない。
【0029】この顔表情検出装置を臨場感通信会議に適
用した場合は、得られた顔の動き情報に応じて、たとえ
ば顔の3次元ワイヤフレームが変形される。このように
上述した顔表情検出装置は、実時間での表情検出を要求
される通信のほか、コンピュータグラフィックスなどの
分野でも応用が可能なものである。
用した場合は、得られた顔の動き情報に応じて、たとえ
ば顔の3次元ワイヤフレームが変形される。このように
上述した顔表情検出装置は、実時間での表情検出を要求
される通信のほか、コンピュータグラフィックスなどの
分野でも応用が可能なものである。
【0030】以上、この発明の一実施例を詳述したが、
この発明の範囲は上述した実施例によって限定されるも
のではない。たとえばDCT変換の代わりにフーリエ変
換など種々の直交変換を用いることも可能である。ま
た、ローパスや時間軸フィルタの特性は特に限定される
ものではなく、むしろこの特性を適宜変更することによ
って所望の検出精度を得ることができる。その他、顔の
表情だけでなくあらゆる可塑性物体の特徴を検出するた
めにも適用可能であるなど、この発明はその趣旨を逸脱
しない範囲内で当業者の知識に基づき種々の改良、修
正、変形などを加えた態様で実施し得るものである。
この発明の範囲は上述した実施例によって限定されるも
のではない。たとえばDCT変換の代わりにフーリエ変
換など種々の直交変換を用いることも可能である。ま
た、ローパスや時間軸フィルタの特性は特に限定される
ものではなく、むしろこの特性を適宜変更することによ
って所望の検出精度を得ることができる。その他、顔の
表情だけでなくあらゆる可塑性物体の特徴を検出するた
めにも適用可能であるなど、この発明はその趣旨を逸脱
しない範囲内で当業者の知識に基づき種々の改良、修
正、変形などを加えた態様で実施し得るものである。
【0031】
【発明の効果】この発明に係る可塑性物体特徴検出装置
によれば、可塑性物体の特徴、たとえば顔の表情の映像
信号を周波数空間に変換することによりその形状の変化
を検出しているため、顔にマーカーを貼り付けるなどの
前準備を行なうことなく、実時間で顔の表情などを検出
することができ、しかもこれを単純なアルゴリズムによ
り構成される小規模な装置によって実現することができ
る。また、顔の表情が出やすい部分の周波数信号のみを
抽出しているため、その部分以外の動きを検出すること
によって誤動作が引起こされることはない。さらに、各
差分データをその前後の差分データを用いてフィルタリ
ングしているため、細かい動きを検出しすぎることによ
って誤動作が引起こされることもない。
によれば、可塑性物体の特徴、たとえば顔の表情の映像
信号を周波数空間に変換することによりその形状の変化
を検出しているため、顔にマーカーを貼り付けるなどの
前準備を行なうことなく、実時間で顔の表情などを検出
することができ、しかもこれを単純なアルゴリズムによ
り構成される小規模な装置によって実現することができ
る。また、顔の表情が出やすい部分の周波数信号のみを
抽出しているため、その部分以外の動きを検出すること
によって誤動作が引起こされることはない。さらに、各
差分データをその前後の差分データを用いてフィルタリ
ングしているため、細かい動きを検出しすぎることによ
って誤動作が引起こされることもない。
【図1】この発明の一実施例による顔表情検出装置の全
体構成を示すブロック図である。
体構成を示すブロック図である。
【図2】図1中のラスタブロック変換回路および周波数
変換回路で行なわれる離散的コサイン変換を説明するた
めの概念図である。
変換回路で行なわれる離散的コサイン変換を説明するた
めの概念図である。
【図3】図1中のエリア積分回路で設定される検出エリ
アを示す説明図である。
アを示す説明図である。
【図4】図1中の時間軸フィルタによる処理前と処理後
の差分データを表わすグラフである。
の差分データを表わすグラフである。
【図5】図1中の時間軸フィルタによる処理の一例を示
す説明図である。
す説明図である。
【図6】マーカーを用いて顔の表情を検出する従来の方
法を示す説明図である。
法を示す説明図である。
10 CCDカメラ 12 ローパスフィルタ 14 A/D変換回路 16 ラスタブロック変換回路 18 周波数変換回路 20 エリア積分回路 22 時間軸メモリ 24 定常状態記憶メモリ 26 減算器 28 時間軸フィルタ 30 正規化回路 36,38,40 検出エリア AV アナログ映像信号 AVL アナログ低域映像信号 DVL デジタル低域映像信号 F 周波数信号 FI 積分データ FN 標準積分データ FD,D1〜D6,D1′〜D6′ 差分データ
Claims (3)
- 【請求項1】 可塑性物体の特徴を検出する可塑性物体
特徴検出装置であって、 前記可塑性物体を撮影してアナログ映像信号を生成する
撮影手段と、 前記撮影手段から与えられるアナログ映像信号の中から
高域成分を除去する高域除去手段と、 前記高域除去手段から与えられるアナログ映像信号をデ
ジタル映像信号に変換するA/D変換手段と、 前記A/D変換手段から与えられるデジタル映像信号を
周波数空間における周波数信号に変換する周波数変換手
段と、 前記周波数変換手段から与えられる周波数信号の中から
前記可塑性物体の特徴を含む所定領域に対応する部分を
抽出する抽出手段と、 前記抽出手段から与えられる周波数信号を積分する積分
手段と、 前記積分手段から与えられる積分データを順次蓄積する
メモリ手段と、 前記メモリ手段に蓄積された積分データの各々と前記可
塑性物体の標準形状の対応する積分データとの差分デー
タを算出する差分手段と、 前記差分手段から順次与えられる差分データの各々をそ
の前後の差分データのいずれかを用いてフィルタリング
するフィルタリング手段と、 前記フィルタリング手段から与えられる差分データを正
規化することにより前記可塑性物体の標準形状からの変
位を算出する正規化手段とを備えた可塑性物体特徴検出
装置。 - 【請求項2】 前記可塑性物体の特徴が人間の顔の表情
であることを特徴とする請求項1に記載の可塑性物体特
徴検出装置。 - 【請求項3】 前記周波数変換手段が離散的コサイン変
換器であることを特徴とする請求項1または2に記載の
可塑性物体特徴検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6045395A JP2727066B2 (ja) | 1995-03-20 | 1995-03-20 | 可塑性物体特徴検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6045395A JP2727066B2 (ja) | 1995-03-20 | 1995-03-20 | 可塑性物体特徴検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08263623A true JPH08263623A (ja) | 1996-10-11 |
JP2727066B2 JP2727066B2 (ja) | 1998-03-11 |
Family
ID=13142713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6045395A Expired - Fee Related JP2727066B2 (ja) | 1995-03-20 | 1995-03-20 | 可塑性物体特徴検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2727066B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110426A (ja) * | 2007-10-31 | 2009-05-21 | Nippon Telegr & Teleph Corp <Ntt> | テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体 |
JP2010517427A (ja) * | 2007-01-23 | 2010-05-20 | ユークリッド・ディスカバリーズ・エルエルシー | 個人向けのビデオサービスを提供するシステムおよび方法 |
US8208732B2 (en) | 2007-09-28 | 2012-06-26 | Fujifilm Corporation | Image processing apparatus, image capturing apparatus, image processing method and recording medium |
US8908766B2 (en) | 2005-03-31 | 2014-12-09 | Euclid Discoveries, Llc | Computer method and apparatus for processing image data |
US8942283B2 (en) | 2005-03-31 | 2015-01-27 | Euclid Discoveries, Llc | Feature-based hybrid video codec comparing compression efficiency of encodings |
US9106977B2 (en) | 2006-06-08 | 2015-08-11 | Euclid Discoveries, Llc | Object archival systems and methods |
US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
US9621917B2 (en) | 2014-03-10 | 2017-04-11 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
-
1995
- 1995-03-20 JP JP6045395A patent/JP2727066B2/ja not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
US8908766B2 (en) | 2005-03-31 | 2014-12-09 | Euclid Discoveries, Llc | Computer method and apparatus for processing image data |
US8942283B2 (en) | 2005-03-31 | 2015-01-27 | Euclid Discoveries, Llc | Feature-based hybrid video codec comparing compression efficiency of encodings |
US8964835B2 (en) | 2005-03-31 | 2015-02-24 | Euclid Discoveries, Llc | Feature-based video compression |
US9106977B2 (en) | 2006-06-08 | 2015-08-11 | Euclid Discoveries, Llc | Object archival systems and methods |
JP2010517427A (ja) * | 2007-01-23 | 2010-05-20 | ユークリッド・ディスカバリーズ・エルエルシー | 個人向けのビデオサービスを提供するシステムおよび方法 |
US8208732B2 (en) | 2007-09-28 | 2012-06-26 | Fujifilm Corporation | Image processing apparatus, image capturing apparatus, image processing method and recording medium |
JP2009110426A (ja) * | 2007-10-31 | 2009-05-21 | Nippon Telegr & Teleph Corp <Ntt> | テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体 |
US9621917B2 (en) | 2014-03-10 | 2017-04-11 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
Also Published As
Publication number | Publication date |
---|---|
JP2727066B2 (ja) | 1998-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yacoob | Computing spatio-temporal representations of human faces | |
Benoit et al. | Using human visual system modeling for bio-inspired low level image processing | |
McDuff | Deep super resolution for recovering physiological information from videos | |
WO2017198040A1 (en) | Facial image processing apparatus, facial image processing method, and non-transitory computer-readable storage medium | |
CN102055834B (zh) | 一种移动终端的双摄像头拍照方法 | |
CN110837750B (zh) | 一种人脸质量评价方法与装置 | |
JP2008199549A (ja) | 監視画像処理方法、監視システム及び監視画像処理プログラム | |
JP2004021495A (ja) | 監視システムおよび監視方法 | |
JP2000036052A5 (ja) | 複数人物が存在する場合の人間の顔のロバスト追跡システム | |
KR100822476B1 (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
JP3732665B2 (ja) | 自動焦点制御装置及びその合焦動作決定方法 | |
JPH08263623A (ja) | 可塑性物体特徴検出装置 | |
CN108898079A (zh) | 一种监控方法及装置、存储介质、拍摄终端 | |
Gonzalez-Gonzalez et al. | Wavelet-based smoke detection in outdoor video sequences | |
ElSayed et al. | Ambient and wearable sensing for gait classification in pervasive healthcare environments | |
CN110910449B (zh) | 识别物体三维位置的方法和系统 | |
JP2840816B2 (ja) | 表情検出装置 | |
JPH1196366A (ja) | ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 | |
CN113805824B (zh) | 电子装置以及在显示设备上显示图像的方法 | |
JP5272775B2 (ja) | 電子スチルカメラ | |
CN111062904B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
CN110062150A (zh) | 一种自动对焦方法及装置 | |
JP6875646B2 (ja) | 画像処理装置、および、画像処理プログラム | |
CN115661906A (zh) | 一种多模态融合的人脸活体检测方法及系统 | |
WO2020263277A1 (en) | Landmark temporal smoothing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19971028 |
|
LAPS | Cancellation because of no payment of annual fees |