JP4074464B2 - 周期性を有する動きの検出方法および装置 - Google Patents
周期性を有する動きの検出方法および装置 Download PDFInfo
- Publication number
- JP4074464B2 JP4074464B2 JP2002049175A JP2002049175A JP4074464B2 JP 4074464 B2 JP4074464 B2 JP 4074464B2 JP 2002049175 A JP2002049175 A JP 2002049175A JP 2002049175 A JP2002049175 A JP 2002049175A JP 4074464 B2 JP4074464 B2 JP 4074464B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- periodicity
- max
- cluster
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、周期性を有する動きの検出方法および装置に係り、詳しくは、時間軸に対して周期的な動作や周期的に移動する物体の認識方法および装置に関するものである。本発明において、好適な例では、周期性を有する動きは手振りである。
【０００２】
【従来の技術】
人間と機械との間の自然なマシン・マン・インターフェースを実現するには、操作者の存在および操作する意思を認識することが重要である。その一手法として、操作者にとって自然な動作である手振りを用いることが考えられる。従来の画像からの手振りの検出方法では、カラー画像から肌色抽出を行なうことで手領域を抽出し、この重心座標に対してＦＦＴを行い、振動成分を評価することで手振りの検出を実現している。
【０００３】
【発明が解決しようとする課題】
しかしながら、この手法では、肌色抽出が不可欠なため、照明条件や肌色の個人差の影響を受け易い。したがって、本発明の目的は、手振りを含む周期性を有する動きの検出方法及び装置において、色情報が不要で照明条件に対してロバストである検出を行なうことにある。本発明の他の目的は、検出対象の領域を予め認識する画像処理を用いることなく、簡単な構成およびステップで、検出対象である動きを検出する方法および装置を提供することにある。
【０００４】
【課題を解決するための手段】
前記課題を解決するために本発明が採用した周期性を有する動きの検出方法は、以下の工程からなる：時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する；各画素の濃淡値の時系列変化から特徴量を取得する；そして、該取得した特徴量と検出対象の特徴量とを比較して検出対象の有無を判別する。
【０００５】
一つの態様では、本発明は以下の工程を備えている。
（ａ）時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する。
（ｂ）前記取得した低解像度画像の各画素の濃淡値の時系列に対してフーリエ変換を行ってパワースペクトルのパワーの最大値Ｇ ｍａｘ 、パワーの平均値Ａｖｅを特徴量として取得する。
（ｃ）周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタをそれぞれ備えた特徴空間Ｇ ｍａｘ ―Ａｖｅにおいて、前記取得した特徴量が前記周期性を有する動きのクラスタに属するか否かを線形判別分析により決定することで周期性を有する動きを検出する。
【０００６】
一つの態様では、本発明は以下の工程を備えている。
（ａ）時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する。
（ｂ）前記取得した低解像度画像の各画素の濃淡値の時系列に対してフーリエ変換を行ってパワースペクトルのパワーの最大値Ｇ ｍａｘ 、パワーの平均値Ａｖｅを取得し、パワーの最大値Ｇ ｍａｘ と、Ｇ ｍａｘ を平均値Ａｖｅで正規化した値Ｒを特徴量とする。
（ｃ）周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタをそれぞれ備えた特徴空間Ｇ ｍａｘ ―Ｒにおいて、前記取得した特徴量が前記周期性を有する動きのクラスタに属するか否かをマハラノビス距離を用いた判別分析により決定することで周期性を有する動きを検出する。
【０００７】
検出の対象となる動きの特徴量は、以下の工程によって得られる：対象となる動きの時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する；そして、各画素の濃淡値の時系列変化から該対象となる動きの特徴量を取得する。好ましくは、取得した特徴量から検出の対象となる動きのクラスタを形成する。
【０００８】
本発明に係る検出方法を装置として具現化することも可能である。該装置は、時系列濃淡画像を取得する撮像手段と、該時系列濃淡画像を低解像度画像に変換する変換手段と、低解像度画像の各画素の濃淡値を取得して格納する手段と、各画素の濃淡値の時系列変化から特徴量を抽出する手段と、検出対象である周期性を備えた動きの特徴量を記憶する手段と、該抽出手段で抽出された特徴量と該記憶手段に記憶されている特徴量とを比較する判別手段とを有する。このような装置は、ＣＣＤカメラ等の撮像手段とコンピュータとから構成することができる。コンピュータは、少なくとも、撮像手段とのインターフェース、記憶部、演算処理部を備えていればよい。
【０００９】
本発明の検出対象となる動きは、周期性を有する動きであれば限定されないが、一つの好ましい例では、検出対象は手振りである。
【００１０】
【発明の実施の形態】
［Ａ］手振りによる画像の濃淡値の周期的な変化
本発明について、好適な例である手振り検出に基づいて説明する。手振りは手の水平方向の周期的な動作と考えることができ、その周波数は通常は３Ｈｚないし４Ｈｚである。手を振るときには、手領域における濃淡値が手の濃淡値と背景の濃淡値との間で振動する。本発明では、前置処理として、画像の低解像度化を考えた。画像を低解像度化することによって、図１に示すように、振動のパターンが滑らかになる共に、ノイズに対するロバストを獲得し、計算コストも低減できる。
【００１１】
低解像度化の程度については次のように考えることができる。カメラから手までの距離をＬ［ｍ］、手振りの幅をＬＨ［ｍ］、カメラの水平角度をθ［ｒａｄ］、得られた画像の水平方向の画素数をａとする。H［画素］の画像における手振りの幅は以下のように表される。
【数１】
【００１２】
低解像度画像における手振りの幅はだいたい１画素よりも大きいことが必要である。したがって、H＞Pｌｉｍが満たされるべきである。ここで、Pｌｉｍは低解像度画像の画素に割り当てられた水平方向の画素数である。尚、低解像度の程度は、認識対象の振幅の大きさに依存するものであり、手振り以外の動きを認識する場合には、該対象となる動きに対して適切な低解像度化が選択される。
【００１３】
［Ｂ］濃淡値の時系列に対するＦＦＴ
図３に示すように、取得した濃淡画像をｍ×ｎの適当な画素数に低解像度化し、全画素の濃淡値Ｉ（ｉ，ｊ，ｔ）を時系列で取得する。Ｉ（ｉ，ｊ，ｔ）は、ｔ番目のフレームにおける（ｉ，ｊ）画素の濃淡値を表し、ｉ＝１，２，．．．．ｍ，ｊ＝１，２，．．．．ｎ，ｔは時系列のフレーム数である。具体的に言うと、ある注目画素（１０，１２）について、Ｉ（１０，１２，ｔ）＝１８０、Ｉ（１０，１２，ｔ＋１）＝１１５、・・・のように濃淡値を取得する。
【００１４】
図４において左図は元画像、右図は元画像を低解像度の画像に変換した低解像度画像である。図中の手振り領域に対応する画素では、図５に示すように時間変化に伴って濃淡値Ｉ（ｉ，ｊ，ｔ）が手の時と背景の時とで変化する。この濃淡変化は、ある一定の周期を持つため、定量化する手法としてＦＦＴを用いる。
【００１５】
各画素における濃淡値Ｉ（ｉ，ｊ，ｔ）に対してＦＦＴを行い、スペクトルから手振りを検出する。ＦＦＴによって得られたスペクトルを図６に示す。図６において、最大値Ｇｍａｘはパワーの最大値、Ａｖｅはパワーの平均値、ｋｍａｘはパワーの最大値Ｇｍａｘを与える周波数である。蛍光灯のちらつきのようなノイズの影響を除去して計算コストを低くするため、ＦＦＴは以下の式を満たす画素に対して行なった。
【数２】
【００１６】
［Ｃ］手振りの認識手法1
濃淡値の時系列から得られるパワースペクトルから特徴量を抽出する。ここでは、スペクトルのパワーの最大値Ｇｍａｘと、スペクトルのパワーの平均値Ａｖｅとの二つの特徴量を用いる。ＧｍａｘおよびＡｖｅは（３）式、（４）式でそれぞれ与えられる。Nはサンプル数、ＷはＤＦＴ（離散フーリエ変換）の回転子、ｍａｘ（ｆ）はｆの最大値である。
【数３】
【００１７】
手振りを検出するために、Ｇｍａｘと平均値Ａｖｅの特徴空間に線形判別法を適用する。特徴ベクトルが、ｘ＝［Ｇｍａｘ，Ａｖｅ］ｔ、手振りのクラスがω１、他の動作のクラスがω２、各クラスの平均ベクトルをそれぞれｍ１、ｍ２とする。散乱行列Ｓ１、Ｓ２はそれぞれ次式で表される。
【数４】
【００１８】
二つのクラスの全ての特徴ベクトルを用いることで、クラス内変動行列、クラス間変動行列が、それぞれ次式で表される。ｎｉはω１のサンプル数、ｍは全てのサンプルの平均ベクトルである。
【数５】
【００１９】
線形判別関数ｇ（ｘ）は以下のとおりとなる。
【数６】
【００２０】
（８）式におけるしきい値ａ０を決定するため、各クラスの標準偏差によって内部的に分割する方法を選択した。したがって、しきい値は以下のとおりとなる。
【数７】
【００２１】
（８）式において、ｇ（ｘ）＜０（ｘ∈ω１）の時、画素は手振りに対応するものとみなされる。認識をよりロバストにするため、複数のフレームにおいて連続してｇ（ｘ）＜０の場合に、手振りの決定を行なう。（１０）式、（１１）式のように公式化できる。
【数８】
【００２２】
上述した手振り認識処理の流れを図７に示す。先ず、画像を低解像度画像に変換する。そして、各画素の濃淡値を取得する。ここで、必要なサンプリング数が得られたかを判別する。必要なサンプリング数に達した場合には、濃淡値の変化がＩｄｉｆ以上であるかを判別する。濃淡値の変化がＩｄｉｆ以上である場合には、濃淡値の時系列に対するＦＦＴを行なう。ＦＦＴの結果から、ＧｍａｘとＡｖｅを抽出する。そして、判別分析を行なう。Ｊ＝１を満たす場合には、手振りが検出される。ＦＦＴは低解像度画像の全ての画素（定値の画素を除く）に対して個々に行なわれる。
【００２３】
図７に示す手振り認識処理を用いた実験例について説明する。全ての画素のＦＦＴ計算および認識処理を含む全ての計算は、ＰＣ（Ｐｅｎｔｉｕｍ IV
，１．４ＧＨｚ）で行なった。画像の入力、および低解像度化には画像入力ボードPicPort Color(Leutron Vision)、および画像処理ソフト（ＭＶＴｅｃ，ＨＡＬＣＯＮ）を用いた。また、ＣＣＤカメラとしては、手振り位置を注視させるためにＰａｎ−Ｔｉｌｔ機能を搭載したカメラ（ＳＯＮＹ，ＥＶＩ−Ｇ２０）を使用した。サンプリング数Ｎは１６とし、式(２)におけるIｔは５[画素]に設定した。サンプリング周期は約８０［ｍｓ］であった。
【００２４】
画像の解像度の決定について説明する。画像の解像度を、式（１）に従って決定した。パラメータは、ａ＝６４０［画素］、θ＝π／４［ｒａｄ］、Hｌ＝０．３［ｍ］であり、最大測定距離を８［ｍ］に設定した。Hは２９画素となる。よって、Pｌｉｍを、Ｈよりも小さい２５画素に設定し、原画像の２５×２５画素は低解像度化された画像の１画素に割り当てた。結果として、低解像度化画像の画素数は２５×１９［画素］に設定された。
【００２５】
線形判別関数の決定について説明する。手振りのクラスタω１および他の動作のクラスタω２を実験によって形成した。他の動作には数々のランダムな動作が含まれ、室内におけるランダムな歩行が例示される。図８、図９には、ω１、ω２のそれぞれにおけるＧｍａｘ―Ａｖｅの分布が示されている。距離は３〜８ｍに設定された。ω１、ω２のデータ数は２５００である。（６）式におけるクラス内散乱行列Ｓｗ、パターンの平均ｍｉは次のように求められる。
【数９】
したがって、（８）式における行列Ａは次のとおりとなる。
【数１０】
（９）式におけるａ０は−０．１４３となる。したがって、線形判別関数は以下のとおり与えられる。
【数１１】
【００２６】
ここで、得られたｇ（ｘ）を評価する。判別誤り率ｐｉを次のように置く。
【数１２】
ｎｉはクラスタｉにおけるサンプル数、ｎｗｉは判別誤り数である。図８、図９に示すものにおいて、ｐ１＝４．２０％（タイプ１誤り：手振りの画素を他の動作のものと認識）であり、ｐ２＝２．２８％（タイプ２誤り：他の動作の画素を手振りのものと認識）である。誤り率は極めて低い。
【００２７】
手振りの検出について説明する。実験は、距離や照明条件を変えて、５つの対象について行なった。照明は蛍光灯を用いた。手の周囲の照度は、６０〜１９０［ｌｕｘ］（条件１：暗）、２５０−３１５［ｌｕｘ］（条件２：明）である。実行された動作は以下のとおりである。（１）カメラアングルの中の任意の場所で２秒間手繰りを行なう、（２）２秒間手振りを中断し、次の手振りを行なう。動作は２０回繰り返された。２秒以内で手振りが検出された場合には、手振り認識が成功したものとする。表１に結果を示す。距離が４〜８ｍの場合には、極めて高い認識率がある。距離が大きくなると（７，８ｍ）、手振りの幅が小さくなり認識率が低くなる。
【００２８】
さらに、条件１の場合のほうが認識率が高いことがわかった。これは、手領域と背景の照度の差によるものだと考えられる。より暗い条件だと、背景の壁はより暗く（３０〜５０［ｌｕｘ］）、手領域と背景との濃度差がより大きくなる。これに対して、より明るい条件だと、背景の壁はより明るく（２３０〜３００［ｌｕｘ］）、手領域と背景との濃度差がより小さくなる。
【表１】
【００２９】
次いで、認識誤りの実験を行なった。一人が、手振りを除く、数々の動作、例えば、室内のランダム歩行、を行なった。距離は１〜８ｍである。動作は６００秒間継続して行なわれた。この実験において、認識誤りは一切生じなかった。蛍光灯のちらつきも認識に何ら影響を与えなかった。したがって、本手法は、実用性の高いものであることがわかる。
【００３０】
[Ｄ] 手振りの認識手法２
線形判別分析法に基づく手振り認識の判別について説明したが、次に、他の実施形態として、マハラノビス距離を用いる判別法について説明する。まず、手振り領域に対応する画素の濃淡値に対してＦＦＴを行い、スペクトルから特徴空間を定め、手振りのクラスタを形成する。認識時には、各画素で得られた特徴量とのマハラノビス距離を求め、その値がしきい値より小さい画素がある場合に手振りであると認識する。
【００３１】
特徴量にはパワーの最大値Ｇｍａｘと、Ｇｍａｘを平均値Ａｖｅで正規化した値Ｒを用いる。ＲおよびＡｖｅは次式で与えられる。Ｎはサンプリング数である。
【数１３】
【００３２】
手振りのクラスタの平均ベクトルをＭ＝［ＭＧｍａｘＭＲ］Ｔとし、共分散行列をＶとする。計測された特徴量ベクトルＸとのマハラノビス距離ｄＭは次式で与えられる。
【数１４】
【００３３】
マハラノビス距離を用いた手振り認識処理の流れを図１０に示す。先ず、画像をｍ×ｎに低解像度化する。次いで、全ての画素の濃淡値Ｉ（ｉ，ｊ，ｔ）を取得する。取得した画像が必要にサンプリング数に達すると、濃淡値の時系列に対してＦＦＴを行なう。次に、ＦＦＴによって得られた特徴量から、手振りのクラスタとのマハラノビス距離ｄＭを算出する。ｄＭがしきい値よりも小さい場合には、手振りを検出する。手振り検出の精度を上げるには、連続して数フレームのｄＭがしきい値よりも小さい場合には、手振りを検出するように設定する。例えば、連続して次の４フレームが、ｄＭ［ｉ，ｊ，ｔ］＜しきい値、ｄＭ［ｉ，ｊ，ｔ−１］＜しきい値、ｄＭ［ｉ，ｊ，ｔ−２］＜しきい値、ｄＭ［ｉ，ｊ，ｔ−３］＜しきい値の場合に、手振りを検出する。
【００３４】
図１０に示す手振り認識処理を用いた実験例について説明する。画像の入力、および低解像度化には画像処理ソフト（ＭＶＴｅｃ，ＨＡＬＣＯＮ）を用い、ＦＦＴ計算、認識処理等はＰＣ（Ｐｅｎｔｉｕｍ（登録商標）４，１．４ＧＨｚ）で行なった。また、手振り位置を注視させるためにＰａｎ−Ｔｉｌｔ機能を搭載したカメラ（ＳＯＮＹ，ＥＶＩ−Ｇ２０）を使用した。入力画像は６４０×４８０画素を２２×１７画素に低解像度化したものを用いた。サンプリング数Ｎは１６とし、サンプリング周期は約８０［ｍｓ］であった。
【００３５】
クラスタの形成について説明する。実験により手振りクラスタを形成した。手振りの速さは約２．５Ｈｚで特徴量の計測を行なった。本実験では、手振りの９１％でｋｍａｘ＝４に集約したため、ｋｍａｘ＝４のみでクラスタを形成した。計測距離２［ｍ］から７［ｍ］における手振りに対応する画素のＧｍａｘ−Ｒの分布を図１１に示す。データ数は約２６００である。図１１において、分布の塊が二つ形成されている。Ｇｍａｘ、Ｒの値が小さい方の塊は、距離が６［ｍ］、７［ｍ］の時である。これは、画像の解像度を低くしたことにより、手振りの振幅が１画素以内になり、濃淡値の変化が微小となったためである。よって別々のクラスタを形成し、それぞれの平均ベクトルＭ、共分散行列Ｖは以下のとおりである。
【数１５】
【００３６】
次に、２人の人物が椅子に座り、2人の人物が左右に歩行している室内の風景に対し、約１分間計測した時の、全画素に対するＧｍａｘ−Ｒの分布を図１１に示す。データ数は約４５００である。Ｇｍａｘ、Ｒは共に小さい値に集中し、手振りの場合との区別がほぼ可能である。図１１と図１２を重ねて見た場合、形成したクラスタ内に手振り以外のデータが約４００個含まれている。フレーム毎で見た場合、手振りの動作（図１１）では、Ｇｍａｘ、Ｒは連続的に大きい値をとり、手振り以外の動作（図１２）では一時的であるため、両者の区分は可能であった。
【００３７】
手振りの検出について説明する。被験者１０人を対象に手振りの検出実験を行なった。計測距離が２ｍから７ｍで、実時間での検出が行なえた。検出に失敗した例として、極端に手振りが速いまたは遅い場合が挙げられた。また、手振り以外の動作や蛍光灯のちらつきを手振りと誤認識することは無かった。
【００３８】
以上述べてきたように、本発明は、低解像度画像の濃淡変化のみに着目し、濃淡変化を定量化するためにＦＦＴを用いる。ＦＦＴは高速な処理であり、かつシステムの小型化、ハードウェア化が期待でき、汎用性のあるインターフェースが実現できる。本発明に係る手振り認識法は、好適な例では、インテリジェントルームを用いた会議システムや知能ロボットとのコミュニケーションにおけるマン・マシン・インターフェースに利用される。
【００３９】
また、本発明が照明に対してロバストであることを利用して次のような利用もできる。肌色抽出を用いてジェスチャ認識を行なう場合において、肌色抽出は照明の影響を受け易く、特に、ジェスチャ登録時と認識時の照明条件が異なることで、認識の可否が左右される。そのため、認識時には肌色抽出のための閾値を再設定する必要がある。その場合に、本発明の手法によって画像内の手振りが検出された点におけるＹＵＶの変化から、手領域を抽出する再に使用するＹＵＶ閾値を決定することができる。こうすることで、照明条件の変化に依らず、操作時の閾値を設定することができる。
【００４０】
【発明の効果】
本発明に係る検出法および装置は、画像の濃淡変化のみに着目して対象を検出するものであるので、照明条件に対してロバストである。時系列の濃淡変化から抽出した特徴量に基づいて対象を認識するものであるので、シンプルな構成およびステップでシステムを構成できる。特徴量の検出をＦＦＴで行なうものでは、低コストでありながら、高速でリアルタイムで対象物を検出することができる。
【図面の簡単な説明】
【図１】手振りによる濃淡値の周期的変化を示す図であり、上図は高解像度画像、下図は低解像度画像の場合を表している。
【図２】 手振りの振幅を示す図である。
【図３】時系列低解像度画像を示す図である。
【図４】画像の低解像度化を示す図であり、左図は元画像、右図は低解像度画像である。
【図５】手振り領域のある注目画素についての濃淡変化を例示する図である。
【図６】時系列の周波数変化に対してＦＦＴを行って得られたスペクトルと特徴量とを示す図である。
【図７】手振り認識の手順を示すフローチャートである。
【図８】手振りのＧｍａｘ−Ａｖｅの分布を示す図である。
【図９】手振り以外の動作のＧｍａｘ−Ａｖｅの分布を示す図である。
【図１０】手振り認識の手順を示すフローチャートである。
【図１１】手振り動作のＧｍａｘ−Ｒの分布を示す図である。
【図１２】手振り以外の動作のＧｍａｘ−Ｒの分布を示す図である。
【発明の属する技術分野】
本発明は、周期性を有する動きの検出方法および装置に係り、詳しくは、時間軸に対して周期的な動作や周期的に移動する物体の認識方法および装置に関するものである。本発明において、好適な例では、周期性を有する動きは手振りである。
【０００２】
【従来の技術】
人間と機械との間の自然なマシン・マン・インターフェースを実現するには、操作者の存在および操作する意思を認識することが重要である。その一手法として、操作者にとって自然な動作である手振りを用いることが考えられる。従来の画像からの手振りの検出方法では、カラー画像から肌色抽出を行なうことで手領域を抽出し、この重心座標に対してＦＦＴを行い、振動成分を評価することで手振りの検出を実現している。
【０００３】
【発明が解決しようとする課題】
しかしながら、この手法では、肌色抽出が不可欠なため、照明条件や肌色の個人差の影響を受け易い。したがって、本発明の目的は、手振りを含む周期性を有する動きの検出方法及び装置において、色情報が不要で照明条件に対してロバストである検出を行なうことにある。本発明の他の目的は、検出対象の領域を予め認識する画像処理を用いることなく、簡単な構成およびステップで、検出対象である動きを検出する方法および装置を提供することにある。
【０００４】
【課題を解決するための手段】
前記課題を解決するために本発明が採用した周期性を有する動きの検出方法は、以下の工程からなる：時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する；各画素の濃淡値の時系列変化から特徴量を取得する；そして、該取得した特徴量と検出対象の特徴量とを比較して検出対象の有無を判別する。
【０００５】
一つの態様では、本発明は以下の工程を備えている。
（ａ）時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する。
（ｂ）前記取得した低解像度画像の各画素の濃淡値の時系列に対してフーリエ変換を行ってパワースペクトルのパワーの最大値Ｇ ｍａｘ 、パワーの平均値Ａｖｅを特徴量として取得する。
（ｃ）周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタをそれぞれ備えた特徴空間Ｇ ｍａｘ ―Ａｖｅにおいて、前記取得した特徴量が前記周期性を有する動きのクラスタに属するか否かを線形判別分析により決定することで周期性を有する動きを検出する。
【０００６】
一つの態様では、本発明は以下の工程を備えている。
（ａ）時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する。
（ｂ）前記取得した低解像度画像の各画素の濃淡値の時系列に対してフーリエ変換を行ってパワースペクトルのパワーの最大値Ｇ ｍａｘ 、パワーの平均値Ａｖｅを取得し、パワーの最大値Ｇ ｍａｘ と、Ｇ ｍａｘ を平均値Ａｖｅで正規化した値Ｒを特徴量とする。
（ｃ）周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタをそれぞれ備えた特徴空間Ｇ ｍａｘ ―Ｒにおいて、前記取得した特徴量が前記周期性を有する動きのクラスタに属するか否かをマハラノビス距離を用いた判別分析により決定することで周期性を有する動きを検出する。
【０００７】
検出の対象となる動きの特徴量は、以下の工程によって得られる：対象となる動きの時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する；そして、各画素の濃淡値の時系列変化から該対象となる動きの特徴量を取得する。好ましくは、取得した特徴量から検出の対象となる動きのクラスタを形成する。
【０００８】
本発明に係る検出方法を装置として具現化することも可能である。該装置は、時系列濃淡画像を取得する撮像手段と、該時系列濃淡画像を低解像度画像に変換する変換手段と、低解像度画像の各画素の濃淡値を取得して格納する手段と、各画素の濃淡値の時系列変化から特徴量を抽出する手段と、検出対象である周期性を備えた動きの特徴量を記憶する手段と、該抽出手段で抽出された特徴量と該記憶手段に記憶されている特徴量とを比較する判別手段とを有する。このような装置は、ＣＣＤカメラ等の撮像手段とコンピュータとから構成することができる。コンピュータは、少なくとも、撮像手段とのインターフェース、記憶部、演算処理部を備えていればよい。
【０００９】
本発明の検出対象となる動きは、周期性を有する動きであれば限定されないが、一つの好ましい例では、検出対象は手振りである。
【００１０】
【発明の実施の形態】
［Ａ］手振りによる画像の濃淡値の周期的な変化
本発明について、好適な例である手振り検出に基づいて説明する。手振りは手の水平方向の周期的な動作と考えることができ、その周波数は通常は３Ｈｚないし４Ｈｚである。手を振るときには、手領域における濃淡値が手の濃淡値と背景の濃淡値との間で振動する。本発明では、前置処理として、画像の低解像度化を考えた。画像を低解像度化することによって、図１に示すように、振動のパターンが滑らかになる共に、ノイズに対するロバストを獲得し、計算コストも低減できる。
【００１１】
低解像度化の程度については次のように考えることができる。カメラから手までの距離をＬ［ｍ］、手振りの幅をＬＨ［ｍ］、カメラの水平角度をθ［ｒａｄ］、得られた画像の水平方向の画素数をａとする。H［画素］の画像における手振りの幅は以下のように表される。
【数１】
低解像度画像における手振りの幅はだいたい１画素よりも大きいことが必要である。したがって、H＞Pｌｉｍが満たされるべきである。ここで、Pｌｉｍは低解像度画像の画素に割り当てられた水平方向の画素数である。尚、低解像度の程度は、認識対象の振幅の大きさに依存するものであり、手振り以外の動きを認識する場合には、該対象となる動きに対して適切な低解像度化が選択される。
【００１３】
［Ｂ］濃淡値の時系列に対するＦＦＴ
図３に示すように、取得した濃淡画像をｍ×ｎの適当な画素数に低解像度化し、全画素の濃淡値Ｉ（ｉ，ｊ，ｔ）を時系列で取得する。Ｉ（ｉ，ｊ，ｔ）は、ｔ番目のフレームにおける（ｉ，ｊ）画素の濃淡値を表し、ｉ＝１，２，．．．．ｍ，ｊ＝１，２，．．．．ｎ，ｔは時系列のフレーム数である。具体的に言うと、ある注目画素（１０，１２）について、Ｉ（１０，１２，ｔ）＝１８０、Ｉ（１０，１２，ｔ＋１）＝１１５、・・・のように濃淡値を取得する。
【００１４】
図４において左図は元画像、右図は元画像を低解像度の画像に変換した低解像度画像である。図中の手振り領域に対応する画素では、図５に示すように時間変化に伴って濃淡値Ｉ（ｉ，ｊ，ｔ）が手の時と背景の時とで変化する。この濃淡変化は、ある一定の周期を持つため、定量化する手法としてＦＦＴを用いる。
【００１５】
各画素における濃淡値Ｉ（ｉ，ｊ，ｔ）に対してＦＦＴを行い、スペクトルから手振りを検出する。ＦＦＴによって得られたスペクトルを図６に示す。図６において、最大値Ｇｍａｘはパワーの最大値、Ａｖｅはパワーの平均値、ｋｍａｘはパワーの最大値Ｇｍａｘを与える周波数である。蛍光灯のちらつきのようなノイズの影響を除去して計算コストを低くするため、ＦＦＴは以下の式を満たす画素に対して行なった。
【数２】
［Ｃ］手振りの認識手法1
濃淡値の時系列から得られるパワースペクトルから特徴量を抽出する。ここでは、スペクトルのパワーの最大値Ｇｍａｘと、スペクトルのパワーの平均値Ａｖｅとの二つの特徴量を用いる。ＧｍａｘおよびＡｖｅは（３）式、（４）式でそれぞれ与えられる。Nはサンプル数、ＷはＤＦＴ（離散フーリエ変換）の回転子、ｍａｘ（ｆ）はｆの最大値である。
【数３】
手振りを検出するために、Ｇｍａｘと平均値Ａｖｅの特徴空間に線形判別法を適用する。特徴ベクトルが、ｘ＝［Ｇｍａｘ，Ａｖｅ］ｔ、手振りのクラスがω１、他の動作のクラスがω２、各クラスの平均ベクトルをそれぞれｍ１、ｍ２とする。散乱行列Ｓ１、Ｓ２はそれぞれ次式で表される。
【数４】
二つのクラスの全ての特徴ベクトルを用いることで、クラス内変動行列、クラス間変動行列が、それぞれ次式で表される。ｎｉはω１のサンプル数、ｍは全てのサンプルの平均ベクトルである。
【数５】
線形判別関数ｇ（ｘ）は以下のとおりとなる。
【数６】
（８）式におけるしきい値ａ０を決定するため、各クラスの標準偏差によって内部的に分割する方法を選択した。したがって、しきい値は以下のとおりとなる。
【数７】
（８）式において、ｇ（ｘ）＜０（ｘ∈ω１）の時、画素は手振りに対応するものとみなされる。認識をよりロバストにするため、複数のフレームにおいて連続してｇ（ｘ）＜０の場合に、手振りの決定を行なう。（１０）式、（１１）式のように公式化できる。
【数８】
上述した手振り認識処理の流れを図７に示す。先ず、画像を低解像度画像に変換する。そして、各画素の濃淡値を取得する。ここで、必要なサンプリング数が得られたかを判別する。必要なサンプリング数に達した場合には、濃淡値の変化がＩｄｉｆ以上であるかを判別する。濃淡値の変化がＩｄｉｆ以上である場合には、濃淡値の時系列に対するＦＦＴを行なう。ＦＦＴの結果から、ＧｍａｘとＡｖｅを抽出する。そして、判別分析を行なう。Ｊ＝１を満たす場合には、手振りが検出される。ＦＦＴは低解像度画像の全ての画素（定値の画素を除く）に対して個々に行なわれる。
【００２３】
図７に示す手振り認識処理を用いた実験例について説明する。全ての画素のＦＦＴ計算および認識処理を含む全ての計算は、ＰＣ（Ｐｅｎｔｉｕｍ IV
，１．４ＧＨｚ）で行なった。画像の入力、および低解像度化には画像入力ボードPicPort Color(Leutron Vision)、および画像処理ソフト（ＭＶＴｅｃ，ＨＡＬＣＯＮ）を用いた。また、ＣＣＤカメラとしては、手振り位置を注視させるためにＰａｎ−Ｔｉｌｔ機能を搭載したカメラ（ＳＯＮＹ，ＥＶＩ−Ｇ２０）を使用した。サンプリング数Ｎは１６とし、式(２)におけるIｔは５[画素]に設定した。サンプリング周期は約８０［ｍｓ］であった。
【００２４】
画像の解像度の決定について説明する。画像の解像度を、式（１）に従って決定した。パラメータは、ａ＝６４０［画素］、θ＝π／４［ｒａｄ］、Hｌ＝０．３［ｍ］であり、最大測定距離を８［ｍ］に設定した。Hは２９画素となる。よって、Pｌｉｍを、Ｈよりも小さい２５画素に設定し、原画像の２５×２５画素は低解像度化された画像の１画素に割り当てた。結果として、低解像度化画像の画素数は２５×１９［画素］に設定された。
【００２５】
線形判別関数の決定について説明する。手振りのクラスタω１および他の動作のクラスタω２を実験によって形成した。他の動作には数々のランダムな動作が含まれ、室内におけるランダムな歩行が例示される。図８、図９には、ω１、ω２のそれぞれにおけるＧｍａｘ―Ａｖｅの分布が示されている。距離は３〜８ｍに設定された。ω１、ω２のデータ数は２５００である。（６）式におけるクラス内散乱行列Ｓｗ、パターンの平均ｍｉは次のように求められる。
【数９】
【数１０】
【数１１】
ここで、得られたｇ（ｘ）を評価する。判別誤り率ｐｉを次のように置く。
【数１２】
【００２７】
手振りの検出について説明する。実験は、距離や照明条件を変えて、５つの対象について行なった。照明は蛍光灯を用いた。手の周囲の照度は、６０〜１９０［ｌｕｘ］（条件１：暗）、２５０−３１５［ｌｕｘ］（条件２：明）である。実行された動作は以下のとおりである。（１）カメラアングルの中の任意の場所で２秒間手繰りを行なう、（２）２秒間手振りを中断し、次の手振りを行なう。動作は２０回繰り返された。２秒以内で手振りが検出された場合には、手振り認識が成功したものとする。表１に結果を示す。距離が４〜８ｍの場合には、極めて高い認識率がある。距離が大きくなると（７，８ｍ）、手振りの幅が小さくなり認識率が低くなる。
【００２８】
さらに、条件１の場合のほうが認識率が高いことがわかった。これは、手領域と背景の照度の差によるものだと考えられる。より暗い条件だと、背景の壁はより暗く（３０〜５０［ｌｕｘ］）、手領域と背景との濃度差がより大きくなる。これに対して、より明るい条件だと、背景の壁はより明るく（２３０〜３００［ｌｕｘ］）、手領域と背景との濃度差がより小さくなる。
【表１】
次いで、認識誤りの実験を行なった。一人が、手振りを除く、数々の動作、例えば、室内のランダム歩行、を行なった。距離は１〜８ｍである。動作は６００秒間継続して行なわれた。この実験において、認識誤りは一切生じなかった。蛍光灯のちらつきも認識に何ら影響を与えなかった。したがって、本手法は、実用性の高いものであることがわかる。
【００３０】
[Ｄ] 手振りの認識手法２
線形判別分析法に基づく手振り認識の判別について説明したが、次に、他の実施形態として、マハラノビス距離を用いる判別法について説明する。まず、手振り領域に対応する画素の濃淡値に対してＦＦＴを行い、スペクトルから特徴空間を定め、手振りのクラスタを形成する。認識時には、各画素で得られた特徴量とのマハラノビス距離を求め、その値がしきい値より小さい画素がある場合に手振りであると認識する。
【００３１】
特徴量にはパワーの最大値Ｇｍａｘと、Ｇｍａｘを平均値Ａｖｅで正規化した値Ｒを用いる。ＲおよびＡｖｅは次式で与えられる。Ｎはサンプリング数である。
【数１３】
手振りのクラスタの平均ベクトルをＭ＝［ＭＧｍａｘＭＲ］Ｔとし、共分散行列をＶとする。計測された特徴量ベクトルＸとのマハラノビス距離ｄＭは次式で与えられる。
【数１４】
マハラノビス距離を用いた手振り認識処理の流れを図１０に示す。先ず、画像をｍ×ｎに低解像度化する。次いで、全ての画素の濃淡値Ｉ（ｉ，ｊ，ｔ）を取得する。取得した画像が必要にサンプリング数に達すると、濃淡値の時系列に対してＦＦＴを行なう。次に、ＦＦＴによって得られた特徴量から、手振りのクラスタとのマハラノビス距離ｄＭを算出する。ｄＭがしきい値よりも小さい場合には、手振りを検出する。手振り検出の精度を上げるには、連続して数フレームのｄＭがしきい値よりも小さい場合には、手振りを検出するように設定する。例えば、連続して次の４フレームが、ｄＭ［ｉ，ｊ，ｔ］＜しきい値、ｄＭ［ｉ，ｊ，ｔ−１］＜しきい値、ｄＭ［ｉ，ｊ，ｔ−２］＜しきい値、ｄＭ［ｉ，ｊ，ｔ−３］＜しきい値の場合に、手振りを検出する。
【００３４】
図１０に示す手振り認識処理を用いた実験例について説明する。画像の入力、および低解像度化には画像処理ソフト（ＭＶＴｅｃ，ＨＡＬＣＯＮ）を用い、ＦＦＴ計算、認識処理等はＰＣ（Ｐｅｎｔｉｕｍ（登録商標）４，１．４ＧＨｚ）で行なった。また、手振り位置を注視させるためにＰａｎ−Ｔｉｌｔ機能を搭載したカメラ（ＳＯＮＹ，ＥＶＩ−Ｇ２０）を使用した。入力画像は６４０×４８０画素を２２×１７画素に低解像度化したものを用いた。サンプリング数Ｎは１６とし、サンプリング周期は約８０［ｍｓ］であった。
【００３５】
クラスタの形成について説明する。実験により手振りクラスタを形成した。手振りの速さは約２．５Ｈｚで特徴量の計測を行なった。本実験では、手振りの９１％でｋｍａｘ＝４に集約したため、ｋｍａｘ＝４のみでクラスタを形成した。計測距離２［ｍ］から７［ｍ］における手振りに対応する画素のＧｍａｘ−Ｒの分布を図１１に示す。データ数は約２６００である。図１１において、分布の塊が二つ形成されている。Ｇｍａｘ、Ｒの値が小さい方の塊は、距離が６［ｍ］、７［ｍ］の時である。これは、画像の解像度を低くしたことにより、手振りの振幅が１画素以内になり、濃淡値の変化が微小となったためである。よって別々のクラスタを形成し、それぞれの平均ベクトルＭ、共分散行列Ｖは以下のとおりである。
【数１５】
次に、２人の人物が椅子に座り、2人の人物が左右に歩行している室内の風景に対し、約１分間計測した時の、全画素に対するＧｍａｘ−Ｒの分布を図１１に示す。データ数は約４５００である。Ｇｍａｘ、Ｒは共に小さい値に集中し、手振りの場合との区別がほぼ可能である。図１１と図１２を重ねて見た場合、形成したクラスタ内に手振り以外のデータが約４００個含まれている。フレーム毎で見た場合、手振りの動作（図１１）では、Ｇｍａｘ、Ｒは連続的に大きい値をとり、手振り以外の動作（図１２）では一時的であるため、両者の区分は可能であった。
【００３７】
手振りの検出について説明する。被験者１０人を対象に手振りの検出実験を行なった。計測距離が２ｍから７ｍで、実時間での検出が行なえた。検出に失敗した例として、極端に手振りが速いまたは遅い場合が挙げられた。また、手振り以外の動作や蛍光灯のちらつきを手振りと誤認識することは無かった。
【００３８】
以上述べてきたように、本発明は、低解像度画像の濃淡変化のみに着目し、濃淡変化を定量化するためにＦＦＴを用いる。ＦＦＴは高速な処理であり、かつシステムの小型化、ハードウェア化が期待でき、汎用性のあるインターフェースが実現できる。本発明に係る手振り認識法は、好適な例では、インテリジェントルームを用いた会議システムや知能ロボットとのコミュニケーションにおけるマン・マシン・インターフェースに利用される。
【００３９】
また、本発明が照明に対してロバストであることを利用して次のような利用もできる。肌色抽出を用いてジェスチャ認識を行なう場合において、肌色抽出は照明の影響を受け易く、特に、ジェスチャ登録時と認識時の照明条件が異なることで、認識の可否が左右される。そのため、認識時には肌色抽出のための閾値を再設定する必要がある。その場合に、本発明の手法によって画像内の手振りが検出された点におけるＹＵＶの変化から、手領域を抽出する再に使用するＹＵＶ閾値を決定することができる。こうすることで、照明条件の変化に依らず、操作時の閾値を設定することができる。
【００４０】
【発明の効果】
本発明に係る検出法および装置は、画像の濃淡変化のみに着目して対象を検出するものであるので、照明条件に対してロバストである。時系列の濃淡変化から抽出した特徴量に基づいて対象を認識するものであるので、シンプルな構成およびステップでシステムを構成できる。特徴量の検出をＦＦＴで行なうものでは、低コストでありながら、高速でリアルタイムで対象物を検出することができる。
【図面の簡単な説明】
【図１】手振りによる濃淡値の周期的変化を示す図であり、上図は高解像度画像、下図は低解像度画像の場合を表している。
【図２】 手振りの振幅を示す図である。
【図３】時系列低解像度画像を示す図である。
【図４】画像の低解像度化を示す図であり、左図は元画像、右図は低解像度画像である。
【図５】手振り領域のある注目画素についての濃淡変化を例示する図である。
【図６】時系列の周波数変化に対してＦＦＴを行って得られたスペクトルと特徴量とを示す図である。
【図７】手振り認識の手順を示すフローチャートである。
【図８】手振りのＧｍａｘ−Ａｖｅの分布を示す図である。
【図９】手振り以外の動作のＧｍａｘ−Ａｖｅの分布を示す図である。
【図１０】手振り認識の手順を示すフローチャートである。
【図１１】手振り動作のＧｍａｘ−Ｒの分布を示す図である。
【図１２】手振り以外の動作のＧｍａｘ−Ｒの分布を示す図である。
Claims (8)
- 以下の工程を含むことを特徴とする画像から周期性を有する動きを検出する方法。
（ａ）時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する。
（ｂ）前記取得した低解像度画像の各画素の濃淡値の時系列に対してフーリエ変換を行ってパワースペクトルのパワーの最大値Ｇ ｍａｘ 、パワーの平均値Ａｖｅを特徴量として取得する。
（ｃ）周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタをそれぞれ備えた特徴空間Ｇ ｍａｘ ―Ａｖｅにおいて、前記取得した特徴量が前記周期性を有する動きのクラスタに属するか否かを線形判別分析により決定することで周期性を有する動きを検出する。 - 請求項１において、前記工程（ｃ）における周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタは、前記工程（ａ）（ｂ）によって形成されることを特徴とする検出方法。
- 以下の工程を含むことを特徴とする画像から周期性を有する動きを検出する方法。
（ａ）時系列濃淡画像を低解像度化し、低解像度画像の各画素の濃淡値を取得する。
（ｂ）前記取得した低解像度画像の各画素の濃淡値の時系列に対してフーリエ変換を行ってパワースペクトルのパワーの最大値Ｇ ｍａｘ 、パワーの平均値Ａｖｅを取得し、パワーの最大値Ｇ ｍａｘ と、Ｇ ｍａｘ を平均値Ａｖｅで正規化した値Ｒを特徴量とする。
（ｃ）周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタをそれぞれ備えた特徴空間Ｇ ｍａｘ ―Ｒにおいて、前記取得した特徴量が前記周期性を有する動きのクラスタに属するか否かをマハラノビス距離を用いた判別分析により決定することで周期性を有する動きを検出する。 - 請求項３において、前記工程（ｃ）における周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタは、前記工程（ａ）（ｂ）によって形成されることを特徴とする検出方法。
- 請求項１乃至４いずれかにおいて、工程（ｂ）のフーリエ変換はＦＦＴであることを特徴とする検出方法。
- 請求項１乃至５いずれかにおいて、該周期性を有する動きは、手振りであることを特徴とする検出方法。
- 時系列濃淡画像を取得する撮像手段と、
該時系列濃淡画像を低解像度画像に変換する変換手段と、
低解像度画像の各画素の濃淡値を取得して格納する手段と、
各画素の濃淡値の時系列に対してフーリエ変換を行ってパワースペクトルのパワーの最大値Ｇ ｍａｘ 、パワーの平均値Ａｖｅを特徴量として抽出する手段と、
周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタをそれぞれ備えた特徴空間Ｇ ｍａｘ ―Ａｖｅにおける周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタの特徴量Ｇ ｍａｘ ，Ａｖｅを記憶する手段と、
前記特徴空間Ｇ ｍａｘ ―Ａｖｅにおいて、前記抽出手段で抽出された特徴量が前記周期性を有する動きのクラスタに属するか否かを線形判別分析により決定する判別分析手段と、
を有することを特徴とする周期性を備えた動きの検出装置。 - 時系列濃淡画像を取得する撮像手段と、
該時系列濃淡画像を低解像度画像に変換する変換手段と、
低解像度画像の各画素の濃淡値を取得して格納する手段と、
各画素の濃淡値の時系列に対してフーリエ変換を行ってパワースペクトルのパワーの最大値Ｇ ｍａｘ 、パワーの平均値Ａｖｅを取得し、パワーの最大値Ｇ ｍａｘ と、Ｇ ｍａｘ を平均値Ａｖｅで正規化した値Ｒを特徴量として抽出する手段と、
周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタをそれぞれ備えた特徴空間Ｇ ｍａｘ ―Ｒにおける周期性を有する動きのクラスタと周期性を有する動き以外の動きのクラスタの特徴量Ｇ ｍａｘ ，Ｒを記憶する手段と、
前記特徴空間Ｇ ｍａｘ ―Ｒにおいて、前記抽出手段で抽出された特徴量が前記周期性を有する動きのクラスタに属するか否かをマハラノビス距離を用いて決定する判別分析手段と、
を有することを特徴とする周期性を備えた動きの検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002049175A JP4074464B2 (ja) | 2002-02-26 | 2002-02-26 | 周期性を有する動きの検出方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002049175A JP4074464B2 (ja) | 2002-02-26 | 2002-02-26 | 周期性を有する動きの検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003248829A JP2003248829A (ja) | 2003-09-05 |
| JP4074464B2 true JP4074464B2 (ja) | 2008-04-09 |
Family
ID=28661753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002049175A Expired - Fee Related JP4074464B2 (ja) | 2002-02-26 | 2002-02-26 | 周期性を有する動きの検出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4074464B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005301693A (ja) * | 2004-04-12 | 2005-10-27 | Japan Science & Technology Agency | 動画編集システム |
| JP5303355B2 (ja) * | 2009-05-21 | 2013-10-02 | 学校法人 中央大学 | 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体 |
| JP4548542B1 (ja) * | 2009-06-30 | 2010-09-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| DE102012216937A1 (de) * | 2012-09-20 | 2014-03-20 | E.G.O. Elektro-Gerätebau GmbH | Verfahren zur Erfassung von Handgesten zur Bedienung eines Haushaltsgeräts, Erfassungseinrichtung und Haushaltsgerät |
| KR101993010B1 (ko) * | 2013-02-28 | 2019-06-25 | 고려대학교 산학협력단 | 시공간 패턴에 기반한 비디오 분석 장치 및 방법 |
-
2002
- 2002-02-26 JP JP2002049175A patent/JP4074464B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003248829A (ja) | 2003-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4464686B2 (ja) | さまざまな光線条件下におけるリアルタイムの目の検知および追跡 | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| US8649575B2 (en) | Method and apparatus of a gesture based biometric system | |
| JP4309927B2 (ja) | まぶた検出装置及びプログラム | |
| JP5297530B2 (ja) | 画像処理装置、及びインターフェース装置 | |
| US10248840B2 (en) | Method and system for automatically tracking face position and recognizing face | |
| EP2335405A2 (en) | Pixel-level based micro-feature extraction | |
| JP2007257043A (ja) | 乗員状態推定装置および乗員状態推定方法 | |
| JP2016015045A (ja) | 画像認識装置、画像認識方法及びプログラム | |
| JP5180997B2 (ja) | まぶた検出装置及びプログラム | |
| KR20140095333A (ko) | 영상에서 객체 추적 방법 및 장치 | |
| KR20120006819A (ko) | 시선 추적 방법 및 이를 적용하는 장치 | |
| CN108182381A (zh) | 基于快速Adaboost训练算法的自动扶梯乘客检测算法 | |
| JP2011210054A (ja) | 対象物検知装置及びその学習装置 | |
| JP2008288684A (ja) | 人物検出装置及びプログラム | |
| JP4074464B2 (ja) | 周期性を有する動きの検出方法および装置 | |
| JP3406577B2 (ja) | 物体認識方法 | |
| KR20120089948A (ko) | Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법 | |
| JP2002282210A (ja) | 視線検出方法及びその装置 | |
| KR20080003617A (ko) | 에이다부스트와 에스브이엠 학습 분류기를 이용한 눈영역 추출기 및 추출방법 | |
| KR20080079798A (ko) | 얼굴 검출 및 인식을 위한 방법 | |
| JP2008191760A (ja) | 対象物検出装置、対象物検出方法、及びプログラム | |
| KR101415325B1 (ko) | 얼굴 검출 장치 | |
| JP2009295112A (ja) | 物体認識装置 | |
| CN103400118B (zh) | 一种映射关系自适应调整的手势控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110201 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120201 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130201 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130201 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140201 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |