JP4444583B2

JP4444583B2 - 物体検出装置及びプログラム

Info

Publication number: JP4444583B2
Application number: JP2003142808A
Authority: JP
Inventors: 康之中田; 徹鎌田; 浩一及川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2003-05-21
Filing date: 2003-05-21
Publication date: 2010-03-31
Anticipated expiration: 2023-05-21
Also published as: JP2004348303A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ等で取得した動画像に対して、抽出した動画像の移動領域を元に、動的に生成したテンプレートを用いたテンプレートマッチングによって、物体の個別識別処理を行なう物体検出装置及びプログラムに関する。特に、カメラ等で取得した動画像に対して、設定した色分布を持つ移動領域の抽出と、移動領域を元に動的に生成したテンプレートを用いたテンプレートマッチングによって、移動／静止物体の追跡処理や、重なりのある物体の個別識別処理を行って、手振り等の動作を検出する物体検出装置及びプログラムに関する。
【０００２】
【従来の技術】
従来から、動画列中の移動物体を検出する方法として、局所相関法が知られている。例えば、従来の「局所相関演算による動きの検知と追跡」に関する論文では、監視を目的として、カメラ視野内から移動物体を検出・追跡するために、局所相関法を用いている。同論文では、誤検出を低減するために、木の葉の動きを無視したり、カメラのパン・チルト・ズーム操作時に背景を補償したり、追跡対象の拡縮・隠れへの対応などを実現している。しかしながら，同手法では、基本的に、フレーム間の差分の違いによって移動物体を検出するため、物体が静止した場合は、追跡が一旦停止するという問題がある（非特許文献１参照。）。
【０００３】
また、カメラにより撮影された画像を処理することで、動きのある物体を追跡中に、複数の移動物体が交差した場合でも、動きベクトルの相違によって、それぞれを追跡する方法が記載されたものがある（例えば、特許文献１参照。）。しかしながら、一方が静止していたり、複数の静止物体が重なっている場合には、それぞれを分離して検出・追跡することはできない。
【０００４】
更に、カラー画像を入力画像とした場合の局所相関法として、ＲＧＢ（赤成分、緑成分、青成分）画像の相関の総和で物体を追跡する方法が示されたものがある（例えば、特許文献２参照。）。しかし、この物体を追跡する方法では、テンプレートの１点に対応するＲＧＢ値は、それぞれ１個ずつしか与えられず、色の広がりを持つ領域（例えば肌色領域）を追跡することはできない。
【０００５】
また、予め与えたテンプレートの形状を処理中に動的に変更することで、移動物体の一部が隠れた場合でも、追跡を継続する方法が述べられているものがある（例えば、特許文献３参照。）。しかし、この追跡を継続する方法では、テンプレートの初期形状を予め与える必要があるため、どのような形状で現れるかの予想がつかない物体（人間の手など）の追跡を行なうことができないものであった。
【０００６】
【非特許文献１】
森田俊彦、“局所相関演算による動きの検知と追跡”［online］、２００１年２月、電子情報通信学会論文誌、Ｄ−１１、Vol.J84-D-11、No.2、p.299-309 、［平成１５年４月７日検索］、インターネット＜ＵＲＬ：http://search.ieice.org/jpn/2001/pdf/j84-d2_2_299.
pdf ＞
【特許文献１】
特開２００２−２７４８０号公報
【特許文献２】
特開平８−１６７０２９号公報
【特許文献３】
特開２０００−２５９８３８号公報
【０００７】
【発明が解決しようとする課題】
上記従来の方法では、顔と手の位置関係や、それぞれの相対的な動きによって表現する身振り・手振り動作を、検出することは困難であった。例えば、手を挙げると発言の意思があると判定したり、口に人差し指を当てる（「しっ」という身振り）ことでパソコンのスピーカ音量を下げたりできるようにする場合は、移動／静止物体の追跡処理や、重なりのある物体の個別識別処理が必要となるが、上記従来の手法を組み合わせるだけでは、手振り等の動作を認識することはできないものであった。
【０００８】
本発明はこのような従来の課題を解決し、カメラ等で取得した動画像に対して、設定した色分布を持つ移動領域の抽出と、移動領域を元に動的に生成したテンプレートを用いたテンプレートマッチングによって、移動／静止物体の追跡処理や、重なりのある物体の個別識別処理を行なうことで、手振り等の物体検出を確実に行うことを目的とする。
【０００９】
【課題を解決するための手段】
図１は本発明の原理説明図である。図１において、１ａは入力手段、２ａは移動検出手段、３ａは局所相関演算手段、４ａは動的テンプレート生成手段、５ａはテンプレート相関演算手段、６ａはマージ処理手段である。
【００１０】
本発明は、上記従来の課題を解決するため次のような手段を有する。
【００１１】
（１）：動画像を入力する入力手段１ａと、前記動画像の移動領域を検出する移動検出手段２ａと、前記検出した移動領域を取り囲むように設定した追跡ブロックの中で相関演算を行い移動領域を検出する局所相関演算手段３ａと、前記動画像の予め設定したフレームの間、前記移動領域の速さと方向を検出して前記移動領域のテンプレートを生成する動的テンプレート生成手段４ａと、前記生成したテンプレートを用いてマッチング処理を行うテンプレート相関演算手段５ａとを備える。このため、移動領域を元に動的に生成したテンプレートを用いたテンプレートマッチングによって、移動／静止物体の追跡処理や、重なりのある物体の個別識別処理を行なうことができ、手振り等の物体検出を確実に行うことができる。
【００１２】
（２）：前記（１）の物体検出装置において、前記局所相関演算手段３ａは、前記追跡ブロックの中での相関演算の際、色ヒストグラムを用いてある特定色を持つ移動領域のみを追跡する。このため、肌色等の色の広がりのある（肌色等の場所により色分布の異なる）領域を確実に追跡することができる。
【００１３】
（３）：前記（１）又は（２）の物体検出装置において、複数の追跡ブロックを１つに結合するマージ処理手段６ａを備え、前記マージ処理手段６ａは、２つの追跡ブロックの速さ及び方向の相違が一定値以下の場合、１つのテンプレートとして結合する。このため、例えば、顔の上半分と下半分に追跡ブロックが１個づつ設定される等の同一物体に複数の追跡ブロックが設定されても、単一の追跡ブロックに結合することができる。
【００１４】
（４）：前記（１）〜（３）のいずれかの物体検出装置において、前記局所相関演算手段３ａと前記テンプレート相関演算手段５ａで、顔と手の領域を検出し、前記顔と手の位置関係から手の動きを検知して、記録中の映像にマーキング処理を行う。このため、議会などにおいて議員が壇上で発言する際、発言者が手を挙げる等の手振り動作を検出し、撮影中の動画へマーキングを行なうことで、発言終了直後に発言者の動画部分の切り出し処理を行なうことが可能になり、直ちにオンデマンド再生等を実行できる。
【００１５】
【発明の実施の形態】
本発明の手振り等の物体検出装置では、下記（ａ）〜（ｃ）の手法を組み合わせることによって手振り等の動作を認識する。
【００１６】
（ａ）背景差分法
（ｂ）色重み局所相関法
（ｃ）動的テンプレート生成法
§１：手振り動作の認識の説明
まず、（ａ）〜（ｃ）の手法を組み合わせる利点について述べ、次に手振り動作の認識システム全体の動作概要について説明する。
【００１７】
画像処理による手振り認識を実現するには、画像の中から顔と手が占める領域を抽出する必要がある。顔・手領域の抽出方法として、よく用いられている手法として、色抽出法がある。この色抽出法は、例えば、画像のＲＧＢ値に対し、肌色を表す範囲の閾値を設け、条件に合致する画素のみを抽出する方法である。この方法は、対象が静止・移動の場合に関係なく領域抽出可能であるが、ユーザの肌色の状態（例えば、日焼けしているなど）、カメラの個体差などに左右される。また、多人数に対応するために閾値条件を広く取ると、肌色以外の領域を抽出することが欠点である。
【００１８】
そこで、肌色条件を満たし、かつ、動きのある領域を顔・手領域と考えることにする。今回は、手振り認識を目的としているため、こうした限定は大きな制約にはならない。動きのある領域を抽出する方法の一つに、背景差分法がある。例えば、LMedS 推定を用いた適応的な背景差分法は、背景の明るさが変動する場合でも対応可能であり、昼夜にわたる交通量調査実験への適用例がある。背景差分法では、背景推定によって背景画像を求め、次に、直近に獲得したフレームとの差分を計算することによって、動きのある領域を抽出する。しかし、移動物体が静止状態へ移行すると、対象とする物体が次第に背景に埋もれていくため、物体が、移動→静止→移動のような動作を行うと追跡を継続できない。もし、物体の移動速度が一定であれば、背景推定の時定数を調整することで、ある程度抽出可能であるが、速度が変化する場合には対応できない。
【００１９】
他の移動領域の抽出方法として、局所相関法がある。本方法は、まず、画像を格子状のブロック（例えば、８×８画素）に分割する。次に、あるサンプリング時刻のフレームと次のサンプリング時刻のフレームとの間で、近傍にあるブロック同士の相関値求め、その大小によって、ブロックが移動したかどうかを判定する。本処理は、計算量が多いため、画像サイズを大きくできない、相関計算を実施するブロック間の距離が制限され、動きの早い物体に追従できないなどの欠点があるが、背景差分法のように移動速度に依存するパラメータがないという利点がある。しかしながら、局所相関法においても、背景差分法と同様に、物体が静止状態へ移行すると、背景領域との切り分けができなくなるため、追跡動作が中断されるという欠点がある。
【００２０】
そこで、本発明では、局所相関法をベースにした動的テンプレート生成法を提案するものである。この手法は、局所相関法で検出した移動ブロックの中から、同一物体の移動ブロックを推定し、物体が静止状態へ移行する際に、複数のブロックの固まりをテンプレートとして登録し、静止状態にある間は、テンプレート全体を用いた相関演算を行うことによって物体の追跡を行う方法である。動的テンプレート法を用いることで、移動／静止物体の追跡に加え、複数の物体に重なりがある場合に、分離して検出することができる。これは、複数の物体のテンプレートを動的に生成しておき、物体が重なったときに、物体の隠れていない部分をテンプレートと照合することで、それぞれの物体の領域を切り分けることができるためである。
【００２１】
そこで、本発明では、背景差分法・色重み付き局所相関法・動的テンプレート法を組み合わせて、顔・手領域の抽出処理を実現するものである。まず、カメラで取得した動画列に対し背景差分法を適用して、動きのあるサブ区画を検出する。尚、今回は、背景画像を推定する際、ローパスフィルタを用いた。つまり、時間変化する各画素値に、カットオフ周波数の低いローパスフィルタを適用することで、動きの速い物体を除くことができるため、背景を推定することができる。背景画像と現フレームで取得した画像との差分を計算することで、動きのあるサブ区画のみを検出できる。
【００２２】
次に、動きのあるサブ区画を、局所相関法を用いて追跡する。つまり、動きのある区画の中から、一定方向へ一定速度以上で移動する物体を移動物体として扱う。また、逆進したり、速度が遅い場合には、背景として扱う。局所相関法で移動物体と判定したサブ区画に対し、更に色抽出法を適用し、肌色でかつ動きのあるサブ区画のみを抽出する。具体的には、各画素の色を適当な色空間（本発明では、ＨＳＶ表色系のＨ成分を使用）で数値化し、色空間を適当な間隔で分割したときの各分割部分における肌領域のヒストグラムを計数する。予め肌色領域のヒストグラム分布を肌色分布として登録しておき、局所相関法によって検出した各サブ区画の色分布との類似度を求めることによって肌色区画かどうかを判定する。
【００２３】
物体が静止したり、複数物体が重なっている場合には、動的テンプレート法を使用する。まず、物体の速度が低速になり静止状態へ移行した判定すると、上述の処理で検出した動きのある肌色区画において、同じ方向へ同じ速度で移動している区画同士を結合し、１つのテンプレートとして登録する。このように、テンプレートは、予め定義したものではなく、動的に生成される。一旦、テンプレートが生成されると、通常のテンプレートマッチングと同様に、テンプレート全体を用いた相関演算を行なうことで、物体を追跡する。つまり、前フレームで生成したテンプレートを、現フレーム画像上で上下左右に走査し、最も相関の高い位置を、物体の移動先であると考える。物体の移動量が大きくなり、移動状態になると、再び、局所相関法によって物体を追跡する。
【００２４】
以上のような、顔・手領域の抽出処理と追跡処理を繰り返し、それぞれの位置関係や軌跡の意味付けを行なうことで、手振り認識を実現する。
【００２５】
§２：手振り動作の認識の具体的な説明
（１）：手振り検出装置の説明
図２は手振り検出装置の説明図である。図２において、手振り動作の認識システムである手振り検出装置には、撮像部１、背景差分演算部２、局所相関演算部３、動的テンプレート生成部４、動的テンプレート相関演算部５、マージ処理部６が設けてある。
【００２６】
手振り検出装置の動作は、まず、背景差分演算部２により、背景差分法によって、撮像部１からの取得画像の中から動きのある領域を検出する。次に、局所相関演算部３により、色重み付き局所相関法で、前述した背景差分法によって動きがあると判定したサブ区画が、前フレーム画像の、どのサブ区画から移動してきたのかを、肌色との類似度および相関計算によって探し出す。
【００２７】
物体が静止したり、複数物体が重なっている場合には、動的テンプレート生成部４による、動的テンプレート法で、処理中にテンプレートを生成したり、テンプレートの形状を変化する。動的テンプレート相関演算部５により、動的テンプレートを用い、物体を追跡する。マージ処理部６により、追跡物体が複数ブロックに分かれた場合、各ブロックを結合して同一物体に対する追跡物体を１つに設定し直す。以下、各処理部の動作を詳細に説明する。
【００２８】
（２）：撮像部１の説明
撮像部１には、ＣＣＤカメラ等のテレビカメラを使用する。画像は、一定のサンプリング時間間隔（例えば、３３ｍｓ）で取得し、動画像を生成するものである。
【００２９】
（３）：背景差分演算部２の説明
まず、背景差分演算部２が行う背景差分法によって、撮像部１からの取得画像の中から動きのある領域を検出する。図３は背景差分演算部の処理の流れの説明図である。以下、図３の処理Ｓ１〜Ｓ５に従って説明する。
【００３０】
Ｓ１：背景差分演算部２は、まず最初に、カメラ等の撮像部１で撮影した画像（ビットマップ形式）を取り込み、フレーム単位の画像を記憶する領域に格納する。
【００３１】
Ｓ２：背景差分演算部２は、取得した画像から、例えば、縦方向・横方向の画素値を１個置きに取得し、縮小した画像を得る。画像サイズを縮小することで、以降の計算を高速化できる。
【００３２】
Ｓ３：背景差分演算部２は、各画素の時系列データをローパスフィルタに通す、この処理を行なうことで、例えば、低いカットオフ周波数を持つローパスフィルタを用いると、動きのない物体の画像、つまり、背景画像を得ることができる。また、カットオフ周波数を上記に比べて高くする（但し、蛍光灯のちらつき周波数より低くする）と、動きのある物体を残したまま、蛍光灯のちらつきの影響を除いた画像を取得できる。そこで、以降の処理では，低いカットオフ周波数を適用したものを背景画像として使用し、高いカットオフ周波数を適用した画像を現サンプリングの画像（現画像）として用いる。ローパスフィルタには、例えば、２次のバターワース型フィルタを使用することができる。もちろん、他のローパスフィルタを用いても良い。
【００３３】
Ｓ４：背景差分演算部２は、現画像と背景画像を正方形の格子状に区切る。以下の処理では、この正方形をサブ区画と呼ぶことにする。それぞれの両サブ区画内の同位置にある画素間の差の総和Ｔを，各サブ区画に対して計算する。計算式を次に示す。
【００３４】
【数１】

【００３５】
尚、Ｉ^C(x,y) は現画像における画素位置（ｘ，ｙ）の白黒濃淡値、Ｉ^B(x,y) は背景画像における画素位置（ｘ，ｙ）の白黒濃淡値、Ｒ_subはサブ区画を表わす。
【００３６】
Ｓ５：背景差分演算部２は、算出した値Ｔが設定値以上のときは、背景画像と異なる物体が存在していることを示しており、動きがあると判定する。サブ区画同士の比較を、画像の全領域において実施することで、動きのある領域を検出することができる。
【００３７】
（４）：局所相関演算部３の説明
局所相関演算部３が行う色重み付き局所相関法では、前述した背景差分法によって動きがあると判定したサブ区画が、前フレーム画像の、どのサブ区画から移動してきたのかを、肌色との類似度および相関計算によって探し出す。詳細な説明の前に、サブ区画、同一物体のサブ区画の集まりであるサブ区画テンプレート、追跡ブロックについて説明する。
【００３８】
図４は追跡ブロック、サブ区画、サブ区画テンプレートの関係の説明図である。図４において、サブ区画Ｓは、縦ｎ（例えば、４）画素、横ｎ画素の正方形から成る。サブ区画テンプレートＳＴは、サブ区画の集まりであり、肌色物体等の領域を示している。追跡ブロックＴＢは、サブ区画テンプレートＳＴを取り囲むように設定（追跡ブロックの境界線がｍ（例えば、２０〜３０）画素外側になるように配置）する領域であり、局所相関法による探索を追跡ブロックで囲まれた領域の中で実行する。なお、図４の単位は画素であり、取得画像の縦は１２０画素、横は１６０画素である。
【００３９】
図５は局所相関演算部の処理の流れの説明図である。以下、図５の処理Ｓ１１〜Ｓ１８に従って、色重み付き局所相関法によって、肌色かつ動きのあるサブ区画を検出するときの処理の流れを説明する。
【００４０】
Ｓ１１：局所相関演算部３は、色重み付き局所相関法で、背景差分法で検出した移動サブ区画のみを対象とする。
【００４１】
Ｓ１２：局所相関演算部３は、次に、現フレーム画像の注目しているサブ区画Ｓ_p(x,y) が、前フレーム画像のどのサブ区画Ｓ_q(x',y') から移動してきたのかを、相関演算を用いて探索する。サブ区画Ｓ_pとＳ_qとの相関値Ｃは、次式によって算出する．
【００４２】
【数２】

【００４３】
上式において、Ｉ^p(x,y) 、Ｉ^q(x',y') は各サブ区画の画素の白黒濃淡値、Ｒ_p、Ｒ_qはサブ区画領域内であることを表している。ξ_pは注目しているサブ区画ｐの色が、どの程度、肌色と類似しているかを示す色重み係数である。色重み係数ξ_pは、０から１までの値を取り、色ヒストグラム法を用いて算出する。通常、画素の色を表わすときは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）を用いるが、今回は、撮影場所の照明の影響をできるだけ排除するため、ＨＳＶ表色系のＨ成分を用いて色を数値化した。
【００４４】
図６はＨＳＶ表色系の説明図であり、図６（ａ）は明度と色空間の説明、図６（ｂ）はＨ成分の説明である。図６（ａ）において、ＨＳＶ表色系では、６角錐によって色空間を表現し、上方向は明度となる。図６（ｂ）において、Ｈ（Hue ）成分は、Ｒｅｄ（赤）からの角度であり、色合いの種別を表現する。
【００４５】
図７は色ヒストグラム法を用いる色重み係数の算出手順の説明図である。以下、図７の手順(i) 〜(l) に従って局所相関演算部が行う色重み係数の算出手順を説明する。
【００４６】
(i) ：肌色ヒストグラムを予め算出しておき、対象とするサブ区画との肌色の類似度によって重み係数を算出する。そこで、肌色ヒストグラムを求めるため、顔や手が映っている画像を取得し、肌色領域を手動で切出す（図８参照）。
【００４７】
図８は色ヒストグラム算出方法の説明図であり、図８（ａ）は肌色領域の指定の説明、図８（ｂ）は肌色ヒストグラムの説明である。図８（ａ）において、顔の肌色領域を手動で指定する。
【００４８】
(j) ：切出した領域の各画素のＨ成分を算出し、ヒストグラムを作成する。更に、切出した領域の全画素数で、求めた色ヒストグラム値を除算し、正規化ヒストグラムを求める。求めた正規化ヒストグラムを肌色ヒストグラムＨ_dとして登録する。図８（ｂ）において、図８（ａ）で指定した領域の肌色ヒストグラムを作成する。
【００４９】
(k) ：次に、移動サブ区画Ｓ_pに対して、(j) と同様の手順を用いて正規化ヒストグラムＨ_pを作成する。
【００５０】
(l) ：肌色ヒストグラムＨ_dとサブ区画ヒストグラムＨ_pとの重なり部分の面積が、色重み係数ξ_pに相当する（図９の斜線部の面積に相当）。
【００５１】
【数３】

【００５２】
図９は色重み係数の算出の説明図である。図９において、肌色ヒストグラムＨ_dとサブ区画ヒストグラムＨ_pが重なった斜線部の面積に相当するものが色重み係数ξ_pとなる。
【００５３】
Ｓ１３：局所相関演算部３は、ゼロ比較法によって、前記Ｓ１２で求めた候補が、移動サブ区画か否かを判定する。ゼロ比較法では、まず、注目しているサブ区画と同位置にある前フレームのサブ区画との相関値Ｃ０と、走査範囲内の全サブ区画との相関計算から求めた相関値の最小値Ｃ１、との差Ｑを求める。
【００５４】
Ｑ＝Ｃ０−Ｃ１
次に、移動を判定するための設定値Ｍと比較し、
Ｑ＞Ｍ
であれば、注目しているサブ区画Ｓ_p(x,y) が、移動サブ区画であると判定する。
【００５５】
Ｓ１４：局所相関演算部３は、移動サブ区画と判定された区画を有効領域として設定する。
【００５６】
Ｓ１５：局所相関演算部３は、前フレームの移動元のサブ区画と注目している現フレームのサブ区画の位置関係から、移動の速さ及び方向を算出する。算出した速さと方向を隣接している上下左右のサブ区画と比較する。このとき、速さ及び方向の相違が一定値以下であるかどうかを調べる（即ち、一定値以下であれば速さ及び方向が一致する）。
【００５７】
Ｓ１６：局所相関演算部３は、一定値以下のときは、同一速度で進んでいると判断し、隣接サブ区画と結合し、１つの追跡ブロックを割り当てる。
【００５８】
Ｓ１７：局所相関演算部３は、一定値以上の時は、それぞれのサブ区画は異なる物体の領域であると判断し、注目しているサブ区画が中心位置になるような新規の追跡ブロックを作成する。
【００５９】
Ｓ１８：局所相関演算部３は、隣接サブ区画同士の集合（以下、サブ区画テンプレート）に対し、追跡ブロックを１個定義する。追跡ブロックの範囲は、サブ区画テンプレートの上下左右端から一定の大きさ（ｍ画素、例えば２０〜３０画素）になるように設定する。追跡ブロックの中心位置は、サブ区画テンプレートＳＴの中心位置に一致するように求める。次に、追跡ブロックＴＢの速さｖ_tと移動方向（ｄ_tx，ｄ_ty）を、前フレームと現フレームの中心位置の位置関係から算出する。前フレームの追跡ブロックの速さとの差を求め、差が閾値以下（急に停止する）の場合、あるいは、前フレームの移動方向ベクトルとの内積が一定値以下（移動方向が急に変わる；なお、移動方向ベクトルの内積は方向が一致すれば「１」となり一致しなければ「１」以下となる）のときは、追跡ブロックとサブ区画を追跡対象から外す。追跡ブロックが、連続したｆ_okフレームの間、追跡対象となった場合、追跡ブロックを確定状態へ移行する。なお、確定した追跡ブロックを、追跡対象から除外する方法については、後述する。
【００６０】
以上のような手順を踏むことによって、取得した画像の中から、動きがあり、かつ、肌色条件を満たす領域を抽出することができる。
【００６１】
（５）：動的テンプレート生成部４と動的テンプレート相関演算部５の説明
通常のテンプレートマッチングでは、予め用意したテンプレートの形状は動作中に変化しない。つまり、静的であるのに対し、動的テンプレート法では、処理中にテンプレートを生成したり、形状が変化する。この発明では、前述したサブ区画テンプレート（隣接サブ区画同士の集合）を動的テンプレートとして用い、物体を追跡する。
【００６２】
図１０は動的テンプレート法の処理の流れの説明図である。以下、図１０の処理Ｓ２１〜Ｓ２９に従って、動的テンプレート法を用いて物体を追跡するときの処理の流れを説明する。
【００６３】
Ｓ２１：動的テンプレート生成部４は、追跡ブロックが、予め設定したｆ_okフレームの間、設定速さで、かつ、一定方向へ移動しているかどうかをチェックし、処理Ｓ２２に移る。この条件を満たさないときは、追跡対象から除外する。
【００６４】
Ｓ２２：動的テンプレート生成部４は、処理Ｓ２１の条件を満たした追跡ブロックにリンクされているサブ区画の集合を、サブ区画テンプレートとして確定し、処理Ｓ２３に移る。以降の処理は、サブ区画テンプレートを動的テンプレートとして使用するテンプレートマッチングによって、対象物体を追尾する。
【００６５】
Ｓ２３：動的テンプレート相関演算部５は、次サンプリングにおいて、新たなフレーム画像を取得したときは、サブ区画テンプレートを用いてマッチングを行ない、処理Ｓ２４に移る。すなわち、テンプレートマッチングにより、現フレーム画像と前フレーム画像との間で対応する領域を見つけ出す。マッチング処理は、前フレームで確定したサブ区画テンプレートを、現フレームの適当な画素位置に設定し、両フレーム間で対応するサブ区画同士の相関値Ｃ_tempを求め、その総和を類似度とする。
【００６６】
【数４】

【００６７】
上式において、Ｉ^p(x,y) 、Ｉ^q(x',y') は各サブ区画内の画素の白黒濃淡値、Ｒ_ptemp、Ｒ_qtempはテンプレート領域内であることを示している。この式を用いて、サブ区画テンプレートを現フレームの追跡ブロック内で走査し、最も類似度の高い位置を見つけ出すようにする。
【００６８】
Ｓ２４：動的テンプレート相関演算部５は、処理Ｓ２３で検出した最も高い類似度を与える追跡ブロックの類似度と位置を用いて、追跡ブロックが移動しているか静止しているかを、次の▲１▼〜▲３▼の条件を調べることによって判定し、移動している場合は処理Ｓ２５に移り、静止している場合は処理Ｓ２７に移る。
【００６９】
▲１▼ゼロ比較法による移動判定
▲２▼前フレームで求めた追跡ブロックの速さ・方向が、現フレームで検出した追跡ブロックと一致するかを判定
▲３▼サブ区画テンプレートを構成するサブ区画数が設定した個数以上あるかどうかを判定。なお、設定個数以下のときは、追跡対象から除外する。
【００７０】
Ｓ２５：動的テンプレート相関演算部５は、処理Ｓ２４の▲１▼から▲３▼を全て満たすと、移動ブロックと判定する。移動と判定すると、追跡ブロックの状態をＭＯＶＥモード（移動）に設定し、処理Ｓ２６に移る。
【００７１】
Ｓ２６：動的テンプレート相関演算部５は、注目しているサブ区画テンプレートが、他のサブ区画テンプレートと重なる場合は、テンプレートを構成するサブ区画毎に相関値の大小を比較し、置換するか否か（どちらのテンプレートにするか）を判定し、処理Ｓ２９に移る。
【００７２】
Ｓ２７：動的テンプレート相関演算部５は、処理Ｓ２４の▲１▼と▲２▼を満たさなければ、静止ブロックと判定する。動きなしと判定した場合には、ＳＴＩＬＬモード（静止）に設定し、処理Ｓ２８に移る。
【００７３】
Ｓ２８：動的テンプレート相関演算部５は、テンプレートを構成するサブ区画が肌色区画であるかどうかを再度調査し、処理Ｓ２９に移る。なお、肌色でない場合はサブ区画テンプレートから外す。
【００７４】
Ｓ２９：動的テンプレート相関演算部５は、テンプレートの形状が変化した場合、変形後のサブ区画テンプレート形状に応じて追跡ブロックを設定する。追跡ブロックが、ＭＯＶＥモードのときは次のサンプリング時に、色重み付き局所相関法を実行する。ＳＴＩＬＬモードのときは、処理Ｓ２３に戻る。
【００７５】
以上のように、テンプレート形状は、対象の形状変化に応じて動的に変更されるため、例えば、手の姿勢が変化し、カメラからの見え方が変わった場合でも、追跡を継続することが可能である。また、テンプレートを用いて対象物の移動先を探索するため、対象が静止したり、対象物体に重なりが有る場合にも、追跡可能である。
【００７６】
（６）：マージ処理部６の説明
取得した画像の映り具合によっては、同一物体であるにも関わらず、追跡ブロックが複数設定される場合が有る（例えば、顔の上半分と下半分に追跡ブロックが１個ずつ設定されるなど）。追跡ブロックが複数に分かれた場合、各ブロックを結合して同一物体に対する追跡ブロックを１つに設定し直す必要がある。
【００７７】
図１１はマージ処理の流れの説明図である。以下、図１１の処理Ｓ３１、Ｓ３２に従って、複数のブロックを１つにマージするときの処理の流れを説明する。
【００７８】
Ｓ３１：マージ処理部６は、２つの追跡ブロックを選択し、次の▲１▼、▲２▼のマージ条件をチェックし、処理Ｓ３２に移る。
【００７９】
▲１▼両ブロックの速さの差が、設定値ｖ_m以内、かつ、速度ベクトルの内積がｐ_m以上（移動方向が同じ）である
▲２▼接しているサブ区画の個数が、Ｎ_m個（例えば、２個）以上である
Ｓ３２：マージ処理部６は、処理Ｓ３１の条件を満たしているときは、両者をマージする。このマージ処理では、両ブロックのサブ区画の集合を１つのサブ区画テンプレートとして扱い、サブ区画テンプレートの上下左右端からｍピクセル外側に追跡ブロックの境界を設定する。
【００８０】
上記処理を繰り返し実行することによって、同一物体に複数の追跡ブロックが設定されているときは、単一の追跡ブロックに設定することが可能となる。
【００８１】
（７）：動画マーキングの説明
開発した手振り認識システム（手振り検出装置）の応用として、動画へのマーキングを行う処理が考えられる。通常、撮影した動画から必要な箇所を抜き出すには、撮影が終了した後に、例えば、ノンリニア編集処理などによって、人手で、切り出し範囲を指定する等の作業が必要である。従って、撮影中に切り出し箇所をオンラインで指定することができれば、編集にかかる手間とコストを大幅に削減することができる。
【００８２】
以下では、動画議事録システムへ手振り認識システムを適用することを考える。動画議事録システムは、議会などにおいて議員が壇上で発言する際、発言を始めた時から終了するまでの映像を動画ファイルへ格納し、後日、インターネット上でオンデマンド再生するシステムである。この発明では、発言者が手を挙げる手振り動作を検出し、撮影中の動画へマーキングを行なうことで、撮影後の編集作業を省略できるようにする。これにより、発言終了直後に切り出し処理を行なうことが可能になり、直ちにオンデマンド再生を実行できる。
【００８３】
図１２は動画議事録システムの説明図である。動画議事録システム（装置）には、手振り認識用カメラ１１、手振り認識装置（ＰＣ：パーソナルコンピュータ）１２、動画記録用カメラ１３、エンコード装置（ＰＣ）１４、Ｗｅｂサーバ１５、メディアサーバ１６、クライアントＰＣ１７が設けてある。
【００８４】
この動画議事録システムでは、発言者の挙手動作は、手振り認識用カメラ１１で取得した映像を元に、手振り認識処理を搭載したＰＣ（手振り認識装置１２）により検出する。検出した挙手タイミングは、エンコード装置（エンコードＰＣ）１４へ通知され、動画記録用カメラ１３で撮影した動画へのマーキングを行なう。エンコード装置１４は、発言開始と発言終了のマーキングが揃うと、マーキングしたフレーム情報（例えば、録画開始からのフレームのカウント番号）を元に、必要部分を動画ファイルとして切り出し、メディアサーバ１６へアップロードする。更に、エンコード装置１４では、切り出した動画ファイル名、発言者名（なお、動画ファイル名、発言者名は人が書き込むこともできる）、表示レイアウト（例えば、発言者を中央にする）などの属性を生成し、Ｗｅｂサーバ１５へ登録し、ＨＴＭＬ（HyperText Markup Language ）ファイルを自動的に生成する。クライアントＰＣ１７は、ユーザからのリクエストがあると、メディアサーバ１６から動画議事録を再生する。なお、図１２では手振り認識用カメラ１１と動画記録用カメラ１３の２つのカメラを用いる説明をしたが、手振り認識用カメラ１１のみを用い（図１２の点線）、手振り認識用カメラ１１からの動画をエンコード装置１４に入力して記録するようにすることもできる。
【００８５】
図１３は動画議事録システムの処理の流れの説明図である。以下、図１３の処理Ｓ４１〜Ｓ４７に従って、動画議事録システム（装置）の処理を説明する。
【００８６】
動画記録用カメラ１３で撮影が開始しエンコード装置１４に録画が開始し、発言者が登壇（Ｓ４１）すると、手振り認識用カメラ１１からの画像から手振り認識装置１２で発言者が挙手（Ｓ４２）をした瞬間を検出（Ｓ４３）し、動画へのマーキングを行う。切り出しの開始と終了は、例えば、１回目の挙手は、切り出し開始、２回目の挙手は、切り出し終了のように定義しておく。エンコード装置１４は、発言者の発言が終了（Ｓ４４）すると、該当箇所の動画を、録画中の動画から切り出し（Ｓ４５）、議事録を作成し（Ｓ４６）する。更に、エンコード装置１４は、切り出した動画をサーバへアップロードして、オンデマンド配信を開始する（Ｓ４７）。
【００８７】
図１４は挙手検出手順の説明図である。以下、図１４の挙手動作(a) 〜 (e)に従って、手振り認識装置１４による手振り認識処理によって、発言者の挙手を検出する手順を説明する。
【００８８】
（ａ）：まず、手振り認識装置１４は、手振り認識用カメラ１１の視野内に人物がいない状態で、手振り認識を開始する。
【００８９】
（ｂ）：手振り認識装置１４は、手振り認識用カメラ１１のカメラ視野内に発言者が入ってくると、肌色でかつ動きのある領域を追跡するという条件によって、顔領域の追跡を開始する。
【００９０】
（ｃ）：手振り認識装置１４は、顔領域に設定した追跡ブロックが図１０の条件を満たすと、サブ区画テンプレートと追跡ブロックを確定する。確定した追跡ブロックによって、発言者の顔が静止している間も、顔領域の追跡が行なわれる。
【００９１】
（ｄ）：手振り認識装置１４は、発言者が手を挙げると、肌色でかつ動きのある領域を追跡するという条件によって、手領域の追跡を開始する。
【００９２】
（ｅ）：手振り認識装置１４は、手領域に設定した追跡ブロックが図１０の条件を満たすと、サブ区画テンプレートと追跡ブロックを確定する。追跡ブロックの確定状態が３フレーム以上継続すると、挙手動作があったと判定し、手振り認識装置１４からエンコード１４への挙手信号が送出される。
【００９３】
上述のように、挙手を検知する前に、まず、被験者の顔領域を追跡し、次に、顔領域の側方にある肌色領域（及び上下方向の移動）を手領域と見做して挙手と判定する。
【００９４】
このように、この発明は、カメラで取得した動画像に対して、設定した色分布を持つ移動領域の抽出と、移動領域を元に動的に生成したテンプレートを用いたテンプレートマッチングによって、移動／静止物体の追跡処理や、重なりのある物体の個別識別処理を行なう手振り検出装置を実現できる。また、顔と手の位置関係や軌跡によって、動画へマーキングすることが可能となり、撮影中の動画から、必要な部分を切り出して、直ちに配信することができる。
【００９５】
なお、上記実施の形態では、カメラからの動画像の手振り等の物体を検出したが、録画した再生画像から手振り等の物体を検出することもできる。
【００９６】
（８）：プログラムインストールの説明
入力手段１ａ、背景差分演算部２、移動検出手段２ａ、局所相関演算部３、局所相関演算手段３ａ、動的テンプレート生成部４、動的テンプレート生成手段４ａ、動的テンプレート相関演算部５、テンプレート相関演算手段５ａ、マージ処理部６、６ａはマージ処理手段等はプログラムで構成でき、主制御部（ＣＰＵ）が実行するものであり、主記憶に格納されているものである。このプログラムは、コンピュータで処理されるものである。このコンピュータは、主制御部、主記憶、ファイル装置、表示装置や印刷装置等の出力装置、入力装置などのハードウェアで構成されている。
【００９７】
このコンピュータに、本発明のプログラムをインストールする。このインストールは、フロッピィ、光磁気ディスク等の可搬型の記録（記憶）媒体に、これらのプログラムを記憶させておき、コンピュータが備えている記録媒体に対して、アクセスするためのドライブ装置を介して、或いは、ＬＡＮ等のネットワークを介して、コンピュータに設けられたファイル装置にインストールされる。
【００９８】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
【００９９】
（１）：移動検出手段で入力手段から入力された動画像の移動領域を検出し、局所相関演算手段で前記検出した移動領域を取り囲むように設定した追跡ブロックの中で相関演算を行い移動領域を検出し、動的テンプレート生成手段で前記動画像の予め設定したフレームの間、前記移動領域の速さと方向を検出して前記移動領域のテンプレートを生成し、テンプレート相関演算手段で前記生成したテンプレートを用いてマッチング処理を行うため、移動領域を元に動的に生成したテンプレートを用いたテンプレートマッチングによって、移動／静止物体の追跡処理や、重なりのある物体の個別識別処理を行なうことができ、手振り等の物体検出を確実に行うことができる。
【０１００】
（２）：局所相関演算手段で追跡ブロックの中での相関演算の際、色ヒストグラムを用いてある特定色を持つ移動領域のみを追跡するため、肌色等の色の広がりのある領域を確実に追跡することができる。
【０１０１】
（３）：マージ処理手段で、２つの追跡ブロックの速さ及び方向の相違が一定値以下の場合、１つのテンプレートとして結合するため、例えば、顔の上半分と下半分に追跡ブロックが１個づつ設定される等の同一物体に複数の追跡ブロックが設定されても、単一の追跡ブロックに設定することができる。
【０１０２】
（４）：局所相関演算手段とテンプレート相関演算手段で、顔と手の領域を検出し、前記顔と手の位置関係から手の動きを検知して、記録中の映像にマーキング処理を行うため、議会などにおいて議員が壇上で発言する際、発言者が手を挙げる等の手振り動作を検出し、撮影中の動画へマーキングを行なうことで、発言終了直後に発言者の動画部分の切り出し処理を行なうことが可能になり、直ちにオンデマンド再生等を実行できる。
【０１０３】
（５）：動画像を入力する入力手段と、前記動画像の移動領域を検出する移動検出手段と、前記検出した移動領域を取り囲むように設定した追跡ブロックの中で相関演算を行い移動領域を検出する局所相関演算手段と、前記動画像の予め設定したフレームの間、前記移動領域の速さと方向を検出して前記移動領域のテンプレートを生成する動的テンプレート生成手段と、前記生成したテンプレートを用いてマッチング処理を行うテンプレート相関演算手段として、コンピュータを機能させるためのプログラム又はプログラムを記録したコンピュータ読取可能な記録媒体とするため、このプログラムをコンピュータにインストールすることで、手振り等の物体検出を確実に行うことができる物体検出装置を容易に提供することができる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】実施の形態における手振り検出装置の説明図である。
【図３】実施の形態における背景差分演算部の処理の流れの説明図である。
【図４】実施の形態における追跡ブロック、サブ区画、サブ区画テンプレートの関係の説明図である。
【図５】実施の形態における局所相関演算部の処理の流れの説明図である。
【図６】実施の形態におけるＨＳＶ表色系の説明図である。
【図７】実施の形態における色ヒストグラム法を用いる色重み係数の算出手順の説明図である。
【図８】実施の形態における色ヒストグラム算出方法の説明図である。
【図９】実施の形態における色重み係数の算出の説明図である。
【図１０】実施の形態における動的テンプレート法の処理の流れの説明図である。
【図１１】実施の形態におけるマージ処理の流れの説明図である。
【図１２】実施の形態における動画議事録システムの説明図である。
【図１３】実施の形態における動画議事録システムの処理の流れの説明図である。
【図１４】実施の形態における挙手検出手順の説明図である。
【符号の説明】
１ａ入力手段
２ａ移動検出手段
３ａ局所相関演算手段
４ａ動的テンプレート生成手段
５ａテンプレート相関演算手段
６ａマージ処理手段

Claims

動画像を入力する入力手段と、
前記動画像のフレーム間の差分の違いによって移動領域を検出する移動検出手段と、
前記検出した移動領域を取り囲むように設定した追跡ブロックの中で相関演算を行い移動領域を検出する局所相関演算手段と、
前記動画像の予め設定したフレームの間、前記局所相関演算手段で検出した移動領域が予め設定された速さと方向であることを検出して前記移動領域のテンプレートを生成する動的テンプレート生成手段と、
前記生成したテンプレートを用いてマッチング処理を行うテンプレート相関演算手段とを備えることを特徴とした物体検出装置。
前記局所相関演算手段は、前記追跡ブロックの中での相関演算の際、色ヒストグラムを用いてある特定色を持つ移動領域のみを追跡することを特徴とした請求項１記載の物体検出装置。
複数の追跡ブロックを１つに結合するマージ処理手段を備え、
前記マージ処理手段は、２つの追跡ブロックの速さ及び方向の相違が一定値以下の場合、１つのテンプレートとして結合することを特徴とした請求項１又は２記載の物体検出装置。
前記局所相関演算手段と前記テンプレート相関演算手段で、顔と手の領域を検出し、前記顔と手の位置関係から手の動きを検知して、記録中の映像にマーキング処理を行うことを特徴とした請求項１〜３のいずれかに記載の物体検出装置。
動画像を入力する入力手段と、
前記動画像のフレーム間の差分の違いによって移動領域を検出する移動検出手段と、
前記検出した移動領域を取り囲むように設定した追跡ブロックの中で相関演算を行い移動領域を検出する局所相関演算手段と、
前記動画像の予め設定したフレームの間、前記局所相関演算手段で検出した移動領域が予め設定された速さと方向であることを検出して前記移動領域のテンプレートを生成する動的テンプレート生成手段と、
前記生成したテンプレートを用いてマッチング処理を行うテンプレート相関演算手段として、コンピュータを機能させるためのプログラム。