JP4328259B2

JP4328259B2 - 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置

Info

Publication number: JP4328259B2
Application number: JP2004125574A
Authority: JP
Inventors: けん筒口; 花籠　　靖; 昌宏湯口; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-04-21
Filing date: 2004-04-21
Publication date: 2009-09-09
Anticipated expiration: 2024-04-21
Also published as: JP2005309740A

Description

本発明は、動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置に関する。

動画像中から人物像をはじめとする動物体領域（追跡対象）を追跡する方法は、多くの既存手法が提案され、開示されている。例えば非特許文献１においては、複雑な背景を有する動画像からの人物像の追跡について、網羅的に解説がなされている。

追跡対象の追跡処理を行うには、主に、色情報を用いるもの、画像の背景差分を用いるもの、距離画像の背景差分を用いるもの、画像の時間差分を用いるもの、特徴点の追跡（オプティカルフロー）を用いるものに分類されるが、動画像の撮影条件（カメラの動きの有無やカメラ台数など）や追跡対象の条件（背景の動きの有無や被写体の数など）に依存する部分が大きく、決定的な手法はなく、条件に応じて手法を選択する必要がある。なお、特徴点とは、物体のエッジやコーナー（机の角など）の像のように、領域の輪郭を特徴付ける座標位置のことである。よって、特徴点は、例えば、隣接した画素と比較して輝度値の変化が大きくなる点である。

特許文献１は、光軸がほぼ平行になるように配置された複数のカメラによる人数カウンタについての発明であり、その中に複数カメラにおいて人物像を構成する対応特徴点を求めて３次元座標値の復元を行い、クラスタリングを行う手法についての記載がある。

また、特許文献２は、ビデオシーケンス中からフィルタ処理、射影ヒストグラムを用いた顔領域の追跡に関する発明であり、顔領域の追跡と領域のサイズを決定する手法についての記載がある。ここでの追跡とサイズ決定は、色処理のみによって行われているため、色処理に生じうる諸問題は依然として抱えている。

同様に特許文献３において、サッカーゲームを撮影した動画像中からの人物像やボールの抽出を、色情報に基づいて行う方法についての記載がある。
特開平１０-４９７１８号公報（段落[００１０]）特開２０００-３６０５２号公報（段落[００２０]）特開２００４-４６６４７号公報（段落[０００６]）白井良明、三浦純著、"複雑背景における人の追跡"、情報処理学会論文誌"コンピュータビジョンとイメージメディア、Vol.43、No.SGI 4(CVIM 4)"、pp.33-42、2002年6月

従来の追跡処理では、追跡対象となる動物体が動くために、特定の条件下で、追跡精度が落ちるという問題がある。

例えば、色情報を用いる追跡は、追跡対象を囲む領域（矩形が多く、本発明でも矩形としている）において、前画像フレームの前記領域内の色情報を色ヒストグラムにより数値化し、現在追跡を行おうとしている画像フレームにおいて、同一形状、同一サイズの領域を前画像フレームと同じ位置の周辺に移動させながら領域内の色情報を色ヒストグラムにより数値化して、前画像フレームの数値化された色ヒストグラムと類似している位置を探索する方法である。

例えば人物像を追跡する場合、頭部、上半身、下半身と分けて探索することによって、部分的に隠蔽されていても、追跡が可能である。図５は、色ヒストグラムによる被写体追跡の例を表した図であり、時刻ｔにおけるフレーム画像内の領域Ｒ（ｔ）を、領域Ｒ１、領域Ｒ２、領域Ｒ３に分割し、次の時刻ｔ+１のフレーム画像における追跡する領域Ｒ（ｔ＋１）を探索している例である。色ヒストグラムを数値化するにあたり、例えば、領域内の各画素のＲＧＢ（Red -Green-Blue）値をＨＳＶ（Hue Saturation Value）値に変換し、ＨＳＶの各譜調値を有する領域内の画素数を計数し、各成分ごとの画素数の和で代表したり、平均値や中間値で代表することがある。

色ヒストグラムを用いる方法は、平均値などの統計値を用いるために、画像のボケや、部分的な隠蔽に耐性があるという利点がある一方で、類似する物体、例えば同じ服装をした人物像があれば誤対応となってしまったり、被写体の大きさの変動に弱いという難点がある。後者の例として、被写体がカメラから離れるなどして被写体のサイズが小さくなるような場合、前記対象領域に被写体周辺（背景など）の色情報が入り込み、色ヒストグラムが変動してしまうため、正しく追跡対象を追跡しているにもかかわらず、領域を特定できないなどの問題がある。

一方、追跡対象のエッジやコーナーなどの特徴点を追跡する手法においては、追跡対象の形状やサイズの変動（ズームアップなど）に対し耐性があるという利点がある。図６は特徴点追跡による被写体の追跡の様子を示した例である。特徴点追跡による追跡は、例えば図７に示すように、部分的な隠蔽（樹木の枝により追跡対象である人物が隠蔽されている）や画像のボケに弱い、背景の特徴点を検出してしまう、という問題がある。

以上のように、色情報を用いる追跡手法、または、特徴点を用いる追跡手法は、それぞれ特定の条件下で追跡精度が落ちるという問題がある。

そこで、本発明は、前記した問題を解決し、特定の追跡手法が苦手とする条件下でも精度の高い追跡手法を提供することを主な目的とする。

前記課題を解決するため、請求項１に記載の動物体追跡方法は、動物体追跡装置が動画像中の追跡対象領域を追跡する動物体追跡方法であって、前記動物体追跡装置が、
動画像を構成するフレーム群から前記動画像における順序が前となる前フレームおよび順序が後となる現フレームを選択する画像入力手順と、前記前フレームの追跡対象領域を記憶手段から取得する領域指定受付手順と、
前記前フレームの追跡対象領域と、現フレームとからそれぞれ特徴点を抽出し、前記前フレームの特徴点に対応する前記現フレームの特徴点を対応特徴点とし、その対応特徴点から前記現フレームの第１追跡対象領域を算出する特徴点追跡手順と、
前記前フレームの追跡対象領域の色情報を元に、前記現フレームの第２追跡対象領域を算出する色情報追跡手順と、
前記第１追跡対象領域に関する情報と前記第２追跡対象領域に関する情報との差分が第１閾値以上の場合に、前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正すると判定する領域位置評価手順と、
前記領域を修正する旨の判定結果によって前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正して前記現フレームの追跡対象領域として記憶手段に出力する領域位置修正手順と、
を実行することを特徴とする。

これにより、第１追跡対象領域または第２追跡対象領域のいずれかが苦手とする条件下でも、もう片方の追跡対象領域に基づいて追跡対象領域を算出することにより、精度の高い追跡手法を提供することができる。

請求項２に記載の動物体追跡方法は、請求項１に記載の動物体追跡方法であって、前記領域位置評価手順は、前記第１追跡対象領域に関する情報と前記第２追跡対象領域に関する情報との差分が第２閾値以上の場合に、追跡処理を失敗したとする通知メッセージを、利用者の端末に通知する手順をさらに実行することを特徴とする。

これにより、ユーザは、追跡精度が低下したことを、即座に知ることができる。

請求項３に記載の動物体追跡方法は、請求項１または請求項２に記載の動物体追跡方法であって、前記領域位置修正手順は、前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正する際に、前記少なくとも１つの領域から算出される位置情報を元に、前記少なくとも１つの領域の位置を修正する手順を実行することを特徴とする。

これにより、動物体の位置の移動が起こっても、その移動に追随して追跡対象領域を更新させることができる。

請求項４に記載の動物体追跡方法は、請求項１または請求項２に記載の動物体追跡方法であって、前記領域位置修正手順は、前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正する際に、前記少なくとも１つの領域から算出される特徴点を元に、前記少なくとも１つの領域の形状を修正する手順を実行することを特徴とする。

これにより、動物体の形状の変更が起こっても、その変更に追随して追跡対象領域を更新させることができる。

請求項５に記載の動物体追跡方法は、請求項１ないし請求項４のいずれか１項に記載の動物体追跡方法であって、前記色情報追跡手順は、前記追跡対象領域の色の値の統計値を前記色情報とすることを特徴とする。

これにより、局所的なノイズへの耐性に優れた追跡処理を実現することができる。

請求項６に記載の動物体追跡プログラムは、請求項１ないし請求項５のいずれか１項に記載の動物体追跡方法をコンピュータに実行させることを特徴とする。

請求項７に記載のコンピュータ読み取り可能な記録媒体は、請求項６に記載された動物体追跡プログラムを記録したことを特徴とする。

請求項８に記載の動物体追跡装置は、動画像中の追跡対象領域を追跡する動物体追跡装置であって、前記動物体追跡装置は、演算処理を行う際に用いられる記憶領域としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備え、
動画像を構成するフレーム群から前記動画像における順序が前となる前フレームおよび順序が後となる現フレームを選択する画像入力手段と、前記前フレームの追跡対象領域を前記メモリから取得する領域指定受付手段と、
前記前フレームの追跡対象領域および現フレームから特徴点を抽出し、前記前フレームの特徴点に対応する前記現フレームの特徴点を対応特徴点とし、その対応特徴点から前記現フレームの第１追跡対象領域を算出する特徴点追跡手段と、
前記前フレームの追跡対象領域の色情報を元に、前記現フレームの第２追跡対象領域を算出する色情報追跡手段と、
前記第１追跡対象領域と前記第２追跡対象領域との差分が第１閾値以上の場合に、前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正すると判定する領域位置評価手段と、
前記領域を修正する旨の判定結果によって前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正して前記現フレームの追跡対象領域として出力する領域位置修正手段と、
を含んで構成されることを特徴とする。

本発明の動画像中の物体追跡方法は、特徴点による追跡対象領域または色情報による追跡対象領域のいずれかが苦手とする条件下でも、もう片方の追跡対象領域に基づいて追跡対象領域を算出することにより、精度の高い追跡手法を提供することができる。

図１は本実施形態の動物体追跡装置の基本的な構成を表している。図１の動物体追跡装置は、画像入力手段１００、領域指定受付手段２００、特徴点追跡手段３００、色情報追跡手段４００、領域位置評価手段５００、領域位置修正手段６００、および、追跡領域記憶手段７００を含めて構成される。本実施形態の動物体追跡装置は、演算処理を行う際に用いられる記憶領域としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備える。なお、各手段の具体的な説明は、後記の図３において、説明する。

なお、追跡の対象となる被写体である動物体の領域を追跡するには、動画像中のある画像（フレーム）を初期画像として、前記初期画像における追跡対象領域を発見する初期領域設定処理と、初期領域設定処理で設定された領域の追跡すなわち初期画像から後続する画像列において前記追跡領域に対応する領域を探索し見つける領域追跡処理、の２つの処理が必要である。そこで、本実施形態の動物体追跡装置は、領域指定受付手段２００が初期領域設定の入力を受け付け、残りの手段が、領域追跡処理を行うように、構成されている。

また、図２は本実施形態の動物体追跡装置が行う基本的な処理の流れを表す図である。動物体追跡装置は、Ｓｔｅｐ１００において画像フレームを取得し、Ｓｔｅｐ３００において特徴点追跡による領域追跡を行い、Ｓｔｅｐ４００において色ヒストグラム（色の値の統計値）を用いた領域追跡を行い、Ｓｔｅｐ５００において両者の追跡結果を追跡領域の位置比較により行い、Ｓｔｅｐ５５０において両者の追跡結果を修正（位置調整）するかどうかを判定し、判定の結果、修正する場合（Ｓｔｅｐ５５０のＹｅｓ）はＳｔｅｐ６００に進み、修正しない場合（Ｓｔｅｐ５５０のＮｏ）はＳｔｅｐ７００に進むように処理を進める。動物体追跡装置は、Ｓｔｅｐ７００はそれぞれの追跡領域を更新する。

図３は、本実施形態の動物体追跡装置の具体的な構成を表す図である。

動画像入力手段１０１は、記憶装置に蓄積された動画像やネットワークを介して転送される動画像を入力する。フレーム画像取得手段１０２は、前記入力された動画像から１フレームずつ画像を取得し、メモリに記憶する。

画像表示手段２０１は、任意の時刻のフレームを表示することで、初期領域の指定を受け入れる準備を行い、領域指定受付手段２０２において、追跡対象像の初期領域の指定を受け入れる。初期フレームにおいては、特徴点追跡による領域Ｒ１と、色ヒストグラムによる領域Ｒ２は同一である。

例えばポインティングデバイスなどによる図形入力の容易さや、追跡する対象となる領域Ｒ１、領域Ｒ２が矩形であれば、その位置や形状、大きさは前記矩形の４つの頂点、あるいは対角線を構成する２つの頂点で決定できるという利点を考慮すると、前記追跡領域は矩形が適しているが、本発明は追跡領域が矩形である必要はない。

特徴点検出手段３０１は現在記憶されている領域Ｒ１内の特徴点を検出する手段である。ここで、特徴点検出手段３０１を構成するための特徴点を検出する方法は、広く実施されている方法、例えば画像の画素が有する輝度値の微分を用いたもの、すなわちＨｅｓｓｅ行列を用いた手法や、あるいはＳｏｂｅｌオペレータやＣａｎｎｙオペレータによるエッジ抽出を利用したものでもよい。

対応特徴点計算手段３０２は前フレームの領域Ｒ１内の特徴点に対応する、現フレームでの対応特徴点を検出する。なお、対応特徴点計算手段３０２を構成するための方法は、例えば、ブロックマッチング法、Ｌｕｃａｓ−Ｋａｎａｄｅ法が挙げられる。現フレームにおいては、検出された対応特徴点が前フレームの領域Ｒ１からはみ出る場合も生じ得る。

特徴点記憶手段３０３は特徴点検出手段３０１あるいは対応特徴点計算手段３０２で検出された特徴点または対応特徴点をメモリなどの記憶手段に記憶する。

領域更新手段３０４は、前記対応特徴点位置に基づき、領域Ｒ１を更新する。なお、領域の更新は、領域の位置の更新、領域の形状の更新のうち、少なくとも１つの更新である。

まず、領域更新手段３０４の領域の位置の更新として、例えば、前フレーム（第ｔフレーム）における特徴点をＦＰ（ｔ）、現フレーム（第ｔ+１フレーム）における特徴点をＦＰ（ｔ＋１）として、ＦＰ（ｔ）の重心位置がＦＰ（ｔ＋１）の重心位置に移動した場合、領域Ｒをその重心移動だけ平行移動してもよい。

その際、数式（１）または数式（２）を満たさない特徴点を除外し、残りのＦＰ（ｔ＋１）の重心位置を新たな領域Ｒ１の重心位置としてもよい。

また、領域更新手段３０４の領域の形状の更新は、例えば、被写体が遠ざかるなどして追跡対象の画像における大きさが変動する場合、特徴点の座標値により、追跡領域の大きさを変動してもよい。例えば、前フレームにおける特徴点の現フレームにおける対応特徴点が、新たな領域に全て含まれるようにしてもよいし、あるいは、特徴点の重心位置と、領域を表す図形の座標値の重心位置が一致するようにしてもよい。

色ヒストグラム計算手段４０１は、現在の領域Ｒ２内の色ヒストグラムを計算し、代表値を記憶する。例えば、代表値は、領域内のＲＧＢ値をＨＳＶ値に変換し、領域内画素の、ＨＳＶ各成分を有する画素数を計数し、各ＨＳＶの画素数の和、あるいは中間値を用いてもよく、代表値をそれぞれＣＨ_h（ｔ）、ＣＨ_s（ｔ）、ＣＨ_v（ｔ）とする。なお、色ヒストグラム計算手段４０１は、ＲＧＢ値から色ヒストグラムを計算してもよい。

領域探索手段４０２は、現フレームにおいて領域Ｒ２の位置を前フレームにおける領域Ｒ２の位置の近辺に移動しながら、色ヒストグラム計算手段４０１おいて計算されたヒストグラムの代表値と現在記憶されているヒストグラムの代表値ＣＨ_h、ＣＨ_s、ＣＨ_vとを比較し、両者が類似していればその位置が現フレームにおける領域位置である、と判定することにより、領域Ｒ２の対応位置を探索する。

例えば、領域探索手段４０２は、現在記憶されている（前フレームの領域Ｒ２内の）代表値をＣＨ_h（ｔ）、ＣＨ_s（ｔ）、ＣＨ_v（ｔ）、現在探索している領域内の色ヒストグラムの代表値をＣＨ_h（ｔ＋１）、ＣＨ_s（ｔ＋１）、ＣＨ_v（ｔ＋１）として、数式（３）によって評価してもよいし、数式（４）によって評価してもよい。すなわち、領域探索手段４０２は、領域Ｒ２を探索する際の、前フレームにおける位置からの最大移動幅をあらかじめ設定しておき、前記最大移動幅内で△ＣＨの値が最小となった位置を、新たな領域Ｒ２とする。
ΔＣＨ＝｜ＣＨ_h（ｔ＋１）−ＣＨ_h（ｔ）｜＋｜ＣＨ_s（ｔ＋１）−ＣＨ_s（ｔ）｜＋｜ＣＨ_v（ｔ＋１）−ＣＨ_v（ｔ）｜・・・数式（３）
ΔＣＨ＝｜ＣＨ_h（ｔ＋１）−ＣＨ_h（ｔ）｜²＋｜ＣＨ_s（ｔ＋１）−ＣＨ_s（ｔ）｜²＋｜ＣＨ_v（ｔ＋１）−ＣＨ_v（ｔ）｜² ・・・数式（４）

ヒストグラム記憶手段４０３は、領域探索手段４０２において発見された新たな領域Ｒ２のヒストグラム代表値を記憶し、領域更新手段４０４は、新たな領域Ｒ２の位置を記憶する。

領域位置比較手段５０１は、前記更新された領域Ｒ１と領域Ｒ２の領域に関する情報を比較する。例えば追跡領域が矩形であれば、矩形を構成する４点の座標値を用いて比較してもよいし、対角線を成す２点の座標値を用いて比較してもよい。

領域位置判定手段５０２は、領域位置比較手段５０１の比較結果に基づき、領域に関する情報の差分が、所定の閾値以上となる場合に、領域Ｒ１、領域Ｒ２の位置のうちの少なくとも片方を修正すると判定する。

閾値受付手段５０３は、領域位置判定手段５０２の判定基準をあらかじめ設定し、記憶してある値を読み込んでもよいし、利用者からの入力を受け付けてもよい。

領域位置比較手段５０１、領域位置判定手段５０２、閾値受付手段５０３において、修正の判定は、以下のような手段を用いてもよい。特徴点追跡による寄与率をＤ、色情報追跡による寄与率を１−Ｄとし、また、位置修正の閾値（第１閾値）をＫ画素分の長さとし、通知の閾値（第２閾値）をＫｍａｘ画素分の長さとする。

そして、領域位置判定手段５０２は、数式（５）により、領域の修正を判断する。

領域位置修正手段６０１は前記のとおり領域Ｒ１、領域Ｒ２を修正する際に、新しい領域Ｒ１、領域Ｒ２の重心が、数式（６）となるように、領域Ｒ１、領域Ｒ２をともに平行移動する。なお、領域Ｒ１または領域Ｒ２のうち、いずれの領域を修正するかについては、入力された寄与率であるＤによって決定される。例えば、Ｄが０の場合には、修正先となる重心Ｍが、領域Ｒ２の重心の位置と一致するため、修正対象となる領域は、領域Ｒ１だけとなる。

通知手段６０２は、δＲがさらにδＲ≧Ｋｍａｘとなった際に、処理を中断してユーザ（ユーザ端末）に、追跡処理の精度が低下した旨を通知する。動物体追跡装置は、再び、画像表示手段２０１を介して、ユーザからの処理入力を待つ。通知手段６０２は、ユーザヘの通知手段として、例えばコンピュータディスプレイに警告を表示してもよいし、現フレームを表示したまま先の処理に進まない（例えば、連続して表示し続けられていた動画像の表示が、所定の画像の表示だけとなる）、などの手段を用いてもよい。

この通知手段６０２により、ユーザは、追跡精度が低下したことを、明示的に知ることができる。よって、例えば、監視システムでは、通常はコンピュータによる追跡処理を行い、追跡精度が低下したときには、通知手段６０２により通知を受けたユーザ（監視者）が追跡を行うというように、コンピュータとユーザとが相互補完的に追跡処理を行うことで、随時信頼性の高い追跡処理を実現できる。

図４は本実施形態の処理の流れを示す。ここでは、本実施形態の動物体追跡装置が、コンピュータプログラムを読み取って、実行することで、動物体の追跡処理を実行する際の処理ステップの流れを説明する。

まずＳｔｅｐ００１において、必要ならば閾値の入力を受け付ける。閾値は、特徴点追跡による寄与率Ｄ、位置修正の判定基準となる画素長さＫ、通知の判定基準となる画素長さＫｍａｘである。当然、Ｋ＜Ｋｍａｘである。これらはあらかじめ設定され記憶されている値を読み込んでもよいし、利用者による入力を受け付けてもよい。

次にＳｔｅｐ１０１において、動画像から追跡を行う初期のフレーム画像を取得しメモリヘ記憶する。

次に、Ｓｔｅｐ２０１にて、前記初期フレーム画像を表示し、追跡の対象となる被写体に対し、追跡領域を示す図形の領域Ｒの指定を受け付ける。これは、本発明では任意の動画像中の物体の追跡に適用可能である、すなわち、追跡対象被写体に制限を加えなくてもよいためであり、例えば、人物像や車両など、ある程度追跡対象がテンプレートにより表現可能な場合と異なり、本実施形態では何を追跡するかが追跡領域を指定するまで不明であるからである。

なお、本実施形態では、追跡領域を矩形とする。本実施形態は、追跡対象が単数か複数かによって差異が生じうるわけではないため、複数の対象に対して処理を行う場合は、複数の追跡領域を指定すればよい。以下の説明では、追跡対象が１つであると仮定しているが、もちろん複数でもよい。この段階で、特徴点追跡による領域Ｒ１と色ヒストグラムを用いた領域Ｒ２は一致しており、それぞれの位置、例えば４つの頂点あるいは対角線をなす２頂点座標値が記憶されている。

次に、Ｓｔｅｐ３０１において、領域Ｒ１内の特徴点ＦＰを検出し、Ｓｔｅｐ３０２において記憶する。

また、Ｓｔｅｐ４０１において、領域Ｒ２内の色ヒストグラムの代表値ＣＨを計算し、Ｓｔｅｐ４０２においてメモリに記憶する。以上で初期処理が終了し、Ｓｔｅｐ１０２にて次のフレーム画像を取得し記憶する。

次にＳｔｅｐ３０３において、現フレームにおけるＦＰの対応特徴点（フロー）ＦＰｆを計算する。また、フラグＦＰｎｅｗをＦＡＬＳＥに設定する。このフラグは、更新後の領域Ｒ１内において新たな特徴点を求めるかどうかを判定するものである。なぜならば、領域Ｒ１は特徴点追跡結果以外の理由（例えば領域Ｒ２の更新結果による位置修正）で変動することがあるからである。

次にＳｔｅｐ３０４にて、前記対応特徴点ＦＰｆの座標値に基づき、領域Ｒ１の位置を更新する。

次にＳｔｅｐ３０５にてＦＰｎｅｗの値を判定し、ＦＰｎｅｗ＝＝ＴＲＵＥであればＳｔｅｐ３０６に進み、そうでなければＳｔｅｐ３０７に進む。

Ｓｔｅｐ３０６は、更新された領域Ｒ１内の特徴点を新たに検出して領域内特徴点のフローＦＰｆとし、検出後はフラグをＦＡＬＳＥに戻す。

Ｓｔｅｐ３０７は領域内特徴点のフローＦＰｆを特徴点ＦＰに代入し記憶する、以上で、特徴点追跡による新たな領域Ｒ１と、領域Ｒ１内の特徴点ＦＰが得られた。

一方、Ｓｔｅｐ４０３において、色ヒストグラムを用いて現フレームにおける領域Ｒ２の探索を行い、Ｓｔｅｐ４０４にてＲ２の更新を行い、Ｓｔｅｐ４０５にて領域Ｒ２内の新たな色ヒストグラムの代表値ＣＨを記憶する。

次にＳｔｅｐ５０１において、領域Ｒ１と領域Ｒ２との位置を比較する。本実施形態においては、領域Ｒ１と領域Ｒ２の大きさ、すなわち、矩形の縦横の辺の長さは一定であると仮定しており、以下、この仮定のもとに説明を行うが、特に辺の長さが一定であるという制限はない。例えば、辺の長さが変動するような場合においては、後述する更新先を示す重心位置Ｍを、１つの領域に対して１つ設定する替わりに、１つの頂点に対して１つ設定する（つまり、矩形なら１つの領域に対して４つ設定する）ようにすればよい。

そして、Ｓｔｅｐ５０２において、数式（７）のδＲ＜Ｋ（つまり、領域Ｒ１≒領域Ｒ２）であれば（Ｓｔｅｐ５０２のＹｅｓ）、Ｓｔｅｐ７０１に進み、δＲ≧Ｋであれば（Ｓｔｅｐ５０２のＮｏ）Ｓｔｅｐ６０１に進む。

Ｓｔｅｐ６０１は、δＲ≧Ｋｍａｘかどうか（つまり、ユーザによる修正が必要かどうか）を判定し、そうであればＳｔｅｐ６０３に進み、そうでなければＳｔｅｐ６０２に進む。

Ｓｔｅｐ６０２は領域Ｒ１、領域Ｒ２の更新量（移動量）を計算するが、新しい領域Ｒ１、領域Ｒ２の重心が数式（６）となるように、領域Ｒ１、領域Ｒ２をともに平行移動してもよい。さらに、領域Ｒ１の位置が変更されることになるため、現段階で記憶しているＦＰは、領域Ｒ１をはみ出すことがありえるため、フラグＦＰｎｅｗをＴＲＵＥに設定し、Ｓｔｅｐ３０４およびＳｔｅｐ４０４に戻る。

Ｓｔｅｐ６０３はユーザに追跡処理の精度が低下した旨を通知する処理を行い、ユーザの手入力による新たな初期領域の受入を待つ。ユーザヘの通知は、例えばコンピュータディスプレイに警告を表示してもよいし、現フレームを表示したまま先の処理に進まない、などの手段を用いてもよい。

さて、Ｓｔｅｐ７０１は領域Ｒ１、領域Ｒ２を記憶し、Ｓｔｅｐ００２において終了判定を行う。Ｓｔｅｐ００２は、例えば動画像の最終フレームまで処理が進行したり、あるいは利用者による終了指示の受付などにより、処理を終了するかどうかを判定し、継続する場合はＳｔｅｐ１０２に戻る。

以上説明した本発明は、以下のように発明の趣旨を逸脱しない範囲で広く変形実施することができる。

例えば、動物体追跡装置が追跡の対象とするための動画像は、単一のカメラによって撮影された単一の動画像（モノラルの動画像）としてもよいし、同一時刻に別々の位置から撮影された複数の動画像（ステレオの動画像）を扱ってもよい。そして、本実施形態は、同一の動画像に対して、色情報を用いる手法と特徴点の追跡を用いる手法を組み合わせることにより、モノラルの動画像においても、追跡精度を向上させることができる。

また、動物体追跡装置が追跡の対象とする動物体は、顔や人間のみならず、あらゆる被写体の追跡を扱う。さらに、動物体追跡装置は、カメラの動きや被写体に対して条件を課さないものであるので、汎用性が高い。

本発明の一実施形態に関する動物体追跡装置における基本的な構成を表す図である。本発明の一実施形態に関する動物体追跡装置における基本的な追跡処理手順を表す図である。本発明の一実施形態に関する動物体追跡装置における具体的な構成を表す図である。本発明の一実施形態に関する動物体追跡装置における追跡処理の流れを表す図である。動物体の追跡処理における色ヒストグラムによる被写体追跡の例を表した図である。Ｒ（ｔ）、Ｒ（ｔ＋１）はそれぞれフレームｔ、ｔ+１における追跡する対象の領域を表し、Ｒ１、Ｒ２、Ｒ３は領域を分割した例である。動物体の追跡処理における特徴点による被写体の追跡の例を表した図である。Ｒ（ｔ）、Ｒ（ｔ＋１）はそれぞれフレームｔ、ｔ+１における追跡領域を表す。動物体の追跡処理における部分的な隠蔽が生じる例を表した図である。手前の木の枝により、追跡対象である人物像が部分的に隠蔽されていることを示す。

符号の説明

１００画像入力手段
２００領域指定受付手段
３００特徴点追跡手段
４００色情報追跡手段
５００領域位置評価手段
６００領域位置修正手段
７００追跡領域記憶手段

Claims

動物体追跡装置が動画像中の追跡対象領域を追跡する動物体追跡方法であって、前記動物体追跡装置が、
動画像を構成するフレーム群から前記動画像における順序が前となる前フレームおよび順序が後となる現フレームを選択する画像入力手順と、前記前フレームの追跡対象領域を記憶手段から取得する領域指定受付手順と、
前記前フレームの追跡対象領域と、現フレームとからそれぞれ特徴点を抽出し、前記前フレームの特徴点に対応する前記現フレームの特徴点を対応特徴点とし、その対応特徴点から前記現フレームの第１追跡対象領域を算出する特徴点追跡手順と、
前記前フレームの追跡対象領域の色情報を元に、前記現フレームの第２追跡対象領域を算出する色情報追跡手順と、
前記第１追跡対象領域に関する情報と前記第２追跡対象領域に関する情報との差分が第１閾値以上の場合に、前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正すると判定する領域位置評価手順と、
前記領域を修正する旨の判定結果によって前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正して前記現フレームの追跡対象領域として記憶手段に出力する領域位置修正手順と、
を実行することを特徴とする動物体追跡方法。
前記領域位置評価手順は、前記第１追跡対象領域に関する情報と前記第２追跡対象領域に関する情報との差分が第２閾値以上の場合に、追跡処理を失敗したとする通知メッセージを、利用者の端末に通知する手順をさらに実行することを特徴とする請求項１に記載の動物体追跡方法。
前記領域位置修正手順は、前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正する際に、前記少なくとも１つの領域から算出される位置情報を元に、前記少なくとも１つの領域の位置を修正する手順を実行することを特徴とする請求項１または請求項２に記載の動物体追跡方法。
前記領域位置修正手順は、前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正する際に、前記少なくとも１つの領域から算出される特徴点を元に、前記少なくとも１つの領域の形状を修正する手順を実行することを特徴とする請求項１または請求項２に記載の動物体追跡方法。
前記色情報追跡手順は、前記追跡対象領域の色の値の統計値を前記色情報とすることを特徴とする請求項１ないし請求項４のいずれか１項に記載の動物体追跡方法。
請求項１ないし請求項５のいずれか１項に記載の動物体追跡方法をコンピュータに実行させるための動物体追跡プログラム。
請求項６に記載された動物体追跡プログラムを記録したコンピュータ読み取り可能な記録媒体。
動画像中の追跡対象領域を追跡する動物体追跡装置であって、前記動物体追跡装置は、演算処理を行う際に用いられる記憶領域としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備え、
動画像を構成するフレーム群から前記動画像における順序が前となる前フレームおよび順序が後となる現フレームを選択する画像入力手段と、前記前フレームの追跡対象領域を前記メモリから取得する領域指定受付手段と、
前記前フレームの追跡対象領域および現フレームから特徴点を抽出し、前記前フレームの特徴点に対応する前記現フレームの特徴点を対応特徴点とし、その対応特徴点から前記現フレームの第１追跡対象領域を算出する特徴点追跡手段と、
前記前フレームの追跡対象領域の色情報を元に、前記現フレームの第２追跡対象領域を算出する色情報追跡手段と、
前記第１追跡対象領域と前記第２追跡対象領域との差分が第１閾値以上の場合に、前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正すると判定する領域位置評価手段と、
前記領域を修正する旨の判定結果によって前記第１追跡対象領域および前記第２追跡対象領域の少なくとも１つの領域を修正して前記現フレームの追跡対象領域として出力する領域位置修正手段と、
を含んで構成されることを特徴とする動物体追跡装置。