JP6756338B2 - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。

近年、ビデオカメラ等の撮像装置により録画して得られた映像データを分析して、目的物の検出、または、映像上の物体の動きの追跡をする等の画像処理技術の発展が著しい。目的物の検出または追跡をするための画像処理の手法としては、背景差分、フレーム間差分、パーティクルフィルタ、オプティカルフロー、ミーンシフト（Ｍｅａｎ Ｓｈｉｆｔ）法、テンプレートマッチング、および特徴量マッチング等の種々の方法が知られている。

このような対象物体を追跡する技術として、対象物体の特徴点の追跡手段と、ヒストグラムを用いた再発見手段とを組み合わせて、対象物体が有する特徴領域を精度よく追跡する技術が開示されている（特許文献１参照）。

特開２００５−３０９７４６号公報

しかしながら、特許文献１に記載された技術は、周囲に対象物体の特徴領域に類似する領域が存在する場合、誤検出する可能性があるという問題点がある。

本発明は、上記に鑑みてなされたものであって、特定の追跡対象のみを精度よく追跡することができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮像装置で撮像された映像データを表示装置の所定の表示領域に再生表示させる再生部と、前記再生部により表示された前記映像データの第１フレームにおいて、追跡対象について予め登録された特徴情報に基づいて複数の特徴領域を検出する特徴領域検出部と、前記特徴領域検出部により検出された前記複数の特徴領域に基づいて、前記追跡対象を含む追跡領域を検出する追跡領域検出部と、前記追跡対象の軌跡を示す軌跡線を前記映像データに重畳して表示させる軌跡生成部と、を備え、前記再生部は、前記軌跡線上のいずれかの部分が入力部に対する操作により選択された場合、該部分に対応する前記映像データのフレームから再生表示させ、前記再生部は、前記表示領域に表示された前記軌跡線が交差する部分に対して前記入力部に対する操作により選択された場合、交差しているいずれの線を選択するかの選択を受け付ける表示を行うことを特徴とする。

本発明によれば、特定の追跡対象のみを精度よく追跡することができる。

図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。 図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図３は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。 図４は、実施の形態に係る情報処理装置の色登録処理の流れの一例を示すフローチャートである。 図５は、実施の形態に係る情報処理装置の表示部に表示される追跡画面において映像が表示されている状態の例を示す図である。 図６は、実施の形態に係る情報処理装置において追跡対象の色を登録する操作について説明する図である。 図７は、実施の形態に係る情報処理装置の表示部に表示された追跡対象を検出するフレームの一例を示す図である。 図８は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて登録した色を有する領域を抽出した抽出画像の一例を示す図である。 図９は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて抽出画像から二値化した二値化画像の一例を示す図である。 図１０は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて二値化画像の各ブロックに対してラベリング処理を行ったラベリング画像の一例を示す図である。 図１１は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて特定のブロックのみを残した対象特定画像の一例を示す図である。 図１２は、実施の形態に係る情報処理装置の表示部に表示されたフレームについての対象特定画像から検出した２つの特徴領域およびそれらの距離について説明する図である。 図１３は、実施の形態に係る情報処理装置の表示部に表示されたフレームについての対象特定画像で探索領域を決定する動作を説明する図である。 図１４は、実施の形態に係る情報処理装置の追跡対象の追跡処理の流れの一例を示すフローチャートである。 図１５は、実施の形態に係る情報処理装置の追跡処理で検出した追跡領域の情報を示す追跡結果テーブルの一例を示す図である。 図１６は、実施の形態に係る情報処理装置の表示部に表示される映像に軌跡線を重畳させた状態の一例を示す図である。 図１７は、実施の形態に係る情報処理装置の表示部に表示された軌跡線を選択操作した場合の動作について説明する図である。 図１８は、作業者が装着した２色のリストバンドを追跡対象とした例について説明する図である。 図１９は、買物客が持つカゴに装着した２色のシートを追跡対象とした例について説明する図である。 図２０は、書道の筆に添付した２色のシールを追跡対象とした例について説明する図である。 図２１は、実施の形態の変形例１に係る情報処理装置において追跡対象が有する形状を登録する操作について説明する図である。 図２２は、実施の形態の変形例２に係る情報処理装置の複数の追跡対象の追跡処理を説明する図である。

以下に、図面を参照しながら、本発明に係る画像処理装置、画像処理システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（画像処理システムの全体構成）
図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の画像処理システム１の全体構成について説明する。

図１に示すように、本実施の形態の画像処理システム１は、撮像装置２ａ〜２ｆと、情報処理装置３と、ネットワーク４と、を含む。

撮像装置２ａ〜２ｆは、被写体から光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレーム（画像データ）で構成された動画（例えば、１０［ＦＰＳ］、２５［ＦＰＳ］等）である映像データを生成するビデオカメラである。例えば、撮像装置２ａ〜２ｆは、製品を生産する生産設備または生産ライン等で作業する作業者を撮像して映像データを生成する。

なお、撮像装置２ａ〜２ｆを区別なく呼称する場合、または総称する場合、単に「撮像装置２」というものとする。また、図１では、画像処理システム１は、６台の撮像装置２を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置２を含む構成であってもよい。

情報処理装置３は、撮像装置２によって撮像された映像データに基づいて画像処理を実行する画像処理装置として機能するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）またワークステーション等である。また、情報処理装置３は、生産設備等の外部機器１０と、例えば、フィールドバス規格による通信が可能となるように接続している。

ネットワーク４は、撮像装置２ａ〜２ｆと、情報処理装置３とを接続するための、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）規格のネットワークである。この場合、ネットワーク４では、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルによりデータ通信が行われる。また、この場合、撮像装置２ａ〜２ｆおよび情報処理装置３は、ＴＣＰ／ＩＰのプロトコルにより通信するためのＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレスを有し、かつプライベートＩＰアドレス等のＩＰアドレスが割り当てられている。また、ネットワーク４の具体的な構成は、例えば、複数のポートを有するスイッチングハブに撮像装置２ａ〜２ｆおよび情報処理装置３それぞれがＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルによって接続されたスター配線形式が一例として挙げられる。

なお、図１に示すネットワーク４は、ＴＣＰ／ＩＰにより通信される例を示したが、これに限定されるものではなく、例えば、情報処理装置３側にＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）端子またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを有し、複数の撮像装置２がＶＧＡケーブルまたはＵＳＢケーブルで情報処理装置３に接続された形態等であってもよい。

（情報処理装置のハードウェア構成）
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施の形態の情報処理装置３のハードウェア構成について説明する。

図２に示すように、情報処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、外部記憶装置１０４と、ディスプレイ１０５と、ネットワークＩ／Ｆ１０６と、キーボード１０７と、マウス１０８と、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１０９と、外部機器Ｉ／Ｆ１１１と、を備えている。

ＣＰＵ１０１は、情報処理装置３全体の動作を制御する装置である。ＲＯＭ１０２は、情報処理装置３用のＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）およびファームウェア等のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。

外部記憶装置１０４は、撮像装置２により撮像された映像データ、および設定情報等の各種データを記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。

ディスプレイ１０５は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置３による画像判定動作を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ１０５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。なお、ディスプレイ１０５は、例えば、情報処理装置３の本体に対して、ＶＧＡケーブルまたはＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル等によって接続されたり、または、Ｅｔｈｅｒｎｅｔケーブルによって接続される。

ネットワークＩ／Ｆ１０６は、ネットワーク４に接続してデータ通信するためのインターフェースである。ネットワークＩ／Ｆ１０６は、例えば、ＴＣＰ／ＩＰのプロトコルで通信可能にするＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。具体的には、情報処理装置３は、撮像装置２から、ネットワーク４およびネットワークＩ／Ｆ１０６を介して、映像データを取得する。

キーボード１０７は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の設定等を行う入力装置である。マウス１０８は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の設定等を行うための入力装置である。

ＤＶＤドライブ１０９は、着脱自在な記憶媒体の一例としてのＤＶＤ１１０に対するデータの読み出し、書き込みおよび削除を制御する装置である。

外部機器Ｉ／Ｆ１１１は、外部機器１０と接続してデータ通信をするためのインターフェースである。外部機器Ｉ／Ｆ１１１は、例えば、フィールドバス規格により通信可能にするインターフェースカードである。具体的には、情報処理装置３は、外部機器１０と、外部機器Ｉ／Ｆ１１１を介してデータ通信を行う。

上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、ディスプレイ１０５、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８、ＤＶＤドライブ１０９、および外部機器Ｉ／Ｆ１１１は、アドレスバスおよびデータバス等のバス１１３によって互いに通信可能に接続されている。なお、ディスプレイ１０５が、Ｅｔｈｅｒｎｅｔケーブルによって接続される場合には、ネットワークＩ／Ｆ１０６に接続されることになり、この場合、ＴＣＰ／ＩＰ等のプロトコルによりデータ通信が行われる。

（情報処理装置のブロック構成）
図３は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図３を参照しながら、情報処理装置３のブロック構成について説明する。

図３に示すように、情報処理装置３は、映像受信部３０１と、入力部３０２と、設定部３０３と、記憶部３０４と、再生部３０５と、取得部３０６と、指定部３０７と、登録部３０８と、探索領域決定部３０９（決定部）と、検出部３１０（特徴領域検出部）と、距離算出部３１１（算出部）と、判定部３１２と、更新部３１３（追跡領域検出部）と、移動量算出部３１４と、軌跡生成部３１５（生成部）と、管理部３１６と、表示制御部３１７と、表示部３１８（表示装置）と、を備えている。なお、図３においては、説明を簡略化するため、ネットワーク４の図示を省略して説明する。

映像受信部３０１は、ネットワーク４を介して、撮像装置２から映像データを受信する機能部である。映像受信部３０１は、受信した映像データを記憶部３０４に記憶させる。映像受信部３０１は、図２に示すネットワークＩ／Ｆ１０６によって実現される。

入力部３０２は、情報処理装置３に色登録処理、および追跡対象の追跡処理等を実行させるための操作入力を行う装置である。入力部３０２は、図２に示すキーボード１０７およびマウス１０８によって実現される。

設定部３０３は、ユーザにより操作される入力部３０２からの操作信号に従って、各種設定情報を設定して記憶部３０４に記憶させる機能部である。設定部３０３は、例えば、後述するように登録部３０８により登録された基準色を中心とする所定範囲を示す情報（以下、「追跡パラメータ」という場合がある）を設定し、設定した追跡パラメータを、記憶部３０４に記憶させる。ここで、基準色を中心とする所定範囲は、基準色がＲＧＢ色空間で表される場合、基準色のＲ値に所定量を加算した上限値、および所定量を減算した下限値が設定されることによって、基準色のＲ値を中心とする所定範囲が定まる。基準色のＧ値およびＢ値についても、同様である。なお、所定量は、Ｒ値、Ｇ値およびＢ値それぞれ別々の値が設定されるものとしてもよい。設定部３０３は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

記憶部３０４は、映像受信部３０１により受信された映像データ、および各種設定情報等を記憶する機能部である。記憶部３０４は、映像受信部３０１により受信された映像データが、どの撮像装置２により生成された映像データであるかを識別して記憶する。記憶部３０４は、例えば、図２に示すＲＡＭ１０３または外部記憶装置１０４によって実現される。なお、図３に示すように、記憶部３０４は、情報処理装置３に含まれるものとしているが、これに限定されるものではなく、例えば、外付けの外部記憶装置であってもよく、または、サーバ装置等外部機器に備えられているものとしてもよい。

再生部３０５は、ユーザにより操作される入力部３０２からの操作信号に従って、記憶部３０４から取得した映像データを表示制御部３１７に送り、表示制御部３１７に対して映像データを表示部３１８に再生表示させる機能部である。具体的には、再生部３０５は、後述する図５に示すように、表示部３１８に表示される追跡画面４００の映像表示部４０１に映像データを再生表示させる。再生部３０５は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

取得部３０６は、記憶部３０４に記憶された映像データから、追跡対象の追跡処理の対象となるフレームを取得する機能部である。取得部３０６は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

指定部３０７は、ユーザにより操作される入力部３０２からの操作信号に従って、表示部３１８で映像データを表示する表示領域（後述する図５に示す映像表示部４０１）において、追跡対象の追跡処理で使用する特徴量（特徴情報）としての色を特定するための指定領域（例えば、後述する図６に示す第１指定領域５５０および第２指定領域５５１）を指定する機能部である。指定部３０７は、指定した指定領域の情報を、撮像装置２ごとに関連付けて記憶部３０４に記憶させる。指定部３０７は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

登録部３０８は、指定部３０７により指定された指定領域の画素値に基づいて、その指定領域の色を基準色として特定し、特定した基準色の情報を記憶部３０４に記憶（登録）する機能部である。登録部３０８は、指定部３０７により指定された２つの指定領域（例えば、後述する図６に示す第１指定領域５５０および第２指定領域５５１）に基づいて、２つの基準色を特定する。ここで、映像表示部４０１に表示される映像データのフレームの画素値は、例えば、ＲＧＢ色空間、またはＨＳＶ色空間等に基づいた色を示す情報である。具体的には、登録部３０８は、例えば、指定領域に含まれる画素の画素値の平均値を算出し、その平均値を基準色として特定する。なお、登録部３０８は、指定領域の中央の画素の画素値を基準色として特定してもよい。登録部３０８は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

探索領域決定部３０９は、追跡対象の追跡処理の対象となるフレームの中で、検出部３１０が、登録部３０８により登録された色を有する特徴領域を検出するための探索領域を決定する機能部である。例えば、検出部３１０により特定のフレームで特徴領域が検出されなかった場合、探索領域決定部３０９は、特定のフレームにおける探索領域よりも所定量だけ探索領域を拡大して、特定フレームの次のフレームでの探索領域として決定する。探索領域決定部３０９は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

検出部３１０は、追跡対象の追跡処理の対象となるフレームのうち探索領域決定部３０９により決定された探索領域内で、２つの基準色を用いて特徴領域を検出する機能部である。具体的には、検出部３１０は、追跡対象の追跡処理の対象となるフレームについて、後述する抽出処理、二値化処理、およびラベリング処理等の処理を実行し、上述した基準色を中心とする所定範囲（以下、「基準色範囲」という場合がある）に入る色の画素を含むブロックに対応する領域を特徴領域として検出する。この検出部３１０による特徴領域の検出動作については、図７〜１３において後述する。検出部３１０は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

距離算出部３１１は、検出部３１０により検出された２つの特徴領域の距離を算出する機能部である。具体的には、距離算出部３１１は、２つの特徴領域それぞれが含む画素のうち、最も近接する画素同士の距離を算出する。距離算出部３１１は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

判定部３１２は、検出部３１０により検出された２つの特徴領域が近接しているか否かを判定する機能部である。具体的には、判定部３１２は、距離算出部３１１により算出された２つの特徴領域の距離が所定の閾値以下であるか否かを判定する。判定部３１２は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

更新部３１３は、判定部３１２により２つの特徴領域の距離が所定の閾値以下であると判定された場合、その２つの特徴領域を含む領域を追跡領域として検出する機能部である。すなわち、更新部３１３は、検出した追跡領域を、現在の追跡対象を含む領域であるものとして更新する。また、更新部３１３は、検出した追跡領域の情報を、検出したフレームと関連付けて、記憶部３０４に記憶させる。ここで、追跡領域の情報とは、例えば、追跡領域の中心点の座標、および追跡領域の大きさ等の情報である。更新部３１３は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

移動量算出部３１４は、追跡対象の移動量を算出する機能部である。具体的には、移動量算出部３１４は、記憶部３０４に記憶された映像データの各フレームに対応した追跡領域の情報のうちの追跡領域の中心点の移動量を算出する。追跡領域の中心点の移動量は、下記の式（１）に示すように、各フレーム間での追跡領域の中心点の移動量の総和で求められる。

式（１）において、ｄは、追跡領域の中心点の移動量であり、ｉはフレーム番号であり、ｘｉは、フレーム番号ｉのフレームにおける追跡領域の中心点のｘ座標（フレームの横軸方向の座標）、ｙｉは、フレーム番号ｉのフレームにおける追跡領域の中心点のｙ座標（フレームの縦方向の座標）である。したがって、移動量算出部３１４は、式（１）を用いて、フレーム番号０のフレームから、フレーム番号ｎのフレームまでの追跡領域の中心点の移動量を算出することができる。移動量算出部３１４は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。なお、移動量算出部３１４は、複数の撮像装置２により撮像され、同期して記憶部３０４に記憶された映像データを用いることで、より正確な移動量を算出することができる。例えば、奥行き方向（ｚ軸方向）を撮影した映像データを別に用いることにより、奥行き方向の移動量も算出することができる。

軌跡生成部３１５は、追跡対象の軌跡を示す軌跡線を生成し、表示制御部３１７に対して、映像表示部４０１に再生表示している映像データに軌跡線を重畳して表示させる機能部である。具体的には、軌跡生成部３１５は、記憶部３０４から読み出した映像データのフレームのうち、あるフレームで検出された追跡領域の中心点と、次のフレームで検出された追跡領域の中心点とを線で結んでいき、その線を軌跡線として映像データに重畳して表示させる。なお、軌跡生成部３１５は、追跡領域の中心点ではなく、少なくとも追跡領域に含まれるいずれかの点（画素）を結んで軌跡線を生成するものとしてもよい。軌跡生成部３１５は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

管理部３１６は、ユーザにより操作される入力部３０２からの操作信号に従って、映像表示部４０１に表示されている映像データについて、登録部３０８により登録された基準色によって特定される追跡対象の追跡処理を開始または停止させる機能部である。また、管理部３１６は、情報処理装置３の全体の動作の管理を行う。管理部３１６は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

表示制御部３１７は、表示部３１８の表示動作を制御する機能部である。具体的には、表示制御部３１７は、再生部３０５により取得された映像データ、設定部３０３により設定された設定情報、および、指定部３０７により指定された指定領域等を、表示部３１８に表示させる。表示制御部３１７は、図２に示すＣＰＵ１０１により実行されるプログラム（ドライバ）によって実現される。

表示部３１８は、表示制御部３１７の制御に従って各種データを表示する装置である。表示部３１８は、本実施の形態では特に、図２に示すＣＰＵ１０１により実行されるプログラム（アプリケーション）により、後述する追跡画面４００等を表示する。表示部３１８は、図２に示すディスプレイ１０５によって実現される。

なお、図３に示した映像受信部３０１、入力部３０２、設定部３０３、記憶部３０４、再生部３０５、取得部３０６、指定部３０７、登録部３０８、探索領域決定部３０９、検出部３１０、距離算出部３１１、判定部３１２、更新部３１３、移動量算出部３１４、軌跡生成部３１５、管理部３１６、表示制御部３１７および表示部３１８の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。

また、図３に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、以降の説明の簡略化のため、表示制御部３１７が、受け取ったデータを表示部３１８に表示させるという表現を、単に、そのデータを表示制御部３１７に送った機能部が、表示部３１８（または、表示部３１８が表示する画面）に表示させると表現するものとする。例えば、再生部３０５が、映像データを表示制御部３１７に送り、表示制御部３１７に対して映像データを表示部３１８に再生表示させる場合、単に、再生部３０５が、映像データを表示部３１８に再生表示させると表現するものとする。

（色登録処理）
図４は、実施の形態に係る情報処理装置の色登録処理の流れの一例を示すフローチャートである。図５は、実施の形態に係る情報処理装置の表示部に表示される追跡画面において映像が表示されている状態の例を示す図である。図６は、実施の形態に係る情報処理装置において追跡対象の色を登録する操作について説明する図である。図４〜６を参照しながら、本実施の形態に係る情報処理装置３の色登録処理の流れについて説明する。

まず、色登録処理の流れを説明するにあたって、図５を参照しながら、追跡画面４００の構成について説明する。追跡画面４００は、色登録処理により特徴量である色を登録し、映像表示部４０１に再生表示される特定の追跡対象の追跡処理を行うための画面である。追跡画面４００は、図５に示すように、映像表示部４０１（表示領域）と、カメラ選択タブ４０１ａと、映像操作ボタン部４０３と、シークバー４０４と、スライダ４０５と、拡大縮小ボタン部４０６と、スパン変更ボタン部４０７と、時刻表示部４０８と、追跡開始ボタン４０９と、追跡停止ボタン４１０と、を含む。

映像表示部４０１は、ユーザにより操作される入力部３０２からの操作信号に従って、再生部３０５によって記憶部３０４から取得された映像データを再生表示される表示部である。図５の例では、記憶部３０４は、ユーザによる入力部３０２の操作により、「２」のカメラ選択タブ４０１ａが選択操作されると、撮像装置２ｂにより撮像された映像データを映像表示部４０１に再生表示させる。

カメラ選択タブ４０１ａは、ユーザが再生表示を所望する撮像装置２ａ〜２ｆの映像データのうちいずれの映像データを映像表示部４０１に表示させるのかを選択する操作部である。例えば、撮像装置２ａ〜２ｆによって撮像された映像データは、それぞれ「１」〜「６」に対応付けられており、図５の例では、「２」すなわち撮像装置２ｂの映像データが選択された例を示している。

映像操作ボタン部４０３は、ユーザによる入力部３０２の操作により、映像表示部４０１での映像データの再生、早戻し、早送り、停止および一時停止を行うボタン群である。シークバー４０４は、その上に配置されるスライダ４０５の位置により、映像表示部４０１に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダ４０５は、映像表示部４０１に再生表示されている映像データの撮像時刻（表示されているフレームが撮像された時刻）に対応したシークバー４０４上の位置にスライドする形状体かつ操作部である。逆に、スライダ４０５は、ユーザによる入力部３０２の操作によってスライドされると、再生部３０５によって、スライダ４０５が存在するシークバー４０４上の位置に対応した撮像時刻の映像データのフレームが映像表示部４０１に表示される。

拡大縮小ボタン部４０６は、ユーザによる入力部３０２の操作により、再生部３０５によって、映像表示部４０１に再生表示されている映像データが拡大表示または縮小表示されるボタン群である。例えば、拡大縮小ボタン部４０６のうち拡大ボタンを押下するごとに、所定の拡大率で映像データが拡大表示される。例えば、通常の表示状態を１００％として、１２０％、１４０％、・・・のように拡大表示される。

スパン変更ボタン部４０７は、ユーザによる設定部３０３の操作により、再生部３０５によって、シークバー４０４の表示スパンが拡大または縮小されるボタン群である。なお、シークバー４０４の表示スパンを拡大または表示するのは再生部３０５である必要はなく、異なる機能部が担うものとしてもよい。

時刻表示部４０８は、再生部３０５によって、映像表示部４０１に再生表示されている映像データの撮像日付および撮像時刻を表示する表示領域である。

追跡開始ボタン４０９は、ユーザによる入力部３０２の操作によって押下されると、管理部３１６に、映像表示部４０１に再生表示されている映像データにおいて、基準色によって特定される追跡対象の追跡処理を開始させるボタンである。追跡停止ボタン４１０は、ユーザによる入力部３０２の操作によって押下されると、管理部３１６によって、映像表示部４０１に再生表示されている映像データに対して行われている、基準色により特定される追跡対象の追跡処理を停止させるボタンである。

次に、色登録処理の具体的な流れを説明する。図５に示す追跡画面４００は、再生部３０５により撮像装置２ｂに対応する映像データが再生表示されている状態を示している。

＜ステップＳ１１＞
まず、映像表示部４０１において映像データの再生表示中に、色登録処理を所望する画像の部分が表示されているタイミングで、ユーザによる入力部３０２の操作によって映像操作ボタン部４０３の一時停止ボタンが押下されると、再生部３０５は、映像表示部４０１に再生表示されている映像データを一時停止させる。図５に示すように、一時停止した映像データのフレームには、作業者５００が写っている。そして、取得部３０６は、一時停止した映像データから映像表示部４０１に表示されているフレームを取得する。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
ここで、本実施の形態に係る情報処理装置３が映像表示部４０１に表示されているフレームにおいて追跡の対象とするのは、図６に示すように、作業者５００の追跡対象５０１であるものとする。追跡対象５０１は、作業者５００が着用している上着の一部であり、特定の色を有する第１色部５０１ａと、第１色部５０１ａとは異なる色を有する第２色部５０１ｂと、を含む。

ユーザによる入力部３０２の操作（例えば、マウス１０８のドラッグ操作）によって、指定部３０７は、取得部３０６により取得されたフレーム、すなわち、映像表示部４０１に表示されているフレームにおいて、図６に示すように、追跡対象の追跡処理で使用する特徴量としての色を特定するために、第１色部５０１ａにおいて第１指定領域５５０を、第２色部５０１ｂにおいて第２指定領域５５１を指定する。すなわち、指定部３０７は、２つの異なる色を有する第１指定領域５５０および第２指定領域５５１を指定する。

なお、指定部３０７による指定領域の指定は、拡大縮小ボタン部４０６の拡大ボタンまたは縮小ボタンにより、映像表示部４０１に表示されているフレームを拡大または縮小した状態で行うことができるようにしてもよい。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
登録部３０８は、指定部３０７により指定された第１指定領域５５０および第２指定領域５５１に基づいて、２つの基準色（第１指定領域５５０に対応する基準色を第１色とし、第２指定領域５５１に対応する基準色を第２色とする）を特定し、特定した２つの基準色の情報を記憶部３０４に記憶（登録）する。具体的には、登録部３０８は、例えば、各指定領域に含まれる画素の画素値の平均値を算出し、その平均値を基準色として特定する。

そして、設定部３０３は、登録部３０８により登録された基準色を中心とする所定範囲を示す情報を追跡パラメータとして設定し、設定した対追跡パラメータを、記憶部３０４に記憶させる。この追跡パラメータが設定されることによって、基準色範囲が定まる。

以上のステップＳ１１〜Ｓ１３によって、色登録処理（基準色の特定および登録）および追跡パラメータの設定が実行される。

（特徴領域の検出動作）
図７は、実施の形態に係る情報処理装置の表示部に表示された追跡対象を検出するフレームの一例を示す図である。図８は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて登録した色を有する領域を抽出した抽出画像の一例を示す図である。図９は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて抽出画像から二値化した二値化画像の一例を示す図である。図１０は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて二値化画像の各ブロックに対してラベリング処理を行ったラベリング画像の一例を示す図である。図１１は、実施の形態に係る情報処理装置の表示部に表示されたフレームについて特定のブロックのみを残した対象特定画像の一例を示す図である。図１２は、実施の形態に係る情報処理装置の表示部に表示されたフレームについての対象特定画像から検出した２つの特徴領域およびそれらの距離について説明する図である。図１３は、実施の形態に係る情報処理装置の表示部に表示されたフレームについての対象特定画像で探索領域を決定する動作を説明する図である。図７〜１３を参照しながら、本実施の形態に係る情報処理装置３の検出部３１０による特徴領域の検出動作について説明する。

追跡画面４００の映像表示部４０１には、図７に示す元画像４５０が表示されているものとする。元画像４５０には、第１色部５０１ａおよび第２色部５０１ｂを含む追跡対象５０１を有する作業者５００が写り込んでいる。以下、この元画像４５０を例にして、追跡対象５０１を検出する動作の一例について説明する。

まず、検出部３１０は、元画像４５０の画素から、画素値が２種類の基準色範囲に含まれる画素のみを抽出する抽出処理（第１処理）によって、図８に示す抽出画像４５１（第１画像）を得る。また、図８に示すように、２つの基準色を特定するために指定領域が指定された第１色部５０１ａおよび第２色部５０１ｂに対応する画素は、抽出処理によって抽出されることになる。また、元画像４５０には、登録部３０８により特定された基準色に近い色を有する被写体が含まれている可能性があり、その基準色に近い色を有する画素、すなわち基準色範囲に含まれる画素値を有する画素は、抽出処理によって抽出される可能性がある。

次に、検出部３１０は、抽出処理により得た抽出画像４５１に対して二値化処理（第２処理）を行い、図９に示す二値化画像４５２（第２画像）を得る。ここで二値化処理としては、例えば、抜出処理によって抜き出した画素を白色の画素に置換し、抜き出した画素以外の領域の画素をすべて黒色の画素に置換する。なお、二値化処理としては、これに限定されるものではなく、所定の閾値以上の画素値を有する画素を白色の画素に置換し、閾値未満の画素値を有する画素を黒色の画素に置換する等の他の方法で二値化するものとしてもよい。図９に示す抽出画像４５１に対して二値化処理を行った二値化画像４５２では、白色の画素の集合体であるブロックとして、ブロック６０１ａ、６０１ｂ、６０２、６０３ａ〜６０３ｄの７つのブロックが含まれている。

次に、検出部３１０は、二値化処理により得た二値化画像４５２に対してラベリング処理（第３処理）を行い、図１０に示すラベリング画像４５３（第３画像）を得る。ここで、ラベリング処理とは、二値化処理により得られた各ブロック（白色の画素の集合体）を区別するために識別情報を与える処理である。ラベリング処理としては、例えば、二値化画像４５２に対して、各ブロックに含まれる画素の画素値を、そのブロックを一意に識別する数値に置き換える。例えば、図１０に示すラベリング画像４５３の例では、検出部３１０は、ブロック６０２に含まれる画素の画素値を「１」に置換し、ブロック６０１ａに含まれる画素の画素値を「２」に置換し、ブロック６０１ｂに含まれる画素の画素値を「３」に置換する。さらに、検出部３１０は、ブロック６０３ａ〜６０３ｄそれぞれに含まれる画素の画素値を、「４」〜「７」にそれぞれ置換する。これによって、各ブロックは、一意に区別されることになる。

次に、検出部３１０は、ラベリング処理により得たラベリング画像４５３に含まれる各ブロックについて、所定の面積未満のブロックを削除する処理を行い、図１１に示す対象特定画像４５４を得る。検出部３１０は、この処理の結果、所定の面積未満であるブロック６０２、６０３ａ〜６０３ｄを削除し、所定の面積以上であるブロック６０１ａ、６０１ｂを残す。

次に、検出部３１０は、追跡対象５０１の追跡処理の対象となるフレームである元画像４５０の探索領域決定部３０９により決定された探索領域において、２種類の基準色範囲（所定の色範囲）に入る色の画素を含み、かつ、対象特定画像４５４のブロックに対応する画素の領域を特徴領域として検出する。ここで、元画像４５０が追跡処理の対象となる最初のフレームである場合、探索領域決定部３０９は、探索領域を元画像４５０全体に決定する。検出部３１０は、探索領域における特徴領域の検出動作の結果、図１２に示すように、元画像４５０において、第１色についての基準色範囲に入る画素を含み、かつ、ブロック６０１ａに対応する画素の領域である特徴領域７０１を検出する。また、検出部３１０は、第２色についての基準色範囲に入る画素を含み、かつ、ブロック６０１ｂに対応する画素の領域である特徴領域７０２を検出する。

次に、距離算出部３１１は、検出部３１０により検出された特徴領域７０１と特徴領域７０２との距離を算出する。具体的には、距離算出部３１１は、図１２に示すように、特徴領域７０１および特徴領域７０２それぞれが含む画素のうち、最も近接する画素同士の距離Ｄを算出する。

次に、判定部３１２は、距離算出部３１１により算出された特徴領域７０１と特徴領域７０２との距離Ｄが所定の閾値以下であるか否かを判定する。判定部３１２により距離Ｄが所定の閾値より大きい場合、更新部３１３は、特徴領域７０１と特徴領域７０２とは近接していないと判断し、追跡対象５０１を含む追跡領域は検出できないと判断する。一方、判定部３１２により距離Ｄが所定の閾値以下である場合、更新部３１３は、特徴領域７０１と特徴領域７０２とは近接していると判断する。この場合、更新部３１３は、特徴領域７０１が内接する矩形状の特徴領域枠７０１ａ、および特徴領域７０２が内接する矩形状の特徴領域枠７０２ａを指定し、特徴領域枠７０１ａおよび特徴領域枠７０２ａ双方が内接する最小の矩形領域を、追跡対象５０１を含む追跡領域７０３として検出する。すなわち、更新部３１３は、検出した追跡領域７０３を、現在の追跡対象５０１（映像表示部４０１に表示されたフレームに含まれる追跡対象５０１）を含む領域であるものとして更新する。また、更新部３１３は、検出した追跡領域７０３の情報を、検出したフレーム（元画像４５０）と関連付けて、記憶部３０４に記憶させる。

そして、探索領域決定部３０９は、図１３に示すように、更新部３１３により検出された追跡領域７０３の中心を中心とする所定の大きさの領域を、元画像４５０の次のフレームで追跡対象５０１を検出するための探索領域７０４として決定する。なお、図１３に示す探索領域７０４は、矩形状の領域としているが、これに限定されるものではなく、円形状、または楕円形状等の異なる形状の領域としてもよい。

（追跡対象の追跡処理）
図１４は、実施の形態に係る情報処理装置の追跡対象の追跡処理の流れの一例を示すフローチャートである。図１５は、実施の形態に係る情報処理装置の追跡処理で検出した追跡領域の情報を示す追跡結果テーブルの一例を示す図である。図１６は、実施の形態に係る情報処理装置の表示部に表示される映像に軌跡線を重畳させた状態の一例を示す図である。図１７は、実施の形態に係る情報処理装置の表示部に表示された軌跡線を選択操作した場合の動作について説明する図である。図１４〜１７を参照しながら、本実施の形態に係る情報処理装置３の追跡対象の追跡処理の流れについて説明する。なお、予め、上述の色登録処理により、２つの基準色（第１色および第２色）が登録されているものとする。まず、映像表示部４０１において再生部３０５による映像データの再生表示中に、追跡対象（例えば、図１６に示す追跡対象５０１）の追跡処理を所望するフレームが表示されているタイミングで、ユーザによる入力部３０２の操作によって追跡開始ボタン４０９が押下されると、再生部３０５に表示されたフレームから管理部３１６により追跡対象の追跡処理が開始される。なお、再生部３０５によって映像表示部４０１に再生表示される映像データは、撮像装置２から受信したリアルタイムの映像データであってもよく、または、記憶部３０４に記憶された過去の映像データであってもよい。

＜ステップＳ３１＞
取得部３０６は、追跡開始ボタン４０９が押下された直後のタイミングで再生部３０５に表示されたフレーム、または、追跡処理が終了したフレームの次のフレームであって再生部３０５に表示されたフレームを取得する。なお、取得部３０６により取得されるフレームは、追跡処理が終了したフレームの次のフレームに限定されるものではなく、所定時間後に対応するフレームを取得するものとしてもよい。すなわち、追跡処理は、処理が開始された映像データのフレーム以降、フレーム毎に実行されることに限定せず、所定時間ごとのフレームに対して実行するものとしてもよい。以下、取得部３０６により取得されたフレームを「対象フレーム」（第１フレーム）という場合がある。そして、ステップＳ３２へ移行する。

＜ステップＳ３２＞
検出部３１０は、対象フレームの画素から、画素値が第１色および第２色についての基準色範囲に含まれる画素のみを抽出する抽出処理によって、抽出画像（例えば、図８に示す抽出画像４５１）を得る。そして、検出部３１０は、抽出処理により得た抽出画像に対して二値化処理を行い、二値化画像（例えば、図９に示す二値化画像４５２）を得る。二値化画像では、例えば、図９に示す二値化画像４５２のように、白色の画素の集合体であるブロックが含まれる。そして、ステップＳ３３へ移行する。

＜ステップＳ３３＞
検出部３１０は、二値化処理により得た二値化画像に対してラベリング処理を行い、ラベリング画像（例えば、図１０に示すラベリング画像４５３）を得る。ラベリング処理としては、例えば、二値化画像に対して、各ブロックに含まれる画素の画素値を、そのブロックを一意に識別する数値に置き換える。これによって、各ブロックは、一意に区別されることになる。

次に、検出部３１０は、ラベリング処理により得たラベリング画像に含まれる各ブロックについて、所定の面積未満のブロックを削除する処理を行い、対象特定画像（例えば、図１１に示す対象特定画像４５４）を得る。これは、細かいブロックを削除し、追跡対象に対応しないと思われるブロックを予め検出動作の対象外とすることを意図する処理である。そして、ステップＳ３４へ移行する。

＜ステップＳ３４＞
探索領域決定部３０９は、後述するステップＳ３９において、更新部３１３により対象フレームの前のフレーム（第２フレームの一例）で検出された追跡領域の中心を中心とする所定の大きさの範囲を、対象フレームでの探索領域として決定する。ただし、対象フレームが追跡処理の対象となる最初のフレームである場合、探索領域決定部３０９は、探索領域を対象フレーム全体に決定する。なお、探索領域決定部３０９が決定する探索領域は、対象フレームの前のフレームで検出された追跡領域の中心を中心とする領域に限定されるものではなく、少なくとも、前のフレームで検出された追跡領域を含む領域を探索領域とするものとしてもよい。そして、ステップＳ３５へ移行する。

＜ステップＳ３５＞
検出部３１０は、探索領域決定部３０９により決定された対象フレームでの探索領域において、第１色についての基準色範囲に入る画素を含み、かつ、対象特定画像のブロックに対応する画素の領域を特定して、特定した領域を特徴領域（以下、「第１特徴領域」という場合がある）（例えば、図１２に示す特徴領域７０１）として検出する。また、検出部３１０は、探索領域において、第２色についての基準色範囲に入る画素を含み、かつ、対象特定画像のブロックに対応する画素の領域を特定し、特定した領域を特徴領域（以下、「第２特徴領域」という場合がある）（例えば、図１２に示す特徴領域７０２）として検出する。そして、ステップＳ３６へ移行する。

＜ステップＳ３６＞
ステップＳ３５において、検出部３１０により２つの特徴領域（第１特徴領域および第２特徴領域）が検出された場合（ステップＳ３６：Ｙｅｓ）、ステップＳ３７へ移行し、第１特徴領域または第２特徴領域のうち少なくともいずれかが検出されなかった場合（ステップＳ３６：Ｎｏ）、ステップＳ４１へ移行する。

＜ステップＳ３７＞
距離算出部３１１は、検出部３１０により検出された第１特徴領域と第２特徴領域との距離を算出する。具体的には、距離算出部３１１は、第１特徴領域および第２特徴領域それぞれが含む画素のうち、最も近接する画素同士の距離（例えば、図１２に示す距離Ｄ）を算出する。そして、ステップＳ３８へ移行する。

＜ステップＳ３８＞
判定部３１２は、距離算出部３１１により算出された第１特徴領域と第２特徴領域との距離が所定の閾値以下であるか否かを判定する。判定部３１２により距離が所定の閾値より大きい場合（ステップＳ３８：Ｎｏ）、更新部３１３は、第１特徴領域と第２特徴領域とは近接しておらず、追跡対象を含む追跡領域を検出できないと判断し、ステップＳ４１へ移行する。一方、判定部３１２により距離が所定の閾値以下である場合（ステップＳ３８：Ｙｅｓ）、更新部３１３は、第１特徴領域と第２特徴領域とは近接していると判断し、ステップＳ３９へ移行する。

＜ステップＳ３９＞
更新部３１３は、第１特徴領域が内接する矩形状の特徴領域枠（以下、「第１特徴領域枠」という）（例えば、図１２に示す特徴領域枠７０１ａ）、および第２特徴領域が内接する矩形状の特徴領域枠（以下、「第２特徴領域枠」という）（例えば、図１２に示す特徴領域枠７０２ａ）を指定する。そして、更新部３１３は、第１特徴領域枠および第２特徴領域枠双方が内接する最小の矩形領域を、追跡対象を含む追跡領域（例えば、図１２に示す追跡領域７０３）として検出する。すなわち、更新部３１３は、検出した追跡領域を、現在の追跡対象（対象フレームに含まれる追跡対象）を含む領域であるものとして更新する。また、更新部３１３は、検出した追跡領域の情報を、対象フレームと関連付けて、記憶部３０４に記憶させる。例えば、更新部３１３は、図１５に示す追跡結果テーブル１０００のように、追跡領域の情報のうち追跡領域の中心座標と、フレーム番号と、追跡処理が開始されてからの経過時間と、が関連付けられた情報を、記憶部３０４に記憶させる。なお、追跡結果テーブル１０００は、テーブル形式の情報としているが、これに限定されるものではなく、追跡領域の中心座標と、フレーム番号と、経過時間とを関連付ける情報であればどのような形式の情報であってもよい。そして、ステップＳ４０へ移行する。

＜ステップＳ４０＞
軌跡生成部３１５は、記憶部３０４に記憶された追跡結果テーブル１０００から対象フレームに対応する追跡領域の中心座標と、対象フレームの前のフレームに対応する追跡領域の中心座標と、を読み出す。そして、軌跡生成部３１５は、対象フレームに対応する追跡領域の中心点と、対象フレームの前のフレームに対応する追跡領域の中心点とを結ぶ軌跡線を生成し、映像表示部４０１に表示されている対象フレームに重畳して表示させる。この場合、軌跡生成部３１５は、追跡処理開始後のフレームから、対象フレームの前のフレームまでのフレームについて生成した軌跡線も同様に、対象フレームに重畳して表示させる。これによって、映像表示部４０１には、映像データに重畳して、追跡処理開始後からの追跡対象の軌跡を示す軌跡線が表示されることになる。

また、移動量算出部３１４は、記憶部３０４に記憶された追跡結果テーブル１０００から対象フレームに対応する追跡領域の中心座標と、対象フレームの前のフレームに対応する追跡領域の中心座標と、を読み出す。そして、移動量算出部３１４は、対象フレームに対応する追跡領域の中心座標と、対象フレームの前のフレームに対応する追跡領域の中心座標との距離（移動量）を算出し、追跡処理開始後のフレームから、対象フレームの前のフレームまでのフレームについて算出した移動量に加算する。すなわち、移動量算出部３１４により算出された移動量は、軌跡生成部３１５により生成された軌跡線の長さと同一である。

なお、軌跡生成部３１５は、図１６に示すように、映像表示部４０１に表示されている対象フレーム（元画像４５０）に重畳させる軌跡線として、時系列に線種を切り替えた軌跡線８００を表示させるものとしてもよい。図１６に示す例では、軌跡線８００を、時系列に最も古い軌跡を実線、最も新しい軌跡を点線、中間時の軌跡を破線で示している。これによって、追跡対象の軌跡線を見たときに、どの部分の軌跡が新しく、または古いのかが視覚的に把握できるので、軌跡線に基づく追跡対象の動作分析に役立てることができる。なお、図１６に示す軌跡線８００は、時系列に線種を切り替えて表示されているが、これに限定されるものではなく、時系列に軌跡線の色を切り替えたり、時系列に形状の異なるポイントでプロットすることにより軌跡線を表示するというように、軌跡線の各部分を時系列に応じて態様を変えて表示するものとしてもよい。

そして、ステップＳ４２へ移行する。

＜ステップＳ４１＞
探索領域決定部３０９は、検出部３１０により対象フレームの探索領域で追跡領域が検出されなかった、すなわち、追跡対象を見失ったと判断し、その探索領域を拡大して、対象フレームの次のフレーム（第３フレームの一例）での追跡処理において使用させる。探索領域の拡大方法としては、例えば、探索領域を横軸方向および縦軸方向に所定量だけ拡大させる方法、または、探索領域の形状を相似形（中心は同一）としたまま面積を所定割合だけ拡大させる方法等が挙げられる。これによって、対象フレームの次のフレームでの追跡処理において、追跡対象を再検出しやすくすることができる。そして、ステップＳ３１へ戻る。

＜ステップＳ４２＞
管理部３１６は、ユーザによる入力部３０２の操作により、追跡停止ボタン４１０が押下されたか否かを判定する。追跡停止ボタン４１０が押下された場合、管理部３１６は、追跡処理を終了するものとする（ステップＳ４２：Ｙｅｓ）。一方、追跡停止ボタン４１０が押下されていない場合、管理部３１６は、追跡処理を続行させるものとし（ステップＳ４２：Ｎｏ）、ステップＳ３１へ戻る。

以上のステップＳ３１〜Ｓ４２によって、追跡対象の追跡処理が実行される。

なお、再生部３０５は、映像表示部４０１に表示された映像データに重畳して表示された軌跡線上のいずれかの部分が、ユーザによる入力部３０２の操作（例えば、マウス１０８のクリック操作）により選択された場合、軌跡線上の操作された部分に対応する日付・時刻のフレームから再生表示させるものとしてもよい。この場合、図１７に示す軌跡線８００のように、線が交差する部分に対して操作された場合、再生部３０５は、例えば、図１７に示すように、フレーム選択ウィンドウ８０１を表示させ、交差している複数の線にそれぞれ対応する日付・時刻のフレームのうちいずれかを選択させるものとしてもよい。図１７に示すフレーム選択ウィンドウ８０１の例では、追跡処理が開始されてからの時間を示す「Ｔｉｍｅ ２１０（ｓ）」と表記された選択ボタン８０１ａと、「Ｔｉｍｅ ３００（ｓ）」と表記された選択ボタン８０１ｂと、を含む。この場合、軌跡線８００で交差している線のうち、選択ボタン８０１ａに対応するものが破線で表示された部分であり、選択ボタン８０１ｂに対応するものが点線で表示された部分である。例えば、ユーザによる入力部３０２の操作により、選択ボタン８０１ａが押下された場合、再生部３０５は、追跡処理が開始されてから２１０［秒］経過後に対応するフレームから再生表示させる。なお、再生部３０５は、軌跡線上の操作された部分に対応する日付・時刻のフレームから再生表示させるのではなく、そのフレームを一時停止の状態で表示され、ユーザによる入力部３０２の操作により映像操作ボタン部４０３の再生ボタンが押下された場合、再生表示を開始させるものとしてもよい。

また、図１４に示す追跡処理のフローでは、対象フレーム全体について、抽出処理、二値化処理およびラベリング処理が行われているが、これに限定されるものではなく、検出部３１０は、抽出処理、二値化処理およびラベリング処理のうち少なくともいずれかを、探索領域決定部３０９により決定された探索領域で実行するものとしてもよい。これによって、追跡対象の追跡処理の負荷を軽減することができる。

（追跡対象の追跡処理の適用例）
次に、上述の追跡対象の追跡処理の適用例について説明する。

図１８は、作業者が装着した２色のリストバンドを追跡対象とした例について説明する図である。図１８に示す例では、映像表示部４０１に表示されているフレームにおいて追跡処理の対象とするのは、図１８（ａ）に示すように、部品の組み付け作業等を行う作業者５１０の腕に装着されたリストバンドである追跡対象５１１である。追跡対象５１１は、特定の色を有する第１色部５１１ａと、第１色部５１１ａとは異なる色を有する第２色部５１１ｂと、を含む。

このように、追跡対象を作業者５１０が装着した２色のリストバンド（追跡対象５１１）とすることによって、図１８（ｂ）に示す軌跡重畳画像４６０の軌跡線８１０が示すように、リストバンドの動作を把握することができ、作業者５１０の作業効率の分析等を行うことができる。

図１９は、買物客が持つカゴに装着した２色のシートを追跡対象とした例について説明する図である。図１９に示す例では、映像表示部４０１に表示されているフレームにおいて追跡処理の対象とするのは、売場Ａ〜Ｉが設置されたスーパーマーケットで買物客５２０が持つカゴに装着した２色のシートである追跡対象５２１である。

このように、追跡対象を買物客５２０が持つカゴに装着した２色のシート（追跡対象５２１）とすることによって、図１９に示す軌跡線８２０が示すように、買物客５２０の動作を把握することができ、スーパーマーケットに配置された商品に対する買物客５２０の嗜好性等の分析、および商品レイアウトの改善等を行うことができる。

図２０は、書道の筆に添付した２色のシールを追跡対象とした例について説明する図である。図２０に示す例では、映像表示部４０１に表示されているフレームにおいて追跡処理の対象とするのは、書道の筆に添付した２色のシールである追跡対象５３１である。

このように、追跡対象を書道の筆に添付した２色のシール（追跡対象５３１）とすることによって、図２０が示す軌跡重畳画像４７０の軌跡線８３０が示すように、書道の筆の動きを把握することができ、熟練者の筆の動きと比較して書道の技能向上に役立てることができる。

以上のように、追跡対象が有する色のうち２つの色（第１色および第２色）を特徴量として予め登録し、検出部３１０がフレーム上で、その２つの色のうちいずれかを含む領域を特徴領域として検出し、判定部３１２により第１色を含む特徴領域と第２色を含む特徴領域とが近接していると判定された場合、更新部３１３は、これらの特徴領域が追跡対象を含む追跡領域であるものとして検出するものとしている。このように、追跡対象が有する２つの色を含む領域を検出するので、周囲に２つの色のうちいずれかを有する単一の領域が存在していても、追跡領域として誤検出することがなく、追跡対象の検出精度を向上させることができる。

また、探索領域決定部３０９により探索領域を決定し、検出部３１０は、探索領域内で追跡対象を検出する処理を実行しているので、処理の負荷を軽減することができ、かつ、不自然に離れた部分で類似の領域が特徴領域として検出されないようにすることができる。

また、検出部３１０が対象フレームの探索領域で追跡領域を検出できなかった（追跡対象を見失った）場合、探索領域決定部３０９は、探索領域を拡大し、対象フレームの次のフレームでの追跡処理に使用させるものとしている。これによって、対象フレームの次のフレームでの追跡処理において、追跡対象を再検出しやすくすることができる。

また、軌跡生成部３１５は、追跡対象の軌跡を示す軌跡線を、再生表示されている映像データに重畳して表示する。これによって、追跡対象の軌跡を視覚的に把握できるので、追跡対象の動作分析に役立てることができる。

なお、上述の追跡対象の追跡処理において、検出部３１０は、登録部３０８により予め登録された基準色に基づいて、各フレームにおいて特徴領域を検出するものとしたが、これに限定されるものではない。例えば、検出部３１０は、特定のフレームにおいて特徴領域を検出した場合、その特徴領域が含む画素の色に基づいて、基準色を更新し、次のフレームでは、更新した基準色に基づいて特徴領域を検出するものとしてもよい。これによって、追跡対象に対する周囲の環境変化（例えば、光の当たり方の変化等）が生じても、特徴領域を検出しやすくすることができる。

また、上述の追跡対象の追跡処理では、再生部３０５が再生表示している映像データについて、軌跡生成部３１５は、更新部３１３によりリアルタイムで検出された追跡領域を利用して軌跡線を重畳表示するものとしているが、これに限定されるものではない。すなわち、追跡対象の追跡処理において記憶部３０４に記憶された追跡結果テーブル１０００が存在し、再生部３０５により対応する映像データが再度再生表示された場合、軌跡生成部３１５は、記憶部３０４に記憶された追跡結果テーブル１０００の追跡領域の中心座標を参照し、参照した中心座標を用いて追跡対象の軌跡線を映像データの重畳表示するものとしてもよい。

また、登録部３０８は、指定部３０７により指定された２つの指定領域に基づいて、特徴量として２つの基準色を登録するものとしたが、これに限定されるものではなく、３つ以上の基準色を登録するものとしてもよい。この場合、３つの基準色が登録された場合、検出部３１０は、３つの基準色に基づいて３種類の特徴領域を検出するものとすればよい。そして、例えば、距離算出部３１１は、３種類の特徴領域のそれぞれ互いの距離を算出し、判定部３１２は、これらの距離について閾値判定し、更新部３１３は、これらの距離のすべてが閾値以下である場合、３種類の特徴領域を含む領域を追跡領域として検出して更新するものとすればよい。

また、上述では、２つの異なる基準色を登録するものとしたが、これに限定されるものではない。すなわち、基準色として１つを登録し、検出された２つの特徴領域（すなわち、双方同じ色の特徴領域）の距離が近接していることが判定されれば、追跡領域であると判断することは可能である。

また、上述の追跡対象の追跡処理では、検出部３１０がラベリング画像に対して、所定の面積未満のブロックを削除する処理を行っているが、この処理は行わないものとしてもよい。これによって、フレーム上では面積が小さくなる追跡対象でも追跡処理を実行しやすくすることができる。

（変形例１）
以下、図２１を参照しながら、変形例１に係る情報処理装置３について、上述の実施の形態に係る情報処理装置３と相違する点を中心に説明する。上述の実施の形態では、特徴量を色とし、登録部３０８によって、２つの指定領域に基づいて２つの基準色を特定し、この２つの基準色を用いて追跡対象を検出する動作について説明した。本変形例では、特徴量を形状とし、登録部３０８によって、２つの指定領域それぞれに含まれる２つの形状を基準形状として特定し、この２つの基準形状を用いて追跡対象を検出する動作について説明する。なお、本変形例に係る画像処理システム１の構成、ならびに、情報処理装置３のハードウェア構成および機能ブロックの構成は、上述の実施の形態で説明したそれぞれの構成と同様である。

図２１は、実施の形態の変形例１に係る情報処理装置において追跡対象が有する形状を登録する操作について説明する図である。まず、図２１を参照しながら、本変形例の形状の登録処理について説明する。

本変形例に係る情報処理装置３が映像表示部４０１に表示されているフレームにおいて追跡の対象とするのは、図２１に示すように、箱５４０の追跡対象５４１であるものとする。追跡対象５４１は、箱５４０の側面に添付されたシール等であり、特定の形状が表された第１形状部５４１ａと、第１形状部５４１ａとは異なる形状を有する第２形状部５４１ｂと、を含む。

ユーザによる入力部３０２の操作（例えば、マウス１０８のドラッグ操作）によって、指定部３０７は、取得部３０６により取得されたフレーム、すなわち、映像表示部４０１に表示されているフレームにおいて、図２１に示すように、追跡対象の追跡処理で使用する特徴量としての形状を特定するために、第１形状部５４１ａにおいて第１指定領域５６０を、第２形状部５４１ｂにおいて第２指定領域５６１を指定する。すなわち、指定部３０７は、２つの異なる形状を有する第１指定領域５６０および第２指定領域５６１を指定する。

登録部３０８は、指定部３０７により指定された第１指定領域５６０および第２指定領域５６１に基づいて、２つの基準形状（第１指定領域５６０に対応する基準形状を第１形状とし、第２指定領域５６１に対応する基準形状を第２形状とする）を特定し、特定した２つの基準形状の情報を記憶部３０４に記憶（登録）する。具体的には、登録部３０８は、例えば、各指定領域においてエッジ検出等の画像処理を実行し、第１形状部５４１ａについては第１抽出形状５７０（第１形状）を特定し、第２形状部５４１ｂについては第２抽出形状５７１（第２形状）を特定する。

そして、設定部３０３は、登録部３０８により登録された基準形状についてのテンプレートを追跡パラメータとして設定し、設定した追跡パラメータを、記憶部３０４に記憶させる。以上のような処理によって、形状の登録処理（基準形状の特定および登録）および追跡パラメータの設定が実行される。

次に、図２１を参照しながら、本変形例の追跡対象の追跡処理について説明する。本変形例の追跡処理のうち、２つの特徴領域を検出した後の処理（図１４の例では、ステップＳ３６〜Ｓ４２の処理）については、上述の実施の形態での追跡処理と同様なので、特徴領域の検出動作について説明する。

取得部３０６は、追跡開始ボタン４０９が押下された直後のタイミングで再生部３０５に表示されたフレーム、または、追跡処理が終了したフレームの次のフレームであって再生部３０５に表示されたフレームを取得する。以下、取得部３０６により取得されたフレームを「対象フレーム」という場合がある。

次に、探索領域決定部３０９は、図１４に示すステップＳ３９に相当する処理として、更新部３１３により対象フレームの前のフレームで検出された追跡領域の中心を中心とする所定の大きさの範囲を、対象フレームでの探索領域として決定する。ただし、対象フレームが追跡処理の対象となる最初のフレームである場合、探索領域決定部３０９は、探索領域を対象フレーム全体に決定する。

次に、検出部３１０は、対象フレームにおける探索領域決定部３０９により決定された探索領域内で、登録部３０８により登録された基準形状のテンプレートによるテンプレートマッチングを行う。具体的には、検出部３１０は、対象フレームの探索領域において、第１形状のテンプレートによるテンプレートマッチングを行い、マッチングした領域を第１特徴領域として検出する。また、検出部３１０は、対象フレームの探索領域において、第２形状のテンプレートによるテンプレートマッチングを行い、マッチングした領域を第２特徴領域として検出する。

追跡対象の追跡処理の残りの処理は、上述のように、図１４に示すステップＳ３６〜Ｓ４２の処理と同様である。

以上のように、上述した実施の形態のように特徴として色ではなく、追跡対象が有する形状のうち２つの形状（第１形状および第２形状）を特徴量として予め登録し、検出部３１０がフレーム上で、その２つの形状のうちいずれかを含む領域を特徴領域として検出し、判定部３１２により第１形状を含む特徴領域と第２形状を含む特徴領域とが近接していると判定された場合、更新部３１３は、これらの特徴領域が追跡対象を含む追跡領域であるものとして検出するものとする。このように、追跡対象が有する２つの形状を含む領域を検出するので、周囲に２つの形状のうちいずれかの形状を有する単一の領域が存在していても、追跡領域として誤検出することがなく、追跡対象の検出精度を向上させることができる。

なお、上述の図２１の説明では、２つの異なる形状を登録するものとしたが、これに限定されるものではない。すなわち、２つの形状が同じ形状であっても、検出された２つの特徴領域（すなわち、双方同じ形状の特徴領域）の距離が近接していることが判定されれば、追跡領域であると判断することは可能である。

また、上述の実施の形態では特徴量を色とし、変形例１では特徴量を形状としたが、これを組み合わせて用いることも可能である。この場合、基準色に基づいて検出された特徴領域と、基準形状に基づいて検出された特徴領域との距離が近接していれば、これらの特徴領域を含む領域が追跡領域であると判断できる。

（変形例２）
以下、図２２を参照しながら、変形例２に係る情報処理装置３について、上述の実施の形態に係る情報処理装置３と相違する点を中心に説明する。上述の実施の形態では、対象フレーム内で１つの追跡対象を追跡する動作について説明した。本変形例では、対象フレーム内で複数の追跡対象を追跡する動作について説明する。なお、本変形例に係る画像処理システム１の構成、ならびに、情報処理装置３のハードウェア構成および機能ブロックの構成は、上述の実施の形態で説明したそれぞれの構成と同様である。

図２２は、実施の形態の変形例２に係る情報処理装置の複数の追跡対象の追跡処理を説明する図である。図２２を参照しながら、本変形例の対象フレーム内で複数の追跡対象を追跡する動作について説明する。この図２２では、物流倉庫内で箱が自動で搬送される状態を示している。

登録部３０８が、指定部３０７により指定された２つの指定領域に基づいて、２つの基準色を特定し、特定した２つの基準色の情報を記憶部３０４に記憶（登録）する動作は、上述の実施の形態と同様である。

上述の図７〜図１３では、１つの追跡対象について、特徴領域の検出動作について説明したが、複数の追跡対象についてもそのまま適用できる。この場合、検出部３１０によって、第１色および第２色についての２つの特徴領域の組み合わせが、複数検出された場合は、それぞれの組み合わせに対して、距離算出部３１１による距離の算出、判定部３１２による距離の閾値判定、および更新部３１３による追跡領域の検出および更新が行われるものとすればよい。また、更新部３１３により複数の追跡対象を含む追跡領域が検出された場合、探索領域決定部３０９は、それぞれの追跡領域の中心を中心とする所定の大きさの領域を、対象フレームの次のフレームでそれぞれ同じ追跡対象を検出するための探索領域として決定するものとすればよい。なお、複数の追跡対象がフレーム上のどこで出現するか判断できない場合、または、フレーム全域で出現する場合等では、探索領域決定部３０９により特定の探索領域を決定せず、特徴領域の検索動作は、フレーム全体で行うものとしてもよい。

図２２に示す軌跡重畳画像４８０は、フレームに複数の追跡対象（製品５４５、５４６）が出現し、これらの追跡対象の追跡処理の結果を示す画像である。製品５４５、５４６は、それぞれ同じ２色の追跡対象（追跡対象５４５ａ、５４６ａ）を有する。これらの追跡対象５４５ａ、５４６ａについて、検出部３１０による特徴領域の検出、距離算出部３１１による距離の算出、判定部３１２による距離の閾値判定、および更新部３１３による追跡領域の検出および更新が行われる。ここで、更新部３１３は、追跡対象５４５ａ、５４６ａそれぞれに対応する追跡結果テーブル１０００（図１５参照）を記憶部３０４に記憶させる。そして、軌跡生成部３１５は、記憶部３０４に記憶された２種類の追跡結果テーブル１０００それぞれから対象フレームに対応する追跡領域の中心座標と、対象フレームの前のフレームに対応する追跡領域の中心座標と、を読み出す。そして、軌跡生成部３１５は、対象フレームに対応する追跡領域の中心点と、対象フレームの前のフレームに対応する追跡領域の中心点とを結ぶ軌跡線を２つ生成し、映像表示部４０１に表示されている対象フレームに重畳して表示させる。この場合、軌跡生成部３１５は、追跡処理開始後のフレームから、対象フレームの前のフレームまでのフレームについて生成した２つの軌跡線も同様に、対象フレームに重畳して表示させる。これによって、映像表示部４０１には、映像データに重畳して、追跡処理開始後からの追跡対象の軌跡を示す軌跡線が２つ（軌跡線８４０、８４１）表示されることになる。これらの軌跡線８４０、８４１は、それぞれ追跡対象５４５ａ、５４６ａの軌跡を示す線となる。

以上のように、追跡対象が複数の場合でも、それぞれに対して２つの色を含む領域を検出するので、上述の実施の形態と同様に、周囲に２つの色のうちいずれかを有する単一の領域が存在していても、追跡領域として誤検出することがなく、追跡対象の検出精度を向上させることができる。図２２に示す例では、物流倉庫内で箱が自動で搬送される工程で、それぞれの箱を追跡できるので、搬送の停滞を検出することができる。

なお、複数の追跡対象の追跡処理において、登録部３０８により２つの色（第１色および第２色）を登録するものとしたが、これに限定されるものではない。例えば、１組の色（第１色および第２色）のみを登録することに限られず、２組以上の色を登録しておき、それぞれの組の色を有する特徴領域を検出することによって、それぞれの組の色を有する追跡対象を検出することが可能である。

また、本実施の形態および各変形例の設定部３０３、再生部３０５、取得部３０６、指定部３０７、登録部３０８、探索領域決定部３０９、検出部３１０、距離算出部３１１、判定部３１２、更新部３１３、移動量算出部３１４、軌跡生成部３１５、管理部３１６、および表示制御部３１７の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、本実施の形態および各変形例の情報処理装置３で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、本実施の形態および各変形例の情報処理装置３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態および各変形例の情報処理装置３で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施の形態および各変形例の情報処理装置３で実行されるプログラムは、上述した各機能部の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述のＲＯＭからプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。

１ 画像処理システム
２、２ａ〜２ｆ 撮像装置
３ 情報処理装置
４ ネットワーク
１０ 外部機器
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ ディスプレイ
１０６ ネットワークＩ／Ｆ
１０７ キーボード
１０８ マウス
１０９ ＤＶＤドライブ
１１０ ＤＶＤ
１１１ 外部機器Ｉ／Ｆ
１１３ バス
３０１ 映像受信部
３０２ 入力部
３０３ 設定部
３０４ 記憶部
３０５ 再生部
３０６ 取得部
３０７ 指定部
３０８ 登録部
３０９ 探索領域決定部
３１０ 検出部
３１１ 距離算出部
３１２ 判定部
３１３ 更新部
３１４ 移動量算出部
３１５ 軌跡生成部
３１６ 管理部
３１７ 表示制御部
３１８ 表示部
４００ 追跡画面
４０１ 映像表示部
４０１ａ カメラ選択タブ
４０３ 映像操作ボタン部
４０４ シークバー
４０５ スライダ
４０６ 拡大縮小ボタン部
４０７ スパン変更ボタン部
４０８ 時刻表示部
４０９ 追跡開始ボタン
４１０ 追跡停止ボタン
４５０ 元画像
４５１ 抽出画像
４５２ 二値化画像
４５３ ラベリング画像
４５４ 対象特定画像
４６０ 軌跡重畳画像
４７０ 軌跡重畳画像
４８０ 軌跡重畳画像
５００ 作業者
５０１ 追跡対象
５０１ａ 第１色部
５０１ｂ 第２色部
５１０ 作業者
５１１ 追跡対象
５１１ａ 第１色部
５１１ｂ 第２色部
５２０ 買物客
５２１ 追跡対象
５３１ 追跡対象
５４０ 箱
５４１ 追跡対象
５４１ａ 第１形状部
５４１ｂ 第２形状部
５４５ 製品
５４５ａ 追跡対象
５４６ 製品
５４６ａ 追跡対象
５５０ 第１指定領域
５５１ 第２指定領域
５６０ 第１指定領域
５６１ 第２指定領域
５７０ 第１抽出形状
５７１ 第２抽出形状
６０１ａ、６０１ｂ、６０２、６０３ａ〜６０３ｄ ブロック
７０１、７０２ 特徴領域
７０１ａ、７０２ａ 特徴領域枠
７０３ 追跡領域
７０４ 探索領域
８００ 軌跡線
８０１ フレーム選択ウィンドウ
８０１ａ、８０１ｂ 選択ボタン
８１０ 軌跡線
８２０ 軌跡線
８３０ 軌跡線
８４０、８４１ 軌跡線
１０００ 追跡結果テーブル

Claims (19)

1. 撮像装置で撮像された映像データを表示装置の所定の表示領域に再生表示させる再生部と、
   前記再生部により表示された前記映像データの第１フレームにおいて、追跡対象について予め登録された特徴情報に基づいて複数の特徴領域を検出する特徴領域検出部と、
   前記特徴領域検出部により検出された前記複数の特徴領域に基づいて、前記追跡対象を含む追跡領域を検出する追跡領域検出部と、
   前記追跡対象の軌跡を示す軌跡線を前記映像データに重畳して表示させる軌跡生成部と、
   を備え、
   前記再生部は、前記軌跡線上のいずれかの部分が入力部に対する操作により選択された場合、該部分に対応する前記映像データのフレームから再生表示させ、
   前記再生部は、前記表示領域に表示された前記軌跡線が交差する部分に対して前記入力部に対する操作により選択された場合、交差しているいずれの線を選択するかの選択を受け付ける表示を行う画像処理装置。
2. 前記軌跡生成部は、前記軌跡線の各部分を時系列に応じて態様を変えて表示する請求項１に記載の画像処理装置。
3. 前記追跡領域検出部は、前記複数の特徴領域の互いの距離に基づいて、該複数の特徴領域を含む領域を、前記追跡領域として検出する請求項１または２に記載の画像処理装置。
4. 前記距離を算出する算出部と、
   前記算出部により算出された前記距離が閾値以下であるか否かを判定する判定部と、
   を、さらに備え、
   前記追跡領域検出部は、前記判定部によって前記複数の特徴領域の互いの前記距離が閾値以下であると判定された場合、該複数の特徴領域を含む領域を前記追跡領域として検出する請求項３に記載の画像処理装置。
5. 前記表示領域のうち、前記特徴領域検出部が前記複数の特徴領域を検出する対象となる特定の領域を探索領域として決定する決定部を、さらに備え、
   前記特徴領域検出部は、前記探索領域内で前記複数の特徴領域を検出する請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記決定部は、前記追跡領域検出部により前記第１フレームより前の第２フレームで検出された前記追跡領域を含む所定の大きさの領域を、前記第１フレームでの前記探索領域として決定する請求項５に記載の画像処理装置。
7. 前記決定部は、前記追跡領域検出部により前記第１フレームで前記追跡領域が検出されなかった場合、該第１フレームに対して決定した前記探索領域より所定量だけ拡大した新たな探索領域を決定し、
   前記特徴領域検出部は、前記第１フレームより後の第３フレームでの前記新たな探索領域内で前記複数の特徴領域を検出する請求項５または６に記載の画像処理装置。
8. 前記特徴情報として、前記追跡対象に含まれる色に対応する基準色が登録されている請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記特徴情報として、前記追跡対象に含まれる複数の色にそれぞれ対応する複数の前記基準色が登録されている請求項８に記載の画像処理装置。
10. 前記基準色を登録するための指定領域を、前記表示領域に表示された前記映像データのフレームから指定する指定部と、
    前記指定領域に存在する画素の色を用いて前記基準色を登録する登録部と、
    をさらに備えた請求項８または９に記載の画像処理装置。
11. 前記指定部は、前記入力部であるマウスに対するドラッグ操作により前記指定領域を指定し、
    前記登録部は、前記指定領域の色の平均値により前記基準色を登録する請求項１０に記載の画像処理装置。
12. 前記特徴領域検出部は、
    前記第１フレームの少なくとも一部の領域において、前記基準色を含む所定の色範囲に含まれる色の画素を有する領域を抜き出して第１画像を得る第１処理を行い、
    前記第１画像を二値化して第２画像を得る第２処理を行い、
    前記第２画像において前記第２処理により得られた１以上のブロックをそれぞれ区別する第３画像を得る第３処理を行い、
    前記第３画像の各ブロックに対応する前記第１フレームの領域の画素値が前記所定の色範囲に含まれる場合、該領域を前記特徴領域として検出する請求項８〜１１のいずれか一項に記載の画像処理装置。
13. 前記特徴情報として、前記追跡対象に含まれる形状に対応する基準形状が登録されている請求項１〜７のいずれか一項に記載の画像処理装置。
14. 前記基準形状を登録するための指定領域を指定する指定部と、
    前記指定領域に存在する形状を用いて前記基準形状を登録する登録部と、
    をさらに備えた請求項１３に記載の画像処理装置。
15. 前記特徴情報として、前記追跡対象に含まれる色および形状にそれぞれ対応する基準色および基準形状が登録されている請求項１〜７のいずれか一項に記載の画像処理装置。
16. 前記特徴領域検出部は、
    前記第１フレームで検出した前記複数の特徴領域に基づいて、前記複数の特徴情報を新たな特徴情報に更新し、
    前記第１フレームより後のフレームにおいて、前記新たな特徴情報に基づいて複数の特徴領域を検出する請求項１〜１５のいずれか一項に記載の画像処理装置。
17. 前記映像データを撮像する前記撮像装置と、
    前記撮像装置により撮像された前記映像データを表示する前記表示装置と、
    請求項１〜１６のいずれか一項に記載の画像処理装置と、
    を備えた画像処理システム。
18. 撮像装置で撮像された映像データを表示装置の所定の表示領域に再生表示させる再生ステップと、
    表示した前記映像データの第１フレームにおいて、追跡対象について予め登録された特徴情報に基づいて複数の特徴領域を検出する特徴情報検出ステップと、
    検出した前記複数の特徴領域に基づいて、前記追跡対象を含む追跡領域を検出する追跡領域検出ステップと、
    前記追跡対象の軌跡を示す軌跡線を前記映像データに重畳して表示させる軌跡生成ステップと、
    前記軌跡線上のいずれかの部分が入力部に対する操作により選択された場合、該部分に対応する前記映像データのフレームから前記表示領域に再生表示させるステップと、
    前記表示領域に表示された前記軌跡線が交差する部分に対して前記入力部に対する操作により選択された場合、交差しているいずれの線を選択するかの選択を受け付ける表示を行うステップと、
    を有する画像処理方法。
19. コンピュータに、
    撮像装置で撮像された映像データを表示装置の所定の表示領域に再生表示させる再生処理と、
    表示した前記映像データの第１フレームにおいて、追跡対象について予め登録された特徴情報に基づいて複数の特徴領域を検出する特徴領域検出処理と、
    検出した前記複数の特徴領域に基づいて、前記追跡対象を含む追跡領域を検出する追跡領域検出処理と、
    前記追跡対象の軌跡を示す軌跡線を前記映像データに重畳して表示させる軌跡生成処理と、
    前記軌跡線上のいずれかの部分が入力部に対する操作により選択された場合、該部分に対応する前記映像データのフレームから前記表示領域に再生表示させる処理と、
    前記表示領域に表示された前記軌跡線が交差する部分に対して前記入力部に対する操作により選択された場合、交差しているいずれの線を選択するかの選択を受け付ける表示を行う処理と、
    を実行させるためのプログラム。

Images