JP6350331B2 - 追尾装置、追尾方法及び追尾プログラム - Google Patents

Description

本発明は、追尾装置、追尾方法及び追尾プログラムに関し、特に、対象物を追尾するための代表色を用いる追尾装置、追尾方法及び追尾プログラムに関する。

撮像装置により人物などの対象物を撮像し、撮像した映像データを用いて対象物を自動的に追尾する技術が知られている。

従来技術では、対象物の基準となる色情報を予め記憶しておき、この色情報に基づいて映像データの中から対象物を検出することで、追尾を行っている。このような従来技術では、照度の影響などにより対象物の色が変化すると、対象物を検出することができず、追尾に失敗する恐れがある。

そこで、例えば、特許文献１では、対象物の色が変化したことを画面に表示することで、正しく追尾が行われていることを、監視者が確認できるようにしている。

特開２０１０−２２６６４４号公報

しかしながら、映像データ内に複数の物体が含まれる場合、追尾する対象物と他の物体とが重なるオクルージョンが発生する可能性が高いものの、特許文献１などの従来技術ではオクルージョン発生時の追尾処理について考慮されていない。

したがって、特許文献１などの従来技術では、オクルージョンが発生した場合に、精度よく対象物を追尾することができないという問題がある。

そこで、本発明は、追尾対象物を追尾するための代表色を示す代表色データを記憶する代表色記憶部と、取得された映像データに基づいて前景データと背景データを分離する第１の前景背景分離データを生成する第１の前景背景分離データ生成部と、前記第１の前景背景分離データに対応する前記映像データの領域のうち前記代表色を含む色の領域に基づいて第２の前景背景分離データを生成する第２の前景背景分離データ生成部と、前記第１の前景背景分離データまたは前記第２の前景背景分離データの少なくとも一方に基づいて前記追尾対象物を追尾する追尾処理部と、前記第２の前景背景分離データに対応する前記映像データの領域で一定期間使用されない前記代表色データを削除する代表色更新部、を備える追尾装置を提供する。

また、本発明は、追尾対象物を追尾するための代表色を示す代表色データを記憶し、取得された映像データに基づいて前景データと背景データを分離する第１の前景背景分離データを生成し、前記第１の前景背景分離データに対応する前記映像データの領域のうち前記代表色を含む色の領域に基づいて第２の前景背景分離データを生成し、前記第１の前景背景分離データまたは前記第２の前景背景分離データの少なくとも一方に基づいて前記追尾対象物を追尾し、前記第２の前景背景分離データに対応する前記映像データの領域で一定期間使用されない前記代表色データを削除する、追尾方法を提供する。

さらに、本発明は、追尾対象物を追尾するための代表色を示す代表色データを記憶し、取得された映像データに基づいて前景データと背景データを分離する第１の前景背景分離データを生成し、前記第１の前景背景分離データに対応する前記映像データの領域のうち前記代表色を含む色の領域に基づいて第２の前景背景分離データを生成し、前記第１の前景背景分離データまたは前記第２の前景背景分離データの少なくとも一方に基づいて前記追尾対象物を追尾し、前記第２の前景背景分離データに対応する前記映像データの領域で一定期間使用されない前記代表色データを削除する、追尾処理をコンピュータに実行させるための追尾プログラムを提供する。

本発明によれば、精度よく対象物を追尾することが可能な追尾装置、追尾方法及び追尾プログラムを提供することができる。

実施の形態１に係る追尾システムの構成を示す構成図である。 実施の形態１に係る装置の動作の概要を説明するための説明図である。 実施の形態１に係る装置の動作の概要を説明するための説明図である。 実施の形態１に係る装置の動作の概要を説明するための説明図である。 実施の形態１に係る装置の動作の概要を説明するための説明図である。 実施の形態１に係る装置の動作の概要を説明するための説明図である。 実施の形態１に係る装置の動作を示すフローチャートである。 実施の形態１に係る装置の動作を示すフローチャートである。 追尾方法の基本技術を示す図である。 追尾方法の基本技術を示す図である。

まず、実施の形態の説明の前に、対象物を自動的に追尾する基本技術について説明する。

図８に示すように、基本技術では、映像データ９００のフレーム画像ごとに対象者９０１の特徴である代表色を示す代表色データ９１１を取得して代表色データ記憶部９１０に記憶し、この代表色データ９１１に基づいてフレーム画像内の対象者９０１を検出する。さらに、基本技術では、この代表色データ９１１を定期的に更新することで、照度の影響などにより対象者９０１の色が変化した場合でも、対象者９０１の追尾を可能としている。

このような基本技術では、映像データに対し動体検知を行うことで、対象者の領域を分離するための前景背景分離データを生成し、この前景背景分離データを用いて対象者の代表色を抽出する。

例えば、図９に示すように、フレーム画像９２０内で複数の人物が重なりオクルージョンが発生した場合、フレーム画像９２０に対し動体検知を行うと、前景背景分離データ９２１は、複数の人物の領域を含む画像となる。そうすると、フレーム画像９２０と前景背景分離データ９２１とを合成した代表色抽出用画像９２２に複数の人物の画像が含まれてしまうため、この画像から抽出された代表色データに複数の人物の代表色が含まれてしまい、対象者のみの代表色を抽出することができない。

その結果、基本技術では、オクルージョンが発生した場合、対象者以外の人物の代表色を含む代表色データをもとに追尾を行うことになるため、所望の対象者のみを精度よく追尾することは困難である。また、複数のカメラを用いて対象者を追尾し、カメラの切り替わり時に最初からオクルージョンが発生した場合、対象者と対象外のデータを分離することができないため、この場合も対象者のみを追尾することはできない。

そこで、以下の実施の形態では、オクルージョンが発生した場合でも確実に対象物の代表色を抽出し、精度よく対象者の追尾を可能とする。

（実施の形態１）
以下、図面を参照して実施の形態について説明する。図１は、本実施の形態に係る追尾システム１の構成を示している。

図１に示すように、追尾システム１は、追尾装置１０、記憶装置２０、入力装置３０を備えている。なお、各装置を別々の装置とせずに１つもしくは任意の数の装置としてもよい。例えば、追尾装置１０と記憶装置２０の構成を含む１つの追尾装置としてもよい。

入力装置３０は、追尾装置１０の処理に必要な情報を入力する装置である。例えば、入力装置３０は、カメラ３１、マウス３２を備えている。

カメラ３１は、撮像センサを内蔵する撮像装置であり、この撮像センサを用いて対象物である対象者３００を撮像する。カメラ３１は、撮像した複数のフレーム画像を含む映像データを生成し、生成した映像データを追尾装置１０へ出力する。なお、カメラ３１以外の装置で映像データを生成してもよい。

マウス３２は、追尾装置１０の映像表示部（不図示）に表示されたＧＵＩ（Graphical User Interface）などをユーザが操作するためのポインティングデバイスである。マウス３２は、ユーザが映像表示部の表示に応じてクリック操作を行うと、クリックされた位置の座標データを追尾装置１０へ出力する。なお、マウス３２以外の装置で映像表示部の表示を操作してもよい。

記憶装置２０は、追尾装置１０の処理に必要な情報を記憶する装置である。例えば、記憶装置２０は、映像や画像のデータのための映像データＤＢ（データベース）２１、追尾する対象者のデータのための対象者ＤＢ２２、対象者の代表色学習のための代表色学習ＤＢ２３を備えている。

映像データＤＢ２１は、対象者３００を撮像した映像データ２１１、映像データ２１１の背景である背景データ２１２、映像データ２１１から前景と背景を分離するための第１の前景背景分離データ２１３及び第２の前景背景分離データ２１４などを記憶する。対象者ＤＢ２２は、対象者３００の特徴を示す特徴データ２２１を記憶し、特徴データ２２１には対象者３００の代表色を示す代表色データ２２２や対象者３００の形状を示す形状データ２２３などが含まれる。例えば、対象者ＤＢ２２は、代表色データ２２２を記憶する代表色記憶部であるともいえる。代表色学習ＤＢ２３は、対象者３００の代表色の境界範囲を示す代表色境界範囲データ２３１などを記憶する。

追尾装置１０は、入力される映像データを解析し対象者３００の追尾を行う画像処理装置である。追尾装置１０は、画像解析処理部１１、動体検知処理部１２、対象者データ外マスク処理部１３、指定対象者データ抽出部１４、代表色学習部１５、追尾処理部１６などを備えている。

なお、後述する本実施の形態に係る動作が実現できれば、その他の機能ブロックで構成してもよい。図１の追尾装置における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。追尾装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置２０に後述する本実施の形態に係る動作を行うためのプログラムを格納し、追尾装置の各機能を、記憶装置２０に格納されたプログラムをＣＰＵで実行することにより実現してもよい。

画像解析処理部１１は、カメラ３１が対象者３００を撮像した映像データ２１１を取得する映像取得部であり、また、必要に応じて取得した映像データ２１１に対し画像変換処理を行う。画像解析処理部１１は、取得した映像データ２１１に対しリサイズ処理や色変換処理などの画像変換処理を行い、画像変換後の映像データ２１１を動体検知処理部１２へ出力し、また、映像データＤＢ２１に記憶する。なお、この画像変換処理については、必要に応じて任意に実行できればよいため、以下の説明では省略する場合がある。

動体検知処理部１２は、画像解析処理部１１が取得し変換した映像データ２１１から背景データ２１２を生成し、生成した背景データ２１２を映像データＤＢ２１に記憶し、また、対象者データ外マスク処理部１３及び指定対象者データ抽出部１４へ出力する。背景データ２１２は、映像データ２１１から動いている前景部分を含まない背景のみの画像データである。

また、動体検知処理部１２は、背景データ２１２をもとに映像データ２１１に対し動体検知処理を実行して第１の前景背景分離データ２１３を生成し、生成した第１の前景背景分離データ２１３を映像データＤＢ２１に記憶し、また、対象者データ外マスク処理部１３及び指定対象者データ抽出部１４へ出力する。動体検知処理部１２は、第１の前景背景分離データを生成する第１の前景背景分離データ生成部であるともいえる。第１の前景背景分離データ２１３は、映像データ２１１から前景と背景を分離するための画像データであり、映像データ２１１から動体検知により動いている部分のみを抽出した画像データである。なお、映像データ２１１に対する動体検知処理結果に基づいて第１の前景背景分離データを生成してもよいし、映像データ２１１と背景データ２１２の差分に基づいて、第１の前景背景分離データを生成してもよい。動体検知処理や背景データとの差分を用いることで、移動している対象者を含むマスクを確実に生成することができる。

指定対象者データ抽出部１４は、マウス３２から入力された座標データの指定に応じて、動体検知処理部１２が生成した背景データ２１２及び第１の前景背景分離データ２１３から、対象者３００の特徴データ２２１を抽出し、抽出した特徴データ２２１を対象者ＤＢ２２に記憶し、また、代表色学習部１５へ出力する。指定対象者データ抽出部１４は、映像データ２１１の中のユーザが指定した座標を含む領域に対し、人物検知（物体検知）のためのオブジェクトマッピング処理を実行することで、対象者３００の輪郭形状を抽出して形状データ２２３を生成し、その輪郭形状内の代表色を抽出して代表色データ２２２を生成する。対象者３００の代表色は、対象者３００を代表する色であり、対象者３００を識別するための特徴を示す特徴色である。

代表色学習部１５は、指定対象者データ抽出部１４が抽出した対象者の代表色データ２２２を使用して、代表色の境界範囲（代表色範囲）を設定し、設定された代表色境界範囲データ（代表色範囲データ）２３１を代表色学習ＤＢ２３に記憶する。代表色学習部１５は、第２の前景背景分離データ２１４に対応する映像データ２１１の領域の代表色を追尾対象物３００の代表色として、代表色データを更新する代表色更新部であると言える。

対象者データ外マスク処理部１３は、代表色学習ＤＢ２３に記憶された代表色境界範囲データ２３１と、動体検知処理部１２が生成した背景データ２１２及び第１の前景背景分離データ２１３とを利用し、対象者３００以外の画像データをマスクするマスク処理を行い、マスク処理後の背景データ２１２を映像データＤＢ２１に上書きする。

対象者データ外マスク処理部１３は、映像データ２１１のうち第１の前景背景分離データ２１３の前景に対応する部分の色が、代表色境界範囲データ２３１に含まれるか否かに応じて第２の前景背景分離データ２１４を生成し、生成した第２の前景背景分離データ２１４を映像データＤＢ２１に記憶する。対象者データ外マスク処理部１３は、第１の前景背景分離データ２１３に対応する映像データ２１１のうち代表色を含む色の領域に基づいて第２の前景背景分離データ２１４を生成する第２の前景背景分離データ生成部であるともいえる。第２の前景背景分離データ２１４は、映像データ２１１から前景と背景を分離するための画像データであり、映像データ２１１から代表色に対応する部分のみを抽出した画像データである。なお、該当する部分の色が代表色と一致するか否かに応じて２値化したデータを第２の前景背景分離データ２１４としてもよいし、該当する部分の色が代表色の範囲内か否かに応じて２値化したデータを第２の前景背景分離データ２１４としてもよい。代表色との一致を基準とすることで、少なくとも対象者のみのためのマスクを生成することができる。代表色の範囲を基準とすることで、学習履歴に基づいてより適切に、対象者のみのためのマスクを生成することができる。

追尾処理部１６は、対象者３００の特徴データ２２１に基づいて映像データ２１１内の対象者３００を追尾する処理を実行する。追尾処理部１６は、対象者３００の代表色データ２２２と形状データ２２３に最も近い領域から対象者３００を認識し、対象者３００を自動的に追尾する。さらに、追尾処理部１６は、第１の前景背景分離データ２１３や第２の前景背景分離データ２１４を用いて追尾処理を行うことができる。第１の前景背景分離データ２１３により抽出される前景部分に対して特徴データ２２１に基づいた追尾処理を行うことで、動いている部分のみを処理できるため、効率よく追尾処理を行うことができる。また、第２の前景背景分離データ２１４により抽出される前景部分に対して特徴データ２２１に基づいた追尾処理を行うことで、代表色に該当する部分のみを処理できるため、さらに効率よく追尾処理を行うことができる。

図２〜図６を用いて、本実施の形態に係る追尾装置１０の動作の概要について説明する。まず、図２に示すように、動体検知処理部１２は、取得した映像データ２１１に含まれるフレーム画像（カラー画像）２１１ａに対する動体検知処理で得られた動きベクトルを利用して、対象者３００を含む前景と背景とを分離する処理を行い、第１の前景背景分離データ２１３を生成する（ステップＳ１０）。

さらに、指定対象者データ抽出部１４は、フレーム画像２１１ａと第１の前景背景分離データ２１３とを合成して前景部の画像を切り抜き、代表色抽出用画像２１５を生成する。指定対象者データ抽出部１４は、代表色抽出用画像２１５から対象者３００の基準となる代表色（特徴量）を抽出し、代表色データ２２２を生成する（ステップＳ１１）。ここでは、対象者３００の部位ごとに頭部、胴体部、脚部の代表色を取得し、頭部の代表色データ、胴体部の代表色データ、脚部の代表色データを生成する。さらに、対象者３００（各部位）の正面、背面、側面の代表色データを生成してもよい。

続いて、屋外と屋内では画像の明るさにムラが発生し、追尾処理のために適宜特徴量の更新を行う必要があることから、図３に示すように、指定対象者データ抽出部１４は、対象者３００の代表色データ２２２を定期的に更新する（ステップＳ１２）。例えば、指定対象者データ抽出部１４は、映像データ２１１の０フレーム目、２５フレーム目、５０フレーム目のフレーム画像２１１ａに対し第１の前景背景分離データ２１３を用いて、代表色抽出用画像２１５を生成し、対象者の各部位の代表色を抽出して、代表色データ２２２を更新する。

さらに、代表色学習部１５は、特定フレーム画像間において対象者３００の代表色の境界範囲を学習し、代表色境界範囲データ２３１を生成する（ステップＳ１３）。例えば、各フレームにおいて頭部の代表色データ２２２が、Ｒ（赤）＝２５３、２３９、２４７の順に変化し、Ｇ（緑）＝２２８、２１８、１６７の順に変化し、Ｂ（青）＝２０８、１４３、１０２の順に変化した場合、頭部の代表色境界範囲データ２３１では、これらの色の変化を含むように、Ｒの範囲を２３９≦Ｒ≦２５３、Ｇの範囲を１６７≦Ｇ≦２２８、Ｂの範囲を１０２≦Ｂ≦２０８と設定する。なお、代表色の境界範囲を学習せずに代表色のみを用いて、その後の処理を行ってもよい。

続いて、代表色境界範囲データ２３１を作成後（学習した後）、図４に示すように、対象者データ外マスク処理部１３は、動きベクトルを利用して生成した第１の前景背景分離データ２１３とフレーム画像２１１ａとを合成して代表色抽出用画像２１５を生成し、さらに代表色抽出用画像２１５と対象者３００の代表色境界範囲データ２３１を比較することで、第２の前景背景分離データ２１４を作成する（ステップＳ１４）。その際、代表色抽出用画像２１５の色が代表色の境界範囲内であれば第２の前景背景分離データ２１４の画素を白にし、それ以外の場合は黒に設定して２値化し第２の前景背景分離データ２１４を作成する。また、対象者の部位ごとに、対応する部位の代表色の境界範囲内かどうか判定する。

続いて、図５に示すように、図２と同様、指定対象者データ抽出部１４は、フレーム画像２１１ａから代表色抽出用画像２１５を生成し、対象者３００の代表色データ２２２を抽出する（ステップＳ１５）。その後、図３と同様に、代表色学習部１５がさらに代表色の境界範囲を学習（更新）する。

このような方法を用いることで、対象者の代表色データに近い部分のみを前景として抽出することができる。図６に示すように、フレーム画像２１１ａで対象者３００と他の人物３０１が重なりオクルージョンが発生した場合、動体検知を用いた第１の前景背景分離データ２１３の前景部分には、対象者３００と他の人物３０１の全体が含まれる。しかし、代表色を用いた第２の前景背景分離データ２１４の前景部分は、ほぼ対象者３００のみとなるため、第２の前景背景分離データ２１４を用いた代表色抽出用画像２１５からは、ほぼ対象者３００のみの代表色を抽出することができる。すなわち、動体検知で取得した前景背景分離データよりさらに精度のよい前景背景分離データを作成できるため、対象者の代表色データに不要な他の人物のデータが含まれることを防ぐことができる。

次に、図７Ａ及び図７Ｂを用いて、本実施の形態に係る追尾装置１０の詳細な動作例について説明する。図７Ａ及び図７Ｂに示すように、まず、画像解析処理部１１は、カメラ３１から映像データ２１１を取得する（ステップＳ１０１）。なお、画像解析処理部１１は、カメラ３１に限らず、記録媒体等から予め生成された映像データ２１１を取得してもよい。

続いて、動体検知処理部１２は、取得した映像データ２１１に対し動体検知処理を行い、得られた動きベクトルを使用して、背景と前景を分離する第１の前景背景分離データ２１３を生成する（ステップＳ１０２）。第１の前景背景分離データ２１３は、白の前景画素と黒の背景画素からなる２値の画像データである。例えば、黒が画素値＝０（最小値）であり、白が画素値＝２５５（最大値）である。なお、動体検知処理部１２は、動きベクトルに限らず、所定の背景画像との差分の色情報を使用して、第１の前景背景分離データ２１３を生成してもよい。

続いて、指定対象者データ抽出部１４は、生成した第１の前景背景分離データ２１３から前景画素塊を抽出する（ステップＳ１０３）。前景画素塊は、前景画素が連続した画素群であり、連続的に白の値となっている画素の集合体である。

続いて、指定対象者データ抽出部１４は、対象者ＤＢ２２を参照し、追尾する対象者３００の代表色データ２２２を含む特徴データ２２１があるか否か確認する（ステップＳ１０４）。ステップＳ１０４において、対象者ＤＢ２２に対象者３００の特徴データ２２１が記憶されていない場合、指定対象者データ抽出部１４は、映像データ２１１から対象者３００の特徴データ２２１を抽出できるか否か確認する（ステップＳ１０５）。具体的には、マウス３２によりユーザが指定した座標データと第１の前景背景分離データ２１３の前景画素塊とに基づいて、前景画素塊の中に指定された座標データが含まれるか否か確認することで、特徴データ２２１を抽出できるか否か判断する。

ステップＳ１０５において、対象者３００の特徴データ２２１を抽出できない場合、ステップＳ１０１に戻り、以降の処理を繰り返す。一方、ステップＳ１０５において、対象者３００の特徴データ２２１を抽出できる場合、指定対象者データ抽出部１４は、第１の前景背景分離データ２１３の前景画素塊と映像データ２１１のフレーム画像（カラー画像）２１１ａの指定された領域の画素とを合成して代表色抽出用画像２１５を生成し、前景部分のみの画素データ（カラーデータ）の代表色である代表色データ２２２を作成する（ステップＳ１０６）。代表色データ２２２の作成が終了すると、後述のステップＳ１１８以降で代表色の境界範囲を学習する。

一方、ステップＳ１０４において、対象者ＤＢ２２に対象者３００の特徴データ２２１が記憶されている場合、第１の前景背景分離データ２１３の前景画素塊の数の分だけステップＳ１０８〜Ｓ１１３の処理を繰り返すループ処理を実行する（ステップＳ１０７）。ここでは、まず、対象者データ外マスク処理部１３は、第１の前景背景分離データ２１３の前景画素塊の領域内のみで前景画素とフレーム画像（カラー画像）２１１ａを合成する（ステップＳ１０８）。これにより、前景部のみで特徴量（代表色）を抽出できる特徴量抽出用画像（代表色抽出用画像２１５）を生成する。

続いて、第１の前景背景分離データ２１３の前景画素塊の領域内の画素数分だけステップＳ１１０〜Ｓ１１３の処理を繰り返すループ処理を実行する（Ｓ１０９）。ここでは、まず、対象者データ外マスク処理部１３は、第１の前景背景分離データ２１３の前景画素塊に対応するフレーム画像（カラー画像）２１１ａと対象者の代表色境界範囲データ２３１を比較する（ステップＳ１１０）。このとき、対象者データ外マスク処理部１３は、比較するフレーム画像２１１ａの画素の色が代表色境界範囲データ２３１の範囲内か否か確認する（ステップＳ１１１）。

ステップＳ１１１において、比較するフレーム画像２１１ａの画素の色が代表色境界範囲データ２３１の範囲外の場合、対象者データ外マスク処理部１３は、生成する第２の前景背景分離データ２１４の該当する画素値を０（黒）に設定する（ステップＳ１１２）。一方、ステップＳ１１１において、比較するフレーム画像２１１ａの画素の色が代表色境界範囲データ２３１の範囲内の場合、対象者データ外マスク処理部１３は、生成する第２の前景背景分離データ２１４の該当する画素値を２５５（白）に設定する（ステップＳ１１３）。

続いて、全前景画素塊の設定が完了したか否か判定し（ステップＳ１１４）、未設定の前景画素塊が残っている場合にはステップＳ１０７へ戻り、全前景画素塊の設定が完了した場合にはステップＳ１１５へ進む。第１の前景背景分離データ２１３の前景画素塊が複数存在する場合、各前景画素塊の領域内でステップＳ１１０〜Ｓ１１３が実行され、代表色処理後の第２の前景背景分離データ２１４が生成される。続いて、対象者データ外マスク処理部１３は、生成された第２の前景背景分離データ２１４に対して、照明による外光等のノイズクリア処理を実行する（ステップＳ１１５）。第２の前景背景分離データ２１４は、動きベクトルと代表色を使って背景画素と前景画素を２値化した画像データである。

続いて、追尾処理部１６は、生成した第２の前景背景分離データ２１４と対象者３００の特徴データ２２１とを用いて、フレーム画像２１１ａに対して対象者３００を追尾する追尾処理を実行する（ステップＳ１１６）。追尾処理部１６は、第２の前景背景分離データ２１４を使用して、フレーム画像２１１ａ内で対象者３００の特徴データ２２１に尤度が最も高い位置である重心値を求め、この重心値により対象者３００を検出する。なお、動体検知による第１の前景背景分離データ２１３を用いて追尾処理を行ってもよい。続いて、追尾処理部１６は、算出した対象者３００の特徴データ２２１に尤度が最も高い位置の画素から、代表色データ２２２を含む特徴量を抽出する（ステップＳ１１７）。

続いて、代表色学習部１５は、ステップＳ１０６またはステップＳ１１７で抽出した対象者３００の代表色データ２２２を用いて、代表色データを学習する（ステップＳ１１８）。すなわち、代表色学習部１５は、抽出した対象者３００の代表色データ２２２を含むように代表色の境界範囲を設定し、代表色境界範囲データ２３１を生成する

続いて、代表色学習部１５は、学習した代表色データ２２２のうち、対象者３００の各部位で一定期間使用されない未使用の代表色データ２２２があるか否か確認する（ステップＳ１１９）。例えば、代表色境界範囲データ２３１の範囲内で、一定期間追尾処理において該当しない色は、未使用の色であると判定される。

ステップＳ１１９において、未使用の代表色データ２２２がある場合、代表色学習部１５は、学習した代表色データ２２２から該当する代表色データを削除する（ステップＳ１２０）。すなわち、代表色境界範囲データ２３１の範囲内に、未使用の代表色データ２２２が含まれないように設定する。一方、ステップＳ１１９において、未使用の代表色データが無い場合、または、ステップＳ１２０において未使用の代表色データを削除した後、代表色学習部１５は、新しく追加できる代表色データ２２２があるか否か確認する（ステップＳ１２１）。

ステップＳ１２１において、追加する代表色データ２２２がある場合、代表色学習部１５は、新しく抽出された代表色データ２２２を代表色学習ＤＢ２３に登録し、代表色の境界範囲を設定して、代表色境界範囲データ２３１を更新する（ステップＳ１２２）。一方、ステップＳ１２１において、追加する代表色データ２２２がない場合、または、ステップＳ１２２において代表色データ２２２を追加した後、ステップＳ１０１に戻り、以降の処理を繰り返す。

以上のように、本実施の形態では、追尾する対象者の代表色を学習し、学習した代表色もしくはその範囲に基づいて前景と背景とを分離するようにした。すなわち、本実施の形態では、映像データの動体検知により第１の前景背景分離データを生成し、さらに、学習した対象者の代表色に基づいて第２の前景背景分離データを生成して、第２の前景背景分離データを用いて対象者の代表色を抽出する。

これにより、映像データから対象者のみの前景部分のみを分離して、対象者のみの代表色を抽出することができる。すなわち、オクルージョンが発生しても、対象者の特徴量として不要なデータの抽出を抑えることができるため、確実に対象者のみを追尾することができる。また、複数のカメラにより対象者を撮像する場合、カメラ間をまたいだ追尾時にオクルージョンが発生していていも、対象者と他の人物とを分離し、対象者のみを特定することができるため、この場合でも対象者を追尾することができる。

また、動き検知による第１の前景背景分離データと代表色を使用した第２の前景背景分離データの差分を使用することで、オクルージョンが発生している比、すなわち、対象者の体が何パーセント隠れているかを判別することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ 追尾システム
１０ 追尾装置
１１ 画像解析処理部
１２ 動体検知処理部
１３ 対象者データ外マスク処理部
１４ 指定対象者データ抽出部
１５ 代表色学習部
１６ 追尾処理部
２０ 記憶装置
２１ 映像データＤＢ
２２ 対象者ＤＢ
２３ 代表色学習
３０ 入力装置
３１ カメラ
３２ マウス
２１１ 映像データ
２１１ａ フレーム画像
２１２ 背景データ
２１３ 第１の前景背景分離データ
２１４ 第２の 前景背景分離データ
２１５ 代表色抽出用画像
２２１ 特徴データ
２２２ 代表色データ
２２３ 形状データ
２３１ 代表色境界範囲データ
３００ 対象者
３０１ 他の人物

Claims (7)

1. 追尾対象物を追尾するための代表色を示す代表色データを記憶する代表色記憶部と、
   取得された映像データに基づいて前景データと背景データを分離する第１の前景背景分離データを生成する第１の前景背景分離データ生成部と、
   前記第１の前景背景分離データに対応する前記映像データの領域のうち前記代表色を含む色の領域に基づいて第２の前景背景分離データを生成する第２の前景背景分離データ生成部と、
   前記第１の前景背景分離データまたは前記第２の前景背景分離データの少なくとも一方に基づいて前記追尾対象物を追尾する追尾処理部と、
   前記第２の前景背景分離データに対応する前記映像データの領域で一定期間使用されない前記代表色データを削除する代表色更新部、
   を備える追尾装置。
2. 前記第１の前景背景分離データ生成部は、前記映像データに対する動体検知処理結果または前記映像データと前記背景データとの差分に基づいて、前記第１の前景背景分離データを生成する、
   請求項１に記載の追尾装置。
3. 前記代表色データは、前記追尾対象物の代表色の範囲を含み、
   前記第２の前景背景分離データ生成部は、前記第１の前景背景分離データに対応する前記映像データの領域の色が前記代表色と一致するか否か、または前記代表色の範囲内か否かに応じて２値化したデータを、前記第２の前景背景分離データとする、
   請求項１に記載の追尾装置。
4. 前記代表色更新部はさらに、前記第２の前景背景分離データに対応する前記映像データの領域の代表色が前記代表色の範囲に含まれるように、前記代表色データを更新する、
   請求項１乃至３のいずれか一項に記載の追尾装置。
5. 前記追尾処理部は、前記第１の前景背景分離データまたは前記第２の前景背景分離データの少なくとも一方と、前記代表色データとに基づいて、前記映像データ内の前記追尾対象物を追尾する、
   請求項１乃至４のいずれか一項に記載の追尾装置。
6. 追尾対象物を追尾するための代表色を示す代表色データを記憶し、
   取得された映像データに基づいて前景データと背景データを分離する第１の前景背景分離データを生成し、
   前記第１の前景背景分離データに対応する前記映像データの領域のうち前記代表色を含む色の領域に基づいて第２の前景背景分離データを生成し、
   前記第１の前景背景分離データまたは前記第２の前景背景分離データの少なくとも一方に基づいて前記追尾対象物を追尾し、
   前記第２の前景背景分離データに対応する前記映像データの領域で一定期間使用されない前記代表色データを削除する、
   追尾方法。
7. 追尾対象物を追尾するための代表色を示す代表色データを記憶し、
   取得された映像データに基づいて前景データと背景データを分離する第１の前景背景分離データを生成し、
   前記第１の前景背景分離データに対応する前記映像データの領域のうち前記代表色を含む色の領域に基づいて第２の前景背景分離データを生成し、
   前記第１の前景背景分離データまたは前記第２の前景背景分離データの少なくとも一方に基づいて前記追尾対象物を追尾し、
   前記第２の前景背景分離データに対応する前記映像データの領域で一定期間使用されない前記代表色データを削除する、
   追尾処理をコンピュータに実行させるための追尾プログラム。