JP5894707B2 - 情報処理装置、情報処理方法、および、情報処理装置用プログラム - Google Patents

Description

本発明は、動画データに対して情報処理を行う情報処理装置、情報処理方法、および、情報処理装置用プログラムの技術分野に関する。

従来、動画中における特定の対象物を追跡する手法として、パーティクルフィルタが知られている。例えば、特許文献１では、見かけ上の色が変化した場合でも、精度の高い追跡精度を行えるようにした目標追尾装置が開示されている。

特開２０１０−１４７５６０号公報

しかしながら、特許文献１の技術では、対象物の色と類似した色の背景が現れる等、対象物の外側に色の似た画素が現れた場合、対象物から離れた領域にパーティクルが現れてしまい、結果として追跡精度が低下してしまうことがあった。

本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、動画中における特定の対象物を追跡する際の精度が高い情報処理装置等を提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置において、所定の１つのフレームの画像の複数点に対応させる極子であって、当該各極子の色情報を前記対象物の色情報に対応するように設定する擬似多極子の設定擬似多極子情報を取得する設定擬似多極子情報取得手段と、前記擬似多極子における各極子同士の距離が離散的に設定された設定距離情報を取得する設定距離情報取得手段と、初期のフレームにおける擬似多極子の位置を特定する初期位置特定手段と、前記取得した設定擬似多極子情報の各極子の色情報の色に応じた色の各極子を有し、かつ、当該各極子同士の距離が、取得した前記設定距離情報のいずれかの距離に等しい擬似多極子を、前記動画における１のフレームの画像から探索する探索手段と、前記動画における１のフレームの画像において、前記探索された擬似多極子の位置を特定する位置特定手段と、前記１のフレームの画像において前記位置特定手段によって特定された擬似多極子の位置と、前記動画の再生方向における前記１のフレームよりも前のフレームの画像において前記初期位置特定手段または前記位置特定手段によって特定された擬似多極子の位置と、から前記対象物を追跡する対象物追跡手段と、を備えることを特徴とする。

従って、対象物の外側に色の似た画素が現れたとしても、色情報を有し各極子同士の距離が限定された擬似多極子により、対象物を追跡するので追跡精度が高くなる。

請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記探索手段は、前記取得した設定擬似多極子情報の各極子の色情報の色に類似する色の各極子を有し、かつ、当該各極子同士の距離が所定以内である擬似多極子を、前記動画における１のフレームの画像から探索することを特徴とする。

この場合、予め取得した設定擬似多極子情報の各極子の色情報の色に類似する色の各極子を探索しているので、各極子の位置が発散しにくく、追跡精度が高くなる。

請求項３に記載の発明は、請求項１または請求項２に記載の情報処理装置において、前記動画の再生方向における前記１のフレームよりも前のフレームの擬似多極子の位置に応じて、前記探索手段が擬似多極子を探索する探索範囲を設定する探索範囲設定手段を更に備えたことを特徴とする。

この場合、動画の再生方向において前のフレームの擬似多極子の近辺等に、探索範囲が限定されるので、対象物を的確に速く追跡することができる。

請求項４に記載の発明は、請求項３に記載の情報処理装置において、前記探索範囲設定手段が、前記前のフレームにおける前記対象物の位置を特定する所定の大きさの特定範囲より広い探索範囲を設定することを特徴とする。

この場合、ズームインやズームアウトにより、画像における対象物の大きさが変化しても、対象物を的確に追跡できる。

請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の情報処理装置において、前記設定擬似多極子情報の設定時、前記各極子のうち所定の前記極子に対して色情報を設定した際、残りの前記極子の色情報をレコメンドする色情報レコメンド手段を更に備えたことを特徴とする。

この場合、ユーザが擬似多極子における特定の極子の色情報を設定した後、残り極子の色情報を設定しやすくなる。

請求項６に記載の発明は、請求項５に記載の情報処理装置において、前記色情報レコメンド手段が、前記対象物に関する情報に基づき、前記残りの極子の色情報をレコメンドすることを特徴とする。

この場合、追跡性能が向上させる色情報を提示しやすくなる。

請求項７に記載の発明は、請求項１から請求項６のいずれか１項に記載の情報処理装置において、前記設定擬似多極子情報の設定時、少なくとも１つの前記擬似多極子が設定された後、他の擬似多極子をレコメンドする擬似多極子レコメンド手段を更に備えたことを特徴とする。

この場合、例えば、ユーザが画像から選んで設定した擬似多極子に対して、擬似多極子の設定に必要な他の多くの擬似多極子をレコメンドできるので、ユーザの選択に合わせて、追跡精度を向上させるように多くの擬似多極子を設定できる。

請求項８に記載の発明は、請求項１から請求項７のいずれか１項に記載の情報処理装置において、前記対象物追跡手段が、前記探索された複数の擬似多極子の位置に基づき、前記対象物を追跡することを特徴とする。

この場合、対象物の位置の特定がより正確になる。

請求項９に記載の発明は、請求項１から請求項８のいずれか１項に記載の情報処理装置において、前記擬似多極子の極数が３以上であることを特徴とする。

この場合、縞模様等の多色の場合に対応できる。

請求項１０に記載の発明は、請求項９に記載の情報処理装置において、前記探索手段が、前記擬似多極子の極子の全てを探索できなかったとき、前記各極子間の位置関係に基づき、探索された極子から他の極子の位置を推定して、前記擬似多極子を求めることを特徴とする。

この場合、対象物の一部が隠れ、擬似多極子の一部の極子が隠れても、擬似多極子により対象物を追跡できる。

請求項１１に記載の発明は、請求項１から請求項１０のいずれか１項に記載の情報処理装置において、前記探索手段が、前記各極子の間に位置する点における色の値が、前記各極子における色の値全てと所定以上異なる擬似多極子を探索することを特徴とする。

この場合、各多極子の色が類似していても、的確に擬似多極子を探索できる。

請求項１２に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理方法において、所定の１つのフレームの画像の複数点に対応させる極子であって、当該各極子の色情報を前記対象物の色情報に対応するように設定する擬似多極子の設定擬似多極子情報を取得する設定擬似多極子情報取得ステップと、前記擬似多極子における各極子同士の距離が離散的に設定された設定距離情報を取得する設定距離情報取得ステップと、初期のフレームにおける擬似多極子の位置を特定する初期位置特定ステップと、前記取得した設定擬似多極子情報の各極子の色情報の色に応じた色の各極子を有し、かつ、当該各極子同士の距離が取得した前記設定距離情報のいずれかの距離に等しい擬似多極子を、前記動画における１のフレームの画像から探索する探索ステップと、前記動画における１のフレームの画像において、前記探索された擬似多極子の位置を特定する位置特定ステップと、前記１のフレームの画像において前記位置特定ステップで特定された擬似多極子の位置と、前記動画の再生方向における前記１のフレームよりも前のフレームの画像において前記初期位置特定ステップまたは前記位置特定ステップで特定された擬似多極子の位置と、から前記対象物を追跡する対象物追跡ステップと、を含むことを特徴とする。

請求項１３に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムにおいて、コンピュータを、所定の１つのフレームの画像の複数点に対応させる極子であって、当該各極子の色情報を前記対象物の色情報に対応するように設定する擬似多極子の設定擬似多極子情報を取得する設定擬似多極子情報取得手段、前記擬似多極子における各極子同士の距離が離散的に設定された設定距離情報を取得する設定距離情報取得手段、初期のフレームにおける擬似多極子の位置を特定する初期位置特定手段、前記取得した設定擬似多極子情報の各極子の色情報の色に応じた色の各極子を有し、かつ、当該各極子同士の距離が、取得した前記設定距離情報のいずれかの距離に等しい擬似多極子を、前記動画における１のフレームの画像から探索する探索手段、前記動画における１のフレームの画像において、前記探索された擬似多極子の位置を特定する位置特定手段、および、前記１のフレームの画像において前記位置特定手段によって特定された擬似多極子の位置と、前記動画の再生方向における前記１のフレームよりも前のフレームの画像において前記初期位置特定手段または前記位置特定手段によって特定された擬似多極子の位置と、から前記対象物を追跡する対象物追跡手段として機能させることを特徴とする。

本発明によれば、対象物の外側に色の似た画素が現れたとしても、色情報を有し、各極子同士の距離が限定され擬似多極子により、対象物を追跡するので、動画中における特定の対象物を追跡する際の精度が高くなる。

本発明の実施形態に係る情報処理装置の概要構成の一例を示すブロック図である。 擬似双極子の一例を示す模式図である。 図１の擬似多極子データベースに記憶されたデータの一例を示す模式図である。 図１の擬似多極子データベースに記憶されたデータの一例を示す模式図である。 図１の擬似多極子の設定の動作例を示すフローチャートである。 図１の擬似多極子を設定するフレームの一例を示す模式図である。 図１の対象物の追跡の動作例を示すフローチャートである。 図１の情報処理装置が処理する動画のフレームの一例を示す模式図である。 図６のフレーム画像内の対象物枠の一例を示す模式図である。 図６の対象物枠内における擬似双極子の一例を示す模式図である。 特定のフレーム画像における擬似双極子の一例を示す模式図である。 特定のフレーム画像における擬似双極子の一例を示す模式図である。 特定のフレーム画像における擬似双極子の一例を示す模式図である。 図５の擬似多極子探索のサブルーチンを示すフローチャートである。 擬似双極子の探索の一例を示す模式図である。 擬似双極子の存在確率の一例を示す模式図である。 極子の探索の一例を示す模式図である。 極子の探索の一例を示す模式図である。 図５のサブ画像における擬似多極子探索のサブルーチンを示すフローチャートである。 フレーム画像を分割したサブ画像の一例を示す模式図である。 各対象物に対する擬似双極子の一例を示す模式図である。 対象物に対する色相分散の平均と分散の一例を示す模式図である。 色相の平均と分散の推移の一例を示す模式図である。 擬似３極子の一例を示す模式図である。 擬似３極子の一例を示す模式図である。 擬似４極子の一例を示す模式図である。

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、情報処理装置に対して本発明を適用した場合の実施形態である。

［１．情報処理装置の構成および機能概要］
まず、本発明の一実施形態に係る情報処理装置の構成および概要機能について、図１から図４を用いて説明する。

図１は、本実施形態に係る情報処理装置１０の概要構成例を示す模式図である。図２は、擬似双極子の一例を示す模式図である。図３は、擬似多極子データベースに記憶されたデータの一例を示す模式図である。図４は、擬似多極子データベースに記憶されたデータの一例を示す模式図である。

図１に示すように、コンピュータとして機能する情報処理装置１０は、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６と、を備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。

情報処理装置１０は、動画データに対して情報処理を行う。例えば、情報処理装置１０は、競馬サイト（図示せず）からの競馬の実況中継等の画像データを、ネットワーク（図示せず）を介して受信し、受信した動画データに対して情報処理を行い、情報処理された動画データをユーザの端末装置（図示せず）に送信する。なお、情報処理装置１０は、ユーザの端末装置として、情報処理された動画データを表示部１３に表示させてもよい。

通信部１１は、情報処理装置１０がネットワークやローカルエリアネットワークに接続する場合、通信状態を制御し、データの送受信を行う。情報処理装置１０は、通信部１１を介して、競馬サイトからの競馬の実況中継等の画像データを受信する。

記憶手段の一例である記憶部１２は、例えば、ハードディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや、動画データ等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置（図示せず）を介して読み込まれるようにしてもよい。

このように、記録媒体は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムにおいて、コンピュータを、所定の１つのフレームの画像の複数点に対応させる極子であって、当該各極子の色情報を前記対象物の色情報に対応するように設定する擬似多極子の設定擬似多極子情報を取得する設定擬似多極子情報取得手段、初期のフレームにおける擬似多極子の位置を特定する初期位置特定手段、前記取得した設定擬似多極子情報の各極子の色情報の色に応じた色の各極子を有し、かつ、当該各極子同士の距離が所定以内である擬似多極子を、前記動画における１のフレームの画像から探索する探索手段、前記動画における１のフレームの画像において、前記探索された擬似多極子の位置を特定する位置特定手段、および、前記１のフレームの画像において前記位置特定手段によって特定された擬似多極子の位置と、前記動画の再生方向における前記１のフレームよりも前のフレームの画像において前記初期位置特定手段または前記位置特定手段によって特定された擬似多極子の位置と、から前記対象物を追跡する対象物追跡手段として機能させることを特徴とする情報処理装置用プログラムがコンピュータ読み取り可能に記録された記録媒体の一例として機能する。

また、記憶部１２には、競馬レース等を撮影した動画データを記憶したり、競馬の実況中継等の動画データを一時的に記憶したりする動画データベース１２ａ（以下「動画ＤＢ１２ａ」とする。）と、対象物に関する情報を記憶した対象物情報データベース１２ｂ（以下「対象物情報ＤＢ１２ｂ」とする。）と、対象物を追跡するための擬似多極子を記憶する擬似多極子データベース１２ｃ（以下「擬似多極子ＤＢ１２ｃ」とする。）等が構築されている。

ここで、擬似多極子は、各極子の色情報と各極子間の位置関係とが設定された多極子である。例えば、図２に示すように、擬似多極子の一例の擬似双極子の場合、第１極子ｐ１および第２極子ｐ２に、所定の色がそれぞれ設定され、第１極子ｐ１と第２極子ｐ２との間隔が、距離ｒに設定される。なお、擬似多極子は、所定の画像に設定され、電磁気場のように所定の画像との相互作用がないので、擬似多極子と称する。

動画ＤＢ１２ａには、競馬レース毎の過去の動画データが記憶されている。また、動画ＤＢ１２ａには、実況中継されているレースの動画データが一時的に記憶されている。

対象物情報ＤＢ１２ｂには、対象物の色情報として、競馬の場合、馬に騎乗する騎手のヘルメットおよび勝負服の色に関する情報が、レース番号および馬番号に関連付けられて記憶されている。なお、競馬の場合、対象物は、例えば、騎手のヘルメットおよび騎手の勝負服となる。なお、騎手のヘルメットと、馬が着用する物との組み合わせでもよい。

擬似多極子ＤＢ１２ｃには、図３に示すように、所定数の各擬似多極子に対して、各極子の色情報が記憶されている。擬似多極子ＤＢ１２ｃには、擬似多極子番号に関連付けられて、各極子の色情報（例えば、極子の色を示すＲＧＢ情報）が記憶されている。なお、色情報は、ＲＧＢ形式でも、ＨＳＶ形式でもよく、極子の色を設定できればよい。このように、対象物を追跡するために、対象物の色情報に対応するように各極子の色情報が、設定擬似多極子情報として設定されている。

ここで、各極子の色情報を対象物の色情報に対応するようにとは、例えば、対象物の一部として騎手のヘルメットおよび騎手の勝負服に着目した場合、図３に示すように、ヘルメットの色および勝負服の色にそれぞれ対応するようにしたことである。また、フレーム画像の複数点に対応させる極子とは、例えば、擬似多極子を設定させる時は、フレーム画像における各極子の座標点が決まっていないが、擬似多極子を探索する際、フレーム画像の所定の点に対応させることである。

また、擬似多極子ＤＢ１２ｃには、図４に示すように、擬似双極子の各極子の極子間距離ｒ（各極子同士の距離の一例）の情報が記憶されている。図４に示すように、極子間距離ｒは、各極子同士の距離が所定以内の一例として、複数の所定の値として離散的に設定されている。このように、擬似多極子における各極子同士の距離が所定以内であることに関する極子間情報が予め設定されている。なお、擬似多極子における各極子同士の距離が所定以内であることに関する極子間情報は、探索する各擬似多極子に対して、共通の情報である。

所定数の各擬似多極子に対して、擬似多極子情報として、設定擬似多極子情報と極子間情報とが、予め設定されている。

また、記憶部１２は、競馬サイトからの情報を端末装置や表示部１３に表示させるために、ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語等により記述されたウェブページのファイル等が記憶されている。

表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。表示部１３には、競馬のレース等の画像データが表示される。

操作部１４は、例えば、キーボードおよびマウス等によって構成されている。ユーザは、操作部１４により応答を入力する。なお、表示部１３がタッチパネルのようなタッチスイッチ方式の表示パネルの場合、操作部１４は、ユーザが接触または近接した表示部１３の位置情報を取得する。

次に、入出力インターフェース部１５は、通信部１１および記憶部１２とシステム制御部１６との間のインターフェース処理を行う。

システム制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ（記憶手段の一例）等により構成されている。システム制御部１６は、ＣＰＵ１６ａがＲＯＭ１６ｂや記憶部１２に記憶された各種プログラムを読み出し実行することにより、フレーム画像から擬似多極子を探索する探索手段等として機能する。

［２．情報処理装置１０の動作］
次に、本発明の１実施形態に係る情報処理装置１０の動作例について図２から図２１を用い説明する。

（２．１ 擬似多極子の設定）
まず、擬似多極子の設定について、図５および図６を用いて説明する。
図５は、擬似多極子の設定の動作例を示すフローチャートである。図６は、擬似多極子を設定するフレームの一例を示す模式図である。

図５に示すように、情報処理装置１０は、フレーム画像を表示する（ステップＳ１）。具体的には、情報処理装置１０のシステム制御部１６が、動画ＤＢ１２ａから、動画データを読み出しする。図６に示すように、対象物が写ったフレーム画像を、システム制御部１６が表示部１３に表示する。

次に、情報処理装置１０は、擬似多極子の第１極子の色情報を取得する（ステップＳ２）。ユーザが操作部１４を使用して、表示部１３に表示された対象物にポインタ１４ａを合わせてクリックすると、システム制御部１６は、ポインタ１４ａが示す位置の画像の色情報を第１極子の情報として取得する。例えば、図６に示すように、擬似双極子の場合、追跡の対象物２におけるジョッキーの勝負服部２ｂのある部分にポインタ１４ａが合わされてクリックされた時に、システム制御部１６は、ポインタ１４ａが示す位置の画像の色情報を第１極子の情報として取得する。なお、対象物を追跡する際の初期のフレームにおける擬似多極子の位置の情報として、システム制御部１６は、ポインタ１４ａが示す位置、すなわち、フレームにおける第１極子の位置の情報を取得してもよい。

次に、情報処理装置１０は、対象物情報に基づきレコメンドする第２極子の情報を決定する（ステップＳ３）。具体的には、システム制御部１６は、対象物情報ＤＢ１２ｂを参照して、第１極子の色情報の色に類似した色（ＲＧＢや色相等が所定の範囲内の色）を有するヘルメットまたは勝負服の対象物を検索する。第１極子の色情報の色に類似した色を有する対象物が見つかったら、システム制御部１６は、騎手のヘルメットおよび勝負服の色において対になる一方の色に類似した画素を、図４の極子間距離ｒの情報に基づき、ポインタ１４ａにより示された第１極子の位置から、各極子間距離ｒの近辺のところから求め、第２極子の候補とする。

ここで、レース番号および馬番号において、ヘルメットの色と勝負服の色とは一対になっている。第１極子の色情報の色に類似した色の勝負服が検索されると、一方のヘルメットの色が決定される。または、第１極子の色情報の色に類似した色のヘルメットが検索されると、一方の勝負服の色が決定される。

複数の第２極子の候補が検索された場合、システム制御部１６は、例えば、最も対象物の色に類似した画素の色を、レコメンドする第２極子の色として決定する。なお、システム制御部１６は、候補となった画素の複数の色を、レコメンドする第２極子の色として決定してもよい。この場合、１つの指定された第１極子に対して、複数個の擬似双極子の色情報が決定される。

なお、対象物を追跡する際の初期のフレームにおける擬似多極子の位置の情報として、システム制御部１６は、フレームにおける、決定された第２極子の位置の情報を取得してもよい。このように、情報処理装置１０は、初期のフレームにおける擬似多極子の位置を特定する初期位置特定手段の一例として機能する。

次に、情報処理装置１０は、第２極子の色情報を提示する（ステップＳ５）。レコメンドする第２極子の色が決定されると、情報処理装置１０は、図３のような各極子の色情報を、表示部１３に数値や色で提示する。なお、情報処理装置１０は、図６に示すように、フレーム画像２０において、第２極子の位置を示して、示された位置の色が分かるように提示してもよい。

次に、情報処理装置１０は、各極子の色情報を記憶する（ステップＳ５）。提示された色情報に対して、ユーザが承諾した場合、システム制御部１６は、図３に示すように、擬似双極子番号を割り当て、指定した第１極子の色情報と、レコメンドされて承諾された第２極子の色情報とを、擬似多極子ＤＢ１２ｃに、設定擬似多極子情報として記憶する。

なお、ユーザが指示をせずとも、対象物情報ＤＢ１２ｂに基づき、ヘルメットの色および勝負服の色から、第１極子の色情報および第２極子の色情報を設定してもよい。このとき、天気や日差しの方向により、画像に写る色が変化することがある。そこで、対象物情報ＤＢ１２ｂに基づいたヘルメットの色および勝負服の色を基準として、所定の範囲内で色に幅を持たせた中から色を選択し、選択された色の色情報に基づき、擬似多極子情報を設定する。

なお、情報処理装置１０は、対象物情報ＤＢ１２ｂを参照して、対象物情報から、対になっているヘルメットの色と勝負服の色とから、第１極子の色および第２極子の色を決めてもよい。このとき、情報処理装置１０は、ヘルメットの色と勝負服の色を中心として、第１極子および第２極子に、それぞれ複数の色を割り当て、複数の擬似双極子を設定してもよい。また、フレーム画像の中から、ユーザがポインタ１４ａにより２点を指定し、情報処理装置１０は、指定された２点の色を第１極子および第２極子の色情報として取得してもよい。

なお、情報処理装置１０とネットワーク等を介して接続した端末装置に表示させ、端末装置においてユーザが擬似多極子の設定を行えるようにしてもよい。

また、擬似多極子が設定された後、他の擬似多極子がレコメンドされるようにしてもよい。このとき、ヘルメットの色と勝負服の色とに基づきレコメンドしてよい。また、設定された擬似多極子の各極子の色を所定の幅で変化させた他の擬似多極子がレコメンドされるようにしてもよい。

このように、情報処理装置１０は、前記設定擬似多極子情報の設定時、前記各極子のうち所定の前記極子に対して色情報を設定した際、残りの前記極子の色情報をレコメンドする色情報レコメンド手段の一例として機能する。また、情報処理装置１０は、前記対象物に関する情報に基づき、前記残りの極子の色情報をレコメンドする色情報レコメンド手段の一例として機能する。また、情報処理装置１０は、前記設定擬似多極子情報の設定時、少なくとも１つの前記擬似多極子が設定された後、他の擬似多極子をレコメンドする色情報レコメンド手段の一例として機能する。

（２．２ 対象物の追跡）
次に、対象物の追跡について、図７から図１３を用いて説明する。
図７は、対象物の追跡の動作例を示すフローチャートである。図８は、情報処理装置が処理する動画のフレームの一例を示す模式図である。図９は、フレーム画像内の対象物枠の一例を示す模式図である。図１０は、対象物枠内における擬似双極子の一例を示す模式図である。図１１から図１３は、特定のフレーム画像における擬似双極子の一例を示す模式図である。

図７に示すように、情報処理装置１０は、設定擬似多極子情報を取得する（ステップＳ１０）。具体的には、情報処理装置１０のシステム制御部１６が、記憶部１２の擬似多極子ＤＢ１２ｃから、各擬似多極子の第１極子の色情報および第２極子の色情報を取得する。

このように、情報処理装置１０は、所定の１つのフレームの画像の複数点に対応させる極子であって、当該各極子の色情報を前記対象物の色情報に対応するように設定する擬似多極子の設定擬似多極子情報を取得する設定擬似多極子情報取得手段の一例として機能する。

次に、情報処理装置１０は、極子間情報を取得する（ステップＳ１１）。具体的には、システム制御部１６が、擬似多極子ＤＢ１２ｃから、極子間情報の一例の極子間距離ｒの各値を取得する。

このように、情報処理装置１０は、前記設定する擬似多極子における各極子同士の距離が所定以内であることに関する極子間情報を取得する極子間情報取得手段の一例として機能する。

次に、情報処理装置１０は、動画の１フレームの画像を取得する（ステップＳ１２）。具体的には、システム制御部１６が、動画ＤＢ１２ａから、動画データを読み出し、動画の１フレーム（動画の予め選択された１のフレームの一例）を取得し、ＲＡＭ１６ｃ等に記憶する。例えば、情報処理装置１０のシステム制御部１６は、図８に示すような１フレームの画像（フレーム画像２０）を取得し、表示部１３に表示させる。

ここで、動画の再生方向は、時間的に順方向でも逆方向でもよい。また、取得したフレームは、ステップＳ１におけるフレームとは異なるフレームである。また、時間的に順方向の再生の場合、ステップＳ１９からステップＳ１２に戻ったとき、ステップＳ１２で取得するフレームは、時間的に後のフレーム（動画の再生方向において後のフレーム）となり、既にステップＳ１２で取得したフレームは、時間的に前のフレーム（動画の再生方向における１のフレームよりも前のフレーム）となる。また、時間的に逆方向の再生の場合、ステップＳ１９からステップＳ１２に戻ったとき、ステップＳ１２で取得するフレームは、時間的に前のフレーム（動画の再生方向における１のフレームよりも後のフレーム）となり、既にステップＳ１２で取得したフレームは、時間的に後のフレーム（動画の再生方向における１のフレームよりも前のフレーム）となる。

次に、情報処理装置１０は、探索枠を設定する（ステップＳ１３）。具体的には、システム制御部１６が、図９に示すように、追跡する対象物を特定する対象物枠２５（特定範囲の一例）に対して、対象物枠２５を含む探索枠２６（探索範囲の一例）を設定する。探索枠２６は、対象物枠２５より大きく、対象物枠２５の周りに対して、所定に画素数分の枠に設定される。

ここで、対象物２の位置を特定する所定の大きさの特定範囲の一例として、対象物２のヘルメット部２ａおよび勝負服部２ｂを全て含む対象物枠、ヘルメット部２ａおよび勝負服部２ｂの一部を含む対象物枠、対象物２全体を含む対象物枠、対象物２の一部を含む対象物枠等が挙げられる。

なお、探索枠２６は、対象物枠２５が決まっていなくてもよい。例えば、探索枠２６は、処理が初回の場合や、対象物を見失った場合、フレーム画像２０全体でもよい。また、探索枠２６は、後述するサブ画像でもよい。

また、初期のフレームにおける擬似多極子の位置を特定の一例として、対象物枠２５の初期の基準位置（ｘ１，ｙ１）および対象物枠２５の大きさを設定する場合、ユーザがポインタ１４ａにより対象物枠２５の初期の基準位置および対象物枠２５の大きさを設定してもよい。また、対象物枠２５の初期の基準位置（ｘ１，ｙ１）および対象物枠２５の大きさを設定する場合、擬似多極子の設定時に、対象物枠２５の初期の位置を設定してもよい。例えば、擬似多極子の設定に使用したフレームを、対象物を追跡する際の初期フレームにして、この初期フレームにおいて取得した第１極子の位置および第２極子の位置を、擬似多極子の位置とする。そして、この位置が特定された擬似多極子に対応するように、対象物枠２５の初期の位置が設定されてもよい。

また、対象物枠２５の標準の大きさを、例えば、３２画素×３２画素と決めておいてもよい。また、対象物枠２５の初期値は、無くてもよく。探索枠２６内で探索された擬似双極子から決定されるようにしてもよい。

また、対象物枠２５や探索枠２６の形状は、矩形に限らず、円形等の他の形状でもよい。

このように、情報処理装置１０は、前記動画の再生方向における前記１のフレームよりも前のフレームの擬似多極子の位置に応じて、前記探索手段が擬似多極子を探索する探索範囲を設定する探索範囲設定手段の一例として機能する。また、情報処理装置１０は、前記前のフレームにおける前記対象物の位置を特定する所定の大きさの特定範囲より広い探索範囲を設定する探索範囲設定手段の一例として機能する。

次に、情報処理装置１０は、擬似多極子を探索する（ステップＳ１４）。具体的には、システム制御部１６が、探索枠２６内において、取得した設定擬似多極子情報の各極子の色情報の色に類似する色情報の各極子を有し、かつ、当該各極子が前記取得した極子間情報に従った擬似多極子を探索する。なお擬似多極子を探索に関して擬似多極子の探索のサブルーチンにおいて詳細を説明する。

次に、情報処理装置１０は、擬似多極子を探索できた否かを判定する（ステップＳ１５）。具体的には、システム制御部１６が、擬似多極子の探索のサブルーチンにおける結果のフラグ等に基づき判定する。

擬似多極子を探索できなかった場合（ステップＳ１５；ＮＯ）、情報処理装置１０は、サブ画像における擬似多極子を探索する（ステップＳ１６）。例えば、追跡している対象物が、フレーム外になった場合や、対象物の大きさが小さくなった場合や、対象物が他の馬と騎手や建造物等に隠れるオクルージョンが発生した場合には、一時的に、対象物に対応する擬似多極子が探索できなくなる。なお、サブ画像における擬似多極子の探索に関してサブ画像における擬似多極子のサブルーチンにおいて詳細を説明する。

擬似多極子を探索できた場合（ステップＳ１５；ＹＥＳ）、情報処理装置１０は、擬似多極子の平均位置を求める（ステップＳ１７）。具体的には、システム制御部１６が、擬似多極子ＤＢ１２ｃやＲＡＭ１６ｃ等から、探索された各擬似多極子の各極子の位置を読み出し、探索された各擬似多極子の各極子の位置の平均値を求める。図１０に示すように、探索された各擬似多極子の各極子ｐ１，ｐ２の位置の平均値が中心ｃとなる。

また、システム制御部１６が、各擬似多極子の各極子の位置において、ｘ方向およびｙ方向の最大値および最小値を求める。これらの最大値および最小値の代わりに、各擬似多極子の各極子の位置の分散でもよい。なお、擬似多極子の平均位置は、各擬似多極子の中心（各極子の位置の平均等）の平均位置でもよい。

次に、情報処理装置１０は、対象物枠を決定する（ステップＳ１８）。具体的には、システム制御部１６が、擬似多極子の平均位置を中心とした対象物枠２５を決定する。また、システム制御部１６が、対象物枠２５の大きさを、各擬似多極子の各極子の位置における最大値および最小値に応じて、決定する。例えば、図１０に示すように、情報処理装置１０は、各擬似多極子を含むように、中心ｃを中心とした対象物枠２５を決定する。

対象物枠を決定したら、図１１に示すように、情報処理装置１０は、追跡対象が分かるように、フレーム画像２０の中に対象物枠２５を表示させる。

なお、図１２に示すように、追跡する対象物がズームインされている場合、擬似双極子の各極子の距離が長くなり（極子間距離ｒの大きな値が該当するようになり）、対象物枠２５の大きさは大きくなる。また、図１３に示すように、探索された擬似双極子の数に関係なく、追跡する対象物を対象物枠２５により特定できる。

次に、情報処理装置１０は、終了したか否かを判定する（ステップＳ１９）。処理が終了でない場合（ステップＳ１９；ＮＯ）、ステップＳ１２に戻り、情報処理装置１０のシステム制御部１６が、後のフレームの画像を取得することにより、フレームを順次取得していく。

このように順次取得したフレームに対して、擬似双極子が求められる。順次取得したフレームに対して、求められた擬似双極子の位置から、対象物２が対象物枠２５等により次々に特定され、対象物２が追跡されていく。

処理が終了の場合（ステップＳ１９；ＹＥＳ）、システム制御部１６が、処理を終了させる。

なお、ステップＳ１２からＳ１９のループにおいて、初回の場合、初期フレームが、動画の再生方向における１のフレームよりも前のフレームとなる。また、２回目以降の場合、ステップＳ１２で取得したフレームが、動画の再生方向における１のフレームよりも前のフレームとなる。

このように、情報処理装置１０は、前記１のフレームの画像において前記位置特定手段によって特定された擬似多極子の位置と、前記動画の再生方向における前記１のフレームよりも前のフレームの画像において前記初期位置特定手段または前記位置特定手段によって特定された擬似多極子の位置と、から前記対象物を追跡する対象物追跡手段の一例として機能する。また、情報処理装置１０は、前記探索された複数の擬似多極子の位置に基づき、前記対象物を追跡する対象物追跡手段の一例として機能する。

（２．３ 擬似多極子探索のサブルーチン）
次に、 擬似多極子探索のサブルーチンについて図１４から図１８を用いて説明する。
図１４は、擬似多極子探索のサブルーチンを示すフローチャートである。図１５は、擬似双極子の探索の一例を示す模式図である。図１６は、擬似双極子の存在確率の一例を示す模式図である。図１７および図１８は、極子の探索の一例を示す模式図である。

図１４に示すように、情報処理装置１０は、設定擬似多極子情報を読み出す（ステップＳ２０）。具体的には、システム制御部１６が、ＲＡＭ１６ｃ等に記憶されている複数の擬似多極子のうち、擬似双極子番号に基づき、１つの擬似多極子の設定擬似多極子情報を読み出す。

次に、情報処理装置１０は、第１極子の色に類似した画素を探索する（ステップＳ２１）。具体的には、システム制御部１６が、読み出した設定擬似多極子情報における第１極子の色情報の色に対して、所定範囲内の色を有する画素を、探索枠２６内において探索する。

なお、複数の画素が隣接して多数探索された場合、最も色が近い画素を第１極子の位置にしたり、探索された画素の平均の位置を第１極子の位置としたりしてもよい。

次に、情報処理装置１０は、第１極子の色に類似した画素が探索された否かを判定する（ステップＳ２２）。

第１極子の色に類似した画素が探索された場合（ステップＳ２２；ＹＥＳ）、情報処理装置１０は、探索された各画素の位置および極子間情報に基づき、第２極子の色に類似した画素を探索する（ステップＳ２３）。具体的には、図１５に示すように、第１極子ｐ１の位置を中心として、極子間距離ｒを半径とする円上のδｒの円環の中において、読み出した設定擬似多極子情報における第２極子の色情報の色に対して、所定範囲内の色を有する画素を探索する。ここで、極子間距離ｒの値は、擬似多極子ＤＢ１２ｃを参照して、図４に示すように、複数の値をとる。複数の極子間距離ｒの値に対して、第２極子の色に類似した画素を探索する。

また、情報処理装置１０は、各極子同士の距離が所定以内の一例として、極子間距離ｒが離散的でなく、極子間距離が所定の値以内であって、第２極子の色に類似した画素を探索してもよい。

ここで、擬似双極子は、色値と位置座標とを有する２つの極子とそれらを連結する軸とで構成される。画像をRGB場として扱うと、任意の極子をRGB場に置ける確率が定義できる。すなわち、極子のRGB値（色情報）とRGB場が示すRGB値とがガウス分布の意味で類似している度合いを確率とみなすことができる。

擬似双極子に予め与えられる特性は、両極子のRGB値と極子間距離である。擬似双極子の中央座標はRGB場に置くことができて初めて決められる値となる。目的の特性を持った擬似双極子（すなわち、各極子の色情報が設定され、極子間距離が与えられた擬似双極子）を、ある場所に配置できる確率は、RGB場における色が類似していてしかも両極子の極子間距離とほぼ合っている場所となる。つまり、配置尤度が最も高いところに擬似双極子を位置させることができる。

配置尤度λは、以下のように表現できる。ここで状態Ａを、一方の極子ｐ１をRGB場に配置する状態であるとし、状態Ｂを、他の極子ｐ２をRGB場に配置する状態であるとする。また、状態ｒ_ABを両極子ｐ１、ｐ２の極子間距離ｒとほぼ等しい状態であるとする。したがって、擬似双極子としてRGB場に配置するときの確率は、３つの状態Ａ、Ｂ、ｒ_ABの同時確率として表現できる。

また、状態Ａ、Ｂ、ｒ_ABは、それぞれ独立に扱っても構わないので、配置尤度λは、式（１）のように変形できる。

つまり、状態Ａ、Ｂ、ｒ_ABの確率密度を個別に定義できる。

状態Ａの確率密度は、以下の式（２）で与えられる。すなわち、平均μ_A、分散σ_Aとしたガウス分布となる。

ここで、総和は、分布の数による総和である。

また、状態Ｂも同様に表現できる。

ここで、総和は、分布の数による総和である。

状態ｒ_ABは、状態Ａ、ＢがRGB場を反映する分布となるとき、それらの極子間距離がｒとなるような状態を示している。したがってその確率密度も以下のように表現できる。

ここで、総和は、分布の数による総和である。

式（２）の右辺について、実装を考慮した解釈をすることで、擬似双極子を使用した場合の擬似双極子の探索処理を導ける。すなわち、一方の極子ｐ１がRGB場に置かれたときの置くことができる確率をＰ（Ａ）と表現する。

図１６に示すように、確率Ｐ（Ａ）は、最初に与えられた一方の極子ｐ１を表現し、その小さな円は極子ｐ１が、その近傍に存在する確率円を表現している。

極子ｐ１が置かれた場所を中心として｜ｒ_AB｜を半径とする円環部分はＰ（Ｂ）として表現でき、もう一方の極子ｐ２が存在する確率分布を示している。また、状態Ａと状態Ｂとは、どちらを先に決めても構わないが、ここでは、状態Ａを先に与えると仮定している。

すなわち、一方の極子ｐ１が置ける場所をRGB場で探し、その確率分布が高い部分を候補とする。

各候補が存在する場所の中心をとり、半径｜ｒ_AB｜の円を円環の中央線とする。その後、中央線にそった近傍を探索してもう一方の極子ｐ２を置くのに最も尤度の高い場所を特定する。

以上の原理により、各極子が探索される。

次に、情報処理装置１０は、第２極子の色に類似した画素が探索された否かを判定する（ステップＳ２４）。

ここで、図１７に示すように、第１極子を中心とした半径ｒの円上に隣接して複数の画素がある場合、最も色が近い画素の位置を第２極子ｐ２としてもよいし、複数の画素の中央値や平均位置を第２極子ｐ２としてもよい。なお、図１７に示すような例は、第１極子における色の値と、第２極子における色の値とが所定以上異なる場合である。

また、図１８に示すように、第１極子の色の値と、第２極子の色の値とがほぼ同じ場合も、第１極子を中心とした半径ｒの円上に隣接して複数の画素がある場合、最も色が近い画素の位置を第２極子ｐ２としてもよいし、複数の画素の中央値や平均位置を第２極子ｐ２としてもよい。また、情報処理装置１０は、第１極子ｐ１と第２極子ｐ２とを結んだ直線上に、極子における色の値のいずれとも所定以上異なる画素が存在することを更に条件としてもよい。

第２極子の色に類似した画素が探索された場合（ステップＳ２４；ＹＥＳ）、情報処理装置１０は、擬似多極子情報を記憶する（ステップＳ２５）。具体的には、システム制御部１６が、探索された第１極子の位置と、この第１極子対応する探索された第２極子の位置とを、探索された擬似多極子情報として、擬似多極子ＤＢ１２ｃまたはＲＡＭ１６ｃ等に記憶する。このとき、擬似多極子を探索できたことを示すフラグを立てる。

次に、情報処理装置１０は、最後の設定擬似多極子情報であるか否かを判定する（ステップＳ２６）。具体的には、システム制御部１６が、擬似多極子ＤＢ１２ｃにおける擬似双極子番号が最後の番号であるか否かを判定する。

最後の設定擬似多極子情報でない場合（ステップＳ２６；ＮＯ）、ステップＳ２０に戻り、次の設定擬似多極子情報を読み出す。一方、最後の設定擬似多極子情報である場合（ステップＳ２６；ＹＥＳ）、サブルーチンが終了し、情報処理装置１０は、ステップＳ１５の処理を行う。

このように、情報処理装置１０は、前記取得した設定擬似多極子情報の各極子の色情報の色に応じた色の各極子を有し、かつ、当該各極子同士の距離が所定以内である擬似多極子を、前記動画における１のフレームの画像から探索する探索手段の一例として機能する。また、情報処理装置１０は、前記各極子の間に位置する点における色の値が、前記各極子における色の値全てと所定以上異なる擬似多極子を探索する探索手段の一例として機能する。

（２．４ サブ画像における擬似多極子探索のサブルーチン）
次に、サブ画像における擬似多極子探索のサブルーチンについて、図１９および図２０を用いて説明する。
図１９は、サブ画像における擬似多極子探索のサブルーチンを示すフローチャートである。図２０は、フレーム画像を分割したサブ画像の一例を示す模式図である。

図１９に示すように、情報処理装置１０は、動画の１フレームの画像を取得する（ステップＳ３０）。具体的には、システム制御部１６が、時間的に次のフレーム画像を取得する。

次に、情報処理装置１０は、サブ画像に分割する（ステップＳ３１）。具体的には、図２０に示しように、システム制御部１６が、フレーム画像２０を８分割して、サブ画像に分割する。

次に、情報処理装置１０は、探索枠を設定する（ステップＳ３２）。具体的には、システム制御部１６が、サブ画像のうち１つを、探索枠に設定する。例えば、まず、サブ画像２０ａが探索枠に設定される。

次に、情報処理装置１０は、擬似多極子を探索する（ステップＳ３３）。システム制御部１６が、ステップＳ１４のように、擬似多極子探索のサブルーチンにより擬似多極子を探索する。

次に、情報処理装置１０は、擬似多極子が探索されたか否かを判定する（ステップＳ３３）。システム制御部１６が、ステップＳ１５のように、擬似多極子が探索されたか否かを判定する。

擬似多極子を探索できなかった場合（ステップＳ３４；ＮＯ）、情報処理装置１０は、ステップＳ３０に戻り、時間的に次のフレーム画像を取得する。

サブ画像に分割した後、ステップＳ３２において、サブ画像２０ｂが探索枠に設定され、ステップＳ３３において、擬似多極子の探索が行われる。

擬似多極子が探索されるまで、ステップＳ３０からステップＳ３４の処理が繰り返され、サブ画像２０ｃ、・・・２０ｈに探索枠が順次設定される。サブ画像２０ｈまでに擬似多極子が探索されなかった場合、ステップＳ３２において、サブ画像２０ａに戻り探索枠が設定される。

以上、本実施形態によれば、対象物２の外側に色の似た画素が現れたとしても、色情報を有し、各極子ｐ１、ｐ２同士の距離が限定された擬似多極子により、対象物２を追跡するので、動画中における特定の対象物を追跡する際の精度が高くなる。

また、各極子間同士の距離が所定以内であること（例えば、複数個の距離を用意しておくこと）で、幅があるので、ズームアウト、ズームインにより、対象物の大きさが変化しても対応できる。また、極子間距離ｒの値の数が限定されているように、各極子間同士の距離が所定以内であるので、擬似多極子の大きさが発散することを防止でき、追跡精度が高くなる。また、擬似多極子の大きさが発散することを防止できるので、追跡している対象物と背景と、または、追跡している対象物と他の対象物とに跨ぐように、擬似多極子が決定され続けることを防止でき、追跡精度が高くなる。

また、各フレームにおける擬似多極子は、予め設定された設定擬似多極子情報に基づき探索されるので、動画の再生方向の前後にあるフレームに依存せず、擬似多極子を求めることが可能である。従って、オクルージョンや対象物がフレーム外となって不連続になっても、設定擬似多極子情報から擬似多極子を探索して、対象物を追跡できる。さらに、動画の再生方向に関係なく、逆再生でも対象物の追跡が可能である。

また、図３に示すように、設定擬似多極子情報に幅を持たせ、各極子の色情報の色の値にバリエーションを持たせることにより、天候や日差しの角度やカメラの向きが変わって対象物２の色合いが変化しても高精度に対象物２を追跡できる。

また、取得した設定擬似多極子情報の各極子の色情報の色に類似する色の各極子を有し、かつ、当該各極子同士の距離が所定以内である擬似多極子を、動画における１のフレームの画像から探索する場合、予め取得した設定擬似多極子情報の各極子の色情報の色に類似する色の各極子を探索しているので、各極子の位置が発散しにくく、追跡精度が高くなる。また、追跡している対象物が、フレーム外になった場合や、対象物の大きさが小さくなった場合や、対象物が他の馬と騎手や建造物等に隠れるオクルージョンが発生したときにも、高精度に対象物２を追跡できる。

また、動画の再生方向における１のフレームよりも前のフレームの擬似多極子の位置に応じて、擬似多極子を探索する探索範囲が設定される場合、前のフレームの擬似多極子の近辺等に、探索範囲が限定されるので、対象物２を的確に速く追跡することができる。特に、動画の再生方向において前のフレームとして、時間的に隣のフレーム（時間的に前のフレームまたは後のフレーム）の場合、時間の流れ（順方向、逆方向）による対象物２の動きに従って、前のフレームまたは後のフレームの情報を利用して、探索範囲が限定されるので、対象物２を的確に早く追跡することができる。

また、擬似多極子の極子間距離ｒは、対象物２の大きさに応じて変化するので、対象物２の大きさに応じて探索範囲が設定され、対象物２の大きさの変化にも対応できる。

また、前のフレームにおける対象物２の位置を特定する所定の大きさの特定範囲（例えば、対象物枠２５）より広い探索範囲（例えば、探索枠２６）を設定する場合、ズームインやズームアウトにより、画像における対象物２の大きさが変化しても、対象物２を的確に追跡できる。また、特定範囲が、有限であるので、対象物２から大きく離れた擬似多極子を排除でき、追跡精度を向上させることができる。

また、設定擬似多極子情報の設定時、各極子ｐ１、ｐ２のうち所定の極子ｐ１に対して色情報を設定した際、残りの極子ｐ２の色情報をレコメンドする場合、ユーザが擬似多極子における特定の極子ｐ１の色情報を設定した後、残り極子ｐ２の色情報を設定しやすくなる。また、追跡精度を向上させるため、なるべく色や色相が互いに離れるように各極子の色情報をレコメンドできる。

また、対象物２に関する情報（例えば、勝負服の色およびヘルメットの色）に基づき、残りの極子の色情報をレコメンドする場合、追跡性能が向上させる色情報を提示しやすくなる。

また、設定擬似多極子情報の設定時、少なくとも１つの擬似多極子が設定された後、他の擬似多極子をレコメンドする場合、例えば、ユーザが画像から選んで設定した擬似多極子に対して、擬似多極子の設定に必要な他の多くの擬似多極子をレコメンドできるので、ユーザの選択に合わせて、追跡精度を向上させるように多くの擬似多極子を設定できる。また、多くの擬似多極子を設定する必要がなくなるので、ユーザにとって使用しやすくなる。

また、探索された複数の擬似多極子の位置に基づき、対象物２の位置を特定する場合、対象物の位置の特定がより正確になる。平均的に追跡精度を向上させることができる。

また、図１８に示すように、各極子ｐ１、ｐ２の間に位置する点における色の値が、各極子における色の値全てと所定以上異なる擬似多極子を探索する場合、各多極子の色が類似していても、的確に擬似多極子を探索できる。

ここで、擬似双極子を定義する構造体では、図３に示すように、色情報をRGB値として表現しているが、図２１に示すように、HSVやLab色空間（Lab color space）等の色相をパラメータとする表色系を適用してもよい。これにより、図２２に示すように、対象物のズームインやズームアウト、向き、天候の変化に対して、対象物に対して設定した色が、ほぼ不変となる。すなわち、対象物のズームインやズームアウト、及び向き等の変化に対して色相角がほぼ一定となる。

なお、図２１は、対象物２のヘルメット部２ａと勝負服部２ｂに関する部分（それぞれ、小円内）から複数のピクセルをサンプリングして、色相角と明度を色相環にプロットしたものである。また、図２２は、一定のフレーム間隔で観測して、ヘルメット部２ａと勝負服部２ｂに関する部分の色相角をプロットしたものである。図２２において、平均は実線で、分散は破線で挟まれる部分で示している。

次に、図２３に示すように、各対象物に対して、擬似双極子を探索し、対象物枠２５を設定してもよい。この場合、擬似多極子の設定において、各対象物のヘルメットの色および勝負服の色に対応させた各極子の色情報を設定しておく。このように複数の対象物に対しても適用できる。

（２．５ 擬似多極子の例）
次に、擬似双極子以外の擬似多極子について、図２４から図２６を用いて説明する。
図２４および図２５は、擬似３極子の一例を示す模式図である。図２６は、擬似４極子の一例を示す模式図である。

本実施形態は、極子数が２の擬似双極子に限らず、擬似３極子や擬似４極子等の擬似多極子に対しても適用できる。

図２４に示すように、擬似３極子の各極子ｐ１、ｐ２、ｐ３に対して、設定擬似多極子情報として、色情報が設定される。さらに、擬似３極子の各極子の極子間距離ｒ１２、ｒ２３、ｒ３１に対して、各極子同士の距離が所定以内になるように、図４に示すように、各極子間距離ｒ１２、ｒ２３、ｒ３１に対する複数個の値が設定される。

また、図２５に示すように、点ｐｃに基づき、擬似３極子の各極子の極子間距離として、点ｐｃから各極子との距離ｒ１、ｒ２、ｒ３を設定してもよい。

擬似３極子を探索する場合、ステップＳ２４のＹＥＳの後に、極子間距離ｒ２３、ｒ３１に基づき、第３極子ｐ３の色に類似する画素を探索する処理が追加される。

次に、図２６に示すように、擬似４極子の場合、擬似４極子の各極子ｐ１、ｐ２、ｐ３、ｐ４に対して、設定擬似多極子情報として、色情報が設定される。さらに、擬似４極子の各極子の極子間距離ｒ１２、ｒ２３、ｒ２３、ｒ２４、ｒ４１、ｒ１３、ｒ２４に対して、各極子同士の距離が所定以内になるように、図４に示すように、各極子間距離に対する複数個の値が設定される。

擬似４極子を探索する場合、第４極子ｐ４の色に類似する画素を探索する処理が更に追加される。

これらのように、擬似多極子の極数が３以上である場合、縞模様等の多色の場合に対応できる。

また、各極子の順序の情報を探索に利用してもよい。例えば、色が、順序として、直線状に並んでいる場合と、円環状に並ぶ場合とが考えられる。

色が直線状の場合、例えば３色からなる国旗がある。リトアニアの国旗において、色が、黄色(Ｙ)、緑(Ｇ)、赤(Ｒ)のように上から下へ縦方向に並んでいる。また、カメルーンの国旗において、色が、横方向に左から右へＧＲＹの順に並んでいる。ギニアの国旗において、色が、横方向に左から右へＲＹＧの順に並んでいる。縦横および左右を無視したとしても、この色の並び順の違いで、３つの国が区別される。

また、円環状に並ぶ場合としても、国旗の例が挙げられる。チェコの国旗は、ほぼ中央に３色の部分の頂点が会合している、３つの部分は、国旗において左側に紺(Ｄｂ：Dark blue)、右上に白(Ｗ)、右下に赤(Ｒ)が配されている。つまり、[Ｄｂ,Ｗ,Ｒ]という円環が形成される。

また、フィリピンの国旗では、同様に、ほぼ中央に３色の部分の頂点が会合しているが、３つの部分は、国旗において左側に白(Ｗ)、右上に紺(Ｄｂ：Dark blue)、右下に赤(Ｒ)が配されている。つまり[Ｗ,Ｄｂ,Ｒ]という円環が形成されている。このように、円環状の順序により２つの国旗が区別される。

また、擬似多極子の極子の全てを探索できなかったとき、前記各極子間の位置関係に基づき、探索された極子から他の極子の位置を推定して、擬似多極子を求める場合、対象物の一部が隠れ、擬似多極子の一部の極子が隠れても、擬似多極子により対象物を追跡できる。例えば、擬似３極子の場合、１つの極子が隠れる状態でも、各極子の極子間距離により、隠れた極子の位置を推定できる。

このように、情報処理装置１０は、前記擬似多極子の極子の全てを探索できなかったとき、前記各極子間の位置関係に基づき、探索された極子から他の極子の位置を推定して、前記擬似多極子を求める探索手段の一例として機能する。

また、情報処理装置１０は、取得した設定擬似多極子情報の各極子の色情報の色に応じた色の各極子の一例として、前記動画の再生方向における１のフレームよりも前のフレームの画像における擬似多極子の各極子の色情報の色に類似した色の各極子でもよい。なお、この場合、追跡している対象物が、フレーム外になった場合や、対象物の大きさが小さくなった場合や、対象物が他の馬と騎手や建造物等に隠れるオクルージョンが発生したときは、情報処理装置１０は、取得した設定擬似多極子情報の各極子の色情報の色に類似する色の各極子を探索する。

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

２：対象物
１０：情報処理装置
１６：システム制御部
２０：フレーム
２５：対象物枠
２６：探索枠
ｐ１、ｐ２、ｐ３、ｐ４：極子

Claims (13)

1. 複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置において、
   所定の１つのフレームの画像の複数点に対応させる極子であって、当該各極子の色情報を前記対象物の色情報に対応するように設定する擬似多極子の設定擬似多極子情報を取得する設定擬似多極子情報取得手段と、
   前記擬似多極子における各極子同士の距離が離散的に設定された設定距離情報を取得する設定距離情報取得手段と、
   初期のフレームにおける擬似多極子の位置を特定する初期位置特定手段と、
   前記取得した設定擬似多極子情報の各極子の色情報の色に応じた色の各極子を有し、かつ、当該各極子同士の距離が、取得した前記設定距離情報のいずれかの距離に等しい擬似多極子を、前記動画における１のフレームの画像から探索する探索手段と、
   前記動画における１のフレームの画像において、前記探索された擬似多極子の位置を特定する位置特定手段と、
   前記１のフレームの画像において前記位置特定手段によって特定された擬似多極子の位置と、前記動画の再生方向における前記１のフレームよりも前のフレームの画像において前記初期位置特定手段または前記位置特定手段によって特定された擬似多極子の位置と、から前記対象物を追跡する対象物追跡手段と、
   を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記探索手段は、前記取得した設定擬似多極子情報の各極子の色情報の色に類似する色の各極子を有し、かつ、当該各極子同士の距離が所定以内である擬似多極子を、前記動画における１のフレームの画像から探索することを特徴とする情報処理装置。
3. 請求項１または請求項２に記載の情報処理装置において、
   前記動画の再生方向における前記１のフレームよりも前のフレームの擬似多極子の位置に応じて、前記探索手段が擬似多極子を探索する探索範囲を設定する探索範囲設定手段を更に備えたことを特徴とする情報処理装置。
4. 請求項３に記載の情報処理装置において、
   前記探索範囲設定手段が、前記前のフレームにおける前記対象物の位置を特定する所定の大きさの特定範囲より広い探索範囲を設定することを特徴とする情報処理装置。
5. 請求項１から請求項４のいずれか１項に記載の情報処理装置において、
   前記設定擬似多極子情報の設定時、前記各極子のうち所定の前記極子に対して色情報を設定した際、残りの前記極子の色情報をレコメンドする色情報レコメンド手段を更に備えたことを特徴とする情報処理装置。
6. 請求項５に記載の情報処理装置において、
   前記色情報レコメンド手段が、前記対象物に関する情報に基づき、前記残りの極子の色情報をレコメンドすることを特徴とする情報処理装置。
7. 請求項１から請求項６のいずれか１項に記載の情報処理装置において、
   前記設定擬似多極子情報の設定時、少なくとも１つの前記擬似多極子が設定された後、他の擬似多極子をレコメンドする擬似多極子レコメンド手段を更に備えたことを特徴とする情報処理装置。
8. 請求項１から請求項７のいずれか１項に記載の情報処理装置において、
   前記対象物追跡手段が、前記探索された複数の擬似多極子の位置に基づき、前記対象物を追跡することを特徴とする情報処理装置。
9. 請求項１から請求項８のいずれか１項に記載の情報処理装置において、
   前記擬似多極子の極数が３以上であることを特徴とする情報処理装置。
10. 請求項９に記載の情報処理装置において、
    前記探索手段が、前記擬似多極子の極子の全てを探索できなかったとき、前記各極子間の位置関係に基づき、探索された極子から他の極子の位置を推定して、前記擬似多極子を求めることを特徴とする情報処理装置。
11. 請求項１から請求項１０のいずれか１項に記載の情報処理装置において、
    前記探索手段が、前記各極子の間に位置する点における色の値が、前記各極子における色の値全てと所定以上異なる擬似多極子を探索することを特徴とする情報処理装置。
12. 複数のフレームからなる動画中における所定の対象物を追跡する情報処理方法において、
    所定の１つのフレームの画像の複数点に対応させる極子であって、当該各極子の色情報を前記対象物の色情報に対応するように設定する擬似多極子の設定擬似多極子情報を取得する設定擬似多極子情報取得ステップと、
    前記擬似多極子における各極子同士の距離が離散的に設定された設定距離情報を取得する設定距離情報取得ステップと、
    初期のフレームにおける擬似多極子の位置を特定する初期位置特定ステップと、
    前記取得した設定擬似多極子情報の各極子の色情報の色に応じた色の各極子を有し、かつ、当該各極子同士の距離が取得した前記設定距離情報のいずれかの距離に等しい擬似多極子を、前記動画における１のフレームの画像から探索する探索ステップと、
    前記動画における１のフレームの画像において、前記探索された擬似多極子の位置を特定する位置特定ステップと、
    前記１のフレームの画像において前記位置特定ステップで特定された擬似多極子の位置と、前記動画の再生方向における前記１のフレームよりも前のフレームの画像において前記初期位置特定ステップまたは前記位置特定ステップで特定された擬似多極子の位置と、から前記対象物を追跡する対象物追跡ステップと、
    を含むことを特徴とする情報処理方法。
13. 複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用プログラムにおいて、
    コンピュータを、
    所定の１つのフレームの画像の複数点に対応させる極子であって、当該各極子の色情報を前記対象物の色情報に対応するように設定する擬似多極子の設定擬似多極子情報を取得する設定擬似多極子情報取得手段、
    前記擬似多極子における各極子同士の距離が離散的に設定された設定距離情報を取得する設定距離情報取得手段、
    初期のフレームにおける擬似多極子の位置を特定する初期位置特定手段、
    前記取得した設定擬似多極子情報の各極子の色情報の色に応じた色の各極子を有し、かつ、当該各極子同士の距離が、取得した前記設定距離情報のいずれかの距離に等しい擬似多極子を、前記動画における１のフレームの画像から探索する探索手段、
    前記動画における１のフレームの画像において、前記探索された擬似多極子の位置を特定する位置特定手段、および、
    前記１のフレームの画像において前記位置特定手段によって特定された擬似多極子の位置と、前記動画の再生方向における前記１のフレームよりも前のフレームの画像において前記初期位置特定手段または前記位置特定手段によって特定された擬似多極子の位置と、から前記対象物を追跡する対象物追跡手段として機能させることを特徴とする情報処理装置用プログラム。

Images