JP5839796B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、追跡すべき対象物体を捉えるように画像データ内の注目領域を決定する技術に関するものである。

近年、ロボット技術が急速な進歩を遂げてきており、産業用ロボットのみならず、一般向け玩具としてもペットロボット等の開発が活発である。産業用組み立てロボットには、多品種少量生産が求められてきており、また組み立てる製品そのものも複雑化してきている。こうした状況に対応するためには、個々の製品に応じた特殊な専用工具や専用センサを極力少なくすることが必要となる。そこでカメラと多関節ロボットを組み合わせ、画像処理によって対象物体を認識し、組み立て作業を行うことに注目が集まってきている。また、ペットロボット等の一般向けロボットにおいては、使用可能なセンサが限られており、多くの情報を取得できるセンサとしてカメラを用い、画像処理により様々な情報を抽出、獲得しているものもある。

このようなカメラと画像処理を組み合わせた視覚センサの最も基本的な働きの一つとして、対象物体の追跡（追尾）が挙げられる。カメラを用いた対象物体の追跡という技術に注目すると、いくつかの方式がある。一つは、カメラを固定しておき一定の範囲を撮像し続け、その撮像範囲内にある対象物体の追跡を行う、というものである。これは監視の分野で多く用いられ、不審者や異常物体の監視等に用いられる。また、人や車の交通量計測にも用いられる。最近のデジタルカメラには顔画像の認識と対象物体の追跡とを組み合わせ、常に人物の顔にピントを合わせるような製品もある。別の方式としては対象物体の移動に応じて、あるいはロボットの移動に応じて、対象物体を捉えつつカメラを移動させたり、向きを変えたりするものがある。対象物体の三次元形状計測や、位置姿勢認識等に用いられる。その他、両者を複合させた方式も考えられるが、いずれの方式にせよ、撮像された画像から対象物体の範囲を特定し、続く画像処理装置によって様々な処理がなされることとなる。対象物体の追跡処理は、次フレーム以降の撮像範囲の決定、または画像処理装置に送る画像範囲の決定、あるいはその両者ということになる。

ここで、従来の物体追跡撮像システムは、カメラと、カメラによって撮像された画像データから追跡すべき物体領域を抽出し、当該物体領域の画像データから注目領域（ＲＯＩ）を決定する物体追跡処理装置とによって構成される。物体追跡処理装置は、決定した注目領域に相当する画像データを生成し、生成した画像データを画像処理装置に対して渡す。画像処理装置では、注目領域に相当する画像データから、追跡すべき対象物体に刻印されている部品番号を読み取る処理や、ロボットが当該対象物体を把持する際のマニピュレータの挿入位置を決定するといった処理を行う。

このようにして、画像処理装置において処理される注目領域に相当する画像データが得られるが、カメラと物体追跡処理装置とをつなぐ通信路には一般に流れるデータ量の上限（帯域幅）が存在する。例えば、ＶＧＡ（640×480［画素］）サイズのＲＧＢカラー画像（各色８ビット）で毎秒６０画面を転送する場合であれば、６４０×４８０×８×３×６０＝４４２３６８０００［bit/sec］≒０．４［Gbit/sec］程度の幅があればよい。ＲＯＩの大きさを仮に撮像サイズの縦横１／４とすると、１６０×１２０［画素］である。しかし、アプリケーションによってはさらに高精細の画像を用いて画像処理を行いたい場合がある。例えば、ＶＧＡサイズのＲＯＩが必要であるとすると、撮像画像の大きさは２５６０×１９２０［画素］となる。この場合、通信路には７［Ｇｂｉｔ／ｓｅｃ］以上のトラフィックが発生する。フレームレート（毎秒転送する画面数）を上げれば、さらに広い帯域幅が必要になる。逆にいえば、通信路の帯域幅によって、画像処理装置が処理する画像データの画像サイズ（ＲＯＩサイズ）やフレームレートが抑えられてしまうことになる。しかし、画像処理装置が必要としている画像データのみをカメラから通信路に送出することができれば、通信路の帯域幅を有効に活用することができる。

特許文献１には、カメラ自体の位置や姿勢を制御することにより、ＲＯＩの画像データを取得する技術が開示されている。この場合、カメラの撮像範囲はＲＯＩサイズに一致している。

ここでＲＯＩの決定について注目してみると、一画面前の画像データを基に決定している。そのため、追跡すべき対象物体がフレームサイズ、フレームレートと比較して高速に動いている場合等、対象物体を正確に捉えることが難しくなる。そこで、過去の対象物体の動きから、次画面での対象物体の位置を予測することが必要となる。

特開２００５−５７７４３号公報

しかしながら、上述した過去の対象物体の動きから次画面での対象物体の位置を予測する手法では、フレームレートの高速化を図れたとしても、動き予測部が必要となるという課題がある。また、対象物体が、動き予測部が想定する動きとは異なる動きをした場合、対象物体を正確に、また安定して捉えることが難しいという課題もある。

そこで、本発明の目的は、動き予測部のような特別な構成を追加することなく、対象物体の動きによらず、対象物体を正確に、また安定して捉えることにある。

本発明の情報処理装置は、撮像装置によって逐次的に撮像される低解像度画像データおよび高解像度画像データを処理するための情報処理装置であって、前の時点に撮像された低解像度画像データに基づいて、次の時点に撮像される低解像度画像データの注目領域である第１の注目領域を決定する第１の決定手段と、前記次の時点に撮像される低解像度画像データのうち、前記第１の注目領域に該当する前記低解像度画像データを、前記撮像装置より通信路を介して取得する取得手段と、前記次の時点に撮像される高解像度画像データは用いずに、前記第１の注目領域に該当する前記低解像度画像データに基づいて、当該次の時点に撮像される高解像度画像データの注目領域である第２の注目領域を決定する第２の決定手段とを有し、前記取得手段は、前記次の時点に撮像される高解像度画像データのうち、前記第２の注目領域に該当する前記高解像度画像データを、前記撮像装置より前記通信路を介して取得することを特徴とする。

本発明によれば、動き予測部のような特別な構成を追加することなく、対象物体の動きによらず、対象物体を正確に、また安定して捉えることが可能となる。

本発明の実施形態に係る物体追跡撮像システムの構成を示す図である。 ＣＭＯＳイメージセンサ上における低解像度ＲＯＩ画像データを構成する画素と高解像度ＲＯＩ画像データを構成する画素との例を示す図である。 対象物体が動いている場合等における時刻ｔの低解像度ＲＯＩと時刻ｔの高解像度ＲＯＩとの関係を示す図である。 本発明の実施形態における時刻ｔの低解像度ＲＯＩの決定方法を説明するための図である。 画像中心を求める手順を示すフローチャートである。 時刻ｔ−１と時刻ｔにおける対象物体を撮像した画像データを示す図である。 本発明の実施形態に係る物体追跡撮影システムと比較するための物体追跡撮影システムの例を示す図である。 図７の比較例におけるＲＯＩ決定方法を説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る物体追跡撮像システムの構成を示す図である。図１に示すように、本実施形態に係る物体追跡撮像システムは、カメラ１１と物体追跡処理装置１２とが通信部１３を介して接続されている。カメラ１１は、撮像部１１１、画像出力部１１２、撮像制御部１１３及び解像度・ＲＯＩ制御部１１４から構成される。なお、物体追跡処理装置は、本発明の情報処理装置の適用例となる構成である。

撮像部１１１は、レンズ、ＣＭＯＳイメージセンサ等から構成され、撮像処理により画像データを生成する。画像出力部１１２は、撮像部１１１により生成された画像データを、通信路１３を介して物体追跡処理装置１２に送信する。撮像制御部１１３は、例えば露光タイミングやＣＭＯＳイメージセンサ内に保持された画像データを消去するタイミングを制御する。例えば撮像制御部１１３は、一定時間毎に露光を行ったり、画像出力部１１２が通信路１３に画像データを出力した後に、ＣＭＯＳイメージセンサ内に保持された画像データを消去したりする。解像度・ＲＯＩ制御部１１４は、物体追跡処理装置１２から解像度情報及びＲＯＩ情報の２つの情報を得て、画像出力部１１２に対して出力する。ここでいう解像度情報とは、低解像度画像データを指定するための情報や高解像度画像データを指定するための情報である。本実施形態においては、同一の撮像範囲の画像データで比べた場合、高解像度画像データでは１２８０×９６０画素、低解像度画像データでは６４０×４８０画素であることを想定している。また、ＲＯＩ情報とは、撮影された画像データ内の注目領域（ＲＯＩ：Region of Interest）を指定する情報である。ＲＯＩとしては、例えば、物体領域を含む最小の矩形領域、或いは物体領域の中心を画像中心とする予め定められた大きさの矩形領域等である。

物体追跡処理装置１２は、画像入力部１２１、ＲＯＩ画像生成部１２３及びＲＯＩ算出部１２２から構成される。ＲＯＩ算出部１２２は、対象抽出部１２２１、低解像度ＲＯＩ決定部１２２２及び高解像度ＲＯＩ決定部１２２３から構成される。物体追跡処理装置１２は、通信路１３から画像入力部１２１によって画像データを得る。画像入力部１２１は、通信路１３から得た画像データを、物体追跡処理装置１２内の他の構成部からアクセスできる状態で保持する。なお、低解像度ＲＯＩ決定部１２２２は、第１の決定手段の適用例となる構成であり、画像入力部１２１は、取得手段の適用例となる構成であり、高解像度ＲＯＩ決定部１２２３は、第２の決定手段の適用例となる構成である。

以下では、説明の便宜上、撮像時刻を、・・・、ｔ−２、ｔ−１、ｔ、ｔ＋１、・・・であるとし、現在は時刻ｔでの撮像が終了した直後であるとする。対象抽出部１２２１は、画像入力部１２１から低解像度ＲＯＩ画像データ又は高解像度ＲＯＩ画像データを得て、追跡すべき物体領域を抽出する。低解像度ＲＯＩ決定部１２２２は、低解像度ＲＯＩ画像データから抽出された物体領域からＲＯＩ（以下、低解像度ＲＯＩと称す）を決定する。また、高解像度ＲＯＩ決定部１２２３は、高解像度ＲＯＩ画像データから抽出された物体領域からＲＯＩ（以下、高解像度ＲＯＩと称す）を決定する。なお、画像入力部１２１においては、時刻ｔ−１までの低解像度ＲＯＩ画像データ及び高解像度ＲＯＩ画像データを、通信路１３を経てカメラ１１より取得済みである。

さて、ここで時刻ｔのＲＯＩ画像データ（低解像度ＲＯＩ画像データ、高解像度ＲＯＩ画像データ）を得る手法について説明する。対象抽出部１２２１は、時刻ｔ−１の低解像度ＲＯＩ画像データから物体領域を抽出する。物体領域の抽出方法は、例えば黒い背景内を白いピンポン玉様の物体が動き回っているときに、ピンポン玉様の物体領域を抽出する場合の手法の例は次のようなものである。先ず対象抽出部１２２１は、低解像度ＲＯＩ画像データから輝度画像データを得る。ＲＧＢカラー画像データから輝度値Ｙを算出する手法はよく知られており、画素毎にＹ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂで算出された輝度値から輝度画像データを生成する方法がよく用いられる。輝度画像データの画素値が[０，１]で正規化されているとすると、ある閾値(例えば、０．５)以下の輝度値を持つ画素と、それ以外の画素とで二値化する。前者を黒画素、後者を白画素として二値画像データを生成すると、ピンポン玉様の物体領域は白画素で表される。そこで、全白画素を含む最小の円形領域を以て物体領域の抽出ができたことになる。

対象抽出部１２２１は、抽出した物体領域の位置や大きさ等の情報を低解像度ＲＯＩ決定部１２２２に送る。対象抽出部１２２１は、前述の手法で物体領域を抽出した場合、例えば当該物体領域の中心を「位置」、円形領域の直径を「大きさ」とする。

低解像度ＲＯＩ決定部１２２２は、時刻ｔ−１の低解像度ＲＯＩ画像データ中の物体領域の「位置」及び「大きさ」に基づいて、時刻ｔの低解像度ＲＯＩ（第１の注目領域）を決定する。対象物体の運動に比べてフレームレートが十分高い（撮像間隔が十分に短い）場合、物体領域の「位置」や「大きさ」は、時刻ｔ−１のＲＯＩ画像データと時刻ｔのＲＯＩ画像データとでほとんど同じと考えられる。そこで、低解像度ＲＯＩ決定部１２２２は、例えば物体領域を含む最小の矩形領域を時刻ｔの低解像度ＲＯＩとして決定する。「位置」及び「大きさ」を用いた場合、例えば「位置」を中心とする一辺の長さが「大きさ」である正方形領域を低解像度ＲＯＩとすればよい。そして、低解像度ＲＯＩ決定部１２２２は、時刻ｔの低解像度ＲＯＩを示すＲＯＩ情報と解像度情報（ここでは、低解像度画像データを指定するための情報）との２つの情報をカメラ１１の解像度・ＲＯＩ制御部１１４に通知する。

解像度・ＲＯＩ制御部１１４は、物体追跡処理装置１２から得たＲＯＩ情報と解像度情報とを画像出力部１１２に伝える。画像出力部１２２は、解像度情報に応じて、撮像部１１１が撮像した時刻ｔの低解像度画像データを取得する。そして画像出力部１２２は、ＲＯＩ情報によって指定された低解像度ＲＯＩの範囲を時刻ｔの低解像度画像データから抽出し、時刻ｔの低解像度ＲＯＩ画像データとして通信路１３を経て物体追跡処理部１２に送出する。

画像入力部１２１は、この時刻ｔの低解像度ＲＯＩ画像データを得て、対象抽出部１２２１に送る。対象抽出部１２２１は、時刻ｔの低解像度ＲＯＩ画像データから物体領域を抽出する。そして対象抽出部１２２１は、抽出した物体領域の「位置」や「大きさ」等の情報を高解像度ＲＯＩ決定部１２２３に送る。一般的に低解像度ＲＯＩに相当する高解像度画像データの領域の中に高解像度ＲＯＩが含まれる。そこで高解像度ＲＯＩ決定部１２２３は、時刻ｔの低解像度ＲＯＩ画像データ中の物体領域の「位置」や「大きさ」等の情報に基づいて時刻ｔの高解像度ＲＯＩ（第２の注目領域）を決定する。ここでは、例えば物体領域を含む最小の矩形領域を高解像度ＲＯＩとして決定するものとする。

以上のように、時刻ｔの低解像度ＲＯＩの決定は、時刻ｔ−１の低解像度ＲＯＩ画像データを基にしているため、対象物体が運動している場合には物体領域の中心が必ずしも時刻ｔ−１の低解像度ＲＯＩ画像データの中心にあるとは限らない。しかし、時刻ｔの高解像度ＲＯＩの決定には、同時刻である時刻ｔの低解像度ＲＯＩ画像データを基にしているため、対象物体の中心と高解像度ＲＯＩ画像データの中心とを一致させることができる。このように、二段階に高解像度ＲＯＩを決定することにより、対象物体の運動によらずに安定して高解像度ＲＯＩを決定することができる。

そして、高解像度ＲＯＩ決定部１２２３は、決定した高解像度ＲＯＩを示すＲＯＩ情報と解像度情報（ここでは、高解像度画像データを指定するための情報）との２つの情報をカメラ１１の解像度・ＲＯＩ制御部１１４に通知する。解像度・ＲＯＩ制御部１１４は、物体追跡処理装置１２から得たＲＯＩ情報と解像度情報とを画像出力部１１２に伝える。画像出力部１１２は、解像度情報に応じて、撮像部１１１が撮像した時刻ｔの高解像度画像データを取得する。なお、以下の説明において、低解像度画像データ及び高解像度画像データとは、ともに同一の撮像範囲で撮像された解像度が異なる画像データである。画像出力部１１２は、ＲＯＩ情報によって指定された高解像度ＲＯＩの範囲を時刻ｔの高解像度画像データから抽出し、時刻ｔの高解像度ＲＯＩ画像データとして通信路１３を経て物体追跡処理装置１２に送出する。

画像入力部１２１は、時刻ｔの高解像度ＲＯＩ画像データを得て、ＲＯＩ画像生成部１２３に送る。ＲＯＩ画像生成部１２３は、時刻ｔの高解像度ＲＯＩ画像データを物体追跡処理装置１２の外部に配置される画像処理装置１４に送る。画像処理装置１４は、時刻ｔの高解像度ＲＯＩ画像データを用いて対象物体に関する処理を実行する。ここでいう対象物体に関する処理とは、例えば、当該対象物体に刻印されている部品番号を読み取る処理や、ロボットが当該対象物体を把持する際のマニピュレータの挿入位置の決定といった処理である。

画像出力部１１２は、時刻ｔの高解像度ＲＯＩ画像データを送出した後に、時刻ｔの画像データの消去を撮像制御部１１３に対して指示するとともに、時刻ｔ＋１での撮像を撮像制御部１１３に対して指示する。撮像制御部１１３は、画像出力部１１２からの指示に従って撮像部１１１を制御する。

以上の動作を繰り返し、時刻ｔ＋１の低解像度ＲＯＩ画像データ、時刻ｔ＋１の高解像度ＲＯＩ画像データ、・・・と順にＲＯＩ画像データを得ていくことにより、画像処理装置１４には各時刻の高解像度ＲＯＩ画像データが連続して送られることになる。

なお、一般的なグローバルシャッタタイプ（全画素の露光を同時に行う方式）のＣＭＯＳイメージセンサの場合、デジタル化された画像データはＣＭＯＳイメージセンサ上にあり、非破壊で読み出すことができる。そのため、高解像度ＲＯＩ画像データは、撮像部１１１がＣＭＯＳイメージセンサ上の高解像度ＲＯＩとして指示された領域の全画素を読み出すことにより実現できる。また、低解像度ＲＯＩ画像データは、撮像部１１１がＣＭＯＳイメージセンサ上の低解像度ＲＯＩとして指示された領域の画素を例えば１画素ずつ間引いて読み出すことにより実現できる。

ところで、本実施形態においては、低解像度ＲＯＩと高解像度ＲＯＩとはほぼ同じ領域である。そのため、低解像度ＲＯＩ画像データに含まれる画素は、そのほとんどが高解像度ＲＯＩ画像データに含まれることになる。そこで、画像出力部１１２は、時刻ｔの高解像度ＲＯＩ画像データを転送する際、時刻ｔの低解像度ＲＯＩ画像データに含まれない画素データのみを転送する。これにより、通信路１３を流れる画像データ量を本来必要な高解像度ＲＯＩ画像データのデータ量とほぼ等しくすることができる。これは、一画素ずつ間引いて低解像度ＲＯＩ画像データを読み出して物体追跡処理部１２に転送することによる通信路１３の圧迫は、ほとんどないことを意味する。

図２は、ＣＭＯＳイメージセンサ上における低解像度ＲＯＩ画像データを構成する画素と高解像度ＲＯＩ画像データを構成する画素との例を示す図である。図２の例において、低解像度ＲＯＩ画像データを構成する画素は○と●であり、高解像度ＲＯＩ画像データを構成する画素は■と●である。先ず画像出力部１１２は、○と●との画素から低解像度ＲＯＩ画像データを読み出し、物体追跡処理装置１２に転送する。その後、画像出力部１１２は、■と●との画素から高解像度画像ＲＯＩデータを読み出し、物体追跡処理装置１２に転送する。但し、既に●は転送済みであるので、画像出力部１１２は■だけを転送する。図２の場合、低解像度ＲＯＩ画像データと高解像度ＲＯＩ画像データとの重なりは約６５％であるが、低解像度ＲＯＩ画像データの転送によるデータ量（画素数）の増加分は９％以下である。

なお、本実施形態においては、説明を分かりやすくするため、時刻ｔの低解像度ＲＯＩ画像データを得てから、時刻ｔの高解像度ＲＯＩ画像データ、次いで時刻ｔ＋１の低解像度ＲＯＩ画像データを得るように説明しているが、処理は逐次的でなくても構わない。時刻ｔの低解像度ＲＯＩ画像データを得て、対象抽出部１２２１で物体領域の「位置」や「大きさ」等の情報を得た後、低解像度ＲＯＩ決定部１２２２と高解像度ＲＯＩ決定部１２２３とで同時に処理を進めても構わない。但し、画像出力部１１２による時刻ｔの低解像度ＲＯＩ画像データの送出は、時刻ｔの高解像度ＲＯＩ画像データの送出に先立って行われなければならない。従って、ＲＯＩ情報及び解像度情報の送出時、あるいは解像度・ＲＯＩ制御部１１４で上記指示情報を受信した後に正しい順序になるようにする必要がある。

また、本実施形態では、物体領域を含む最小の矩形領域をＲＯＩとしているが、他の方法でも構わない。以下にいくつかの手法の例を挙げる。
第１の手法として、物体領域の中心を画像中心とする予め定められた大きさの矩形領域をＲＯＩとして決定する手法である。第２の手法として、物体領域の中心を画像中心とし、物体領域を含む最小の矩形領域をＲＯＩとして決定する手法である。第３の手法として、物体領域を含む最小の矩形領域の中心を画像中心とし、物体領域を含む最小の矩形領域の大きさに一定倍率をかけた大きさの矩形領域をＲＯＩとして決定する手法である。第４の手法として、第２又は第３の手法の矩形領域の中心を画像中心とし、当該矩形領域を含む、予め定められた縦横比の最小の矩形領域をＲＯＩとして決定する手法である。

次に、本発明の第２の実施形態について説明する。第１の実施形態で示したように、低解像度ＲＯＩ決定部１２２２は、時刻ｔの低解像度ＲＯＩを決定する際に、時刻ｔ−１の低解像度ＲＯＩ画像データを基にしている。そのため、対象物体が動いている場合等には、時刻ｔの低解像度ＲＯＩは必ずしも時刻ｔの高解像度ＲＯＩを含んでいない。これは、高解像度ＲＯＩ決定部１２２３が時刻ｔの高解像度ＲＯＩを決定する際に、未知の領域を一部含めなければならないことを意味している。

図３は、対象物体が動いている場合等における時刻ｔの低解像度ＲＯＩと時刻ｔの高解像度ＲＯＩとの関係を示す図である。図３に示すように、対象物体が動いている場合等において、時刻ｔの低解像度ＲＯＩ画像データに基づいて時刻ｔの高解像度ＲＯＩを決定する場合、時刻ｔの高解像度ＲＯＩの一部に、時刻ｔの低解像度ＲＯＩ画像データに属しない領域が存在することになる。従って、時刻ｔの高解像度ＲＯＩを決定する際には、当該時刻ｔの高解像度ＲＯＩの一部について物体領域を推定する必要がある。

そこで、時刻ｔの高解像度ＲＯＩ画像データに含まれる可能性のある領域を全て、時刻ｔの低解像度ＲＯＩ画像データの領域が含むようにしてやると、時刻ｔの高解像度ＲＯＩの決定は単なる切り出しという問題に帰着する。具体的には、対象物体が撮影間隔の間に画面上で動き得る最大の距離だけ低解像度ＲＯＩを大きめに決定すればよい。

図４は、本実施形態における時刻ｔの低解像度ＲＯＩの決定方法を説明するための図である。図４に示すように、時刻ｔの高解像度ＲＯＩに対して上記最大の距離（マージン）だけ大きめに時刻ｔの低解像度ＲＯＩを決定する。これにより、時刻ｔの高解像度ＲＯＩは必ず時刻ｔの低解像度ＲＯＩ画像データに含まれることになり、高解像度ＲＯＩの決定が正確且つ安定して行えるようになる。なお、上記最大の距離の算出方法は、動的に定めてもよいが、システムの動作要件として予め定めておいてもよい。

例えば、左右の画角が９０°の撮像系で１ｍ離れた面上を対象物体が動き回る場合、水平方向の画素数が１０２４画素である場合には、１画素あたり約１．５ｍｍの解像度を持っていることになる。毎秒１０００フレームで撮像を行う場合、連続するフレーム間で２０画素のマージン（最大の距離）を見込むと、２０[画素]×１．５[ｍｍ／画素]×１０００[フレーム／秒]＝３０００[ｍｍ／秒]となり、秒速３ｍまでの対象物体の追跡が可能ということになる。

次に、本発明の第３の実施形態について説明する。上記実施形態では、高解像度ＲＯＩ決定部４２２２は、時刻ｔの高解像度ＲＯＩを時刻ｔの低解像度ＲＯＩ画像データから決定していた。低解像度ＲＯＩ画像データにより、物体領域の大まかな「位置」や「大きさ」は分かるが、詳細な「位置」及び「大きさ」は解像度が不足しているために容易には算出できない。例えば、蜘蛛の足のように細い尖状の突起があるような物体の場合、低解像度ＲＯＩ画像データからは突起の位置や姿勢が明瞭に判断しにくい場合がある。このような場合には、高解像度ＲＯＩ画像データも併用して用いるとよい。大まかな「位置」及び「大きさ」の算出には低解像度ＲＯＩ画像データを用い、詳細な「位置」及び「大きさ」の算出には高解像度ＲＯＩ画像データを用いるのである。具体的には、対象抽出部１２２１は、時刻ｔの低解像度ＲＯＩ画像データから物体領域の大まかな「位置」及び「大きさ」を算出し、さらに時刻ｔ−１の高解像度ＲＯＩ画像データを用いて詳細な「位置」及び「大きさ」を算出する。

高解像度ＲＯＩの大きさは一定として、画像中心を求める手順の例を図５に示す。また、対象物体（蜘蛛）を図６に示す。図６の左側が時刻ｔ−１、右側が時刻ｔの撮像画像である。図６に示すように、対象物体は上から下へ移動しており、また低解像度画像データでは検出の難しい突起があり、この突起も運動をしている。

本実施形態の場合、低解像度ＲＯＩ画像データと高解像度ＲＯＩ画像データとの両方の画像データが高解像度ＲＯＩ決定部１２２３に渡される。時刻ｔの低解像度ＲＯＩ画像データが入力されると、高解像度ＲＯＩ決定部１２２３は、上記実施形態と同様に、図６の６０１の○内に十字で示している対象物体の中心を算出する（ステップＳ５０１）。そして高解像度ＲＯＩ決定部１２２３は、得られた対象物体の中心と、別途保存している対象物体特有の特徴毎のオフセット情報とから、対象物体の中心を補正する（ステップＳ５０２）。ここで対象物体特有の特徴とは、低解像度ＲＯＩ画像データからは抽出が困難であるが、高解像度ＲＯＩ画像データからは抽出可能な特徴であり、図６では蜘蛛の脚の先端（図６の６０２における○）である。オフセット情報とは、低解像度ＲＯＩ画像データから得られた中心位置と対象物体特有の特徴の相対位置関係を示すものであり、時刻ｔ−１における情報が保存されている。高フレームレートで連続撮像するため、時刻ｔ−１での相対位置関係と、時刻ｔでの相対位置関係はほぼ等しいとみなせる。こうして得られたオフセット情報を用いて対象物体特有の特徴を推定することにより、対象物体の大きさ及び中心を推定（補正）する。

図６の右側に、上記手順で推定した高解像度ＲＯＩに対応する領域を一点鎖線で示した。高解像度ＲＯＩ決定部１２２３は、対象物体の中心位置を補正した後、補正前の低解像度ＲＯＩ画像データから得られた対象物体の中心位置を、低解像度中心位置情報として更新する（ステップＳ５０３）。そして、高解像度ＲＯＩ決定部１２２３は、補正後の対象物体の中心（高解像度ＲＯＩ）を、高解像度ＲＯＩ決定部１２２３の出力とする（ステップＳ５０４）。

さて、高解像度ＲＯＩ画像データが入力された場合には、高解像度ＲＯＩ決定部１２２３は相対位置関係である特徴毎のオフセット情報を更新する。時刻ｔの高解像度ＲＯＩ画像データが入力された時点では、低解像度中心位置情報には時刻ｔの低解像度ＲＯＩ画像データから得られた対象の中心位置が保存されている。従って、高解像度ＲＯＩ決定部１２２３は、この低解像度中心位置情報と特徴毎のオフセット情報とから、高解像度ＲＯＩ画像データ上での特徴位置を推定する（ステップＳ５０５）。前述したとおり、高フレームレートで連続撮影するため、ここで推定した特徴位置付近に実際の特徴が存在する。そこで、高解像度ＲＯＩ決定部１２２３は、推定した位置付近で対象物体の特徴位置を、画像パターンマッチング等を用いて検出する（ステップＳ５０６）。高解像度ＲＯＩ決定部１２２３は、検出された特徴位置と低解像度中心位置情報とから、特徴毎のオフセット情報を算出して更新する（ステップＳ５０７）。

具体的には次のようにして推定する。先ず高解像度ＲＯＩ決定部１２２３は対象特有の特徴の詳細な位置を特定する。時刻ｔ−１における対象物体（蜘蛛）の腹部の中心位置は、時刻ｔの低解像度ＲＯＩ画像データから推定できる。ここから、高解像度ＲＯＩ決定部１２２３は上記オフセット情報を用いて、対象特有の特徴がありそうな範囲を特定する。そして、高解像度ＲＯＩ決定部１２２３は、この範囲の中で対象物体特有の特徴を検出し、詳細な位置を特定する。対象物体特有の特徴の検出には、例えば蜘蛛の足の特徴的な画像パターンをいくつか用意しておき、パターンマッチングにより検出を行う。高解像度ＲＯＩ決定部１２２３は、対象特有の特徴の詳細な位置を特定した後、上記オフセット情報を時刻ｔのものとして更新しておく。次に高解像度ＲＯＩ決定部１２２３は、蜘蛛の全ての足先（対象特有の特徴）を含む最小の矩形領域を求め、その中心と大きさを対象物体の中心と大きさとして算出する。

なお、ここでは高解像度ＲＯＩ画像データの中心を求める例を示したが、他の値を求めてもよい。高解像度ＲＯＩを構成する値（画像サイズ、姿勢等）、或いはそれを求めるために必要な値であればよい。

また、ここでは時刻ｔの高解像度ＲＯＩを求めるのに、時刻ｔ−１及び時刻ｔの低解像度ＲＯＩ画像データ、時刻ｔ−１の高解像度ＲＯＩ画像データを用いたが、さらに過去の低解像度ＲＯＩ画像や高解像度ＲＯＩ画像を用いてもよい。

図７は、本発明の実施形態に係る物体追跡撮影システムと比較するための物体追跡撮影システムの例を示す図である。図７において、図１と同じ符号の構成は、図１と共通の構成であるため、それらの説明は省略する。図１との相違点としては、カメラ７１１にはＲＯＩ制御部１１５が設けられ、物体追跡処理装置７１２には、図１と共通の対象抽出部１２２１のほか、動き予測部１２２４及びＲＯＩ決定部１２２５を備えたＲＯＩ算出部７２２を設けた点にある。

撮像部１１１が撮像する範囲は、上述した実施形態と同様であるが、画像出力部１１２から通信路１３を経て物体追跡処理装置７１２に送られるのは、ＲＯＩ制御部１１５から指示されたＲＯＩの範囲のみである。

物体追跡処理装置７１２に送られたＲＯＩ画像データは、既に画像処理装置１４に必要なサイズになっているので、そのまま画像処理装置１４に送るだけでよい。対象抽出部１２２１は、ＲＯＩ画像データから追跡すべき対象物体を抽出し、ＲＯＩ決定部１２２５は、抽出された対象物体に基づいて次の画像データのＲＯＩを決定し、ＲＯＩ制御部１１５に対して通知する。ここで時刻ｔのＲＯＩの決定は、時刻ｔ−１の画像データを基に決定されている（図８（ａ））。そのため、図８（ｂ）に示すように、対象物体がフレームサイズ、フレームレートと比較して高速に動いている場合等、対象物体を正確に捉えることが難しくなる。そこで、過去の対象物体の動きから、時刻ｔでの対象物体の位置を予測することが必要となる。動き予測部１２２４は対象物体の動きを予測する。ＲＯＩ決定部１２２５は、動き予測部１２２４による予測結果に基づいて時刻ｔのＲＯＩを決定する。これにより、図８（ｂ）の実線枠で示したように対象物体を捉えることが可能となる。

しかしながら、図７に示す物体追跡撮影システムにおいては、フレームレートの高速化を図れたとしても、動き予測部１２２４という構成の追加が必要となる。また、対象物体が、動き予測部１２２４が想定する動きとは異なる動きをした場合、対象物体を正確に、また安定して捉えることが難しい。これに対し、本発明の実施形態は、動き予測部１２２４のような特別な構成を追加することなく、対象物体の動きによらず、対象物体を正確に、また安定して捉えることが可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１：カメラ、１２：物体追跡処理装置、１３：通信路、１１１：撮像部、１１２：画像出力部、１１３：撮像制御部、１１４：解像度・ＲＯＩ制御部、１２１：画像入力部、１２２：ＲＯＩ算出部、１２３：ＲＯＩ画像生成部、１２４：画像処理装置、１２２１：対象抽出部、１２２２：低解像度ＲＯＩ決定部、１２２３：高解像度ＲＯＩ決定部

Claims (8)

1. 撮像装置によって逐次的に撮像される低解像度画像データおよび高解像度画像データを処理するための情報処理装置であって、
   前の時点に撮像された低解像度画像データに基づいて、次の時点に撮像される低解像度画像データの注目領域である第１の注目領域を決定する第１の決定手段と、
   前記次の時点に撮像される低解像度画像データのうち、前記第１の注目領域に該当する前記低解像度画像データを、前記撮像装置より通信路を介して取得する取得手段と、
   前記次の時点に撮像される高解像度画像データは用いずに、前記第１の注目領域に該当する前記低解像度画像データに基づいて、当該次の時点に撮像される高解像度画像データの注目領域である第２の注目領域を決定する第２の決定手段とを有し、
   前記取得手段は、前記次の時点に撮像される高解像度画像データのうち、前記第２の注目領域に該当する前記高解像度画像データを、前記撮像装置より前記通信路を介して取得することを特徴とする情報処理装置。
2. 前記取得手段は、既に取得している前記第１の注目領域に該当する前記低解像度画像データと前記第２の注目領域に該当する前記高解像度画像データとの差分に基づいて、当該第２の注目領域に該当する前記高解像度画像データを取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記低解像度画像データに含まれる対象物体の領域を抽出する対象抽出手段を更に有し、
   前記第１の決定手段は、前記前の時点に撮像された低解像度画像データから、前記対象抽出手段により抽出された対象物体の領域に基づいて、前記第１の注目領域を決定し、
   前記第２の決定手段は、前記対象抽出手段により抽出された前記次の時点に撮像された第１の注目領域に該当する低解像度画像データから、前記対象抽出手段により抽出された対象物体の領域に基づいて、前記第２の注目領域を決定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第１の決定手段は、前記第２の注目領域に含まれる可能性がある領域を含むように前記第１の注目領域を決定することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記第２の決定手段は、前記第１の注目領域に該当する前記低解像度画像データに加え、前記前の時点に撮像された前記第２の注目領域に該当する高解像度画像データに基づいて、前記第２の注目領域を決定することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 撮像装置によって逐次的に撮像される低解像度画像データおよび高解像度画像データを処理するための情報処理装置によって実行される情報処理方法であって、
   前の時点に撮像された低解像度画像データに基づいて、次の時点に撮像される低解像度画像データの注目領域である第１の注目領域を決定する第１の決定ステップと、
   前記次の時点に撮像される低解像度画像データのうち、前記第１の注目領域に該当する前記低解像度画像データを、前記撮像装置より通信路を介して取得する取得ステップと、
   前記次の時点に撮像される高解像度画像データは用いずに、前記第１の注目領域に該当する前記低解像度画像データに基づいて、当該次の時点に撮像される高解像度画像データの注目領域である第２の注目領域を決定する第２の決定ステップとを含み、
   前記取得ステップでは、前記次の時点に撮像される高解像度画像データのうち、前記第２の注目領域に該当する前記高解像度画像データを、前記撮像装置より前記通信路を介して取得することを特徴とする情報処理方法。
7. コンピュータを、撮像装置によって逐次的に撮像される低解像度画像データおよび高解像度画像データを処理するための情報処理装置として機能させるためのプログラムであって、
   前記コンピュータを、
   前の時点に撮像された低解像度画像データに基づいて、次の時点に撮像される低解像度画像データの注目領域である第１の注目領域を決定する第１の決定手段と、
   前記次の時点に撮像される低解像度画像データのうち、前記第１の注目領域に該当する前記低解像度画像データを、前記撮像装置より通信路を介して取得する取得手段と、
   前記次の時点に撮像される高解像度画像データは用いずに、前記第１の注目領域に該当する前記低解像度画像データに基づいて、当該次の時点に撮像される高解像度画像データの注目領域である第２の注目領域を決定する第２の決定手段として機能させ、
   前記取得手段を、前記次の時点に撮像される高解像度画像データのうち、前記第２の注目領域に該当する前記高解像度画像データを、前記撮像装置より前記通信路を介して取得させるためのプログラム。
8. 請求項１から５のいずれか１項に記載の情報処理装置と、
   前記撮像装置とを含むことを特徴とする情報処理システム。

Images