JP6139447B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

互いに視野を共有しない複数のカメラ間で対象を追跡する技術が、従来から知られている。例えば、対象フレームと移動物体のオクルージョンの無い全体形状とを比較して、移動物体にオクルージョンが存在する場合には、移動物体の非遮蔽領域を用いて対応付けを行うことで、移動物体の追跡を高精度で実行可能とした技術が知られている。

特開２００７−１４２５２７号公報

Tomoki Watanabe, Satoshi Ito and Kentaro Yokoi: "Co-occurrence Histograms of Oriented Gradients for Human Detection", IPSJ Transactions on Computer Vision and Applications, Vol. 2, pp.39-47. (2010) . Zdenek Kalal, Krystian Mikolajczyk and Jiri Matas: "Tracking-Learning-Detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 6, NO. 1, JANUARY 2010. B.Prosser, S.Gong and T.Xiang: "Multi-camera Matching using Bi-Directional Cumulative Brightness Transfer Functions" BMVC(2008).

ところで、追跡対象は、常にカメラに対して同じ方向を向いているとは限らない。例えば複数のカメラの設置向きの違いや、追跡対象の移動方向の違いなどにより、追跡対象がカメラに映っている向きが異なる場合がある。しかしながら、従来技術による追跡技術は、追跡対象以外の物体による遮蔽が存在する場合には有効であるが、このような、追跡対象がカメラに映っている向きが異なる場合には、対応が困難であるという問題点があった。

本発明が解決する課題は、複数カメラを用いてより高精度に対象を追跡可能とする画像処理装置、画像処理方法および画像処理プログラムを提供することにある。

第１の実施形態の画像処理装置は、複数の撮像装置からそれぞれ時系列画像を取得し、時系列画像に撮像される対象物体の位置を追跡し、時系列画像から対象物体の移動方向を取得する。画像処理装置は、対象物体の方向の基準となる予め定めた基準方向と、移動方向とから、複数の撮像装置から取得された複数の時系列画像のうち第１の時系列画像に撮像される第１の対象物体と、複数の時系列画像のうち第２の時系列画像に撮像される第２の対象物体とが、第１の時系列画像および第２の時系列画像に共通して含まれる、第１の対象物体および第２の対象物体上の共通領域を取得する。画像処理装置は、共通領域に対応する画像から特徴量を抽出し、特徴量を用いて、追跡部による追跡結果の、複数の撮像装置から取得された複数の時系列画像間での対応付けを行う。

図１は、第１の実施形態に適用可能な画像処理システムの一例の構成を示すブロック図である。 図２は、第１の実施形態に係るカメラの設置場所を説明するための図である。 図３は、第１の実施形態に係る画像処理装置の一例の構成を示すブロック図である。 図４は、第１の実施形態に係る画像処理装置の機能を説明するための一例の機能ブロック図である。 図５は、第１の実施形態に係る画像処理を示す一例のフローチャートである。 図６は、複数の対象物体が含まれるフレーム画像の例を示す図である。 図７は、複数の時系列画像を説明するための図である。 図８は、第１の実施形態に係る、対象物体の移動方向の取得の例について説明するための図である。 図９は、第１の実施形態に係る、人である対象物体に対応するモデルの例を示す図である。 図１０は、第１の実施形態に係る、共通領域の選定方法を説明するための図である。 図１１は、第１の実施形態に係るモデルを上面から見た例を示す図である。 図１２は、第２の実施形態に係る画像処理装置の機能を説明するための一例の機能ブロック図である。 図１３は、第２の実施形態に係る画像処理を示す一例のフローチャートである。 図１４は、色補正に用いる変換関数の例を示す図である。

以下、実施形態に係る画像処理装置、画像処理方法および画像処理プログラムについて説明する。

（第１の実施形態）
図１は、第１の実施形態に適用可能な画像処理システムの一例の構成を示す。図１において、画像処理システムは、第１の実施形態に係る画像処理装置１０と、複数のカメラ１１₁、１１₂、１１₃、…とを備える。

各カメラ１１₁、１１₂、１１₃、…は、それぞれ同一の方向および撮像範囲で時系列に沿って複数のタイミングで撮像した画像である時系列画像を出力する。時系列画像は、例えば、所定の時間間隔で撮像したフレーム画像を含む動画像である。また、各カメラ１１₁、１１₂、１１₃、…は、例えば、屋内や屋外に、それぞれ観察対象を俯瞰する角度で設置される。各カメラ１１₁、１１₂、１１₃、…の撮像範囲は、互いに重複する部分を持つ必要はない。

各カメラ１１₁、１１₂、１１₃、…は、例えば可視光を撮像するカメラが用いられる。これに限らず、各カメラ１１₁、１１₂、１１₃、…は、赤外線を撮像する赤外線カメラを用いてもよい。また、各カメラ１１₁、１１₂、１１₃、…の水平面での撮像方向は、特に限定されない。例えば、図２に例示されるように、各カメラ１１₁、１１₂、１１₃、…を互いに異なる向きを撮像するように配置してもよい。図２の例の場合、矢印２１で示される方向に進む観察対象２は、各カメラ１１₁、１１₂、１１₃、…により、それぞれ正面、側面および背面から撮像されることになる。

観察対象２は、時系列に沿って位置が移動する移動物体であり、例えば人物である。以下、観察対象２となる移動物体を、対象物体と呼ぶ。

各カメラ１１₁、１１₂、１１₃、…から出力された各時系列画像は、画像処理装置１０に供給される。画像処理装置１０は、各カメラ１１₁、１１₂、１１₃、…から供給された各時系列画像に対して画像処理を行い、各時系列画像間で同一対象物体の画像を対応付け、同一対象物体を時系列上で追跡する。このとき、第１の実施形態に係る画像処理装置１０は、各カメラ１１₁、１１₂、１１₃、…から供給された各時系列画像間に共通して含まれる対象物体の画像の領域を、立体モデルを用いて推定する。そして、画像処理装置１０は、この推定された領域を用いて対象物体を各時系列画像間で対応付けて、追跡する。

これにより、各カメラ１１₁、１１₂、１１₃、…の撮像方向や対象物体の移動方向が異なり、各時系列画像に異なる向きの当該対象物体の画像が含まれる場合であっても、高精度に対象物体を追跡することが可能となる。

図３は、第１の実施形態に係る画像処理装置１０の一例の構成を示す。画像処理装置１０は、ＣＰＵ(Central Processing Unit)１０１と、ＲＯＭ(Read Only Memory)１０２と、ＲＡＭ(Random Access Memory)１０３と、ストレージ１０４と、入出力Ｉ／Ｆ１０５と、通信Ｉ／Ｆ１０６と、表示制御部１０７と、カメラＩ／Ｆ１０９とを備え、これら各部がバス１００により互いに通信可能に接続される。画像処理装置１０は、このように、一般的なコンピュータと同様な構成にて実現可能である。

ＣＰＵ１０１は、ＲＯＭ１０２やストレージ１０４に予め記憶されるプログラムに従い、ＲＡＭ１０３をワークメモリとして動作して、この画像処理装置１０の全体の動作を制御する。ストレージ１０４は、ハードディスクドライブや不揮発性の半導体メモリ（フラッシュメモリ）であり、ＣＰＵ１０１が動作するためのプログラムや、種々のデータが記憶される。

入出力Ｉ／Ｆ１０５は、例えばＵＳＢ(Universal Serial Bus)であり、外部機器との間でデータの送受信を行うためのインターフェイスである。キーボードやポインティングデバイス（マウスなど）の入力デバイスをこの入出力Ｉ／Ｆ１０５に接続することができる。また、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)といったディスク記憶媒体の読み出しなどを行うドライブ装置をこの入出力Ｉ／Ｆ１０５に接続してもよい。通信Ｉ／Ｆ１０６は、ＬＡＮ(Local Area Network)やインターネットなどのネットワークに対する通信を制御する。表示制御部１０７は、ＣＰＵ１０１によりプログラムに従い生成された表示制御信号を、ＬＣＤ(Liquid Crystal Display)などを表示デバイスとして用いた表示装置１０８が表示可能な表示信号に変換して出力する。

カメラＩ／Ｆ１０９は、カメラ１１₁、１１₂、１１₃、…から出力される各画像信号を取り込み、上述した、時系列に沿った複数のフレーム画像を含む、カメラ１１₁、１１₂、１１₃、…による各時系列画像としてバス１００に対して出力する。

図４は、第１の実施形態に係る画像処理装置１０の機能を説明するための一例の機能ブロック図である。図４において、画像処理装置１０は、画像取得部１２０と、記憶部１２１と、追跡部１２２と、移動方向取得部１２３と、領域選定部１２４と、特徴量抽出部１２５と、連結部１２６と、出力部１２７とを備える。なお、画像取得部１２０は、図４に例示されるように、画像処理装置１０に１つが設けられてもよいし、各カメラ１１₁、１１₂、１１₃、…毎に設けられてもよい。

画像取得部１２０は、各カメラ１１₁、１１₂、１１₃、…から供給された各時系列画像を取得する。また、画像取得部１２０は、時系列画像を取得したカメラを特定する識別情報（画像識別情報と呼ぶ）を取得する。画像取得部１２０は、時系列画像に画像識別情報を付加して、追跡部１２２および記憶部１２１に供給する。記憶部１２１は、供給された時系列画像を画像識別情報と対応付けてＲＡＭ１０３やストレージ１０４に記憶する。

追跡部１２２は、画像取得部１２０から供給された時系列画像に含まれる各フレーム画像に撮像される対象物体を検出し、対象物体の画像のフレーム画像内での位置を各フレーム間で追跡する。なお、以下では、特に記載の無い限り、「対象物体の画像」を単に「対象物体」と呼ぶ。追跡部１２２は、追跡結果である対象物体の各フレーム画像内での位置を示す情報を、対象物体を識別する移動体識別情報を付加して移動方向取得部１２３に供給する。

移動方向取得部１２３は、追跡部１２２から供給された各フレーム画像に含まれる対象物体の移動方向を推定して取得する。移動方向取得部１２３は、対象物体について取得した移動方向を、画像識別情報および移動体識別情報と対応付けて領域選定部１２４に供給し、記憶部１２１に記憶させる。

領域選定部１２４は、対象物体に対して予め定めた基準となる基準方向と、移動方向取得部１２３が取得した移動方向とに基づき、例えばカメラ１１₁から取得された第１の時系列画像に撮像される第１の対象物体と、カメラ１１₂から取得された第２の時系列画像に撮像される第２の対象物体とで共通する、第１の対象物体および第２の対象物体上の領域を推定し、推定された領域を共通領域として選定する。

特徴量抽出部１２５は、領域選定部１２４で選定された共通領域を、上述の第１の対象物体および第２の対象物体にそれぞれ適用して、共通領域内の画像から特徴量を抽出する。特徴量抽出部１２５は、抽出した特徴量を、対象物体の移動体識別情報と、時系列画像の画像識別情報とに対応付けて連結部１２６に供給する。

連結部１２６は、特徴量抽出部１２５で抽出された特徴量に基づき、各対象物体の追跡結果を、各カメラ１１₁、１１₂、１１₃、…から取得された各時系列画像間で対応付ける。対応付けた結果を示す情報は、記憶部１２１に記憶されると共に、出力部１２７に供給される。

出力部１２７は、対応付けられた結果を示す情報を出力する。一例として、出力部１２７は、各時系列画像に含まれる対象物体の画像に対して、連結部１２６で対応付けられた移動体識別情報を付加して表示する画像を生成することが考えられる。この画像は、例えば表示装置１０８に表示される。

画像取得部１２０、記憶部１２１、追跡部１２２、移動方向取得部１２３、領域選定部１２４、特徴量抽出部１２５、連結部１２６および出力部１２７は、上述したＣＰＵ１０１上で動作する画像処理プログラムにより実現される。これに限らず、画像取得部１２０、記憶部１２１、追跡部１２２、移動方向取得部１２３、領域選定部１２４、特徴量抽出部１２５、連結部１２６および出力部１２７のうち一部または全部を、互いに協働して動作するハードウェアにより構成してもよい。

図５は、第１の実施形態に係る画像処理装置１０における画像処理を示す一例のフローチャートである。この図５のフローチャートを用いて、第１の実施形態に係る画像処理について概略的に説明する。なお、以下では、対象物体が人であるものとして説明する。勿論、対象物体は、人に限られず、顔や手足などの人の各部分でもよいし、人以外の他の動物でもよい。さらに、対象物体は、自動車や自転車などの機械でもよい。

ステップＳ１０で、画像取得部１２０は、各カメラ１１₁、１１₂、１１₃、…から供給された各時系列画像を取得し、取得した各時系列画像にカメラ１１₁、１１₂、１１₃、…を識別するための画像識別情報をそれぞれ付加する。画像取得部１２０で取得された時系列画像は、画像識別情報と対応付けて記憶部１２１により記憶されると共に、追跡部１２２に供給される。

次のステップＳ１１で、追跡部１２２は、画像取得部１２０で取得された時系列画像から対象物体を検出し、検出した対象物体の時系列画像内での位置を、同一時系列画像内の各フレーム画像間で追跡する。次のステップＳ１２で、移動方向取得部１２３は、ステップＳ１１で追跡部１２２により取得された対象物体の同一の時系列画像内の各フレーム間での位置に基づき、対象物体の移動方向を推定して取得する。

次のステップＳ１３で、領域選定部１２４は、第１の時系列画像に撮像される第１の対象物体と、第２の時系列画像に撮像される第２の対象物体とで共通する、第１の対象物体および第２の対象物体上の領域である共通領域を選定する。

次のステップＳ１４で、特徴量抽出部１２５は、ステップＳ１３で共通領域が選定されたか否かを判定する。特徴量抽出部１２５は、共通領域が選定されたと判定した場合、処理をステップＳ１５に移行させ、選定された共通領域を対応する各対象物体に適用してそれぞれ特徴量を抽出する。一方、特徴量抽出部１２５は、共通領域が選定されなかったと判定した場合、処理をステップＳ１６に移行させ、各対象物体の全体からそれぞれ特徴量を抽出する。

ステップＳ１５またはステップＳ１６で特徴量が抽出されると、処理がステップＳ１７に移行される。ステップＳ１７で、連結部１２６は、注目する時系列画像の対象物体毎に、他の時系列画像の対象物体と特徴量を照合する。連結部１２６は、各時系列画像間で類似度の高い特徴量に係る対象物体を同一の物体であると見做して対応付け、各時系列画像を連結する。次のステップＳ１８で、連結部１２６は、ステップＳ１７での時系列画像間での対象物体の対応付け結果を、時系列画像、移動方向、移動体識別情報および画像識別情報に対応付けて記憶部１２１に記憶させる。

次のステップＳ１９で、出力部１２７は、一連の画像処理の結果を出力する。例えば、出力部１２７は、各時系列画像に対して、各時系列画像に含まれる対象物体中の同一の対象物体を識別する識別情報を付加して出力する。

（第１の実施形態の処理の詳細）
次に、第１の実施形態の画像処理装置１０による画像処理を、上述の図５のフローチャートを参照して、より詳細に説明する。ステップＳ１０で、画像取得部１２０は、各カメラ１１₁、１１₂、１１₃、…から供給された各時系列画像を取得し、取得した各時系列画像に対して、供給元の各カメラ１１₁、１１₂、１１₃、…を識別するための画像識別情報を付加する。画像取得部１２０は、それぞれ画像識別情報が付加された時系列画像を記憶部１２に記憶させると共に、追跡部１２２に供給する。

ステップＳ１１で、追跡部１２２は、ステップＳ１０で画像取得部１２０により取得された、各カメラ１１₁、１１₂、１１₃、…に撮像された各時系列画像に含まれる各フレーム画像から対象物体を検出し、検出された対象物体を時系列画像内のフレーム画像間で追跡する。以下では、説明のため、特に記載の無い限り、各カメラ１１₁、１１₂、１１₃、…のうちカメラ１１₁から取得した時系列画像に注目して説明を行う。

追跡部１２２は、例えば下記の方法を用いて、フレーム画像から対象物体を検出する。図６に例示されるように、３の対象物体２０ａ、２０ｂおよび２０ｃがフレーム画像２００に含まれるものとする。各対象物体２０ａ、２０ｂおよび２０ｃが人であるものとし、追跡部１２２は、フレーム画像２００に検出窓領域を設定し、検出窓領域内の画像から特徴量を算出する。例えば、追跡部１２２は、特徴量として、検出窓領域内の輝度の勾配と強度とをヒストグラム化したＨＯＧ(Histograms of Oriented Gradients)特徴量を算出することが考えられる。これに限らず、追跡部１２２は、ＨＯＧ特徴量を識別性能の面で改良したＣｏＨＯＧ(Co-occurrence HOG)特徴量（非特許文献１参照）を算出してもよい。

追跡部１２２は、例えば、上述のようにして算出した特徴量を用いて検出窓領域内の画像が対象物体であるか否かを識別して、対象物体を検出する。検出した対象物体の時系列画像内での追跡には、例えば非特許文献２で開示されている技術を用いてもよい。

追跡部１２２は、追跡した結果取得された、対象物体の各フレーム画像内での位置を示す情報を、対象物体を識別する移動体識別情報を付加して移動方向取得部１２３に供給する。図６の例では、フレーム画像２００から検出された対象物体２０ａ、２０ｂおよび２０ｃに、それぞれ移動体識別情報としてＩＤ＝０１、０２および０３が付加されている。

ここで、追跡部１２２は、図７に例示されるように、複数のカメラ１１₁、１１₂、１１₃、…からの各時系列画像について、それぞれフレーム画像間での対象物体の追跡を行う。図７の例では、画像識別情報をカメラＩＤとして示し、例えばカメラ１１₁、１１₂および１１₃から取得された各時系列画像のカメラＩＤを、それぞれカメラＩＤ＝Ａ０１、Ａ０２およびＡ０３としている。

図７（ａ）に例示されるように、カメラＩＤ＝Ａ０１の時系列画像では、時間ｔ₀、ｔ₁、ｔ₂、ｔ₃でそれぞれ取得されるフレーム画像２００₀、２００₁、２００₂、２００₃に対象物体２０ｂが含まれていることが示されている。また、図７（ｂ）に例示されるように、カメラＩＤ＝Ａ０２の時系列画像では、上述の時間ｔ₀より前の、時間ｔ_-4、ｔ_-3、ｔ_-2、ｔ_-1でそれぞれ取得されるフレーム画像２００_-4、２００_-3、２００_-2、２００_-1に対象物体２０ｂが含まれていることが示されている。同様に、図７（ｃ）に例示されるように、カメラＩＤ＝Ａ０３の時系列画像では、上述の時間ｔ３より後の、時間ｔ₅、ｔ₆、ｔ₇、ｔ₈でそれぞれ取得されるフレーム画像２００₅、２００₆、２００₇、２００₈に対象物体２０ｂが含まれていることが示されている。このように、各カメラにおいて、同一の対象物体２０ｂが異なるタイミングで撮像されている可能性がある。

なお、カメラＩＤ＝Ａ０１、ＩＤ＝Ａ０２およびＩＤ＝Ａ０３それぞれの時系列画像に含まれる各対象物体２０ｂは、連結部１２６による各時系列画像間での対応付けがなされていない状態では、同一の対象物体２０ｂとは認識されない。したがって、カメラＩＤ＝Ａ０１、ＩＤ＝Ａ０２およびＩＤ＝Ａ０３それぞれの時系列画像に含まれる各対象物体２０ｂに対して、それぞれ異なるＩＤ＝０２、ＩＤ＝１２およびＩＤ＝２２が付加される。

移動方向取得部１２３は、各フレーム画像間での対象物体の移動方向を推定して取得する（図５のステップＳ１２）。移動方向取得部１２３は、画像取得部１２０により取得された時系列画像に含まれる注目フレーム画像の前および後の少なくとも一方の、予め定めた所定フレーム数のフレーム画像における対象物体の位置の変遷や、対象物体の向きの少なくとも１以上の情報を用いて、当該対象物体の移動方向を推定する。

より具体的には、移動方向取得部１２３は、上述の追跡部１２２による対象物体の追跡結果に示される、当該対象物体のフレーム画像間での移動軌跡を用いて、移動方向を推定することができる。これに限らず、移動方向取得部１２３は、追跡部１２２による対象物体の追跡結果に基づく、当該対象物体を包含する任意の形状、例えば矩形の中心座標や、四隅または任意の角の座標の変遷を用いて、移動方向を推定することも可能である。

図８を用いて、第１の実施形態に係る、移動方向取得部１２３による対象物体２０の移動方向の取得の例について説明する。なお、図８において、フレーム画像２００の左上隅を座標の原点とし、右方向に向けてｘ座標が増加し、下方向に向けてｙ座標が増加するものとする。

第１の例として、移動方向取得部１２３は、フレーム画像内での対象物体２０の位置が、注目フレームを含む注目フレームの前後の所定フレーム数のフレームに亘り、ｘ座標が一定でｙ座標のみ増加している場合、対象物体２０は、カメラに向かって移動し（図８中の矢印２１１参照）、且つ、カメラに向かって正面を向いていると推定する。

第２の例として、移動方向取得部１２３は、フレーム画像２００内での対象物体２０の位置が、注目フレームを含む注目フレームの前後の所定フレーム数のフレームに亘り、ｘ座標のみが減少しｙ座標が一定である場合、対象物体２０は、カメラに向かって右方向に移動し（図８中の矢印２１３参照）、且つ、カメラに向かって右方向を向いていると推定する。

第３の例として、移動方向取得部１２３は、フレーム画像２００内での対象物体２０の位置が、注目フレームを含む注目フレームの前後の所定フレーム数のフレームに亘り、ｘ座標が一定でｙ座標のみが減少している場合、対象物体２０は、カメラから離れる方向に移動し（図８中の矢印２１０参照）、且つ、カメラに向かって背面を向いていると推定する。

第４の例として、移動方向取得部１２３は、フレーム画像２００内での対象物体２０の位置が、注目フレームを含む注目フレームの前後の所定フレーム数のフレームに亘り、ｘ座標のみが増加しｙ座標が一定である場合、対象物体２０は、カメラに向かって左方向に移動し（図８中の矢印２１４参照）、且つ、カメラに向かって左方向を向いていると推定する。

上述では、移動方向取得部１２３が対象物体２０の移動方向として、カメラに向かって前後左右の４方向の移動方向を推定するように説明したが、これはこの例に限定されない。すなわち、移動方向取得部１２３は、フレーム画像２００内での対象物体２０の位置のｘ座標およびｙ座標の変化量から、対象物体２０の移動方向を３０°、６０°など任意の角度でより詳細に推定することも可能である。

また、上述では、移動方向取得部１２３は、対象物体２０の移動方向を、注目フレームの前後の予め定めた所定フレーム数のフレーム画像を用いて推定しているが、これはこの例に限定されない。すなわち、移動方向取得部１２３は、対象物体２０の移動方向の推定に、注目フレームに対して時間的に後の所定フレーム数のフレーム画像を用いてよいし、注目フレームに対して時間的に前の所定フレーム数のフレーム画像を用いてもよい。

なお、移動方向取得部１２３は、移動方向を推定する所定フレーム数の間に、閾値以上の移動方向の変化を検出した場合、変化の前後で対象物体が異なるものと判定することができる。

上述では、移動方向取得部１２３は、対象物体２０が移動方向を向いているものと推定しているが、これはこの例に限定されない。移動方向取得部１２３は、例えば、任意のフレームにおける対象物体の画像から特徴量を抽出し、特徴量に基づき方向別の対象物体を用いて学習した識別器を用いて各方向を向いている確からしさを算出することができる。

この場合、識別器としては、ＳＶＭ(Support Vector Machine)を用いることができる。移動方向取得部１２３は、識別器を用いて算出した各方向を向いている確からしさに対して閾値判定を行い、対象物体がどの方向を向いているかを判定する。各方向の確からしさを算出するための特徴量としては、具体的には、例えば、非特許文献１に開示されているＣｏＨＯＧ特徴量を適用することができる。

移動方向取得部１２３は、上述のようにして対象物体について推定した移動方向を、当該対象物体を識別する移動体識別情報と、移動方向を推定するために用いた時系列画像に含まれる各フレーム画像２００と、当該時系列画像を識別するための画像識別情報とに対応付けて記憶部１２１に記憶させる。

領域選定部１２４は、記憶部１２１に記憶される移動体識別情報毎に、例えばカメラ１１₁から取得された、注目する時系列画像である第１の時系列画像に撮像された第１の対象物体に対応する移動方向と、カメラ１１₂から取得された第２の時系列画像に撮像された第２の対象物体に対応する移動方向とを比較する。領域選定部１２４は、この移動方向の比較の結果に基づき、第１の時系列画像および第２の時系列画像において、第１の対象物体と第２の対象物体とで共通して含まれる第１の対象物体および第２の対象物体上の領域を、予め定めたモデルを用いて推定する。領域選定部１２４は、推定したこの領域を、第１の対象物体および第２の対象物体それぞれの特徴量を抽出するための共通領域として選定する（図５のステップＳ１３）。

領域選定部１２４は、第１の対象物体に対応する移動方向を例えば移動方向取得部１２３から取得することができる。また、領域選定部１２４は、第２の対象物体に対応する移動方向を例えば記憶部１２１から取得することができる。

図９〜図１１を用いて、領域選定部１２４によるモデルを用いた、特徴量を抽出するための共通領域の選定方法について説明する。図９は、第１の実施形態に係る、人である対象物体に対応するモデルの例を示す。第１の実施形態では、図９に例示されるようにモデル３００として立体形状である円筒を用いている。モデルの形状は、この例に限定されず、対象物体の形状を抽象化した形状であれば、例えば直方体、楕円体、球体など他の立体形状であってもよい。

特徴量抽出を行う領域の選定においては、モデル３００に対して予め基準方向を決めておき、モデル３００がカメラの正面に対して基準方向を向けた場合に、モデル３００上のどの範囲がフレーム画像に含まれるかを定義しておく。第１の実施形態では、基準方向をモデル３００の正面方向として定める。そして、対象物体がカメラの前で正面を向いた場合に、モデル３００がカメラによるフレーム画像に含まれる範囲が、モデル３００の正面すなわち基準方向の角度を０°とした場合に、カメラに対して左右両側の６０°ずつの範囲３１０と定める。

なお、範囲３１０は、反時計回りに角度の増加を定義する場合、正面の０°に対して６０°と３００°とがなす劣角の範囲となる。以降、角度が反時計回りに増加するものとし、角度範囲は、２の角度で示される劣角の範囲をいうものとする。

次に、領域選定部１２４は、例えばカメラ１１₁から取得された、注目する第１の時系列画像に含まれる第１の対象物体の移動方向と、例えばカメラ１１₂から取得された第２の時系列画像に含まれる第２の対象物体の移動方向とを比較して、第１の時系列画像および第２の時系列画像において、第１の対象物体と第２の対象物体とが共通して含まれる、第１の対象物体および第２の対象物体上の領域を、モデル３００上で定める。

一例として、第１の対象物体の移動方向が正面、第２の対象物体の移動方向が右方向である場合について、図１０を用いて考える。図１０（ａ）〜図１０（ｃ）は、モデル３００を俯瞰して示している。

正面を向いている第１の対象物体については、図１０（ａ）に例示されるように、モデル３００上の６０°〜３００°の範囲３１０が第１の時系列画像に含まれる。一方、第２の対象物体は、右方向に移動しているため、正面が第２の時系列画像において左方向を向いている。そのため、図１０（ｂ）に例示されるように、第２の時系列画像に含まれる範囲３１０は、モデル３００の３０°〜１５０°の範囲となる。したがって、第１の時系列画像および第２の時系列画像において、第１の対象物体および第２の対象物体が共通して含まれる、第１の対象物体および第２の対象物体上の共通領域は、図１０（ｃ）に例示されるように、モデル３００の３０°〜６０°の範囲３２１となる。

図１１は、第１の実施形態に係るモデル３００を上面から見た例を示す。図１１において、モデル３００の基準方向がカメラ１１の方向を向いている場合、モデル３００が時系列画像に含まれる範囲３１０は、基準方向に対して６０°〜３００°（基準方向の両側に６０°）の範囲となる。一方、モデル３００の基準方向がカメラ１１に対して右方向を向いている場合、時系列画像上では基準方向が左方向を向いているように映り、モデル３００が時系列画像に含まれる範囲３１０は、基準方向に対して３０°〜１５０°の範囲となる。この、範囲３１０および範囲３２０に共通する範囲３２１が、第１の対象物体および第２の対象物体上の、第１の時系列画像および第２の時系列画像に共通して含まれる共通領域であると推定される。

領域選定部１２４は、例えば、閾値以上の広さで範囲３２１が取得された場合に、当該範囲３２１を、後述する特徴量抽出部１２５で特徴量を抽出するための領域として選定する。領域選定部１２４は、共通領域の選定を、第１の時系列画像および第２の時系列画像それぞれの所定のフレーム画像、例えば移動方向の取得に用いた最後のフレーム画像に注目して行うことができる。

領域選定部１２４は、第１の時系列画像に撮像される各対象物体について、第２の時系列画像に撮像される各第２の対象物体との間でそれぞれ共通領域を選定する。

第１の実施形態では、特徴量抽出部１２５は、この範囲３２１を、範囲３２１を導出した第１の対象物体および第２の対象物体にそれぞれ適用し、範囲３２１に含まれる画像を用いて、第１の対象物体および第２の対象物体それぞれの特徴量を抽出する。

特徴量抽出部１２５は、領域選定部１２４で共通領域が選定された場合、共通領域からの距離に応じて重み付けを行い、第１の対象物体および第２の対象物体それぞれに対応する画像から特徴量を抽出する（図５のステップＳ１５）。特徴量抽出部１２５は、例えば、人の個人性を表すのに直観的で有効な値を特徴量として抽出する。このような特徴量の例としては、任意の色空間における色ヒストグラムを用いることができる。これに限らず、特徴量として、服の模様などのテクスチャ情報を用いてもよい。特徴量は、例えば、複数のパラメータを持つ多次元の値として抽出される。

特徴量抽出部１２５は、第１の時系列画像に撮像される第１の対象物体それぞれと、第２の時系列画像に撮像される第２の対象物体それぞれとに対して共通領域をそれぞれ適用し、第１の時系列画像および第２の時系列画像に撮像される各対象物体について、それぞれ特徴量を抽出する。

連結部１２６は、特徴量抽出部１２５にて共通領域を適用した対象物体の各組について、抽出された各特徴量に基づき類似度を算出し、対応付けが可能か否かを判定する。連結部１２６は、類似度を、特徴量間のＬ１ノルムやバタチャリア(Bhattacharyya)距離を用いて求めることができる。

また、連結部１２６は、共通領域を適用した対象物体の組の２の特徴量を１に纏めて識別器で識別した出力結果に基づき、対応付けが可能か否かを判定してもよい。識別器は、例えばＳＶＭを用いることができる。連結部１２６は、例えば、１の第１の対象物体に対して複数の第２の対象物体それぞれの類似度を算出し、算出した類似度が最大の組み合わせとなる第２の対象物体が第１の対象物体に対応付けられると判定することができる。これに限らず、連結部１２６は、類似度が閾値以上となる対象物体の組み合わせが対応付くと判定してもよい。

連結部１２６は、上述のようにして求めた、各時系列画像間での対象物体同士の対応付けの結果を出力部１２７を介して外部に出力することができる。また、連結部１２６は、各時系列画像間での対象物体同士の対応付けの結果を、記憶部１２１に記憶している、対応付けがなされた対象物体に対応する移動体識別情報と、時系列画像と、移動方向と、当該時系列画像を取得したカメラを識別する画像識別情報とに追加または更新する。

例えば、図７を参照し、カメラＩＤ＝Ａ０１、Ａ０２およびＡ０３でそれぞれ識別される各時系列画像に含まれる、移動体識別情報ＩＤ＝０２、１２および２２の各対象物体２０ｂが互いに対応付けられる場合、「ＩＤ１２＝ＩＤ０２」、「ＩＤ２２＝ＩＤ０２」など、互いの対応付け関係を示す情報が記憶部１２１に追加されて記憶される。連結部１２６は、さらなる処理によりこの対応付け関係を示す情報が変更された場合、記憶部１２１の記憶内容を更新する。

このように、第１の実施形態の画像処理装置１０によれば、対象物体の移動方向の情報を用いて、異なるカメラにより取得された画像間に共通して含まれる共通領域を推定する。そして、推定された共通領域を用いて異なるカメラにより取得された画像間で対象物体の画像を対応付けるようにしている。これにより、第１の実施形態では、各カメラの設置方向や対象物体の移動方向がカメラ毎に異なり、対象物体の画像の時系列画像に含まれる方向が、時系列画像毎に異なる場合であっても、対象物体の追跡をより高精度に実行することが可能となる。

（第１の実施形態の変形例）
次に、第１の実施形態の変形例について説明する。上述した第１の実施形態では、記憶部１２１に対して、各時系列画像と、各カメラすなわち各時系列画像を識別する画像識別情報と、時系列画像に含まれる対象物体を識別する移動体識別情報と、移動体識別情報により識別される対象物体の移動方向とを対応付けて記憶している。

これに対して、第１の実施形態の変形例は、記憶部１２１に対して、上述の時系列画像の代わりに、対象物体全体に対応する画像から抽出した特徴量を記憶する。例えば、図４の構成に対して、追跡部１２２で検出された対象物体全体に対応する画像の特徴量を抽出する他の特徴量抽出部を追加する。他の特徴量抽出部は、追跡部１２２で検出された対象物体の全体に対応する画像から特徴量を抽出し、移動体識別情報を対応付けて記憶部１２１に記憶させる。

領域選定部１２４は、移動方向取得部１２３により取得され記憶部１２１に記憶された対象物体の移動方向に基づき、上述したモデル３００を用いて共通領域を選定する。特徴量抽出部１２５は、記憶部１２１に記憶される対象物体全体の特徴量から、共通領域に重み付けを行った特徴量を抽出する。これに限らず、特徴量抽出部１２５は、記憶部１２１に記憶される対象物体全体の特徴量のうち、共通領域に含まれる特徴量を抽出してもよい。

この方法を用いても、上述した第１の実施形態と同様に、対象物体の移動方向の情報を用いて、異なるカメラにより取得された画像間に共通して含まれる共通領域を推定し、推定された共通領域を用いて異なるカメラにより取得された画像間で対象物体を対応付けて、高精度に対象物体の追跡が実行可能である。また、記憶部１２１に時系列画像を記憶しないため、記憶部１２１の容量を節約できる。

（第２の実施形態）
次に、第２の実施形態について説明する。図１２は、第２の実施形態に係る画像処理装置１０’の機能を説明するための一例の機能ブロック図である。なお、図１２において、上述の図４と共通する部分には同一の符号を付して、詳細な説明を省略する。第２の実施形態に係る画像処理装置１０’は、図４で示した第１の実施形態に係る画像処理装置１０に対して色補正部１３０が追加されている。

第２の実施形態では、画像取得部１２０が各カメラ１１₁、１１₂、１１₃、…から取得した各時系列画像間で、色調を揃えるようにする。図１２の例では、領域選定部１２４と特徴量抽出部１２５との間に色補正部１３０が設けられ、色補正部１３０により、領域選定部１２４で選定された共通領域に含まれる画像、あるいは、対象物体全体の色調を、時系列画像間で揃える。

すなわち、カメラ１１₁、１１₂、１１₃、…の設置方法や設置場所によっては、各カメラ１１₁、１１₂、１１₃、…で同一の被写体を撮像した場合であっても、それぞれ異なる色調の時系列画像が取得される場合が有り得る。例えば、各カメラ１１₁、１１₂、１１₃、…を、それぞれ色温度が異なる照明の部屋に設置されるような場合や、各カメラ１１₁、１１₂、１１₃、…の一部が屋内、他が屋外に設置されるような場合、取得される時系列画像の色調がカメラの設置場所によって異なってしまう。

第２の実施形態では、各カメラ１１₁、１１₂、１１₃、…から取得される時系列画像に対して色補正を施し、各時系列画像の色調を、各カメラ１１₁、１１₂、１１₃、…のうち何れか１のカメラで取得される時系列画像の色調に揃える。ここでは、カメラ１１₁で取得される時系列画像を基準とし、他のカメラ１１₂、１１₃、…で取得される時系列画像の色調を、色補正部１３０での色補正により、カメラ１１₁で取得される時系列画像の色調に揃えるものとする。

図１３は、第２の実施形態に係る画像処理装置１０’における画像処理を示す一例のフローチャートである。なお、図１３において、上述した図５と共通する部分には同一の符号を付して、詳細な説明を省略する。図１３に例示されるように、第２の実施形態では、ステップＳ１４での共通領域が存在するか否かの判定の後に、色補正部１３０による色補正を行い（ステップＳ２５またはステップＳ２６）、その後、色補正が行われた画像を用いて、ステップＳ１５またはステップＳ１６による特徴量の抽出処理が行われる。

より具体的な例としては、ステップＳ１４で共通領域が存在すると判定された場合、処理がステップＳ２５に移行される。ステップＳ２５で、色補正部１３０は、例えば第１の対象物体および第２の対象物体の、共通領域が適用された範囲の画像に対して、予め取得された基準の画像の色調に揃えるように色補正処理を施す。次のステップＳ１５で、特徴量抽出部１２５は、第１の対象物体および第２の対象物体に対し、色補正が施された共通領域内の画像の特徴量を抽出する。

一方、ステップＳ１４で共通領域が存在しないと判定された場合、処理がステップＳ２６に移行される。ステップＳ２６で、色補正部１３０は、例えば第１の対象物体および第２の対象物体それぞれの全体に対して、予め取得された基準の画像の色調に揃えるように色補正処理を施す。次のステップＳ１６で、特徴量抽出部１２５は、それぞれ色補正が施された第１の対象物体および第２の対象物体から特徴量を抽出する。

画像間の色補正は、例えば非特許文献３に開示される技術を適用することができる。非特許文献３によれば、予め、各カメラ１１₁、１１₂、１１₃、…により同一の被写体を撮像し、各カメラ１１₁、１１₂、１１₃、…間における同一被写体の色の違いを、図１４に例示されるような変換関数（輝度伝達関数ｃｆ_ij）として学習しておく。図１４において、輝度伝達関数ｃｆ_ijを示す特性線３３０は、例えば、第１のカメラおよび第２のカメラでそれぞれ取得された第１の画像の輝度Ｙ_aと第２の画像の輝度Ｙ_bとの対応関係を示す。

このように、第２の実施形態によれば、各カメラ１１₁、１１₂、１１₃、…から取得された画像間で色調を揃える色補正を行うようにしている。そのため、各カメラ１１₁、１１₂、１１₃、…の設置環境において色温度などが異なる場合であっても、対象物体の追跡をより高精度に実行することができる。

（他の実施形態）
なお、各実施形態および変形例に係る画像処理を実行するための画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、画像処理プログラムを、ＲＯＭ１０２に予め記憶させて提供してもよい。

さらに、各実施形態および変形例に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、各実施形態および変形例に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。

各実施形態および変形例に係る画像処理を実行するための画像処理プログラムは、例えば、上述した各部（画像取得部１２０、記憶部１２１、追跡部１２２、移動方向取得部１２３、領域選定部１２４、特徴量抽出部１２５、連結部１２６および出力部１２７、第２の実施形態においては色補正部１３０をさらに含む）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１０１が例えばストレージ１０４から当該画像処理プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ１０３）上にロードされ、各部が主記憶装置上に生成されるようになっている。

なお、本実施形態は、上述したそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０，１０’ 画像処理装置
１１、１１₁、１１₂、１１₃ カメラ
２０，２０ａ，２０ｂ，２０ｃ 対象物体
１０１ ＣＰＵ
１０９ カメラＩ／Ｆ
１２０ 画像取得部
１２１ 記憶部
１２２ 追跡部
１２３ 移動方向取得部
１２４ 領域選定部
１２５ 特徴量抽出部
１２６ 連結部
１２７ 出力部
１３０ 色補正部
２００，２００_-4，２００_-3，２００_-2，２００_-1，２００₀，２００₁，２００₂，２００₃，２００₅，２００₆，２００₇，２００₈ フレーム画像
３００ モデル

Claims (8)

1. 複数の撮像装置からそれぞれ時系列画像を取得する画像取得部と、
   前記時系列画像に撮像される対象物体の位置を追跡する追跡部と、
   前記時系列画像から前記対象物体の移動方向を取得する移動方向取得部と、
   対象物体の方向の基準となる予め定めた基準方向と、前記移動方向とから、複数の撮像装置から取得された複数の時系列画像のうち第１の時系列画像に撮像される第１の対象物体と、該複数の時系列画像のうち第２の時系列画像に撮像される第２の対象物体とが、該第１の時系列画像および該第２の時系列画像に共通して含まれる、該第１の対象物体および該第２の対象物体上の共通領域を取得する領域選定部と、
   前記共通領域に対応する画像から特徴量を抽出し、該特徴量を用いて、前記追跡部による追跡結果の、前記複数の撮像装置から取得された複数の時系列画像間での対応付けを行う連結部と
   を有する
   ことを特徴とする画像処理装置。
2. 前記移動方向取得部は、
   前記時系列画像に含まれるフレーム画像のうち対象フレーム画像に対して時系列上で前後のうち少なくとも前の所定数の該フレーム画像における、前記対象物体を追跡した追跡結果の、該対象物体の遷移情報と、前記時系列画像に撮像される対象物体を包含する外接矩形の遷移情報と、方向識別器により識別された識別結果とのうち少なくとも１を用いて前記移動方向を取得する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記領域選定部は、
   前記基準方向と、前記撮像装置の正面で前記対象物体が前記基準方向に移動した場合に取得された前記時系列画像に撮像される該対象物体の領域に対応する領域とを予め定めたモデルを用いて、前記共通領域を取得する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記連結部は、
   前記時系列画像に含まれる前記対象物体の全体から抽出した第１の特徴量と、前記共通領域から抽出した第２の特徴量とを比較した比較結果に基づき重み付けを行った該第２の特徴量を用いて前記対応付けを行う
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
5. 前記連結部は、
   前記共通領域から抽出した特徴量を用いて前記対応付けを行う
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
6. 前記第１の時系列画像に対して、色調を前記第２の時系列画像による色調に変換する補正を行う色補正部をさらに有し、
   前記領域選定部は、
   前記色補正部で色調が変換された前記第１の時系列画像を用いて前記共通領域を取得する
   ことを特徴とする請求項１乃至請求項５の何れか１項に記載の画像処理装置。
7. 複数の撮像装置からそれぞれ時系列画像を取得する画像取得ステップと、
   前記時系列画像に撮像される対象物体の位置を追跡する追跡ステップと、
   前記時系列画像から前記対象物体の移動方向を取得する移動方向取得ステップと、
   対象物体の方向の基準となる予め定めた基準方向と、前記移動方向とから、複数の撮像装置から取得された複数の時系列画像のうち第１の時系列画像に撮像される第１の対象物体と、該複数の時系列画像のうち第２の時系列画像に撮像される第２の対象物体とが、該第１の時系列画像および該第２の時系列画像に共通して含まれる、該第１の対象物体および該第２の対象物体上の共通領域を取得する領域選定ステップと、
   前記共通領域に対応する画像から特徴量を抽出し、該特徴量を用いて、前記追跡ステップによる追跡結果の、前記複数の撮像装置から取得された複数の時系列画像間での対応付けを行う連結ステップと
   を有する
   ことを特徴とする画像処理方法。
8. 複数の撮像装置からそれぞれ時系列画像を取得する画像取得ステップと、
   前記時系列画像に撮像される対象物体の位置を追跡する追跡ステップと、
   前記時系列画像から前記対象物体の移動方向を取得する移動方向取得ステップと、
   対象物体の方向の基準となる予め定めた基準方向と、前記移動方向とから、複数の撮像装置から取得された複数の時系列画像のうち第１の時系列画像に撮像される第１の対象物体と、該複数の時系列画像のうち第２の時系列画像に撮像される第２の対象物体とが、該第１の時系列画像および該第２の時系列画像に共通して含まれる、該第１の対象物体および該第２の対象物体上の共通領域を取得する領域選定ステップと、
   前記共通領域に対応する画像から特徴量を抽出し、該特徴量を用いて、前記追跡ステップによる追跡結果の、前記複数の撮像装置から取得された複数の時系列画像間での対応付けを行う連結ステップと
   をコンピュータに実行させるための画像処理プログラム。

Images