JP6789676B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、複数の撮像装置によって撮像された複数の画像の色を合わせる技術に関するものである。

従来から、複数のカメラ（撮像装置）から取得した撮像画像に映るオブジェクト（例えば人物など）の画像特徴量を検索するシステムが知られている（例えば、特許文献１）。複数の撮像画像の撮像した画像からオブジェクトの画像特徴量を検索するとき、環境光や照明などにより同一オブジェクトであるにも関わらず、色が一致しないことがあるので、色情報を用いた検索では、オブジェクトの検索精度を低下させていた。

複数のカメラで撮像した画像の色合わせを行うには、複数のカメラが同じオブジェクトを撮像していることが前提であるが、複数のカメラが離れて設置されている場合は、複数のカメラのすべてに同じオブジェクトが映っているとは限らない。即ち、複数のカメラが同じオブジェクトを撮像できない場合がある。

特許文献１では、複数のカメラで撮像した画像（動画のフレーム等）の色合わせを行う方法が開示されている。予め決めた順序で複数のカメラの内、隣り合う二つのカメラの撮像した同じオブジェクトの画像を用いて、色合わせを順に行い、その順序で色合わせを行うと、全てのカメラを一巡してカバーするようにその順序を定めている。このように、隣り合う二つのカメラの色合わせを繰り返すことで、複数カメラ間での色合わせを行っている。

特開２００９−４９７５９ 特許第４７１５５２７号

特許文献１の方法では、隣り合う二つの撮像装置の色合わせを行い、色合わせの基準撮像装置を一定順序でシフトしていくことで、最初の基準撮像装置に対して、すべての撮像装置の色合わせを行う。しかしながら、色合わせを行う撮像装置が増えるごとに、画像の色合わせ量が累積し、色合わせの精度が劣化する恐れがある。

本発明は、このような問題点に鑑みなされたものである。複数の撮像装置が同じオブジェクトを撮像できない場合でも、複数の撮像装置の撮像した画像の色合わせ精度の劣化を抑制する画像処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。

上述の課題を解決するための画像処理装置は、以下の構成を備える。すなわち、少なくとも１つの第一撮像装置と複数の第二撮像装置と少なくとも１つの第三撮像装置とのそれぞれが撮像した同一または同一種類のオブジェクトの撮像画像から、前記同一または同一種類のオブジェクトの画像領域を切りだして、前記同一または同一種類のオブジェクトの画像として入力する入力手段と、前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第一オブジェクトの画像を特定し、前記第二撮像画像と前記第三撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第二オブジェクトの画像を特定する特定手段と、前記第一撮像装置と前記第二撮像装置と前記第三撮像装置の何れか一つを基準撮像装置として決定する決定手段と、前記第一撮像装置又は前記第二撮像装置の何れか一つが前記基準撮像装置として決定された場合、前記第一オブジェクトの画像の色情報に基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第一補正画像を生成し、前記第一オブジェクトの画像の色情報と前記第二オブジェクトの画像の色情報との少なくとも１つに基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第三撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第二補正画像を生成する生成手段と、を備え、前記第一オブジェクトと前記第二オブジェクトとを撮像した前記第二撮像装置が複数あって、複数の前記第二撮像装置ごとに、前記第一オブジェクトの画像と前記第二オブジェクトの画像との前記色情報に基づいて、生成される複数の前記第二補正画像の内、色が同一と判定された前記第二補正画像の割合が所定値以上である場合は、前記生成手段は、前記色が同一と判定された前記第二補正画像の何れか一つを生成することを特徴とする。

複数の撮像装置が同じオブジェクトを撮像できない場合でも、複数の撮像装置の撮像した画像の色合わせ精度の劣化を抑制することができる。

第一実施形態の画像処理装置のハードウエア構成例を示すブロック図である。 第一実施形態の画像処理装置の機能構成例を示すブロック図である。 第一実施形態で使用する画像特徴量の例を示す図である。 （ａ）第一実施形態における色合わせ処理を説明するフローチャートである。（ｂ）色補正パラメータ算出処理を説明するフローチャートである。 （ａ）第一実施形態における色補正パラメータ生成用オブジェクトテーブルの例を示す図である。（ｂ）第一実施形態において各撮像装置がどの人物を撮像したかを示す図である。（ｃ）第一実施形態において各撮像装置が基準撮像装置に色合わせする状態の一例を示す図である。 第二実施形態の画像処理装置のハードウエア構成例を示すブロック図である。 第二実施形態における色補正パラメータ算出処理を説明するフローチャートである。 （ａ）第二実施形態における色補正パラメータ生成用オブジェクトテーブルの例を示す図である。（ｂ）第二実施形態において各撮像装置がどの人物を撮像したかを示す図である。（ｃ）第二実施形態において各撮像装置が基準撮像装置に色合わせする状態の一例を示す図である。（ｄ）第二実施形態において各撮像装置が基準撮像装置に色合わせする状態の別例を示す図である。 第二実施形態における基準撮像装置の再選択処理を説明するフローチャートである。 （ａ）第三実施形態において各撮像装置が基準撮像装置に色合わせする状態の一例を示す図である。（ｂ）色合わせ回数行列と色補正パラメータの適用回数の例を示す図である。

＜第１実施形態＞
本実施形態の画像処理装置を構成するコンピュータ装置の構成について、図１のブロック図を参照して説明する。なお、画像処理装置は単一のコンピュータ装置で実現してもよいし、必要に応じて複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。コンピュータ装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の情報処理装置によって実現することができる。

図１において、ＣＰＵ１０１はコンピュータ装置１００全体を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔである。ＲＯＭ１０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙである。ＲＡＭ１０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙである。外部記憶装置１０４はコンピュータ装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、コンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。入力デバイスインターフェイス１０５はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインターフェイスである。出力デバイスインターフェイス１０６はコンピュータ装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。通信インターフェイス１０７はインターネットなどのネットワーク回線１１１に接続し、外部とデータ入出力をするための通信インターフェイスである。ネットワークカメラ１１２は、複数の監視カメラなどの撮像装置であり、ネットワーク回線１１１を介してコンピュータ装置に接続されている。システムバス１０８は各ユニットを通信可能に接続する伝送路である。

後述する各動作は、ＲＯＭ１０２等のコンピュータ読み取り可能な記憶媒体に格納されたプログラムをＣＰＵ１０１が実行することにより実行される。

［画像処理装置］
本実施形態の画像処理装置は、複数のカメラなどの撮像装置から取得した画像データからオブジェクトの画像領域を切りだしてオブジェクトの画像として蓄積し、蓄積したオブジェクトの画像を用いて処理する装置である。本実施形態の画像処理装置を用いて画像を照合するときは、各撮像装置の撮像した画像の色を、基準となる基準撮像装置（基準カメラ）の撮像した画像の色に合わせて補正画像を生成してから画像を照合する。

具体的には、複数の撮像装置の撮像したオブジェクトの画像から、色合わせに適したオブジェクト（色補正パラメータ生成用オブジェクト）の画像を特定する。この色補正パラメータ生成用オブジェクトの画像を用いて、各撮像装置の撮像した画像の色を基準となる撮像装置（基準カメラとも言う）の撮像した画像の色に合わせる色補正パラメータを推定する。照合の際には、各撮像装置の撮像した画像と、色補正パラメータとを用いて補正画像を生成してから照合を行う。

なお、色補正パラメータの生成に適したオブジェクト（色補正パラメータ生成用オブジェクト）とは、オブジェクトの画像の類似度が所定以上であるなどの条件を満たすものである。そのため、実際には複数の撮像装置同じオブジェクトが映っていても、所定の条件を満たさなければ、色補正パラメータの生成に適したオブジェクトとして採用されないこともある。このように適したオブジェクトを選んで色合わせをすることで、誤った色合わせが起きる確率を低減させることができる。

また、基準撮像装置の撮像した画像に色を合わせる色補正パラメータが得られないとき、基準撮像装置の撮像した画像に色を合わせることができる別の撮像装置を特定する。この別の撮像装置の撮像した画像に色を合わせる色補正パラメータを得る。そして、別の撮像装置の撮像した画像へ色を合わせてから、さらに基準撮像装置の撮像した画像へと色を合わせることで、色合わせを実現する。

本実施形態では、オブジェクトとして人物を想定するが、人物に限定する必要はなく、色合わせに適するものであればよい。

なお、以下の説明に置いて、撮像装置の色合わせ状態として、基準撮像装置・色合わせ済み撮像装置（色合わせ済みカメラ）・未処理撮像装置（未処理カメラ）という言葉を用いる。「基準撮像装置」は色合わせの基準となる撮像装置であり、この撮像装置の撮像した画像の色に他の撮像装置の撮像した画像の色を合わせることになる。複数ある撮像装置のうち基準撮像装置は一つだけ存在する。「色合わせ済み撮像装置」は、基準撮像装置に合わせて色補正パラメータを求められる撮像装置である。基準撮像装置も色合わせ済み撮像装置の一つとして考える。「未処理撮像装置」は、その時点で、基準撮像装置に合わせて色合わせできない状態にある撮像装置である。

以下、本実施形態の画像処理装置の機能構成について図２を用いて説明する。
入力部２０１は、オブジェクトの画像の入力を受け付ける。具体的には、ネットワークカメラ１１２から取得した撮像から切りだされたオブジェクトの画像が入力される。あるいは、ネットワークカメラ１１２から取得した映像においてオブジェクトが出現するフレーム番号とオブジェクトの画像領域の座標情報が入力される。

また、入力部２０１は、撮像画像の入力を受付けて、撮像画像からのオブジェクトの切りだしは、画像処理装置の切りだし部（非図示）で行ってもよい。あるいは、ネットワークカメラ１１２内で予めオブジェクトの画像を切りだして、オブジェクトの画像のみを画像処理装置に送信するように構成してもよい。

記憶部２０２は、入力部２０１から入力されたオブジェクトの画像を記憶する。具体的には、外部記憶装置１０４にオブジェクトの画像データを記憶する。加えて、オブジェクトのメタデータとして、オブジェクトのＩＤや撮像時刻や撮像カメラを関連付けて記憶しておく。なお、オブジェクトの画像データではなく、ネットワークカメラ１１２から得た映像データを記憶しておき、その該当オブジェクトが出現するフレーム番号とオブジェクトの画像領域の座標情報を記憶するようにしてもよい。

照合条件入力部２０３は、照合に用いるオブジェクトの画像を指定する。具体的には、記憶部２０２に記憶されたオブジェクトの画像をモニタ１１０に表示して、入力デバイス１０９を介して照合するオブジェクトの画像を指定する。あるいは、モニタ１１０に撮像時刻や画像特徴の属性値などを指定する画面を表示して、入力デバイス１０９で指定された条件で、記憶部２０２に記憶されたオブジェクトの画像を絞り込んでモニタ１１０に表示するようにしてもよい。あるいは、外部記憶装置１０４に記憶された画像データを指定して、比較元とし、記憶部２０２に記憶されたオブジェクトの画像データを比較先としてもよい。本実施形態の照合に用いるオブジェクト画像の指定方法はこれらに限定されるものではない。

照合するオブジェクトの画像を指定する際に、照合に用いるオブジェクトの画像は比較元と比較先の２つの画像をそれぞれ１つずつ指定してもよい。あるいは、比較元の画像１つに対して、比較先の画像を複数選択してもよい。あるいは、比較元の画像を１つだけ選択させて、比較先の画像として記憶部２０２に記憶されているオブジェクトの画像全てを自動的に選択するようにしてもよい。本実施形態における照合に用いるオブジェクトの画像の指定方法はこれらに限定されるものではない。

照合結果表示部２０４は、照合条件入力部２０３で指定したオブジェクトの画像同士を照合した結果を表示する。照合処理の詳細は後述するが、照合処理によって比較元と比較先とのオブジェクト画像の間には似ている程度を表す類似度が決定される。この類似度を用いて照合結果を表示する。例えば、比較元と比較先とのオブジェクトの画像が１つずつであれば、そのオブジェクトの画像間の類似度をモニタ１１０に表示する。あるいは、比較元のオブジェクト画像が１つで、比較先のオブジェクト画像が複数であれば、比較先のオブジェクト画像を類似度順にモニタ１１０に表示する。あるいは、所定以上の類似度を有する比較先のオブジェクト画像を、カメラごとに分類して撮像時刻順に表示するようにしてもよい。なお、本実施形態の照合結果の表示方法はこれらに限定されるものではない。

照合部２０５は、比較元のオブジェクト画像と比較先のオブジェクト画像の照合を行う。具体的には、照合部２０５は、比較元のオブジェクトの画像と、比較先のオブジェクトの画像のそれぞれの画像特徴量を比較することで照合する。本実施形態では、オブジェクトに人物を想定しているため、オブジェクトの特徴量としては図３に示すような人物の画像特徴量を用いる。なお、図３に示す画像特徴量は一例であり、本実施形態はこれらの画像特徴量に限定されるものではない。

これらの画像特徴量の算出方法は次の通りである。色が大きく変化しても、それほど大きく変化しない画像特徴量を、色への依存度の低い特徴量として、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いる。ＳＩＦＴは輝度画像から得られるため、色への依存度が低い。図３の顔器官点のＳＩＦＴ特徴量は、人物の顔領域を検出して、顔領域内の目・口などの器官点を求め、各器官点に対応するＳＩＦＴ特徴量を求めることによって求められる。この特徴量を用いた照合処理では、照合部２０５が、比較元と比較先とのそれぞれの人物の画像において、顔領域内の各器官点に対応するＳＩＦＴ特徴量の類似度の和を求める。あるいは、照合部２０５は、所定以上の類似度を有する器官点の数を用いて類似度を決定してもよい。

照合部２０５では、肌の色又は髪の色は、顔検出で得た顔領域から、対応する部分領域を予め定めておいて、その部分領域の色ヒストグラム等を求めることによって求められる。

また、照合部２０５では、服の色は、顔検出で得た顔領域から、その下方が胴体に対応する領域であると予め定めておいて、その領域の色ヒストグラム等を求めることによって求められる。

また、照合部２０５では、人物の各種属性である年齢や性別等は、機械学習等の技術を用いて、顔領域の画像を検出した際に、各種属性が推定できるような分類器を作成しておき、分類器を用いて各種属性を得る。また、属性の尤度が得られるときに、属性値ごとにその尤度を並べた属性ベクトルを作成して、その属性ベクトル間の類似度で属性の類似度を求めるようにする。

ＳＩＦＴ特徴量、色ヒストグラムと属性ベクトルなどの類似度は各々個別に求まるため、重みを付けて和をとることで、比較元のオブジェクトの画像と比較先のオブジェクトの画像との類似度を求める。

照合部２０５は、撮像装置の撮像画像の色合わせに用いるオブジェクトの画像を検索して特定するときは、色への依存度が低い画像特徴量を用いることが望ましい。そのため、本実施形態では、図３に示す輝度画像から抽出した画像特徴量と人物の属性を主に用いる。これによって、複数の撮像装置が撮像した同じオブジェクトの画像の色が異なるときも、複数の撮像装置の撮像した同じオブジェクトを、同一と判断できる確率が高くなる。

一方で、色合わせが行われた後は、全ての画像特徴量を用いて照合を行うことが望ましい。そのため、本実施形態では、図３に示す全ての画像特徴量を用いる。これによって、色合わせしてから色に依存する画像特徴量を用いることで、色合わせしない場合と比べて、オブジェクトの照合精度の劣化を防ぐことができる。

なお、照合部２０５で用いる画像特徴量は、予めオブジェクトごとに算出しておき、記憶部２０２に記憶しておいてもよい。例えば、色合わせ前の画像特徴量は、入力部２０１にオブジェクトの画像が入力されたときに算出して記憶しておく。一方で、色合わせ後の特徴量は、色合わせ後の画像特徴量を算出したときに、記憶部２０２に記憶しておく。

クエリリスト作成部２０６は、色合わせに用いるオブジェクトの画像を特定するためのクエリリストを作成する。具体的には、記憶部２０２に記憶されているオブジェクトの画像からいくつかのオブジェクトの画像をクエリとして選択して、優先度を付けて、クエリの候補であるクエリリストを作成する。例えば、蓄積時刻の新しい順等で優先度を付ける。なお、クエリは比較元のオブジェクトの画像とも記載するので、クエリリストは比較元のオブジェクトの画像候補リストとも記載する。

あるいは、基準撮像装置（基準カメラ）が決まっているか、既に基準カメラに対しての色補正パラメータが求まった撮像装置（色合わせ済みカメラ）があるとき、次のようにクエリを選択してもよい。

例えば、色補正パラメータが求まっていないカメラ（未処理カメラ）に映るオブジェクトを優先的に選択してもよい。これによって、必ず未処理カメラの撮像したオブジェクトが検索され、色補正パラメータ生成用オブジェクトを効率よく決定することができる。

あるいは、未処理カメラ内の映像を解析して、オブジェクトの移動方向が色合わせ済みカメラに向かうとき、そのオブジェクトを優先的に選択してもよい。例えば、カメラのフレームのどの方向に移動すると、別のカメラがあるかというカメラの配置関係を記憶しておく。そして、カメラ内の人物の移動ベクトルを解析して、カメラからフレームアウトするときの座標や方向を得て、これと配置関係を比較して、人物がいずれのカメラの方向に移動したかを求める。このとき、未処理カメラ内の人物が、色合わせ済みカメラの方向に向かっているとき、このオブジェクトの画像をクエリとして選択する。これによって、未処理カメラに映りかつ色合わせ済みカメラにも映っている可能性の高いオブジェクトの画像をクエリとして選択できるため、色補正パラメータ生成用オブジェクトを効率よく特定することができる。

特定部２０７は、カメラ間の色合わせに用いるオブジェクトの画像を決定する。具体的には、クエリリスト作成部２０６で作成されたクエリリストを用いて、各カメラの映るクエリと同一と判断できるオブジェクトの画像を、記憶部２０２から特定する。そして、カメラごとに色補正パラメータの生成に適したオブジェクト（色補正パラメータ生成用オブジェクト）の画像を一つ特定する。例えば、クエリとの類似度が所定以上であるとき、色補正に適していると判断して、色補正パラメータ生成用オブジェクトの画像として特定する。

なお、本実施形態における色補正パラメータ生成用オブジェクトの画像を特定する方法はこれらに限定されるものではない。

色補正パラメータ算出部２０８は、色合わせに用いる情報である色補正パラメータを算出する。具体的には、２つのオブジェクトの画像を用いて、オブジェクトの画像同士の色が一致するように色補正パラメータを求める。色補正パラメータを求める際に、例えば、人物であればその顔領域の肌領域の色情報、あるいは、服領域の色情報を用いる。なお、色補正パラメータの算出に用いるオブジェクトの領域はこれらに限定されるものではない。

補正画像生成部２０９は、色補正パラメータを用いて色を補正した補正画像を生成する。

色補正パラメータの算出とそれを用いた補正画像の生成には、次の方法がある。例えば、特許文献１に示されるように、オブジェクト内の複数の対応点を求めて、その対応点同士の色の異なりから、ルックアップテーブルを構成して、色補正パラメータとしてもよい。補正画像を生成する際には、入力となる画像データのピクセルごとにルックアップテーブルを参照して、異なる色に置き変えていくことで補正画像が生成される。

あるいは、特許文献２に示されるように、色補正行列を求めて、色補正パラメータとしてもよい。補正画像を生成する際には、入力となる画像データのピクセルごとに色補正行列をかけることで、異なる色に置き変えていく。なお、本実施形態における色補正パラメータの算出方法はこれらに限定されるものではない。

なお、以下の説明において、色補正パラメータを複数回適用することがある。このとき、予め色補正パラメータを結合した一つの色補正パラメータを作っておいてもよい。例えば、ルックアップテーブルであれば、２つのルックアップテーブルの入力と出力をつなげて参照することで結合できる。また、色補正行列であれば、予め補正行列同士をかけておくことなどで、結合できる。

また、以下の説明において、色補正パラメータ同士の類似度を求めることがあるが、ルックアップテーブルであれば、同じピクセル値を与えたときの差分値の和等から求めることができる。また、色補正行列は行列の要素同士の差分値等から求めることができる。

なお、本実施形態における色補正パラメータの結合および類似度演算などはこれらに限定されるものではない。

基準撮像装置決定部２１１は、色合わせの基準となる基準撮像装置（基準カメラ）を決定する。例えば、外部からの指定に従って基準カメラを決定してもよい。具体的には、モニタ１１０にネットワークカメラ１１２の一覧を表示して、入力デバイス１０９を介して選択されたネットワークカメラ１１２を基準カメラとする。例えば、施設の出入り口を監視するネットワークカメラを基準カメラとして指定することが考えられる。施設内の他のカメラに映る人物は、出入り口を通っているため、出入り口のカメラは多くの他のカメラと同じオブジェクトを共通に映している可能性が高い。こうした、他のカメラと同じオブジェクトを映す可能性が高いカメラを基準カメラとして選択すると、基準カメラに合わせた色補正パラメータが求まりやすくなる。その結果、基準カメラに合わせるまでに適用する色補正の回数が減り、色補正の誤差が小さくなる。

あるいは、入力に基準カメラが与えられないときは、いずれか一つのカメラを基準カメラに選択する。あるいは、カメラごとに人物のカウントを行っておき、最も人物が多く現れるカメラを基準カメラに決定する等してもよい。本実施形態における基準カメラの決定方法はこれらに限定されるものではない。

色補正パラメータ算出２０８は、基準カメラに色合わせできるカメラが所定に至るまで、色補正パラメータを求める制御を行う。

具体的には、基準カメラに対する色合わせを行うための色補正パラメータを求めるように制御する。あるいは、基準カメラに色合わせできる別のカメラに対する色合わせを行うための色補正パラメータを求めるように制御する。これによって、別のカメラを経由して基準カメラに色合わせを行えるようにする。

本実施形態では、可能な限り全てのカメラを基準カメラに色合わせできるように色補正パラメータを求める。詳細な処理の内容については、後述するフローチャート図４（ｂ）において述べる色補正パラメータの算出処理において述べる。

本実施形態では、可能な限り全てのカメラを基準カメラに色合わせする。しかし、別のカメラを経由して色補正パラメータを求める場合において、別のカメラを経由する回数が一定以上になるときは、カメラ間に色補正パラメータを求めないように制御してもよい。これによって、色合わせできるカメラは減るが、色補正を繰り返すことによる補正量の累積を制限し、色合わせの誤差が低減する効果が得られる。

［色合わせ処理の流れ］
次に、本実施形態における色合わせ処理の流れについて、図４のフローチャートを用いて説明する。以下、フローチャートは、画像処理装置１００のＣＰＵが制御プログラムを実行することにより実現されるものとする。この処理では、まず、複数の撮像装置間に共通に映る色補正パラメータ生成用オブジェクトの画像を特定して、カメラ間の色補正パラメータを算出する。そして、各撮像装置の撮像したオブジェクトの画像の補正画像を生成して、オブジェクトの補正画像の画像特徴量を算出することを行う。

色あわせ処理の実行時には記憶部２０２に記憶されたオブジェクトの画像から、色合わせ前の画像特徴量が予め算出されているものとする。加えて、本処理には色合わせ処理の対象カメラのリストが与えられる。このリスト上では、各カメラの色合わせ状態、つまり基準カメラ・色合わせ済みカメラ・未処理カメラのいずれの状態にあるかの情報も与えられる。通常は、全てのカメラは未処理カメラである。しかし、一部のカメラが既に色合わせされており、そこに新たにカメラが追加された場合などは、基準カメラと色合わせ済みカメラが含まれることになる。なお、基準カメラと色合わせ済みカメラがあるときは、その色補正パラメータも追加で与えられる。

以下、色合わせ処理の具体的な内容について、図４（ａ）を用いて説明する。
ステップＳ４０１ａでは、クエリリストを作成する。具体的には、クエリリスト作成部２０６が、記憶部２０２に記憶されているオブジェクトの画像から、いくつかのオブジェクトの画像を選択してクエリとする。さらにこれらのクエリを優先度順に並び変えて、クエリリストを作成する。例えば、撮像時刻の新しい順に所定数を選択して、撮像時刻の新しい順にクエリリストを作成する。あるいは、既に色合わせされているカメラがあるとき、未処理カメラに映るオブジェクトの画像を優先してクエリリストを作成するようにしてもよい。さらには、未処理カメラ内のオブジェクトの移動ベクトルなどを用いて、色合わせ済みカメラに向かうオブジェクトを優先するようにしてもよい。

ステップＳ４０２ａは、ステップＳ４０１ａで得たクエリリスト内のクエリを順に処理するためのループであり、クエリには１から順に番号が割り当てられているものとする。これを変数ｉを用いて参照するため、はじめにｉを１に初期化する。さらに、ｉがクエリ数以下であるときステップＳ４０３ａへ移り、これを満たさないときループを抜けてステップＳ４０７ａへ移る。

ステップＳ４０３ａでは、色が大きく変化しても、それほど大きく変化しない画像特徴量を、色への依存度の低い特徴量として用いて、記憶部２０２からｉ番目のクエリに類似するオブジェクトの画像を検索する。具体的には、照合部２０５にて、比較元となるオブジェクトの画像をｉ番目のクエリとして、比較先となるオブジェクトの画像を記憶部２０２に記憶されているオブジェクトの画像とする。そして、色への依存度が低い特徴量を用いて照合を行う。例えば、図３に示す輝度画像から抽出した特徴量を照合に用いる。最後に、比較先のオブジェクト画像と類似度を関連付けて、検索結果とする。

ステップＳ４０４ａでは、所定以上の類似度を有する検索結果の中に、未処理カメラを含む２台以上のカメラから得たオブジェクトの画像が含まれるか否かを判定する。具体的には、所定以上の類似度のオブジェクトの画像のみに着目して、各オブジェクトの画像が撮影されたカメラを特定する。この特定されたカメラが２台以上であり、かつ未処理のカメラを含むとき（ＹＥＳ）、ステップＳ４０５ａへ移る。それ以外のとき（ＮＯ）、ステップＳ４０６ａへ移る。

ステップＳ４０５ａでは、色補正パラメータ生成用オブジェクトを決定して保存する。具体的には、所定以上の類似度を有するオブジェクトの画像をそのオブジェクトの画像を撮影したカメラごとに分類する。そして、カメラごとに類似度の高いオブジェクトの画像を１つ決定する。これらのオブジェクトの画像を色補正パラメータ生成用オブジェクトの画像として記憶する。あるいは、所定以上の類似度を有するオブジェクトの画像が、それを撮像した一つのカメラに対して複数あるとき、全てを色補正パラメータ生成用オブジェクトの画像としてもよい。

ステップＳ４０６ａは、クエリリストのループの終端であり、ｉに１を加算してＳ４０２ａへ戻る。

ステップＳ４０２ａ〜ステップＳ４０６ａの処理は、特定部２０７にて行われ、この処理によって色補正パラメータ生成用オブジェクトの画像が特定される。例えば、図５（ａ）に示すような色補正パラメータ生成用オブジェクトテーブルとして結果がまとめられる。このテーブルは、各クエリに対して「どのカメラに色補正パラメータ生成用オブジェクトの画像が見つかったか」を表している。即ち、図５（ｂ）に示すように、例えば、クエリＱ１の人物に対しては、カメラＡ、Ｂ、Ｃ、Ｄのそれぞれによって撮像され、撮像された画像が記憶部２０２に記憶されているので、クエリＱ１に類似するオブジェクトの画像が見つかったことを示している。この図面上は記載されていないが、各色補正パラメータ生成用オブジェクトのオブジェクトＩＤ等も記憶されており、このオブジェクトＩＤによって記憶部２０２からオブジェクトの画像データなどを参照することができる。

ステップＳ４０７ａでは、前述のステップＳ４０２ａ〜ステップＳ４０６ａで求めた色補正パラメータ生成用オブジェクトを用いて、各カメラに対する色補正パラメータを算出する。算出処理の詳細は、フローチャート図４（ｂ）を用いて後述する。この算出処理の結果として、基準カメラに色を合わせる色補正パラメータ群が得られる。図５（ｃ）のグラフは、各カメラが基準カメラに色を合わせることを示した図である。ノードはカメラを表しており、二重線のノードは基準カメラを示している。例えば、図５（ｃ）では、カメラＡが基準カメラとして決定されており、カメラＢ〜Ｄに対してカメラＡへと色補正するパラメータが求められていることを示している。加えて、カメラＥに対してはカメラＢへと色補正するパラメータが求められていることを示している。同様に、カメラＦ〜Ｈに対してはカメラＥへと色補正するパラメータが求められていることを示している。

ステップＳ４０８ａでは、補正画像を生成する。具体的には、補正画像生成部２０９が各カメラの撮像したオブジェクトの画像を基準カメラの撮像したオブジェクトの画像の色に合わせて補正画像を生成する。例えば、図５（ｃ）のような色補正パラメータ群が得られていたとする。この時、カメラＧの撮像したオブジェクトの画像の色は、カメラＥの撮像画像に色が合うように変換され、その後カメラＢの撮像画像に色が合うように変換され、最後にカメラＡの撮像画像の色に合うように変換される。このように、色補正を繰り返して基準カメラの撮像画像の色に合うように各カメラの撮像した撮像画像の補正画像を生成する。

補正画像を記憶部２０２に記憶しておき、照合部２０５にて、オブジェクト画像の照合の際に用いるようにする。あるいは、補正画像から予め照合部２０５にて用いる属性情報を算出する。例えば、図３に示すカラー画像から抽出する画像特徴量を計算し直す。そして、それを記憶部２０２に記憶しておいてもよい。

［色補正パラメータ算出処理］
次に、色補正パラメータ算出処理についてフローチャート図４（ｂ）を用いて説明する。本処理は色補正パラメータ算出部２０８が主に実行する。この処理では、色補正パラメータ生成用オブジェクトの画像を用いて、カメラ間で基準カメラの画像に色を合わせる補正画像を生成するために、色補正パラメータを求める処理を行う。

本処理の実行時には、色補正パラメータ生成用オブジェクトテーブルが与えられる。加えて、本処理には補正対象のカメラのリストが与えられる。また、カメラの色合わせ状態（基準カメラ・色合わせ済みカメラ・未処理カメラのいずれの状態にあるか）の情報も与えられる。加えて、基準カメラと色合わせ済みカメラがあるときは、その色補正パラメータも追加で与えられる。

以下、具体的な処理内容について、図４（ｂ）を用いて説明する。なお、以下の説明では、全てのカメラが未処理カメラであり、色補正パラメータ生成用オブジェクトテーブルとして図５（ａ）が与えられたものとして、説明を行う。

ステップＳ４０１ｂでは、基準カメラを決定する。具体的には、基準撮像装置決定部２１０によって、基準カメラが決定される。例えば、入力から基準カメラが与えられていれば、それを基準カメラとして用いる。基準カメラが与えられていないとき、いずれか一つのカメラを基準カメラに選択する。ここでは、図５（ａ）に示すカメラＡ〜Ｈのうち、カメラＡが基準カメラとして選択されたものとする。

ステップＳ４０２ｂでは、色補正パラメータ算出部２０８が、未処理カメラをリストアップする。例えば、図５（ａ）の基準カメラ以外のカメラＢ〜Ｈすべてが未処理カメラとしてリストアップされる。

ステップＳ４０３ｂでは、色合わせ済みカメラと色補正パラメータ生成用オブジェクトを共通に映す未処理カメラがあるか否かを判定する。具体的には、判定結果がＹＥＳのとき、ステップＳ４０４ｂへ移る。それ以外のとき（ＮＯ）、本処理を終了する。例えば、図５（ａ）であれば、クエリＱ１と類似する色補正パラメータ生成用オブジェクトの画像に着目すると、基準カメラＡと色補正パラメータ生成用オブジェクトを共通に映す未処理カメラＢ〜Ｄがある。そのため、この判定はＹＥＳとなる。

ステップＳ４０４ｂでは、色補正パラメータ算出部２０８が、色合わせ済みカメラと色補正パラメータ生成用オブジェクトを共通に映す未処理カメラを選び、色補正パラメータを求める。

ステップＳ４０３ｂで未処理カメラＢ〜Ｄのうち一つを選択する。例えば、カメラＢを選択したとする。そして、クエリＱ１で検索されたカメラＡの画像とカメラＢの画像を色補正パラメータ生成用オブジェクトの画像として用いて、色補正パラメータ算出部２０８が、カメラＡの画像の色にカメラＢの画像の色を合わせる色補正パラメータを求める。

その後、カメラＢを色合わせ済みカメラとして、ステップＳ４０３ｂで再度選択されないようにする。

以上の処理を繰り返すことで、図５（ｃ）に示すように、クエリＱ１で検索された色補正パラメータ生成用オブジェクトの画像を使って、カメラＡの画像の色にカメラＢ〜Ｄの画像の色を合わせる色補正パラメータが求められる。同様に、クエリＱ２で検索された色補正パラメータ生成用オブジェクトの画像を用いて、カメラＢの画像の色にカメラＥの画像の色を合わせる色補正パラメータが求められる。最後に、クエリＱ３で検索された色補正パラメータ生成用オブジェクトの画像を用いて、カメラＥの画像の色にカメラＦ〜Ｈの画像の色を合わせる色補正パラメータが求められる。

なお、図５（ａ）の例では、全てのカメラを基準カメラに色合わせをすることができたが、基準カメラや色合わせ済みカメラと色補正パラメータ生成用オブジェクトを共通に映さないカメラがあるとき、そのカメラは未処理カメラとして残ることになる。

このとき、ステップＳ４０８ａの処理を行わずに、図４（ａ）の処理を終了して、色合わせ処理をしないようにしてもよい。そして、しばらくカメラから映像を取得することを継続して、記憶部２０２のオブジェクトの画像を増やしてから、再びこれら処理を行ってもよい。これによって、全てのカメラを色合わせできる場合のみ、色合わせされるようになる。

あるいは、ステップＳ４０８ａの処理では、色合わせ済みカメラから得たオブジェクトの画像のみを色合わせして、未処理カメラから得られたオブジェクトの画像は色合わせしないようにしてもよい。このとき、照合条件入力部２０３から比較元オブジェクトの画像と比較先オブジェクトの画像が入力されて、その照合を行うとき、片方が色合わせできない状態になることがある。このとき、色に依存しない特徴量を用いて照合を行うようにしてもよい。あるいは、色合わせできていないことを無視して、色に依存する特徴量も用いて照合するようにしてもよい。

なお、本実施形態における未処理カメラが残る場合の処理は、これらに限定されるものではない。

以上によって、同一のオブジェクトを撮像した異なる撮像装置の画像の色の異なりによるオブジェクトの画像の照合精度の劣化が抑制される。例えば、監視カメラなどでは、設置環境が異なるため、物陰・日差し・光源違い等の影響によって、同一のオブジェクトでも、異なる監視カメラで撮像した画像の色が異なることが起こる。こうした影響による照合精度の劣化が抑制されることになる。

加えて、色補正パラメータの生成に適したオブジェクトを基準カメラと共通に映さないカメラがあるときも、別のカメラとの色合わせを行い、そのカメラを介して基準カメラに色合わせすることができる。例えば、空港などの広域に設置されたカメラでは、全てのカメラに同じオブジェクトが撮像されることはまれである。そのため、色補正パラメータの生成に適したオブジェクトがカメラ間で得られないようなことが起こりえる。このような際に、別のカメラを介して基準カメラに色合わせすることは有効である。

また、この色補正パラメータを用いて生成した補正画像は照合だけでなく、表示に用いてもよい。例えば、照合結果表示部２０４に結果を表示するときに、生成した補正画像を表示するようにしてもよい。このようにすることによって、同一のオブジェクトの表示画像の色の異なりがなくなり、閲覧者が快適に画像を見ることができる。

＜第２実施形態＞
第１実施形態において、色補正パラメータを誤って求めることがある。例えば、第１実施形態において、異なるオブジェクトの画像を色補正パラメータ生成用オブジェクトの画像としてしまったとき、色補正パラメータを誤って求めてしまう。第１実施形態では、オブジェクト画像の照合結果の類似度が所定以上であることをもって同一のオブジェクトの画像と判定していたが、その判定は必ずしも誤らないとは限らない。また、照合に用いた顔領域以外の胴体領域の画像を用いて色合わせすると、その胴体領域の画像は変わっている可能性がある。例えば、同じ人物が撮像された場合、照合に顔の属性・特徴量を用いてその人物の画像が正しく特定できたとする。一方、色補正パラメータの算出にその人物の胴体領域（服の部分）の色情報を用いると、服の着脱などが起きたときに、誤った色補正パラメータを求めてしまう。

そこで、本実施形態では、未処理カメラと色合わせ済みカメラの間に複数の色補正パラメータの候補を作成して、信頼性の高い色補正パラメータを決定する画像処理装置について述べる。

本実施形態の画像処理装置の構成は、第一実施形態の説明で示した図２の構成と基本的に同じである。ただし、色補正パラメータ決定部２１１が追加されている。第一実施形態と異なる部分について図６を参照して、以下で述べる。

色補正パラメータ決定部２１１は、未処理カメラと色合わせ済みカメラ間の複数の色補正パラメータから、信頼度の高い色補正パラメータを決定する。具体的には、基準カメラの画像の色に色を合わせたときに、複数の色補正パラメータを用いて、同一のカメラの複数の補正画像の色が同一と判定される場合、その同一の色補正結果を与える色補正パラメータの数を数え上げる。数え上げた色補正パラメータの割合が所定値以上であれば、数え上げた色補正パラメータの一つを決定する。

また、複数の同一のオブジェクトを撮像した場合、オブジェクトごとに同じ色補正結果を与える色補正パラメータ群の割合を得て、最も大きな割合を占める色補正パラメータ群を特定して、そのうちの一つを決定する。これによって、正しい色補正パラメータが、誤った色補正パラメータより多ければ、正しい色補正パラメータを選ぶことができる。

本実施形態の画像処理装置１００の詳細な処理内容については、フローチャート図７を用いて後述する。

この処理では、順に未処理カメラを色合わせ済みカメラにしていく。そのため、未処理カメラと色合わせ済みカメラ間の色補正パラメータ候補数は徐々に増えていく傾向にある。そのため、処理の初めに、十分な数の色補正パラメータがない未処理カメラであっても、処理が進むにつれて、十分な色補正パラメータが得られるようになる。そのため、「色補正パラメータ候補数が所定以上」であることを条件とすることは、正しい色補正パラメータを選択する確率をより向上させる効果がある。

色補正パラメータが同一の色補正結果を与えるか否かは、同じカメラの撮像した画像に対して各々の色補正パラメータで色補正をした結果（補正画像）を得て、その結果同士を比較することで、同じ結果を与えるか否かを判定する。例えば、２つの補正画像の差分画像を得て、その差分値の和が所定以内であれば、同じであると判断してもよい。あるいは、２つの補正画像の色ヒストグラムなどを得て、そのヒストグラム類似度が所定以上であれば、２つの補正画像の色が同じであると判定してもよい。本実施形態における、補正画像の色が同一か否かの判定方法は、これらに限定されるものでない。

なお、本実施形態では、同一の色補正結果を与える色補正パラメータから一つを選択することで、信頼度の高い色補正パラメータを決定している。しかし、複数の色補正パラメータから平均的な色補正パラメータを生成してもよい。あるいは、色補正パラメータの元になった複数の色補正パラメータ生成用オブジェクトをもとに、新たな色補正パラメータを算出してもよい。

例えば、特許文献１に示されるように、ルックアップテーブルを構成するとき、複数の色補正パラメータ生成用オブジェクトから対応点を得て、これをもとに色補正パラメータを求める。あるいは、複数のルックアップテーブルから平均的なルックアップテーブルを求めてもよい。例えば、全ての入力値を各ルックアップテーブルに与えた時の出力を平均した値を、入力値に対応付けたルックアップテーブルを構成する。

あるいは、特許文献２に示されるように、色補正行列を求めるとき、複数の色補正パラメータ生成用オブジェクトから補正前後の色を複数得て、これらをなえるべく満たす色補正行列を最小二乗法などの方法で求める。あるいは、複数の色補正行列を用いて平均的な色補正行列を求めてもよい。例えば、行列の要素ごとに平均値を求めて、それを要素に有する色補正行列を得る。

このように、本実施形態における信頼度の高い色補正パラメータの決定方法は、いずれか一つを選択する方法に限定されるものではない。また、複数の色補正パラメータや複数の色補正パラメータ生成用オブジェクトから、新たな色補正パラメータを生成する方法もこれらに限定されるものではない。

基準撮像装置決定部２１０は、色合わせの基準となるカメラ（基準カメラ）を決定する。本実施形態では、カメラ間で共通に映る同一のオブジェクト（色補正パラメータ生成用オブジェクト）の数に基づいて基準カメラを決定する。具体的には、全ての２カメラ間で色補正パラメータ生成用オブジェクトとして、共通に撮像した異なるオブジェクトの数を数え上げて、共通オブジェクト数とする。そして、共通オブジェクト数が最も多いカメラの片方を基準カメラとして決定する。

例えば、共通オブジェクト数は次のように数えられる。図８（ｂ）に示すように、カメラＡとカメラＢとで、クエリＱ１、Ｑ２、Ｑ３のそれぞれの人物（オブジェクト）を撮像し、撮像した画像が記憶部２０２に記憶されている。図８（ａ）に示す色補正パラメータ生成用オブジェクトテーブルに示すように、カメラＡとカメラＢとの間の共通オブジェクト数は、クエリＱ１、Ｑ２、Ｑ３のそれぞれに対応するオブジェクト３つであるので、共通オブジェクト数を「３」として求まる。同様に、カメラＢとカメラＥとの間の共通オブジェクト数は、クエリＱ４に対応するオブジェクト１つであるので、共通オブジェクト数を「１」となる。このように、全ての２カメラ間の共通オブジェクト数を得て、最も多い共通オブジェクト数を示すカメラの組を特定し、その片方を基準カメラに決定する。

色補正パラメータ決定部２１１は、色補正パラメータ算出部２０８によって算出された色補正パラメータの数が多いほど、正しい色補正パラメータを選ぶことができる。共通オブジェクト数が多数であれば、色補正パラメータ算出部２０８が多数の色補正パラメータを算出することができる。基準撮像装置決定部２１０が共通オブジェクト数の多いカメラを基準カメラに選ぶことで、正しい色補正パラメータを選ぶことができるという効果が得られる。

なお、共通オブジェクト数は、２カメラ間ではなく、他のカメラ全てとの間の共通オブジェクト数として求めてもよい。例えば、図８（ａ）に示す色補正パラメータ生成用オブジェクトテーブルでは、カメラＢの共通オブジェクト数は、クエリＱ１〜Ｑ４に対応するオブジェクトが他のカメラにも撮像されているので、共通オブジェクト数が「４」となる。同様に、カメラＥもクエリＱ４〜Ｑ７に対応するオブジェクトを他のカメラが撮像しているので、共通オブジェクト数が「４」となる。この場合は、他のカメラとの組み合わせで求める必要がないので、より簡単に共通オブジェクト数を求めることができる。しかし、厳密に共通オブジェクト数を求めていないため、カメラＥのように２カメラ間の共通オブジェクト数は少ないものが高い共通オブジェクト数を得てしまうこともある。そこで、これによって得た共通オブジェクト数の大きなカメラに対してのみ、さらに２カメラ間の共通オブジェクト数を求める等してもよい。これによって、全てのカメラの組み合わせに対して共通オブジェクト数を求める必要がなくなり、計算量が減少することが期待できる。

あるいは、２カメラ間の共通オブジェクト数を求めたときに、同数の共通オブジェクト数であった場合に、他カメラ全てとの共通オブジェクト数が多い方を選択してもよい。他カメラ全てとの共通オブジェクト数が多いカメラは、そのカメラに直接色合わせできるカメラが多いことを示している。そのため、このようなカメラを基準カメラに選べば、色補正を適用する回数が減少することが期待される。そのため、色補正の誤差が低減することが期待できる。

なお、上述の通りに基準カメラを決定することが望ましいが、この通りに基準カメラを決定してもよく、本実施形態における基準カメラの決定方法はこれらに限定されるものではない。

本実施形態における色合わせ処理は、フローチャート図４（ａ）を用いた第１実施例の説明と同様である。

そこで、本実施形態における色補正パラメータ算出処理について、図７を用いて説明する。本処理は色補正パラメータ算出部２０８が主に実行する。この処理では、色補正パラメータ生成用オブジェクトの画像を用いて、カメラ間で基準カメラの画像に色を合わせる補正画像を生成するために、色補正パラメータを求める処理を行う。

本処理の実行時には、色補正パラメータ生成用オブジェクトテーブルが与えられる。加えて、本処理には補正対象のカメラのリストが与えられる。また、カメラの色合わせ状態（基準カメラ・色合わせ済みカメラ・未処理カメラのいずれの状態にあるか）の情報も与えられる。加えて、基準カメラと色合わせ済みカメラがあるときは、その色補正パラメータも追加で与えられる。

以下、具体的な処理内容について、図７を用いて説明する。なお、以下の説明では、全てのカメラが未処理カメラであり、色補正パラメータ生成用オブジェクトテーブルとして図８（ａ）が与えられたものとして、説明を行う。

ステップＳ７０１では、基準カメラを決定する。具体的には、基準撮像装置決定部２１０によって、基準カメラが決定される。例えば、ユーザの入力から基準カメラが指定されていれば、それを基準カメラとして用いる。基準カメラが指定されていないとき、前記の基準撮像装置決定部２１０の説明で述べたように、２カメラ間の共通オブジェクト数が最も多いカメラを基準カメラに決定する。例えば、図８（ａ）では、カメラＡとカメラＢ間の共通オブジェクト数が「３」と最大であるため、その片方のカメラであるカメラＡが基準カメラとして決定されたとする。

ステップＳ７０２では、未処理カメラをリストアップして、各未処理カメラと色合わせ済みカメラ群との間の共通オブジェクト数を求める。そして、リストアップした未処理カメラは未処理としておく。

例えば、図８（ａ）では、未処理カメラＢ〜Ｈがリストアップされる。色合わせ済みカメラは基準カメラＡのみであるため、カメラＡとの共通オブジェクト数が求められる。具体的には、カメラＢ〜Ｄは共通オブジェクト数３、カメラＥ〜Ｈは共通オブジェクト数０と求まる。

ステップＳ７０３では、ステップＳ７０２でリストアップした未処理カメラの中に、未処理の未処理カメラがあるか否かを判定する。あるとき（ＹＥＳ）、ステップＳ７０４へ移る。ないとき（ＮＯ）、処理を終了する。

ステップＳ７０４では、未処理の未処理カメラから、共通オブジェクト数が最も大きい未処理カメラを選ぶ。図８（ａ）の例では、カメラＡとの共通オブジェクト数が３であるカメラＢ〜Ｄが最も共通オブジェクト数の大きい未処理カメラである。そのため、これらから一つを選択する。例えば、カメラＢを選択したとする。なお、選択したカメラは色合わせ処理済みとして記憶する。

ステップＳ７０５では、色補正パラメータ決定部２１２が、選ばれた未処理カメラを基準カメラに色を合わせたときに、同一の色補正結果を与える色補正パラメータの候補を数え上げる。

図８（ａ）の例では、未処理カメラＢと基準カメラＡとの間には３つの色補正パラメータを作ることができる。そこで、各色補正パラメータが同一の色補正結果を与えるか否かを判定する。この判定方法は、色補正パラメータ決定部２１１の説明において述べたように、補正画像を生成して比較して判定してもよいし、あるいは色補正パラメータ同士を比較して判定してもよい。同じと判断された色補正パラメータ同士をグループにしていくことで、同じ色補正結果を与えるパラメータ群をグループにすることができる。

ステップＳ７０６では、色補正パラメータ決定部２１１が、色補正パラメータ候補数が閾値以上であり、かつ同一の色補正結果を与える色補正パラメータの割合が閾値以上であるか否かを判定する。具体的には、ステップＳ７０５において得た、色補正パラメータの候補数と、同一の色補正結果を与えるパラメータ候補の割合を得る。

例えば、図８（ａ）のカメラＡとカメラＢの間の色補正パラメータは３つある。同一の色補正結果を与えるパラメータ数がステップＳ７０５において２つであったとき、その割合は２／３となる。予め候補数の閾値が３以上であり、割合の閾値が６割以上のとき、これらは条件を満たすため、これら２つの色補正パラメータは正しいと判断される。

ステップＳ７０６において閾値以上の割合を占めるとき（ＹＥＳ）、ステップＳ７０７へ移る。それ以外のとき（ＮＯ）、ステップＳ７０３へ移る。

ステップＳ７０７では、色補正パラメータ決定部２１１が、補正画像を生成する際に使用する色補正パラメータを決定する。ステップＳ７０６で閾値以上の割合を占めていた色補正パラメータであって、最大の割合を占めていた色補正パラメータ群を特定する。そのうちの一つを選択して、補正画像を生成する際に使用する色補正パラメータとして決定する。あるいは、特定された複数の色補正パラメータ群を用いて、平均的な色補正パラメータを生成してもよい。

ステップＳ７０８では、ステップＳ７０４で選択したカメラを色合わせ済みカメラとする。図８（ａ）の例では、カメラＢがまず色合わせ済みとなる。

ステップＳ７０９では、全てのカメラが色合わせ済みになったか否かを判定する。全てが色合わせ済みであるとき（ＹＥＳ）、処理を終了する。それ以外は（ＮＯ）、ステップＳ７０２へ移る。

図８（ａ）の例では、カメラＣ〜Ｈまでが未処理であるため、処理が継続することになる。ここまでで、基準カメラＡに対してカメラＢに色補正パラメータが求まった状態となる。同様に、ステップＳ７０２〜ステップＳ７０９を適用することで、色合わせ済みカメラ（カメラＡとカメラＢ）と共通オブジェクト数の多い、カメラＣ、Ｄに色補正パラメータが求まる。このときの色合わせ状態の一例を示すグラフを図８（ｃ）に示す。基準カメラＡに対して、カメラＢ〜Ｄに色補正パラメータが求まっている状態を示している。このとき、ステップＳ７０２〜ステップ７０９を適用すると、色合わせ済みカメラ（カメラＡ〜Ｄ）との共通オブジェクト数の多いカメラはＥであることから、カメラＥに対して色補正パラメータが求められる。この際の処理を詳細に述べる。

ステップＳ７０４では、色合わせ済みカメラ（カメラＡ〜Ｄ）との共通オブジェクト数は、カメラＥが「３」であり、カメラＦ〜Ｈは「０」であることから、カメラＥが処理対象として選ばれる。

ステップＳ７０５では、未処理カメラＥから、基準カメラＡに至る色補正結果を求める。このとき、色補正パラメータ候補は図８（ｄ）の破線で示すようにカメラＥからカメラＢ〜Ｄに対して存在する。そこで、各色補正パラメータを介して基準カメラに色補正した結果が、同一になるか否かを判定する。具体的には、「カメラＥ→カメラＢ→カメラＡ」「カメラＥ→カメラＣ→カメラＡ」「カメラＥ→カメラＤ→カメラＡ」と色補正を行った結果が同一になるか否かを判定する。各々で補正画像を生成して比較してもよい。あるいは、色補正パラメータを連結できるとき、連結した色補正パラメータを直接比較してもよい。

ここでは、その結果として、カメラＢとカメラＣに対する色補正パラメータが同一であると分かったとする。

ステップＳ７０６では、２／３が同等と判断され、候補数の閾値（３個以上）と割合の閾値（６割以上）を満たすため、ＹＥＳと判定される。

ステップＳ７０７では、カメラＢとカメラＣのうち、カメラＢに対する色補正パラメータが選択されたとする。その結果、色合わせ状態の別例を示すグラフは図８（ｅ）のようになる。

まだ、カメラＦ〜Ｈが未処理カメラとして残るので、本処理は継続される。しかし、カメラＦ〜Ｈは色合わせ済みカメラとの共通オブジェクト数が「１」と少ないため、ステップＳ７０６においてＮＯと判定され、色補正パラメータが決定されない。そのため、本処理の結果としては、図８（ｅ）に示す色合わせ状態のグラフのようになる。

なお、以上の図７のフローチャートでは、未処理カメラが残ることがある。このとき、未処理カメラと色合わせ済みカメラの間に、色補正パラメータ生成用オブジェクトがあるとき、その信頼性を考慮せずに、そのうちの１つを用いて色補正パラメータを求めるようにしてもよい。

あるいは、第１実施形態と同様に扱ってもよい。つまり、これら処理結果を破棄して、しばらくカメラからの映像取得を継続して、オブジェクトを増やしてから再びこれら処理を行ってもよい。あるいは、色補正できない状態にあるオブジェクトがあることを考慮して、照合を行うようにしてもよい。

なお、本実施形態における未処理カメラが残る場合の処理は、これらに限定されるものではない。

以上の処理によって、色補正パラメータ生成用オブジェクトから、色補正パラメータが誤って求められる場合があっても、正しい色補正パラメータを決定できるようになる。

＜第３実施形態＞
第２実施形態において、基準カメラの画像の色へと色を合わせるときに、色補正パラメータの適用を複数回行うことがある。このとき、補正量が累積するので、色合わせの誤差が大きくなることがある。そこで、色補正パラメータの適用回数を小さくすることによって誤差が小さくなるように、基準カメラを決定する画像処理装置について述べる。

本実施形態の画像処理装置の構成は、第１実施形態又は第２実施形態で示した構成と同じであるが、基準撮像装置決定部２１０の振る舞いが異なる。

基準撮像装置決定部２１０は、色合わせの基準となるカメラ（基準カメラ）を決定する。本実施形態では、色補正パラメータの適用回数を最小化するように、基準カメラを決定する。例えば、色補正パラメータの適用回数には「各カメラから基準カメラに至るまでに適用される色合わせ回数の総和」を用いる。あるいは、各カメラにおけるオブジェクトの出現頻度を加味して、色補正パラメータの適用回数には「出現頻度と色合わせ回数をかけた色合わせ頻度の総和」を用いる。あるいは、色補正誤差を小さくしたいカメラに大きな重みを設定して、重みをかけて適用回数を求めてもよい。本実施形態における色補正パラメータの適用回数の算出方法は、これらに限定されるものではない。

次に、本実施形態の画像処理装置１００の基準カメラの決定処理について図９のフローチャートを用いて説明する。なお、本処理は、例えば、図４（ａ）で説明した色合わせ処理のステップＳ４０７ａの直後において実行される。

ステップＳ９０１〜ステップＳ９０５は、色合わせ回数行列を生成するための処理である。例えば、カメラの色合わせ状態が図１０（ａ）に示す状態であったとき、色合わせ回数行列は図１０（ｂ）に示すように求まる。例えば、カメラＡとカメラＢの間は１つの色補正パラメータでつなげられているため、色合わせ回数は１となる。そのため、行列中のカメラＡとカメラＢの該当箇所も「１」となっている。同様に、カメラＡとカメラＥの間は色補正パラメータが２つあるため「２」となる。

ステップＳ９０６では、各カメラから基準カメラに至るまでに適用される色補正パラメータの適用回数を求める。具体的には、色合わせ回数行列の列ごとに和をとる。例えば、図１０（ｂ）であれば、図１０（ｃ）に示すように色合わせ回数の総和がカメラごとに得られ、これを色補正パラメータの適用回数とする。

あるいは、ここで各カメラにおけるオブジェクトの出現頻度を加味してもよい。例えば、カメラごとに単位時間当たりに観測されるオブジェクト数を求めておく。例えば、記憶部２０２に記憶されているオブジェクトの画像の数をカメラごとに集計して、１時間あたりに平均していくつのオブジェクトが出現するかを算出して、出現頻度とする。カメラごとに求めた出現頻度を図１０（ｂ）に示す色合わせ回数行列の各列の成分に、カメラごとの出現頻度を乗算して、列ごとに和をとることで適用回数を求めてもよい。あるいは、図１０（ｂ）を行列と考えて、１行に出現頻度を並べた行列を、左側からかけて求めてもよい。

ステップＳ９０７では、最小の適用回数のカメラを基準カメラとして、色補正パラメータを求める。例えば、図１０（ｃ）ではカメラＢとカメラＥが最小値をとっているので、いずれか一方を選択する。ここでは、カメラＢを基準カメラとして決定したとする。次に、カメラＢを基準カメラとして、色補正パラメータを求める。具体的には、各色補正パラメータを求めるときに用いた色補正パラメータ生成用オブジェクトの画像を用いて、各撮像装置の色が合うように色補正パラメータを求める。例えば、図１０（ｄ）に示す状態になるように色補正パラメータが求められる。

色補正パラメータ算出処理の中で、色補正パラメータを決定せずに、色補正パラメータ生成用オブジェクトの画像のみを決定しておく。そして、基準カメラを決定したのちに色合わせの方向に合わせて色補正パラメータを求めるようにして、少なく計算量でこの処理を実現することができる。

以上によって、色補正パラメータの適用回数が最小化されるように基準カメラを決定したので、補正量の累積による色合わせ誤差の増大を抑制することができる。また、色補正パラメータの適用回数として、基準カメラまでの色補正パラメータの適用回数だけでなく、各カメラにおけるオブジェクトの出現頻度を加味すると、色合わせ頻度が少なくなるように基準カメラが決定される。その結果、誤差の蓄積の抑制だけでなく、計算量を抑えることも期待できる。

＜その他の実施形態＞
上記各実施形態では、オブジェクトとして人物を用いる例について説明した。しかしながら、オブジェクトは人物に限定されるものではない。オブジェクトとして、車・ポスター・看板等を用いても良い。あるいは、スーパーマーケットなどのカート等を用いてもよい。また、きぐるみなどのマスコットキャラクター等を用いてもよい。すなわち、上記各実施形態のようにオブジェクトとして人物を用いた場合には、同一オブジェクト（同一人物）を抽出し、その肌領域、服装等の色を用いて色補正を行うことになる。これに対して、オブジェクトとして人物以外のものを用いれば、同一種類のオブジェクトを選択しても、精度よく色補正を行うことができる。例えば、同じ種類の赤い車であれば、一般にその車の外装の色は同一であり、このような色情報を用いることにより、同一のオブジェクトでなくとも精度よく色補正を行うことができる。

こうした人物以外のオブジェクトを用いるとき、オブジェクト照合部２０５で用いたオブジェクトの特徴量としては、オブジェクトに適したものを使用することが望ましい。例えば、輝度画像から抽出した画像特徴量（図３の左上に該当）としては、ＳＩＦＴ特徴量などを用いることが考えられる。

また、輝度画像から抽出した属性（図３の右上に該当）としては、利用するオブジェクトによって決定する。例えば、車などであれば、ナンバープレートの文字列などを用いることが考えられる。また、車であれば、車種なども考えられる。また、ポスター・看板であれば出現する文字列等を用いることが考えられる。また、これらオブジェクトを同時に用いる場合は、そのオブジェクトの種別などを用いることも考えられる。

なお、オブジェクトによっては色違いの同一形状のオブジェクトが存在することがある。例えば、車は色違いの同一車種が存在する。そのため、こうしたオブジェクトを用いるときは、属性情報が一致することで類似していると判断すべきである。例えば、車であればナンバープレートの番号が一致しているときのみ、類似していると判断する。

また、カラー画像から抽出した画像特徴量（図３の左下に該当）としては、オブジェクトの色ヒストグラムなどを用いることが考えられる。あるいは、領域ごとの色ヒストグラムを用いるようにしてもよい。例えば、車などであれば、領域としてボンネット・ドア・タイヤなどの領域を定義できるため、これら領域ごとに色ヒストグラムを得ることが考えられる。同様に、マスコットなども頭・胴体などの領域を定義して用いることも考えられる。

カラー画像から抽出した属性（図３の右下に該当）としては、例えば車であれば色まで特定した車種の情報を属性とすることが考えられる。

なお、オブジェクトの特徴量としては、これら以外の特徴量を用いてもよく、本発明はこれら利用する特徴量に限定されるものではない。

色補正パラメータ算出部２０８では、オブジェクト同士の色味が合うように色補正パラメータを求める。人物であれば、肌領域や服領域などを用いていた。上記人物以外のオブジェクトにおいても、予め用いる領域を決定しておいてもよい。例えば、マスコットなどであれば、そのマスコットの種別などが特定されれば、色味が豊富なパーツがあれば、そのパーツを用いるようにすることなどが考えられる。あるいは、全領域を用いて色補正パラメータを求めるようにしてもよい。

なお、色補正パラメータをこれら以外の方法で算出してもよく、本発明はこれら色補正パラメータの算出方法に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 入力部
２０２ 記憶部
２０３ 照合条件入力部
２０４ 照合結果表示部
２０５ 照合部
２０６ クエリリスト作成部
２０７ 特定部
２０８ 色補正パラメータ算出部
２０９ 補正画像生成部
２１０ 基準撮像装置決定部

Claims (9)

1. 少なくとも１つの第一撮像装置と複数の第二撮像装置と少なくとも１つの第三撮像装置とのそれぞれが撮像した同一または同一種類のオブジェクトの撮像画像から、前記同一または同一種類のオブジェクトの画像領域を切りだして、前記同一または同一種類のオブジェクトの画像として入力する入力手段と、
   前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第一オブジェクトの画像を特定し、前記第二撮像装置と前記第三撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第二オブジェクトの画像を特定する特定手段と、
   前記第一撮像装置と前記第二撮像装置と前記第三撮像装置の何れか一つを基準撮像装置として決定する決定手段と、
   前記第一撮像装置又は前記第二撮像装置の何れか一つが前記基準撮像装置として決定された場合、前記第一オブジェクトの画像の色情報に基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第一補正画像を生成し、
   前記第一オブジェクトの画像の色情報と前記第二オブジェクトの画像の色情報との少なくとも１つに基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第三撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第二補正画像を生成する生成手段と、を備え、前記第一オブジェクトと前記第二オブジェクトとを撮像した前記第二撮像装置が複数あって、複数の前記第二撮像装置ごとに、前記第一オブジェクトの画像と前記第二オブジェクトの画像との前記色情報に基づいて、生成される複数の前記第二補正画像の内、色が同一と判定された前記第二補正画像の割合が所定値以上である場合は、
   前記生成手段は、前記色が同一と判定された前記第二補正画像の何れか一つを生成することを特徴とする画像処理装置。
2. 少なくとも１つの第一撮像装置と複数の第二撮像装置と少なくとも１つの第三撮像装置とのそれぞれが撮像した同一または同一種類のオブジェクトの撮像画像から、前記同一または同一種類のオブジェクトの画像領域を切りだして、前記同一または同一種類のオブジェクトの画像として入力する入力手段と、
   前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第一オブジェクトの画像を特定し、前記第二撮像装置と前記第三撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第二オブジェクトの画像を特定する特定手段と、
   前記第一撮像装置と前記第二撮像装置と前記第三撮像装置の何れか一つを基準撮像装置として決定する決定手段と、
   前記第一撮像装置又は前記第二撮像装置の何れか一つが前記基準撮像装置として決定された場合、前記第一オブジェクトの画像の色情報に基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第一補正画像を生成し、
   前記第一オブジェクトの画像の色情報と前記第二オブジェクトの画像の色情報との少なくとも１つに基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第三撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第二補正画像を生成する生成手段と、を備え、
   前記特定手段が、一つの前記第二撮像装置の撮像した前記同一または同一種類のオブジェクトの画像から、前記第一オブジェクトの画像と前記第二オブジェクトの画像とを特定した場合、前記決定手段は、該第二撮像装置を前記基準撮像装置として決定することを特徴とする画像処理装置。
3. 前記第一オブジェクトは第一人物であって、前記第二オブジェクトは第二人物である場合、前記生成手段は、前記第一人物の画像における顔領域又は胴体領域の前記色情報に基づいて、前記第一補正画像を生成し、前記第二人物の画像における顔領域又は胴体領域の前記色情報に基づいて、前記第二補正画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特定手段は、前記同一または同一種類のオブジェクトの画像の類似度に基づいて、前記第一オブジェクトの画像と前記第二オブジェクトの画像とを特定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記特定手段は、前記生成手段によって生成された前記第一補正画像と前記第二補正画像とから、色情報に依存する前記同一または同一種類のオブジェクトの画像特徴量を抽出し、抽出された前記画像特徴量に基づいて、同一または同一種類のオブジェクトの画像を改めて特定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記特定手段は、前記生成手段によって生成された前記第一補正画像と前記第二補正画像とから、色情報に依存する前記同一または同一種類のオブジェクトの属性を抽出し、抽出された前記属性に基づいて、同一または同一種類のオブジェクトの画像を改めて特定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 少なくとも１つの第一撮像装置と複数の第二撮像装置と少なくとも１つの第三撮像装置とのそれぞれが撮像した同一または同一種類のオブジェクトの撮像画像から、前記同一または同一種類のオブジェクトの画像領域を切りだして、前記同一または同一種類のオブジェクトの画像として入力する入力工程と、
   前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第一オブジェクトの画像を特定し、前記第二撮像装置と前記第三撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第二オブジェクトの画像を特定する特定工程と、
   前記第一撮像装置と前記第二撮像装置と前記第三撮像装置の何れか一つを基準撮像装置として決定する決定工程と、
   前記第一撮像装置又は前記第二撮像装置の何れか一つが前記基準撮像装置として決定された場合、前記第一オブジェクトの画像の色情報に基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第一補正画像を生成し、
   前記第一オブジェクトの画像の色情報と前記第二オブジェクトの画像の色情報との少なくとも１つに基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第三撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第二補正画像を生成する生成工程と、
   を備え、
   前記第一オブジェクトと前記第二オブジェクトとを撮像した前記第二撮像装置が複数あって、複数の前記第二撮像装置ごとに、前記第一オブジェクトの画像と前記第二オブジェクトの画像との前記色情報に基づいて、生成される複数の前記第二補正画像の内、色が同一と判定された前記第二補正画像の割合が所定値以上である場合は、
   前記生成工程では、前記色が同一と判定された前記第二補正画像の何れか一つを生成することを特徴とすることを特徴とする画像処理方法。
8. 少なくとも１つの第一撮像装置と複数の第二撮像装置と少なくとも１つの第三撮像装置とのそれぞれが撮像した同一または同一種類のオブジェクトの撮像画像から、前記同一または同一種類のオブジェクトの画像領域を切りだして、前記同一または同一種類のオブジェクトの画像として入力する入力工程と、
   前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第一オブジェクトの画像を特定し、前記第二撮像装置と前記第三撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第二オブジェクトの画像を特定する特定工程と、
   前記第一撮像装置と前記第二撮像装置と前記第三撮像装置の何れか一つを基準撮像装置として決定する決定工程と、
   前記第一撮像装置又は前記第二撮像装置の何れか一つが前記基準撮像装置として決定された場合、前記第一オブジェクトの画像の色情報に基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第一補正画像を生成し、
   前記第一オブジェクトの画像の色情報と前記第二オブジェクトの画像の色情報との少なくとも１つに基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第三撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第二補正画像を生成する生成工程と、を備え、
   前記特定工程で、一つの前記第二撮像装置の撮像した前記同一または同一種類のオブジェクトの画像から、前記第一オブジェクトの画像と前記第二オブジェクトの画像とを特定した場合、
   前記決定工程では、該第二撮像装置を前記基準撮像装置として決定することを特徴とする画像処理方法。
9. 少なくとも１つの第一撮像装置と複数の第二撮像装置と少なくとも１つの第三撮像装置とのそれぞれが撮像した同一または同一種類のオブジェクトの撮像画像から、前記同一または同一種類のオブジェクトの画像領域を切りだして、前記同一または同一種類のオブジェクトの画像として入力する入力ステップと、
   前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第一オブジェクトの画像を特定し、前記第二撮像装置と前記第三撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像から、第二オブジェクトの画像を特定する特定ステップと、
   前記第一撮像装置と前記第二撮像装置と前記第三撮像装置の何れか一つを基準撮像装置として決定する決定ステップと、
   前記第一撮像装置又は前記第二撮像装置の何れか一つが前記基準撮像装置として決定された場合、前記第一オブジェクトの画像の色情報に基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第一撮像装置と前記第二撮像装置とのそれぞれが撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第一補正画像を生成し、
   前記第一オブジェクトの画像の色情報と前記第二オブジェクトの画像の色情報との少なくとも１つに基づいて、前記基準撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色に、前記第三撮像装置の撮像した前記同一または同一種類のオブジェクトの画像の色を合わせた第二補正画像を生成する生成ステップと、
   をコンピュータに実行させることを特徴とするプログラム。

Images