JP6595880B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像の補正技術に関するものである。

従来から、複数のカメラから取得した映像に映るオブジェクト（例えば人物など）を検索するシステムが知られている（特許文献１）。複数のカメラによる映像からオブジェクトを検索する場合、環境光や照明などにより同一オブジェクトであるにも関わらず色味が合わないことがあり、オブジェクトの照合精度を低下させていた。

特許文献１では、複数のカメラ間の色味を合わせるための色補正パラメータを予め生成しておき、色補正してからオブジェクトの照合を行うことで、照合精度の劣化を防いでいる。

特許文献２では、色空間が不明の画像データの色空間を求める方法が開示されている。具体的には、予めオブジェクトの基準色空間における基準色をデータベースに記憶しておく。そして、画像データ中にあるオブジェクトを特定して、いくつかの色空間を仮定し、オブジェクトの色味を基準色空間に変換する。このオブジェクトの色味と基準色とが許容できる程度にずれが少ないとき、その色空間を出力する。

特開２００９−５５４４３号公報 特開２００４−３４１７６２号公報

しかしながら、特許文献１では、予め色補正パラメータを複数のカメラ間に対して求めておく必要があり、時間の経過に応じて変化する環境（例えば環境光）には対処できないことがある。特許文献２では、予めオブジェクトごとに色空間と基準色等を用意しておく必要があり、色合わせができる対象が限定されていた。

本発明はこのような問題に鑑みてなされたものであり、画像中のオブジェクトを、カメラ間の観察条件の違いだけでなく、時間の経過に応じて変化する環境による影響を軽減したオブジェクトに補正するための技術を提供する。

本発明の一様態は、第２の撮像装置が第１の時間帯において撮像した第２のオブジェクトの色味を基準となる第１の撮像装置が該第１の時間帯において撮像した第１のオブジェクトの色味に補正するための第１のパラメータを用いて、前記第１の時間帯の後の第２の時間帯において前記第２の撮像装置が撮像するオブジェクトの色味を補正する第１の補正手段と、前記第２の時間帯よりも後の第３の時間帯において第３の撮像装置が撮像した第３のオブジェクトが前記第１のオブジェクトに対応する場合には、該第３のオブジェクトの色味を前記第１の撮像装置が前記第１の時間帯において撮像した前記第１のオブジェクトの色味に補正するための第２のパラメータを用いて、前記第３のオブジェクトが前記第２のオブジェクトに対応する場合には、前記第３のオブジェクトの色味を前記第２の撮像装置が前記第１の時間帯において撮像した前記第２のオブジェクトの色味に補正するための第３のパラメータと前記第１のパラメータとを用いて、前記第３の時間帯の後の第４の時間帯において前記第３の撮像装置が撮像するオブジェクトの色味を補正する第２の補正手段とを備えることを特徴とする。

本発明の構成によれば、画像中のオブジェクトを、カメラ間の観察条件の違いだけでなく、時間の経過に応じて変化する環境による影響を軽減したオブジェクトに補正することができる。

システムの構成例を示すブロック図。 画像処理装置１００の機能構成例を示すブロック図。 画像処理装置１００が行う処理のフローチャート。 ステップＳ３０３における処理のフローチャート。 ステップＳ３０４における処理のフローチャート。 ステップＳ３０５における処理のフローチャート。 オブジェクト間における色味の補正例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
以下では、次のような構成を有する画像処理装置の一例について説明する。すなわち、第２の撮像装置が第１の時間帯において撮像した第２のオブジェクトの色味を基準となる第１の撮像装置が該第１の時間帯において撮像した第１のオブジェクトの色味に補正するための第１のパラメータを用いて、第１の時間帯の後の第２の時間帯において第２の撮像装置が撮像するオブジェクトの色味を補正する（第１の補正）。そして、第２の時間帯よりも後の第３の時間帯において第３の撮像装置が撮像した第３のオブジェクトが第１のオブジェクトに対応する場合には、該第３のオブジェクトの色味を第１の撮像装置が第１の時間帯において撮像した第１のオブジェクトの色味に補正するための第２のパラメータを用いて、第３のオブジェクトが第２のオブジェクトに対応する場合には、第３のオブジェクトの色味を第２の撮像装置が第１の時間帯において撮像した第２のオブジェクトの色味に補正するための第３のパラメータと第１のパラメータとを用いて、第３の時間帯の後の第４の時間帯において第３の撮像装置が撮像するオブジェクトの色味を補正する（第２の補正）。

先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、ＰＣ（パーソナルコンピュータ）等の画像処理装置１００と、その周辺機器（入力デバイス１０９，モニタ１１０）、複数台のネットワークカメラ１１２、を有している。また、画像処理装置１００及び複数台のネットワークカメラ１１２は、ＬＡＮやインターネットなどのネットワーク回線１１１に接続されており、ネットワーク回線１１１を介して互いにデータ通信が可能なように構成されている。なお、図１に示したシステムの構成は一例であって、同等以上の機能を実現する構成であれば、如何なる構成を採用しても構わない。例えば、画像処理装置１００の機能を複数台のコンピュータに分散させ、それぞれのコンピュータが協調動作を行うことで画像処理装置１００の機能を実現させても構わない。

先ず、画像処理装置１００について説明する。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行うものとして後述する各処理を実行若しくは制御する。

ＲＯＭ１０２には、画像処理装置１００の設定データやブートプログラムなどが格納されている。

ＲＡＭ１０３は、外部記憶装置１０４からロードされたコンピュータプログラムやデータ、通信インターフェース１０７を介して複数台のネットワークカメラ１１２のそれぞれから受信した撮像画像、等を格納するためのエリアを有する。更に、ＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０３は、各種のエリアを適宜提供することが出来る。

外部記憶装置１０４は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１０４には、ＯＳ（オペレーティングシステム）や、複数台のネットワークカメラ１１２のそれぞれに対するドライバソフトウェアが保存されている。また、外部記憶装置１０４には、画像処理装置１００が行うものとして後述する各処理をＣＰＵ１０１に実行若しくは制御させるためのコンピュータプログラムやデータも保存されている。外部記憶装置１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。

なお、外部記憶装置１０４は、画像処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。

入力デバイスインターフェース１０５は、入力デバイス１０９を画像処理装置１００に接続するためのインターフェースとして機能するものである。入力デバイス１０９は、キーボードやマウスなどにより構成されており、画像処理装置１００の操作者が操作することで、各種の指示をＣＰＵ１０１に対して入力することができる。

出力デバイスインターフェース１０６は、モニタ１１０を画像処理装置１００に接続するためのインターフェースとして機能するものである。なお、出力デバイスインターフェース１０６は、モニタ１１０に代えて若しくは加えて他の出力デバイス（プリンタ等）を画像処理装置１００に接続するためのインターフェースを含んでも構わない。モニタ１１０は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。

通信インターフェース１０７は、画像処理装置１００をネットワーク回線１１１に接続するためのインターフェースとして機能するものである。画像処理装置１００は、通信インターフェース１０７を介してネットワーク回線１１１に接続されている複数台のネットワークカメラ１１２との間のデータ通信を行う。

ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、入力デバイスインターフェース１０５、出力デバイスインターフェース１０６、通信インターフェース１０７、は何れも、システムバス１０８に接続されている。

次に、複数台のネットワークカメラ１１２のそれぞれについて説明する。複数台のネットワークカメラ１１２のそれぞれは適当な位置に配置され、視界に入った空間の映像（動画像）を撮像するものである。複数台のネットワークカメラ１１２のそれぞれが撮像した映像（各フレームの撮像画像）はネットワーク回線１１１を介して画像処理装置１００に送出される。以下では、ネットワークカメラ１１２の台数をＮ（Ｎは２以上の自然数）とする。

本実施形態に係るシステムは、複数台のネットワークカメラ１１２による撮像画像に含まれている各オブジェクトのうち、クエリ画像と類似するオブジェクトを検索してユーザに提示するものである。より具体的には、画像処理装置１００は、複数台のネットワークカメラ１１２のそれぞれから撮像画像を取得すると、該撮像画像からオブジェクト（オブジェクト画像）を抽出して蓄積する。そして、画像処理装置１００にクエリ画像を入力すると、画像処理装置１００は、蓄積しているオブジェクト群のうち、該クエリ画像と類似するオブジェクトを検索してモニタ１１０に表示するなど、検索したオブジェクトをユーザに提示する。

ここで、上記の通り、複数台のネットワークカメラ１１２のそれぞれによる映像の色味は、ネットワークカメラ１１２の設置位置や姿勢に応じて変わる。また、時間経過と共に、日差しの方向や環境光の色味や強度に変化が生じたり、天候も変化したりするので、同じネットワークカメラ１１２による映像であっても、時間の経過と共に、その映像の色味は変わる。

然るに、ネットワークカメラ１１２間での観察条件の違いや、時間経過に起因する観察条件の違いにより、それぞれで異なる色味の映像となってしまい、結果として、それぞれで異なる色味のオブジェクトが抽出されてしまう。

そこで本実施形態では、複数台のネットワークカメラ１１２による撮像画像群から抽出されたそれぞれのオブジェクトの色味を、基準となるネットワークカメラが基準のタイミングで撮像した該オブジェクトの色味に補正する。これにより、ネットワークカメラ間でのオブジェクトの色味の違い、時間方向におけるオブジェクトの色味の違い、を軽減する。

以下では、この色味を補正するための補正パラメータを定期的に生成し、次の生成までは、今回生成した補正パラメータ、場合によっては過去に生成した補正パラメータをも用いて、各ネットワークカメラによるオブジェクトの色味を補正する。なお、補正パラメータの生成タイミングは定期的に限るものではなく、不定期的でも良いが、以下では説明を簡単にするために定期的とする。

より詳しくは、定期的に設けられる補正パラメータの生成期間のうち基準となる生成期間（基準時間帯：例えば、最初の生成期間）では、複数台のネットワークカメラ１１２のそれぞれが撮像したオブジェクトの色味を、該複数台のネットワークカメラ１１２のうち基準となる基準ネットワークカメラが撮像したオブジェクトの色味に補正するための補正パラメータを求める。そして、基準時間帯から次の補正パラメータ生成までの間は、複数台のネットワークカメラ１１２のそれぞれによる撮像画像中のオブジェクトの色味を、該補正パラメータを用いて補正してから出力する。これにより、基準時間帯において複数台のネットワークカメラ１１２のそれぞれで撮像されたオブジェクトは何れも、基準ネットワークカメラによるオブジェクトと略同じ色味で出力されることになる。

また、基準時間帯以降の補正パラメータ生成期間（準基準時間帯）では、過去に生成した補正パラメータだけでは、複数台のネットワークカメラ１１２のそれぞれが撮像したオブジェクトの色味を、基準ネットワークカメラが基準時間帯において撮像したオブジェクトの色味に補正するには不足しているので、その不足分の補正パラメータを求める。そして、次の補正パラメータ生成までの間は、複数台のネットワークカメラ１１２のそれぞれによる撮像画像中のオブジェクトの色味を、過去に生成した補正パラメータ及び今回生成した補正パラメータを用いて補正してから出力する。これにより、準基準時間帯において複数台のネットワークカメラ１１２のそれぞれで撮像されたオブジェクトは何れも、基準ネットワークカメラが基準時間帯において撮像したオブジェクトと略同じ色味で出力されることになる。

ここで、上記の「補正パラメータの生成期間」とは、例えば、「毎時０分〜１０分」というように、ある長さの期間が、定期的若しくは不定期的に繰り返し設けられるものである。

次に、画像処理装置１００の機能構成例について、図２のブロック図を用いて説明する。なお、図２に示した各機能部はハードウェアで構成しても良いが、本実施形態ではこれら各機能部は何れもコンピュータプログラムで実装されたものとして説明する。なお、以下では、図２の機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１０１が実行することで、該機能部に対応する機能を実現させることになる。

複数台のネットワークカメラ１１２のそれぞれによる映像（各フレームの撮像画像）は通信インターフェース１０７を介して外部記憶装置１０４に蓄積される。撮像画像には、該撮像画像の撮像日時を示す撮像日時情報や、該撮像画像を撮像したネットワークカメラに固有の識別情報、等が添付されている。オブジェクト抽出部２０１は、それぞれの撮像画像を外部記憶装置１０４から読み出し、該読み出したそれぞれの撮像画像からオブジェクト（オブジェクト画像）を抽出する。

第１の補正パラメータ生成部２０２は、オブジェクト抽出部２０１が基準時間帯の撮像画像群（基準時間帯に属する撮像日時を示す撮像日時情報が添付された撮像画像群）から抽出したオブジェクトの色味を、複数台のネットワークカメラ１１２のうち基準となるネットワークカメラ１１２（絶対基準カメラ）が該基準時間帯において撮像したオブジェクトの色味に補正するための補正パラメータを生成する。

第２の補正パラメータ生成部２０３は、オブジェクト抽出部２０１が準基準時間帯の撮像画像群から抽出したオブジェクトの色味を絶対基準カメラが基準時間帯において撮像したオブジェクトの色味に補正するための上記不足分の補正パラメータを生成する。

オブジェクト色味補正部２０４は、オブジェクト抽出部２０１が「基準時間帯と準基準時間帯の終了タイミングとの間の時間帯の撮像画像群」から抽出したオブジェクトの色味は、第１の補正パラメータ生成部２０２が生成した補正パラメータを用いて補正する。一方、オブジェクト色味補正部２０４は、オブジェクト抽出部２０１が「準基準時間帯の終了タイミング間の時間帯の撮像画像群」の撮像画像群から抽出したオブジェクトの色味については、次のようにして補正する。即ち、第１の補正パラメータ生成部２０２が生成した補正パラメータ及び第２の補正パラメータ生成部２０３が生成した補正パラメータを用いて補正する。

出力部２０５は、オブジェクト色味補正部２０４が色味を補正したそれぞれのオブジェクトを外部記憶装置１０４に格納する。

次に、複数台のネットワークカメラ１１２による映像中のオブジェクトの色味を、ネットワークカメラ間での観察条件の違いや時間の経過に起因する色味の違いを軽減するように補正して出力するための処理について、図３のフローチャートを用いて説明する。

＜ステップＳ３０１＞
オブジェクト抽出部２０１は、外部記憶装置１０４に蓄積されているそれぞれの撮像画像からオブジェクトを抽出する。なお、オブジェクト抽出部２０１は、抽出したオブジェクトには該オブジェクトに固有の識別番号を割り当て、同じオブジェクトには同じ識別番号を割り当てる。なお、撮像画像からオブジェクトを抽出する場合、撮像画像中の全てのオブジェクトを抽出しても良いが、予め定められたオブジェクトを抽出するようにしても構わない。

＜ステップＳ３０２＞
ＣＰＵ１０１は、自身が管理する不図示のタイマが計時している現在日時を参照し、該参照した現在日時が基準時間帯の開始タイミングであるのか、準基準時間帯の開始タイミングであるのか、基準時間帯にも準基準時間帯にも属していないのか否かを判断する。この判断の結果、現在日時が基準時間帯の開始タイミングである場合には、処理はステップＳ３０３に進み、準基準時間帯の開始タイミングである場合には、処理はステップＳ３０４に進む。一方、基準時間帯にも準基準時間帯にも属していない場合には、処理はステップＳ３０６に進む。

なお、ネットワークカメラ１１２がホワイトバランス等の色味調整を行う機能を有している場合には、ホワイトバランスの色味調整値が規定値を超えたタイミングの近傍を補正パラメータの生成期間の開始タイミングとしても良い。

このように、「補正パラメータの生成期間」は、カメラ間の観察環境の違いや時間の経過に伴う観察環境の変化がオブジェクトに与える影響を軽減させるために色味補正を行う期間として設定若しくは設けられる時間帯である。

＜ステップＳ３０３＞
第１の補正パラメータ生成部２０２は先ず、複数台のネットワークカメラ１１２のうち１つを絶対基準カメラに設定する。そして第１の補正パラメータ生成部２０２は、非絶対基準カメラが撮像したオブジェクトの色味を、絶対基準カメラが撮像したオブジェクトの色味に補正するための補正パラメータを生成する。ステップＳ３０３における処理の詳細については、図４のフローチャートを用いて後述する。

＜ステップＳ３０４＞
第２の補正パラメータ生成部２０３は、複数台のネットワークカメラ１１２を、「共通のオブジェクトを撮像したネットワークカメラのグループ」単位に分割する。そして第２の補正パラメータ生成部２０３は、グループごとに、該グループに属する基準カメラが撮像したオブジェクトの色味を直近の補正パラメータ生成期間で撮像されたオブジェクトの色味に補正するための補正パラメータを生成する。ステップＳ３０４における処理の詳細については、図５のフローチャートを用いて後述する。

＜ステップＳ３０５＞
第２の補正パラメータ生成部２０３は、ステップＳ３０４で分割されたグループごとに、次のような処理を行う。即ち、該グループに属するカメラのうち非基準カメラが撮像したオブジェクトの色味を該グループに属する基準カメラが撮像したオブジェクトの色味に補正する為の補正パラメータを生成する。ステップＳ３０５における処理の詳細については、図６のフローチャートを用いて後述する。

＜ステップＳ３０６＞
オブジェクト色味補正部２０４は、ステップＳ３０３からステップＳ３０６に処理が移行した場合には、基準時間帯以降の撮像日時の撮像画像から抽出されたオブジェクトの色味を、ステップＳ３０３で求めた補正パラメータを用いて補正する。一方、ステップＳ３０５からステップＳ３０６に処理が移行した場合、オブジェクト色味補正部２０４は、準基準時間帯以降の撮像日時の撮像画像から抽出されたオブジェクトの色味を、ステップＳ３０４で求めた補正パラメータとステップＳ３０５で求めた補正パラメータとの合成補正パラメータ、若しくはステップＳ３０３で求めた補正パラメータとステップＳ３０４で求めた補正パラメータとステップＳ３０５で求めた補正パラメータとの合成補正パラメータ、を用いて補正する。

＜ステップＳ３０７＞
出力部２０５は、ステップＳ３０６において色味が補正されたオブジェクト、つまり、クエリを用いたオブジェクト検索において照合先として用いられるオブジェクトを、外部記憶装置１０４等の適当な出力先に対して出力する。ステップＳ３０７の後、処理はステップＳ３０１に移行し、ステップＳ３０１以降の処理を行うことになる。

次に、上記のステップＳ３０３における処理の詳細について、図４のフローチャートを用いて説明する。

＜ステップＳ４０１＞
第１の補正パラメータ生成部２０２は先ず、複数台のネットワークカメラ１１２のうち１つを絶対基準カメラに設定する。複数台のネットワークカメラ１１２のうち何れのネットワークカメラ１１２を絶対基準カメラとするのかについては様々な方法があり、何れかの方法に限るものではない。例えば、オブジェクトの観察条件が最も良いネットワークカメラ１１２（例えば、適当な輝度の撮像画像を撮像可能な観察条件下にあるネットワークカメラ１１２）を絶対基準カメラとしても良い。

次に、第１の補正パラメータ生成部２０２は、それぞれの非絶対基準カメラのうち未選択の１つを選択カメラとして選択する。そして第１の補正パラメータ生成部２０２は、選択カメラが基準時間帯において撮像したオブジェクトの中に、絶対基準カメラが基準時間帯において撮像したオブジェクトの一部若しくは全部が含まれているか否かを判断する。この判断では、選択カメラが撮像したそれぞれのオブジェクトに対し、絶対基準カメラが撮像したそれぞれのオブジェクトとの類似度を求める。類似度は、オブジェクトの特徴量の類似度を用いる。特徴量としては、「色への依存度が低い特徴量」を用いるものとし、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いる。オブジェクトの特徴量は、該オブジェクトの抽出時や撮像画像を本装置に入力したとき等、予め求めておく。

そして、規定値以上となった類似度を求めた場合には、選択カメラによる撮像オブジェクトと絶対基準カメラによる撮像オブジェクトとで共通のオブジェクト（共通オブジェクト）が１以上存在すると判断することができる。

そして第１の補正パラメータ生成部２０２は、選択カメラと絶対基準カメラとの間で共通オブジェクトが存在する場合、選択カメラにおける共通オブジェクトの色味を絶対基準カメラにおける共通オブジェクトの色味に補正するための補正パラメータＰ１を生成する。選択カメラと絶対基準カメラとの間で２以上の共通オブジェクトが存在する場合にはそのうちの１つを用いる。なお、規定値以上となった類似度を求めていない場合には、選択カメラによる撮像オブジェクトと絶対基準カメラによる撮像オブジェクトとで共通オブジェクトが１つもないことになるため、補正パラメータの生成は行わない。

＜ステップＳ４０２＞
ＣＰＵ１０１は、ステップＳ４０１において全ての非絶対基準カメラを選択カメラとして選択したか否かを判断する。この判断の結果、全ての非絶対基準カメラを選択カメラとして選択した場合には、処理はステップＳ３０６に移行する。一方、未だ選択カメラとして選択していない非絶対基準カメラが残っている場合には、処理はステップＳ４０１に戻る。

例えば図７に示す如く、時間帯１（基準時間帯）の場合に、絶対基準カメラとしてのカメラ１と非絶対基準カメラとしてのカメラ２〜４との間に共通のオブジェクトが存在し、非絶対基準カメラとしてのカメラ５については、カメラ１が撮像したオブジェクトの何れも撮像していないケースを想定する。この場合、カメラ２によるオブジェクトの色味１２をカメラ１による該オブジェクトの色味１１に補正するための補正パラメータＰＡ１２を生成する。また、カメラ３によるオブジェクトの色味１３をカメラ１による該オブジェクトの色味１１に補正するための補正パラメータＰＡ１３を生成する。また、カメラ４によるオブジェクトの色味１４をカメラ１による該オブジェクトの色味１１に補正するための補正パラメータＰＡ１４を生成する。また、カメラ５によるオブジェクトの色味１５については、補正しないか若しくは予め設定されたデフォルトの補正パラメータを用いて補正するようにする。

なお、ステップＳ３０３の処理、即ち、図４のフローチャートに従った処理は、基準時間帯における処理である。すなわち、基準時間帯内で複数台のネットワークカメラ１１２によって撮像された撮像画像群のうち、絶対基準カメラによるオブジェクトの撮像画像、非絶対基準カメラによる該オブジェクトの撮像画像を用いて、補正パラメータを求める。

次に、上記のステップＳ３０４における処理の詳細について、図５のフローチャートを用いて説明する。

＜ステップＳ５０１＞
第２の補正パラメータ生成部２０３は、Ｎ台のネットワークカメラ１１２のうち未選択の１つを選択カメラとして選択する。そして第２の補正パラメータ生成部２０３は、Ｎ台のネットワークカメラ１１２のうち選択カメラ以外のネットワークカメラ１１２のそれぞれについて、該ネットワークカメラ１１２と選択カメラとの間に共通オブジェクトが存在するか否かを判断する。この判断処理は、上記のステップＳ４０１におけるものと同様である。そして第２の補正パラメータ生成部２０３は、選択カメラとの間で共通オブジェクトが存在したネットワークカメラ１１２と、該選択カメラと、で１つのグループを形成する。

＜ステップＳ５０２＞
第２の補正パラメータ生成部２０３は、Ｎ台のネットワークカメラ１１２の全てを選択カメラとしてステップＳ５０１で選択したか否かを判断する。この判断の結果、Ｎ台のネットワークカメラ１１２の全てを選択カメラとして選択した場合には、処理はステップＳ５０３に進む。一方、Ｎ台のネットワークカメラ１１２のうちまだ選択カメラとして選択していないネットワークカメラ１１２が残っている場合には、処理はステップＳ５０１に戻る。

＜ステップＳ５０３＞
第２の補正パラメータ生成部２０３は、ステップＳ５０１で形成したそれぞれのグループのうち未選択のグループを１つ選択グループとして選択する。そして第２の補正パラメータ生成部２０３は、選択グループに属するそれぞれのネットワークカメラ１１２について、該ネットワークカメラ１１２が撮像したそれぞれのオブジェクトの特徴量と、直近の補正パラメータ生成期間におけるそれぞれのオブジェクトの特徴量と、の類似度を求める。ここで用いる特徴量は、上記の「色への依存度が低い特徴量」である。また、「直近の補正パラメータ生成期間」とは、現在が２回目の準基準時間帯である場合には、基準時間帯であり、３回目以降の準基準時間帯である場合には、前回の準基準時間帯となる。

＜ステップＳ５０４＞
第２の補正パラメータ生成部２０３は、選択グループに属するそれぞれのネットワークカメラ１１２のうちステップＳ５０３で最も高い類似度を求めたネットワークカメラ１１２を、選択グループにおけるグループ内基準カメラ（基準撮像装置）として特定する。

＜ステップＳ５０５＞
第２の補正パラメータ生成部２０３は、グループ内基準カメラが撮像したオブジェクトのうちステップＳ５０３で最も高い類似度を求めたオブジェクトの色味を、直近の補正パラメータ生成期間におけるオブジェクトのうちステップＳ５０３で最も高い類似度を求めたオブジェクトの色味に補正するための補正パラメータＰ２を生成する。

＜ステップＳ５０６＞
第２の補正パラメータ生成部２０３は、ステップＳ５０１で形成した全てのグループをステップＳ５０３で選択グループとして選択したか否かを判断する。この判断の結果、全てのグループを選択グループとして選択した場合には、処理はステップＳ３０５に移行する。一方、未だ選択グループとして選択していないグループが残っている場合には、処理はステップＳ５０３に戻る。

例えば図７に示す如く、時間帯１の次の補正パラメータ生成期間である時間帯２（準基準時間帯）の場合、カメラ１とカメラ２との間に共通オブジェクトが存在しているため、カメラ１とカメラ２とで１つのグループが形成される。また、時間帯２においてカメラ３とカメラ５との間に共通オブジェクトが存在しているため、カメラ３とカメラ５とで１つのグループを形成している。また、時間帯２においてカメラ４は、他の何れのカメラとも、同じオブジェクトを撮像していないため、カメラ４のみで１つのグループを形成している。

また、時間帯２においてカメラ２が撮像したオブジェクトと最も類似するオブジェクトは時間帯１においてカメラ１が撮像しており、時間帯２においてカメラ３が撮像したオブジェクトと最も類似するオブジェクトは時間帯１においてカメラ４が撮像している。

このような場合、カメラ２によるオブジェクトの色味２２をカメラ１によるオブジェクトの色味１１に補正するための補正パラメータＰＡ２２を生成する。また、カメラ３によるオブジェクトの色味２３をカメラ４によるオブジェクトの色味１４に補正するための補正パラメータＰＢ２３を生成する。

また、時間帯２の次の補正パラメータ生成期間である時間帯３（準基準時間帯）の場合、カメラ１とカメラ２との間に共通オブジェクトが存在しているため、カメラ１とカメラ２とで１つのグループが形成される。また、時間帯３においてカメラ３とカメラ４とカメラ５との間に共通オブジェクトが存在しているため、カメラ３とカメラ４とカメラ５とで１つのグループを形成している。

また、時間帯３においてカメラ１が撮像したオブジェクトと最も類似するオブジェクトは時間帯２においてカメラ２が撮像しており、時間帯３においてカメラ４が撮像したオブジェクトと最も類似するオブジェクトは時間帯２においてカメラ５が撮像している。

このような場合、カメラ１によるオブジェクトの色味３１をカメラ２によるオブジェクトの色味２２に補正するための補正パラメータＰＢ３１を生成する。また、カメラ４によるオブジェクトの色味３４をカメラ５によるオブジェクトの色味２５に補正するための補正パラメータＰＢ３４を生成する。

次に、上記のステップＳ３０５における処理の詳細について、図６のフローチャートを用いて説明する。

＜ステップＳ６０１＞
第２の補正パラメータ生成部２０３は、ステップＳ５０１で形成したそれぞれのグループのうち未選択のグループを選択グループとして選択する。そして第２の補正パラメータ生成部２０３は、選択グループにおける非グループ内基準カメラにおける共通オブジェクトの色味を該選択グループにおけるグループ内基準カメラにおける該共通オブジェクトの色味に補正するための補正パラメータＰ３を生成する。

＜ステップＳ６０２＞
第２の補正パラメータ生成部２０３は、ステップＳ５０１で形成した全てのグループをステップＳ６０１で選択グループとして選択したか否かを判断する。この判断の結果、全てのグループを選択グループとして選択した場合には、処理はステップＳ３０６に移行する。一方、未だ選択グループとして選択していないグループが残っている場合には、処理はステップＳ６０１に戻る。

例えば図７に示す如く、時間帯１の次の補正パラメータ生成期間である時間帯２（準基準時間帯）の場合、カメラ１によるオブジェクトの色味２１をカメラ２によるオブジェクトの色味２２に補正するための補正パラメータＰＩ２１を生成する。また、カメラ５によるオブジェクトの色味２５をカメラ３によるオブジェクトの色味２３に補正するための補正パラメータＰＩ２５を生成する。

上記のように補正パラメータを生成することで、例えば、色味２２を補正パラメータＰＡ２２で補正することで色味１１を得ることができる。また、色味２３を補正パラメータＰＢ２３で補正することで色味１４を得ることができ、該色味１４を補正パラメータＰＡ１４で補正することで色味１１を得ることができる。また、色味２１を、補正パラメータＰＩ２１で補正することで色味２２を得ることができ、この色味２２を補正パラメータＰＡ２２で補正することで色味１１を得ることができる。また、色味２５を、補正パラメータＰＩ２５で補正することで色味２３を得ることができ、この色味２３を補正パラメータＰＢ２３で補正することで色味１４を得ることができ、該色味１４を補正パラメータＰＡ１４で補正することで色味１１を得ることができる。

また、時間帯３（準基準時間帯）の場合、カメラ２によるオブジェクトの色味３２をカメラ１によるオブジェクトの色味３１に補正するための補正パラメータＰＩ３２を生成する。また、カメラ３によるオブジェクトの色味３３をカメラ４によるオブジェクトの色味３４に補正するための補正パラメータＰＩ３３を生成する。また、カメラ５によるオブジェクトの色味３５をカメラ４によるオブジェクトの色味３４に補正するための補正パラメータＰＩ３５を生成する。

上記のように補正パラメータを生成することで、例えば、色味３１を、補正パラメータＰＢ３１で補正することで色味２２を得ることができ、色味２２を補正パラメータＰＡ２２で補正することで色味１１を得ることができる。

また、色味３２を、補正パラメータＰＩ３２で補正することで色味３１を得ることができ、色味３１を補正パラメータＰＢ３１で補正することで色味２２を得ることができ、色味２２を補正パラメータＰＡ２２で補正することで色味１１を得ることができる。

また、色味３３を、補正パラメータＰＩ３３で補正することで色味３４を得ることができ、色味３４を補正パラメータＰＢ３４で補正することで色味２５を得ることができ、色味２５を補正パラメータＰＡ２５で補正することで色味１１を得ることができる。

また、色味３４を補正パラメータＰＢ３４で補正することで色味２５を得ることができ、色味２５を補正パラメータＰＡ２５で補正することで色味１１を得ることができる。

また、色味３５を、補正パラメータＰＩ３５で補正することで色味３４を得ることができ、色味３４を補正パラメータＰＢ３４で補正することで色味２５を得ることができ、色味２５を補正パラメータＰＡ２５で補正することで色味１１を得ることができる。

このように、時間帯３では、時間帯３において求めた補正パラメータＰＢ３１、ＰＩ３２、ＰＩ３３、ＰＢ３４、ＰＩ３５と、時間帯３以前の補正パラメータ生成期間において求めた補正パラメータと、を用いて色味１１を得る。これは時間帯４以降についても同様で、今回求めた補正パラメータと、過去に求めた補正パラメータと、を用いて色味１１を得る。

このように、異なるカメラ間であっても、異なる時間帯間であっても、色味を、基準時間帯において絶対基準カメラにより撮像されたオブジェクトの色味に統一させることができる。

然るに、ステップＳ３０６では、基準時間帯におけるオブジェクトの色味については、ステップＳ３０３で生成した補正パラメータを用いて補正することになる。

また、準基準時間帯におけるグループ内基準カメラによるオブジェクトの色味は補正パラメータＰ２と、該補正パラメータＰ２による色味変換先のオブジェクトの色味を絶対基準カメラの色味に補正するために過去に求めた補正パラメータと、を用いて補正する。準基準時間帯における非グループ内基準カメラによるオブジェクトの色味は補正パラメータＰ２及びＰ３と、該補正パラメータＰ２による色味変換先のオブジェクトの色味を絶対基準カメラの色味に補正するために過去に求めた補正パラメータとを用いて補正する。

なお、補正パラメータＰＡ２２と補正パラメータＰＩ２１とを合成した補正パラメータＰＡ２１を作成しておけば、色味２１から補正パラメータＰＡ２１のみで色味１１を得ることができる。また、補正パラメータＰＢ２３と補正パラメータＰＡ１４とを合成した補正パラメータＰＡ２３を作成しておけば、色味２３から補正パラメータＰＡ２３のみで色味１１を得ることができる。また、補正パラメータＰＩ２５と補正パラメータＰＡ２３とを合成した補正パラメータＰＡ２５を作成しておけば、色味２５から補正パラメータＰＡ２５のみで色味１１を得ることができる。これは、時間帯３のＰＡ３２、ＰＡ３３、ＰＡ３５についても同様である。このような補正パラメータの合成については、様々な方法があり、例えば、補正パラメータがルックアップテーブルであれば、一方のルックアップテーブルの出力と他方のルックアップテーブルの入力とを繋げたものを合成補正パラメータとする方法がある。この場合、一方のルックアップテーブルの入力側にオブジェクトの色味を入力することで、他方のルックアップテーブルの出力側からは、補正後の色味が出力されることになる。また、補正パラメータが色補正行列である場合には、それぞれの補正行列同士の積を合成補正パラメータとする方法がある。

このような合成補正パラメータは、例えば、第１の補正パラメータ生成部２０２や第２の補正パラメータ生成部２０３による補正パラメータの生成が完了すると、オブジェクト色味補正部２０４が、これらの補正パラメータを用いて生成する。ステップＳ３０６において、幾つかの補正パラメータを用いて色味を変換するのか、それとも該幾つかの補正パラメータを合成した合成補正パラメータを用いて色味を補正するのか、について、本実施形態では何れの形態であっても良い。

また、時間帯２におけるカメラ４によるオブジェクトの色味２４については、補正しないか若しくは予め設定されたデフォルトの補正パラメータを用いて補正するようにする。そして時間帯３以降についても、時間帯２と同様にして、色味を絶対基準カメラの色味に統一させる。

なお、ステップＳ３０４，Ｓ３０５の処理、即ち、図５，６のフローチャートに従った処理は、準基準時間帯における処理である。すなわち、準基準時間帯内で複数台のネットワークカメラ１１２によって撮像された撮像画像群のうち、グループごとに共通のオブジェクトの撮像画像を用いて、補正パラメータを求める。

以上説明した図３〜６のフローチャートに従った処理により、外部記憶装置１０４には、カメラ間での観察条件の違いや時間の経過に応じた観察条件の変化による影響を排除した色味を有するオブジェクトが登録される。然るに、同じオブジェクトであっても、カメラ間での観察条件の違いや時間の経過に応じた観察条件の変化による影響によって異なるオブジェクトとして識別される可能性を極力軽減させることができる。

なお、上記の例では、オブジェクトは、その色味を補正パラメータを用いて補正してから外部記憶装置１０４に登録したが、補正のタイミングは登録前に限るものではない。例えば、オブジェクトを、色味を補正せずに、対応する補正パラメータと関連づけて外部記憶装置１０４に登録するようにしてもよい。この場合、クエリ画像を用いたオブジェクト検索時に、オブジェクトを該オブジェクトと関連づけられている補正パラメータを用いて補正してから該クエリ画像と照合するようにしても良い。この照合では、上記のような、「色への依存度が低い特徴量」ではなく、様々な特徴量を用いて構わない。この「様々な特徴量」は、色味を補正したオブジェクトから抽出される特徴量である。

なお、補正パラメータの生成方法については周知技術である。そのため、上記では別段詳しくは触れなかったが、例えば、オブジェクトが人物である場合、一方の人物の顔領域中の肌領域の色味を、他方の人物の顔領域中の肌領域の色味に近づけるようなパラメータとして生成する。

また、補正パラメータの算出とそれを用いた色補正画像の生成には、次のような方法がある。例えば、特開２００９−４９７５９号公報に記されているように、オブジェクト内の複数の対応点を求めて、その対応点同士の色の異なりから、ルックアップテーブルを構成し、該ルックアップテーブルを補正パラメータとしてもよい。また、このような補正パラメータを用いた色補正では、入力画像の画素ごとにルックアップテーブルを参照して異なる色に置き変えていくことで色補正が達成される。

あるいは、特許第４７１５５２７号に記されているように、色補正行列を求め、該色補正行列を補正パラメータとしてもよい。また、このような色補正行列を用いた色補正では、入力画像の画素ごとに色補正行列をかけることで、異なる色に置き変えていく。

また、肌の色、服の色、髪の色など、使用する特徴量が色情報そのものを持つ場合は、画像自身の補正をせずに、特徴量を補正することが可能な場合もある。

ステップＳ５０３で求めた何れの類似度も規定の閾値を超えていない場合、ステップＳ５０３では更に、直近の補正パラメータ生成期間の更に１つ過去の補正パラメータ生成期間におけるそれぞれのオブジェクトの特徴量との類似度を求めるようにしても良い。このように、過去の補正パラメータ生成期間におけるそれぞれのオブジェクトの特徴量との類似度の何れも規定の閾値を超えていない場合には、更に過去の補正パラメータ生成期間におけるそれぞれのオブジェクトの特徴量との類似度を求めるようにしても良い。

［第２の実施形態］
第１の実施形態では、オブジェクトの色味を補正する目的（補正パラメータを求めた目的）は、クエリ画像に基づくオブジェクト検索の精度を向上させることにあった。しかし、オブジェクトの色味を補正する目的はこれに限るものではない。

例えば、オブジェクトを一覧表示する際に、それぞれのオブジェクトの色味を揃えて表示するために、上記の補正パラメータを用いても構わない。この一覧表示するオブジェクトは、検索結果としてのオブジェクトであっても良いし、ユーザが入力デバイス１０９を操作することで指定したオブジェクトであっても良い。

なお、上記の「オブジェクト」は、ネットワークカメラ１１２が観察対象とするものであれば如何なるものであっても良く、人であっても良いし、構内を清掃する清掃車であっても良い。

また、上記の例では、共通オブジェクトとは「同じオブジェクト」であったが、全く同じでなくても良く、部分的に異なるオブジェクトであっても良い。例えば、同じ制服を着用しているそれぞれの職員を共通オブジェクトとしてもよい。その場合は、人物の弁別の代わりに、同じ制服か否かの弁別を行うことになる。このように、共通オブジェクトとして用いるオブジェクトは、オブジェクト間で一方を他方に色補正を行うためのものであって、オブジェクト間に規定の対応関係を有するようなオブジェクトであれば、どのようなオブジェクトであっても構わない。

また、オブジェクトの抽出処理では、撮像画像からオブジェクトを切り出すのではなく、その領域を規定する情報を収集するようにしても構わない。その場合、オブジェクトの色味を補正する際には、該情報が規定する領域内の色味を補正し、該補正の後で該領域内の画像を切り出してオブジェクトとして外部記憶装置１０４に登録するようにしても良い。

また、オブジェクトが清掃車などの場合は、清掃車の色を用いて補正パラメータを生成するようにしても構わない。清掃車を多色塗装することで、カラーパッチを用いたときと同じような複数色の色味を補正するパラメータを生成することも可能である。また、職員の制服の色を利用することも可能である。その場合は、人物の弁別を行う必要が無くなり、制服着用有無のみの判断をすることで色補正が可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０２：第１の補正パラメータ生成部 ２０３：第２の補正パラメータ生成部 ２０４：オブジェクト色味補正部

Claims (11)

1. 第２の撮像装置が第１の時間帯において撮像した第２のオブジェクトの色味を基準となる第１の撮像装置が該第１の時間帯において撮像した第１のオブジェクトの色味に補正するための第１のパラメータを用いて、前記第１の時間帯の後の第２の時間帯において前記第２の撮像装置が撮像するオブジェクトの色味を補正する第１の補正手段と、
   前記第２の時間帯よりも後の第３の時間帯において第３の撮像装置が撮像した第３のオブジェクトが前記第１のオブジェクトに対応する場合には、該第３のオブジェクトの色味を前記第１の撮像装置が前記第１の時間帯において撮像した前記第１のオブジェクトの色味に補正するための第２のパラメータを用いて、前記第３のオブジェクトが前記第２のオブジェクトに対応する場合には、前記第３のオブジェクトの色味を前記第２の撮像装置が前記第１の時間帯において撮像した前記第２のオブジェクトの色味に補正するための第３のパラメータと前記第１のパラメータとを用いて、前記第３の時間帯の後の第４の時間帯において前記第３の撮像装置が撮像するオブジェクトの色味を補正する第２の補正手段と
   を備えることを特徴とする画像処理装置。
2. 前記第２の補正手段は、前記第３のオブジェクトが前記第２のオブジェクトに対応する場合には、前記第３のパラメータと前記第１のパラメータとを合成したパラメータを用いて、前記第４の時間帯において前記第３の撮像装置が撮像するオブジェクトの色味を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の補正手段は、
   前記第３の時間帯において第４の撮像装置が撮像した第４のオブジェクトが前記第３のオブジェクトに対応する場合には、該第４のオブジェクトの色味を前記第３の時間帯において前記第３の撮像装置が撮像した前記第３のオブジェクトの色味に補正するための第４のパラメータと、前記第３のオブジェクトが前記第１のオブジェクトに対応する場合には前記第２のパラメータ、前記第３のオブジェクトが前記第２のオブジェクトに対応する場合には前記第３のパラメータ及び前記第１のパラメータ、を用いて、前記第４の時間帯において前記第４の撮像装置が撮像するオブジェクトの色味を補正する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１のオブジェクト、前記第２のオブジェクト、前記第３のオブジェクト、前記第４のオブジェクトは同じオブジェクトであることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１のオブジェクト、前記第２のオブジェクト、前記第３のオブジェクト、前記第４のオブジェクトは互いに部分的に異なるオブジェクトであることを特徴とする請求項３に記載の画像処理装置。
6. 前記第１の時間帯、前記第２の時間帯、前記第３の時間帯、前記第４の時間帯のそれぞれは、定期的若しくは不定期的に設けられる時間帯であり、互いに異なる時間帯であることを特徴とする請求項３に記載の画像処理装置。
7. 前記第１の時間帯、前記第２の時間帯、前記第３の時間帯、前記第４の時間帯は、前記第１の撮像装置及び前記第２の撮像装置が色味調整を行う機能を有している場合には、色味調整値が規定値を超えたタイミングの近傍の時間帯であり、互いに異なる時間帯であることを特徴とする請求項３に記載の画像処理装置。
8. 更に、
   前記第１の補正手段が補正したオブジェクトと前記第２の補正手段が補正したオブジェクトとを登録する登録手段を備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 更に、
   クエリ画像を取得する手段と、
   前記クエリ画像に基づいて前記登録手段が登録したオブジェクトに対する検索を行う検索手段と
   を備えることを特徴とする請求項８に記載の画像処理装置。
10. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の第１の補正手段が、第２の撮像装置が第１の時間帯において撮像した第２のオブジェクトの色味を基準となる第１の撮像装置が該第１の時間帯において撮像した第１のオブジェクトの色味に補正するための第１のパラメータを用いて、前記第１の時間帯の後の第２の時間帯において前記第２の撮像装置が撮像するオブジェクトの色味を補正する第１の補正工程と、
    前記画像処理装置の第２の補正手段が、前記第２の時間帯よりも後の第３の時間帯において第３の撮像装置が撮像した第３のオブジェクトが前記第１のオブジェクトに対応する場合には、該第３のオブジェクトの色味を前記第１の撮像装置が前記第１の時間帯において撮像した前記第１のオブジェクトの色味に補正するための第２のパラメータを用いて、前記第３のオブジェクトが前記第２のオブジェクトに対応する場合には、前記第３のオブジェクトの色味を前記第２の撮像装置が前記第１の時間帯において撮像した前記第２のオブジェクトの色味に補正するための第３のパラメータと前記第１のパラメータとを用いて、前記第３の時間帯の後の第４の時間帯において前記第３の撮像装置が撮像するオブジェクトの色味を補正する第２の補正工程と
    を備えることを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images