WO2007080834A1

WO2007080834A1 - 色補正処理装置および色補正処理方法、ならびに、動的なカメラ色補正装置およびそれを用いた映像検索装置

Info

Publication number: WO2007080834A1
Application number: PCT/JP2007/050041
Authority: WO
Inventors: Sumio Yokomitsu; Hiromichi Sotodate; Hailin Yan; Chak Joo Lee
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2006-01-10
Filing date: 2007-01-05
Publication date: 2007-07-19
Also published as: US20110267491A1; CN102164238A; CN102164287A; CN102164238B; EP2296104A1; EP1973074A1; US20090002517A1; EP1973074A4; US8018494B2; CN102164287B; US8698913B2

Abstract

　色補正処理装置（１）は、ソースカラーとリファレンスカラーを含むカラーセット情報を記憶するカラーセット情報記憶部（１１）と、二つのカメラ２で撮影された各ソース画像から特定のソース領域を選択する領域選択部（６）と、ソース領域を代表する色としてソース領域カラーを決定する領域カラー決定部（７）と、ソース領域カラーを用いてカラーセットのソースカラーを更新するカラーセット更新部（１０）と、カラーセットを用いて二つのソース画像のうちソースカラーと類似範囲内の色をリファレンスカラーに校正する色補正部（８）を備える。色補正処理に不用なカラーセットの情報を保持しなくてすみ、計算負荷が軽減されて、照明環境の変化にリアルタイムで対応することができる。

Description

明細書

色補正処理装置および色補正処理方法、ならびに、動的なカメラ色補正装置およびそれを用いた映像検索装置

技術分野

[0001] 本発明（第 1発明）は、複数の撮像装置で撮影された画像に色補正処理を施す色補正処理装置に関し、照明環境の変化等への適応性を向上した色補正処理装置に関するものである。また、本発明（第 2発明）は、カメラによって撮像されて得られた画像を補正する動的なカメラ色補正装置と、その動的なカメラ色補正装置を用いた映像検索装置に関するものである。

背景技術

[0002] 第 1発明について、従来、複数のカメラで撮影した画像にコンピュータで画像処理を施して、人物等のオブジェクトを追跡監視する追跡監視システムが知られて、る。このような追跡監視システムでは、各カメラの特性、照明環境、設置条件などが違うと、各カメラで撮影した同一のオブジェクト（例えば、人物等）の画像の見え方、特にォブジエタトの色の見え方力各カメラで異なる。したがって、複数のカメラを用いてォブジェタトの追跡を行うためには、複数カメラ間で異なる色の見え方をする同一のォブジェタトの対応付けを図る、すなわち色の恒常性を維持する必要がある。従来の追跡監視システムでは、オブジェクトの色情報を用いて、複数カメラ間でのオブジェクトの色の校正処理を行うことにより、複数のカメラで撮影した同一のオブジェクトの対応付けが行われている。これにより、複数のカメラ間におけるオブジェクトの対応付けの精度が向上し、複数カメラ間でのオブジェクトの追跡精度の向上が図られている。

[0003] このような追跡監視システムでは、例えば、照明環境の変化があった場合に、照明環境の変化に応じてオブジェクトの色情報を更新する必要がある。従来、照明環境の変化を検出する方法として、画像の変化を検出するために 2つの画像領域の対応するピクセル間の偏差を検出する方法が知られている。この方法は、例えば米国特許第 4779095号明細書に記載されている。また、照明環境の変化を検出する他の方法として、新たなシーンの始まりを検出するために映像を格納し、映像信号の代表値を用いてシーン変化の検出を実現する方法が知られている。この方法は、例えば米国特許第 4823184号明細書に記載されている。また、照明環境の変化を検出する他の方法として、多くの画像の特性を基に、個々の画像の特徴ベクトルを作成し、各ベクトルの違、を計算して得られた値 (オブジェクトの特徴を持つ値）がそれぞれの画像に対して変化したときシーンの変化を検出する方法が知られている。この方法は、例えば米国特許第 4912770号明細書に記載されている。

[0004] し力しながら、従来の追跡監視システムでは、例えば、追跡対象のオブジェクトが追カロされると、それに伴ってオブジェクトの色情報が追加される。この場合、新たに追カロされたオブジェクトと同様のオブジェクトの色情報をすでに保持している場合であっても、オブジェクトの追カロにともなってオブジェクトの色情報が追加される。このように、色補正処理に不用なオブジェクトの色情報まで追加されると、オブジェクトの色情報が過度に多くなる。すなわち、オブジェクトの色情報が増加すると、色補正処理に用いる情報量が多くなるため、色補正処理に要する時間が長くなり、色補正処理の動作も不安定になる。

[0005] また、照明環境が変化した場合には、それまで使用していたオブジェクトの色情報が使用できなくなり、その分だけ不用な色情報が増える。そして、照明環境が変化したときには、すぐにその変化に対応して、新しい色情報を入手する必要がある。しかし、従来の照明環境の変化の検出方法では、計算負荷が非常に大きぐリアルタイム処理に適していない。

[0006] 第 2発明について、従来のカメラを用いて人物や物体を追跡、検索する装置は、人物や物体の色情報を用いた装置が多く使用されている。色情報を用いる場合、カメラの個体差、光源環境の影響を補正するために、設置したカメラで一度カラーチャート等の特定色パターンを撮像し、個々にカメラパターンを導入する手法がある。このような技術は、例えば特開平 11— 186487号公報に記載されている。

[0007] し力しながら、監視システムの場合、屋内、屋外、場所を問わず設置されることが常である。特に屋外においては、日照等の動的な変化により監視オブジェクトの色の見え方が時刻、天候等によって刻々と変化する。そのため、設置カメラにいったん導入したカメラパラメータを動的に更新する必要がある。さらに、設置カメラ台数、日照環境の多様さを考慮すると、カメラパラメータ更新の自動化は必須である。発明の開示

発明が解決しょうとする課題

[0008] 本発明（第 1発明）は、上記背景の下でなされたものである。本発明（第 1発明）の目的は、計算負荷が小さぐ照明環境の変化にもリアルタイムで対応することのできる色補正処理装置を提供することにある。

[0009] 本発明（第 2発明）は、上記背景の下でなされたものである。本発明（第 2発明）の目的は、カメラ設置環境、日照環境等といった撮像環境の変動に影響されることなぐ画像の色を適切に補正できる色補正装置およびそれを用いた映像検索装置を提供することにある。

課題を解決するための手段

[0010] 本発明（第 1発明）の一の態様は、色補正処理装置であり、色補正の対象となるソ一スカラーの色情報と、色補正後のリファレンスカラーの色情報を含むカラーセット情報を記憶するカラーセット情報記憶部と、カラーセットを用いて、複数の撮像装置で撮影された各ソース画像のうちソースカラーと類似範囲内の色をリファレンスカラーに校正する色補正部と、各ソース画像から特定のソース領域を選択する領域選択部と、ソース領域を代表する色としてソース領域カラーを決定する領域カラー決定部と、ソース領域カラーを用いて、カラーセットのソースカラーを更新するカラーセット更新部と、を備えている。

[0011] 本発明（第 1発明）の別の態様は、色補正処理方法であり、色補正の対象となるソ一スカラーの色情報と、色補正後のリファレンスカラーの色情報を含むカラーセット情報を記憶し、複数の撮像装置で撮影された各ソース画像カゝら特定のソース領域を選択し、ソース領域を代表する色としてソース領域カラーを決定し、ソース領域カラーを用いて、カラーセットのソースカラーを更新し、カラーセットを用いて、複数のソース画像のうちソースカラーと類似範囲内の色をリファレンスカラーに校正する。

[0012] 本発明（第 2発明）の一の態様は、動的なカメラ色補正装置であり、監視領域を撮像する撮像部力入力される画像の色補正を行うカメラ色補正装置であって、特定のカラーチャートから色補正パラメータを決定する色補完部と、色補正パラメータに基づ、て、撮像部が撮像した画像の色補正を行、色補正画像を出力する色補正部と、色補正画像から背景画像を抽出する背景抽出部と、背景画像が、背景か否かを確認する背景確認部と、確認された背景画像から色情報を抽出する色抽出部と、抽出された色情報が変化した場合に、色補正パラメータを変更させる色比較部とを備えている。

[0013] 本発明（第 2発明）の別の態様は、映像検索装置であり、上記の動的なカメラ色補正装置と、色補正部で補正した撮像画像カゝら画像内の動きのある領域を抽出する動領域抽出部と、動領域抽出部で抽出された領域に人物が含まれるかどうか判別し、領域から人物領域を抽出する人判別部と、人判別部で抽出された人物領域をブロック分割する領域分割部と、領域分割部でブロック分割された各領域から、色情報とテタスチヤ情報とを抽出する代表色算出部と、代表色算出部で抽出された色情報とテタスチヤ情報とを蓄積するデータベースと、データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索した、人物の色情報およびテクスチャ情報とを比較し、スコアを算出する人物検索部と、人物検索部で算出されたスコアを表示する検索結果表示部とを備えて、る。

[0014] 本発明（第 2発明）の別の態様は、映像検索装置であり、上記の動的なカメラ色補正装置と、色補正部で補正した撮像画像カゝら画像内の動きのある領域を抽出する動領域抽出部と、動領域抽出部で抽出された領域に人物が含まれるかどうか判別し、領域から人物領域を抽出する人判別部と、人判別部で抽出された人物領域をブロック分割する領域分割部と、領域分割部でブロック分割された各領域から、色情報とテタスチヤ情報とを抽出する代表色算出部と、代表色算出部で抽出された色情報とテタスチヤ情報とを蓄積するデータベースと、データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索した、人物の色情報およびテクスチャ情報とを比較し、スコアを算出し、特定のスコアの撮像画像を再生するよう再生命令を送信する人物検索部と、色補正部で補正した撮像画像を所定の圧縮方式で圧縮する圧縮部と、圧縮部で圧縮された撮像画像を格納するストレージと、人物検索部が送信した再生命令に基づき、ストレージに格納された圧縮部で圧縮された撮像画像を読み出し、所定の伸張方式で伸張する展開部と、展開部で展開された撮像画像を表示する表示部と備えている。

[0015] 本発明（第 2発明）の別の態様は、複数のカメラに接続される映像検索装置であり、上記の動的なカメラ色補正装置と、色補正部で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出部と、動領域抽出部で抽出された領域に人物が含まれるかどうか判別し、領域から人物領域を抽出する人判別部と、人判別部で抽出された人物領域をブロック分割する領域分割部と、領域分割部でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出部と、特定の人物の色情報とテクスチャ情報とが格納された検索人物データベースと、検索人物データベースに格納された色情報およびテクスチャ情報と、代表色算出部で算出された色情報およびテクスチャ情報とを比較し、同一人物のものである場合、代表色算出部が検出した人物が撮像されている色補正部で補正した撮像画像を表示するようカメラ切替命令を送信する人物マッチング部と、人物マッチング部が送信したカメラ切替命令に基づき、色補正部で補正した撮像画像を撮像するカメラに切り替える映像切替部と、映像切替部で切り替えられた色補正部で補正した撮像画像をモニタ表示する表示部とを備えている。

[0016] 本発明（第 2発明）の別の態様は、色補正装置であり、監視領域を撮像する撮像部から入力された画像の色補正を色補正パラメータに基づいて行う色補正装置であつて、画像中の背景領域を抽出する背景領域抽出部と、背景領域の色情報を抽出する色情報抽出部と、参照テーブルに格納されている、初期運用時における背景領域の色情報と、抽出した色情報とを比較する色情報比較部と、比較結果に基づいて、色補正パラメータを変更するパラメータ変更部と、を備えて、る。

[0017] 以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図面の簡単な説明

[0018] [図 1]図 1は、本発明（第 1発明）の実施の形態における色補正処理装置のブロック図 [図 2]図 2は、本発明の実施の形態におけるカメラ画像を説明するための概略図 [図 3]図 3は、本発明の実施の形態における領域選択部のブロック図 [図 4]図 4は、本発明の実施の形態における領域カラー決定部のブロック図

[図 5]図 5は、本発明の実施の形態における色補正部のブロック図

[図 6]図 6は、本発明の実施の形態におけるカラーセット情報を説明する表

[図 7]図 7は、本発明の実施の形態におけるオブジェクト類似判定部のブロック図

[図 8]図 8は、本発明の実施の形態における照明変化検出部のブロック図

[図 9]図 9は、本発明の実施の形態におけるカラーセット更新部のブロック図

[図 10]図 10は、本発明の実施の形態において、ソースオブジェクトのオブジェクトカラ一を用いて、色補正処理およびソースカラーの更新処理を行うときの全体の流れを示すフロー図

[図 11]図 11は、本発明の実施の形態において、ソースオブジェクトのオブジェクトカラ一を用いて、色補正処理を行うときの流れを示すフロー図

[図 12]図 12は、本発明の実施の形態において、ソースオブジェクトのオブジェクトカラ一を用いて、ソースカラーの更新処理を行うときの流れを示すフロー図

[図 13]図 13は、本発明の実施の形態において、対応領域の対応領域カラーを用いて、色補正処理およびソースカラーの更新処理を行うときの全体の流れを示すフロー図

[図 14]図 14は、本発明の実施の形態において、対応領域の対応領域カラーを用いて、ソースカラーの更新処理を行うときの流れを示すフロー図

[図 15]図 15は、本発明の実施の形態において、対応領域の対応領域カラーを用いて、色補正処理を行うときの流れを示すフロー図

[図 16]図 16は、本発明（第 2発明）の第 1の実施の形態における動的なカメラ色補正装置のブロック図

圆 17A]図 17Aは、本発明の第 1の実施の形態におけるカラーチャートの模式図 [図 17B]図 17Bは、理論的な UV色空間とカラー化チャートの理論的な UV値の一例 [図 17C]図 17Cは、 UV色空間とカラー化チャートをカメラ撮像した場合の UV値の一例

[図 18]図 18は、本発明の第 1の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図 [図 19]図 19は、本発明の第 1の実施の形態における動的なカメラ色補正装置の色補正動作説明のための模式図

[図 20]図 20は、本発明の第 1の実施の形態における動的なカメラ色補正装置の参照テープノレの一例

[図 21]図 21は、本発明の第 1の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図

[図 22]図 22は、本発明の第 2の実施の形態における動的なカメラ色補正装置のプロック図

圆 23A]図 23Aは、本発明の第 2の実施の形態における UV色空間と背景色をカメラ撮像した場合の UV値の一例

[図 23B]図 23Bは、 UV色空間と背景色をカメラ撮像した場合の UV値の他の例

[図 24]図 24は、本発明の第 2の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図

[図 25]図 25は、本発明の第 3の実施の形態における動的なカメラ色補正装置のプロック図

[図 26]図 26は、本発明の第 3の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図

[図 27]図 27は、本発明の第 3の実施の形態におけるブロック分割した背景画像一例 [図 28]図 28は、本発明の第 4の実施の形態における動的なカメラ色補正装置のプロック図

[図 29]図 29は、本発明の第 4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図

[図 30A]図 30Aは、本発明の第 4の実施の形態における現画像および背景画素の一例

[図 30B]図 30Bは、背景画素について時系列で作成したヒストグラムの一例

[図 31]図 31は、本発明の第 4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図

[図 32]図 32は、本発明の第 5の実施の形態における動的なカメラ色補正装置のプロック図

[図 33]図 33は、本発明の第 5の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図

[図 34]図 34は、本発明の第 5の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図

[図 35]図 35は、本発明の第 6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置のブロック図

[図 36]図 36は、本発明の第 6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図

[図 37]図 37は、本発明の第 6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のための模倣図

[図 38]図 38は、本発明の第 6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図

[図 39]図 39は、本発明の第 7の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置のブロック図

[図 40]図 40は、本発明の第 7の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図

[図 41]図 41は、本発明の第 7の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図

[図 42]図 42は、本発明の第 8の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置のブロック図

[図 43]図 43は、本発明の第 8の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図

符号の説明

1 色補正処理装置

2 カメラ

5 ソース画像獲得部

6 領域選択部 (領域選択手段）領域カラー決定部 (領域カラー決定手段）

色補正部 (色補正手段）

照明変化検出部 (照明変化検出手段）

カラーセット更新部 (カラーセット更新手段）

カラーセット情報記憶部 (カラーセット情報記憶手段）オブジェクト類似判定部 (オブジェクト類似判定手段）リファレンスオブジェクト記憶部

ソースオブジェクト抽出部（ソースオブジェクト抽出手段）背景画像獲得部 (背景画像獲得手段）

対応領域探索部 (対応領域探索手段）

オブジェクトカラー決定部 (オブジェクトカラー決定手段）対応領域カラー決定部 (対応領域カラー決定手段）領域分割部 (領域分割手段）

特徴量獲得部

特徴量類似判定部

色距離計算部

照明変化判定部

重み付け計算部

0、 700、 1000、 1300、 1700 動的なカメラ間色補正装置00 監視装置

0 カメラ

0 色補正部

1、 1321 背景抽出部

2、 1322 背景確認部

3 色抽出部

4 参照テーブル

5 色比較部

6、 726 色補完部 1027 更新タイミング判別部

1328、 1329 ノッファ

1730 背景変化確認部

2031 動領域抽出部

2032 人判別部

2033 領域分割部

2034 代表色算出部

2035 DB

2036、 2436 人物検索部

2037 検索結果表示部

2038 キーボード 'マウス

2439 圧縮部

2440 ストレージ

2441 展開部

2442 表示部

2743 人物マッチング部

2744 検索人物 DB

2745 映像切替部

200 カラーチャートの一例

210 理論的な UV色空間

211 カラーチャートの UV値の一例

220 カメラ撮像後の UV色空間

221 カメラ撮像後のカラーチャートの UV値の一例

400 カメラ撮像後のカラーチャート画像

401 色補正処理ブロック

402 色補正後のカラーチャート画像

800、 810 カメラ撮像後の UV色空間

801、 811 カメラ撮像後の背景色の UV値の一例発明を実施するための最良の形態

[0020] 以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。

[0021] 以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。

[0022] 本発明（第 1発明）の色補正処理装置は、色補正の対象となるソースカラーの色情報と、色補正後のリファレンスカラーの色情報を含むカラーセット情報を記憶するカラ一セット情報記憶部と、カラーセットを用いて、複数の撮像装置で撮影された各ソース画像のうちソースカラーと類似範囲内の色をリファレンスカラーに校正する色補正部と、各ソース画像から特定のソース領域を選択する領域選択部と、ソース領域を代表する色としてソース領域カラーを決定する領域カラー決定部と、ソース領域カラーを用いて、カラーセットのソースカラーを更新するカラーセット更新部とを備えた構成を有している。

[0023] この構成により、ソース領域のソース領域カラーを用いて、カラーセットのソースカラ一が置き換えられて更新される。したがって、追跡対象のオブジェクトが追加された場合や、照明環境に変化があった場合であっても、色補正処理に不用な情報を保持しなくてすむ。これにより、色補正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。したがって、色補正処理に要する時間が短くなり、色補正処理の動作が安定する。また、計算負荷が小さいので、照明環境の変化にもリアルタイムで対応できる。

[0024] また、本発明の色補正処理装置では、領域選択部は、複数のソース画像から、背景画像中を移動する前景オブジェクト (例えば、人物など）をソースオブジェクトとして抽出するソースオブジェクト抽出部を備え、領域カラー決定部は、ソースオブジェクトの平均色を、ソース領域カラーであるオブジェクトカラーとして決定するオブジェクト力ラー決定部を備え、色補正処理装置には、ソースオブジェクトと所定のリファレンスォブジエタトが類似する力否かを判定するオブジェクト類似判定部が備えられ、カラーセット更新部は、ソースオブジェクトとリファレンスオブジェクトが類似すると判定されたときに、ソースオブジェクトのオブジェクトカラーを用いて、カラーセットのソースカラーを更新する構成を有してもょヽ。

[0025] この構成により、追跡対象のオブジェクトが追加された場合であっても、ソースォブジヱタトがリファレンスオブジェクトと類似するときには、ソースオブジェクトのオブジェタトカラー（ソースオブジェクトの平均色）を用いて、カラーセットのソースカラーが更新され、色補正処理に不用なカラーセットの情報を保持しなくてすむ。これにより、色補正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。

[0026] また、本発明の色補正処理装置では、オブジェクト類似判定部は、ソースオブジェタトとリファレンスオブジェクトの特徴量を比較することにより、ソースオブジェクトとリフアレンスオブジェクトの類似度を判定する構成を有しもよい。

[0027] この構成により、ソースオブジェクトとリファレンスオブジェクトの特徴量 (例えば、移動速度、大きさ、縦横比など)を用いてオブジェ外の類似度を判定することができ、ソースオブジェクトとリファレンスオブジェクトの対応付けの精度が向上し、ソースォブジタトの追跡精度が向上する。

[0028] また、本発明の色補正処理装置では、カラーセット更新部は、ソースオブジェクトのオブジェクトカラーとカラーセットのソースカラーの重み付け平均処理で得られた重み付け平均色を、更新用のソースカラーとして用いる構成を有してもょ、。

[0029] この構成により、ソースオブジェクトのオブジェクトカラーとカラーセットのソースカラ一との色の違いが大きい場合あっても、重み付けの度合いを調整することにより、更新用のソースカラーの色を調整することができる。

[0030] また、本発明の色補正処理装置では、カラーセット情報記憶部には、ソースカラーの色情報を獲得した領域情報を含むカラーセット情報が記憶され、領域選択部は、複数のソース画像から背景画像を獲得する背景画像獲得部と、背景画像から、ソースカラーの領域情報に対応する対応領域 (例えば、街路榭ゃ道路など）を探索する対応領域探索部を備え、領域カラー決定部は、対応領域の平均色を、ソース領域力ラーである対応領域カラーとして決定する対応領域カラー決定部を備え、色補正処理装置には、対応領域カラーに基づいて、ソース画像における照明環境の変化を検出する照明変化検出部が備えられ、カラーセット更新部は、照明環境に変化があつたと判定されたときに、対応領域カラーを用いてカラーセットのソースカラーを更新する構成を有してちょい。

[0031] この構成により、照明環境に変化があった場合であっても、照明環境に変化があつたと判定されたときには、対応領域カラーを用いてカラーセットのソースカラーが更新され、色補正処理に不用なカラーセットの情報を保持しなくてすむ。これにより、色補正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。

[0032] また、本発明の色補正処理装置では、照明変化検出部は、対応領域カラーとソースカラーの色距離を算出する色距離算出部と、対応領域カラーとソースカラーの色距離が、所定のしきい色距離よりも大きいときに、照明環境に変化があつたと判定する照明変化判定部とを備えた構成を有してもょヽ。

[0033] この構成により、対応領域カラーとソースカラーの色距離 (色空間における二つの色座標の間の距離)を用いて照明環境の変化の有無を判定することができ、従来の照明環境の変化の検出方法に比べて計算負荷が軽減され、照明環境の変化等への適応性が向上する。

[0034] また、本発明の色補正処理装置では、背景画像獲得部は、所定の時間間隔で、複数のソース画像力も背景画像を獲得し、照明変化検出部は、所定の時間間隔で、ソース画像における照明環境の変化を検出する構成を有してもよい。

[0035] この構成により、所定の時間間隔で、ソース画像力背景画像を獲得し、照明環境の変化を検出する。したがって、照明環境が変化する頻度に応じて所定の時間間隔を調整することにより、照明環境の変化の検出計算を行う頻度を調整することができ、常に照明環境の変化を検出する場合に比べて計算負荷が軽減される。

[0036] また、本発明の色補正処理装置では、色補正部は、対応領域を複数の小領域に分割する領域分割部を備え、複数の小領域ごとに、対応領域カラーを用いてカラーセットのソースカラーを更新する構成を有してもょ、。

[0037] この構成により、対応領域 (例えば、街路樹)がそれぞれ異なる色を有する複数の小領域 (例えば、葉の部分と幹の部分)から構成されているときには、複数の小領域ごとの対応領域カラーを用いてソースカラーを更新でき、対応領域の対応付けの精度が向上する。

[0038] 本発明の色補正処理方法では、色補正の対象となるソースカラーの色情報と、色補正後のリファレンスカラーの色情報を含むカラーセット情報を記憶し、複数の撮像装置で撮影された各ソース画像カゝら特定のソース領域を選択し、ソース領域を代表する色としてソース領域カラーを決定し、ソース領域カラーを用いて、カラーセットのソ一スカラーを更新し、カラーセットを用いて、複数のソース画像のうちソースカラーと類似範囲内の色をリファレンスカラーに校正する。

[0039] また、本発明の色補正処理方法では、ソース画像から、背景画像中を移動する前景オブジェクトをソースオブジェクトとして抽出し、ソースオブジェクトの平均色を、ソース領域カラーであるオブジェクトカラーとして決定し、ソースオブジェクトと所定のリファレンスオブジェクトが類似するか否かを判定し、ソースオブジェクトとリファレンスォブジェタトが類似すると判定されたときに、ソースオブジェクトのオブジェクトカラーを用いて、カラーセットのソースカラーを更新してもよい。

[0040] また、本発明の色補正処理方法では、ソースカラーの色情報を獲得した領域情報を含むカラーセット情報を記憶し、複数のソース画像カゝら背景画像を獲得し、背景画像から、ソースカラーの領域情報に対応する対応領域を探索し、対応領域の平均色を、ソース領域カラーである対応領域カラーとして決定し、対応領域カラーに基づいて、ソース画像における照明環境の変化を検出し、照明環境に変化があつたと判定されたときに、対応領域カラーを用いてカラーセットのソースカラーを更新してもよい。

[0041] 本発明（第 1発明）は、ソース領域カラーを用いてカラーセットのソースカラーを更新するカラーセット更新部を設けることにより、色補正処理に不用なカラーセットの情報を保持しなくてすみ、計算負荷が軽減されて、照明環境の変化にリアルタイムで対応できる。

[0042] 本発明（第 2発明）の動的なカメラ色補正装置は、監視領域を撮像する撮像部から入力される画像の色補正を行うカメラ色補正装置であって、特定のカラーチャートから色補正パラメータを決定する色補完部と、色補正パラメータに基づいて、撮像部が撮像した画像の色補正を行！、色補正画像を出力する色補正部と、色補正画像から背景画像を抽出する背景抽出部と、背景画像が、背景か否かを確認する背景確認部と、確認された背景画像から色情報を抽出する色抽出部と、抽出された色情報が変化した場合に、色補正パラメータを変更させる色比較部とを備える構成を有してヽる。

[0043] この構成により、監視領域内の背景画像を抽出し、背景画像の色の変化を確認し、色補正パラメータを逐次更新することで、撮像部の撮像環境の変化によらず自動的に撮像画像を色補正することができる。

[0044] また、本発明の動的なカメラ色補正装置は、背景画像の色情報を背景画像の位置情報と対応させて格納する参照テーブルを備える構成を有してもよい。

[0045] また、本発明の動的なカメラ色補正装置にぉ、て、色補正部は、色比較部が変更する色補正パラメータに基づ、て、全色空間の色補正パラメータを更新する構成を有してちょい。

[0046] この構成により、色補完部で、変更された背景画素の色を用いて色補完を行い、色補正パラメータ全体を更新することにより、より精度の高い色補正をすることができる。

[0047] また、本発明の動的なカメラ色補正装置は、背景画像の画素情報を検出し、背景画像の画素情報と基準となる画素情報との差に応じて、色比較部を機能させるか否か判別する更新タイミング判別部を備える構成を有してもよい。

[0048] この構成により、色比較を行うタイミングを知ることができる。

[0049] また、本発明の動的なカメラ色補正装置は、更新タイミング判別部が、背景画像を所定の領域に分割し、各領域の輝度値の平均を計算する構成を有してもょヽ。

[0050] この構成により、更新タイミング判別部で、初期運用時に比べ日照変動が多く発生したときのみ、色補正パラメータの更新を行うことなど、色補正を行う CPUもしくは DS Pの処理負荷を軽減することができる。

[0051] また、本発明の動的なカメラ色補正装置は、色補正部が補正した画像を格納する第 1と第 2のバッファを備え、背景抽出部が、第 1のバッファに格納した画像力も複数の背景画像群 1を抽出し、背景確認部が、第 2のバッファに格納した画像力複数の背景画像群 2を抽出し、色比較部が、背景画像群 1および背景画像群 2の画素情報を検出し、背景画像群 1および背景画像群 2の画素情報の変化に基づいて色比較処理を行う構成を有してもょヽ。 [0052] また、本発明の動的なカメラ色補正装置は、記背景抽出部が、第 1のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高い輝度を抽出し、背景確認部が、第 2のノッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高ヽ輝度を抽出する構成を有してもょ、。

[0053] この構成により、背景抽出部と背景確認部で、複数の背景画素を抽出することにより、葉っぱや旗等の揺れが発生した場合等でも、精度よく色補正することができる。

[0054] また、本発明の動的なカメラ色補正装置は、背景確認部で確認した背景画像中の物体が移動したかどうかを確認する背景変化確認部を備える構成をしてもよい。

[0055] また、本発明の動的なカメラ色補正装置において、背景変化確認部が、 1つ前のフレームの背景画像と現在の背景画像との差分を求める構成を有してもよい。

[0056] この構成により、背景変化確認部で、 1つ前のフレームの背景画像 (群）と現在の背景画像 (群)を比較することにより、背景画像に含まれている駐車車両等が移動した場合等であっても、精度よく色補正することができる。

[0057] また、本発明の映像検索装置は、上記の動的なカメラ色補正装置と、色補正部で補正した撮像画像力画像内の動きのある領域を抽出する動領域抽出部と、動領域抽出部で抽出された領域に人物が含まれるかどうか判別し、領域力人物領域を抽出する人判別部と、人判別部で抽出された人物領域をブロック分割する領域分割部と、領域分割部でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出部と、代表色算出部で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出する人物検索部と、人物検索部で算出されたスコアを表示する検索結果表示部とを備える構成を有している。

[0058] この構成により、動的なカメラ色補正装置で、動的に色補正を行うことにより、カメラの個体差、日照の変動等の影響を受けることなぐ精度の良い人物検索をすることができる。

[0059] また、本発明の映像検索装置は、上記の動的なカメラ色補正装置と、色補正部で補正した撮像画像力画像内の動きのある領域を抽出する動領域抽出部と、動領域抽出部で抽出された領域に人物が含まれるかどうか判別し、領域力人物領域を抽出する人判別部と、人判別部で抽出された人物領域をブロック分割する領域分割部と、領域分割部でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出部と、代表色算出部で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出し、特定のスコアの撮像画像を再生するよう再生命令を送信する人物検索部と、色補正部で補正した撮像画像を所定の圧縮方式で圧縮する圧縮部と、圧縮部で圧縮された撮像画像を格納するストレージと、人物検索部が送信した再生命令に基づき、ストレージに格納された圧縮部で圧縮された撮像画像を読み出し、所定の伸張方式で伸張する展開部と、展開部で展開された撮像画像を表示する表示部とを備える構成を有している。

[0060] また、本発明の映像検索装置にお!、て、圧縮部は、色補正部で補正した撮像画像から任意のフレームを間欠し、所定の圧縮方式で圧縮する構成を有してもょ、。

[0061] この構成により、動的なカメラ色補正装置で動的に色補正を行い、色補正された映像をストレージに蓄積し、表示部で表示することで、カメラの個体差、日照の変動等の影響を受けることなぐ所望の人物を映像再生することができる。

[0062] さらに、本発明の映像検索装置は、複数のカメラに接続される映像検索装置であつて、上記の動的なカメラ色補正装置と、色補正部で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出部と、動領域抽出部で抽出された領域に人物が含まれるかどうか判別し、領域から人物領域を抽出する人判別部と、人判別部で抽出された人物領域をブロック分割する領域分割部と、領域分割部でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出部と、特定の人物の色情報とテクスチャ情報とが格納された検索人物データベースと、検索人物データベースに格納された色情報およびテクスチャ情報と、代表色算出部で算出された色情報およびテクスチャ情報とを比較し、同一人物のものである場合、代表色算出部が検出した人物が撮像されている色補正部で補正した撮像画像を表示するよう力メラ切替命令を送信する人物マッチング部と、人物マッチング部が送信したカメラ切替命令に基づき、色補正部で補正した撮像画像を撮像するカメラに切り替える映像切替部と、映像切替部で切り替えられた色補正部で補正した撮像画像をモニタ表示する表示部とを備える構成を有して!/、る。

[0063] この構成により、動的なカメラ色補正装置で、動的に色補正を行い、人物マツチング部で、あら力じめ検索人物 DBに格納された人物かどうか比較し、同一人物の場合、映像切替部で、カメラ切替をすることにより、カメラの個体差、日照の変動等の影響を受けることなぐ所望の人物がカメラ間を移動してもモニタリングすることができる。

[0064] 本発明（第 2発明）は、監視領域内の背景画像を自動で抽出し、背景画像の色の変化を確認し、色補正パラメータを逐次更新することで、撮像部の撮像環境の変化によらず自動的に撮像画像を色補正することができる。

[0065] (第 1発明の実施の形態）

以下、本発明（第 1発明）の実施の形態の色補正処理装置について、図 1〜図 9を用いて説明する。本実施の形態では、図 2に示すように、二つのカメラで撮影された二つのカメラ画像にコンピュータで画像処理を施して、その二つのカメラ画像間をまたがって移動するオブジェクト (例えば、人物など）を追跡監視する追跡監視システムに用いられる色補正処理装置の場合を例示する。

[0066] 以下の説明では、二つのカメラをカメラ Aおよびカメラ Bとヽぅ。そして、カメラ Aで撮像された画像をソース画像 Aとヽ、カメラ Bで撮影された画像をソース画像 Bと、う。本実施の形態では、カメラ Aとカメラ Bは互いに離れた位置に配置されている（図 2参照)。そして、監視対象である人物は、カメラ Aのソース画像 Aとカメラ Bのソース画像 Bをまたがって移動する。

[0067] 本発明の実施の形態の色補正処理装置のブロック図を図 1に示す。図 1に示すように、色補正処理装置 1は、二つのカメラ 2 (カメラ Aおよびカメラ B)が設置された監視場所に設置される二つのクライアントユニット 3 (クライアントユニット Aおよびクライアントユニット B)と、中央の監視場所に設置される一つのサーバユニット 4を備えている。

[0068] 図 1に示すように、クライアントユニット 3は、ソース画像獲得部 5と、領域選択部 6と、領域カラー決定部 7と、色補正部 8と、照明変化検出部 9と、カラーセット更新部 10と、カラーセット情報記憶部 11を備えている。また、サーバユニット 4は、オブジェクト類似判定部 12と、リファレンスオブジェクト記憶部 13を備えている。

[0069] ソース画像獲得部 5は、カメラ 2 (カメラ Aまたはカメラ B)カゝらソース画像 (ソース画像 Aまたはソース画像 B)を獲得する。本実施の形態では、ソース画像獲得部 5において、予め設定された所定のフレームレート (例えば、 1秒間隔または 5秒間隔など）でソース画像の獲得が行われる。

[0070] 図 3は、領域選択部 6の構成を示すブロック図である。図 3に示すように、領域選択部 6は、ソース画像から、背景画像中を移動する前景オブジェクトをソースオブジェクトとして抽出するソースオブジェクト抽出部 14を備えている。また、領域選択部 6は、ソース画像から、ソースオブジェクトが切り出された後の背景画像を獲得する背景画像獲得部 15と、背景画像から、後述するカラーセットのソースカラーの領域情報に対応する対応領域を探索する対応領域探索部 16を備えている。本実施の形態では、背景画像の獲得は、所定の時間間隔 (例えば、 1分間隔または 5分間隔)で行われる。このように、領域選択部 6は、ソース画像力特定のソース領域 (ソースオブジェクト、背景画像の対応領域)を選択できるように構成されている。

[0071] 図 4は、領域カラー決定部 7の構成を示すブロック図である。図 4に示すように、領域カラー決定部 7は、ソースオブジェクトの平均色を算出し、オブジェクトカラーとして決定するオブジェクトカラー決定部 17を備えている。例えば、ソースオブジェクトが様々な色を有している場合には、ソースオブジェクトの平均色は、輝度に対応するダレ一スケールの色情報となる。あるいは、ソースオブジェクトの平均色は、 RGBのカラー情報のそれぞれの平均色を持つ色情報を持ってもよい。また、領域カラー決定部 7 は、対応領域の平均色を算出し、対応領域カラーとして決定する対応領域カラー決定部 18を備えている。例えば、対応領域がほぼ一様な色を有している場合には、対応領域の平均色は、ほぼ一様な色を代表する中心的な色の色情報となる。すなわち、対応領域の平均色は、対応領域の代表色であるともいえる。この対応領域の代表色としては、対応領域の平均色のほかに、例えば、対応領域に含まれる色の最繁値 (最も頻繁に現れる色）が用いられてもよい。このように、領域カラー決定部 7は、ソース領域 (ソースオブジェクト、対応領域)を代表する色として、ソース領域カラー (ソースオブジェクトカラー、対応領域カラー）を決定できるように構成されて、る。 [0072] 図 5は、色補正部 8の構成を示すブロック図である。図 5に示すように、色補正部 8 は、ソースオブジェクトのオブジェクト情報 (オブジェクトの色情報や位置情報等）が格納されるソースオブジェクト格納部 19を備えている。また、色補正部 8は、対応領域の対応領域情報 (対応領域の色情報や位置情報等)が格納される対応領域格納部 20 と、対応領域を複数の小領域に分割する領域分割部 21を備えている。また、色補正部 8は、ソース画像の特定のソース領域 (ソースオブジェクト、対応領域または小領域 )のうち、ソースカラーと類似範囲内の色を有する領域を探索する類似領域探索部 2 2と、探索された領域の色を、後述するカラーセットのリファレンスカラーに置換する領域色置換部 23を備えている。このように、色補正部 8は、カラーセット情報記憶部 11 に記憶されたカラーセット情報を用いて、ソース画像 (ソース画像 Aまたはソース画像 B)のうち、ソースカラーと類似範囲内の色を、リファレンスカラーに校正できるように構成されている。

[0073] カラーセット情報記憶部 11には、例えば、図 6に示すようなカラーセット情報が記憶されている。カラーセット情報は、色補正の対象となるソースカラーの色情報と、ソースカラーの色情報を獲得したもとの領域を示す領域情報と、色補正に用いるリファレンスカラーの色情報を有して、る。

[0074] 本実施の形態では、例えば、図 2に示すソース画像 (ソース画像 Aおよびソース画像 B)のソースオブジェクト（例えば人物）力獲得したカラーセット情報として、グレースケールのソースカラーの色情報（グレー 3、グレー 2)が記憶されている。リファレンスカラーの色情報 (グレー 1)は、例えば、リファレンスオブジェクト記憶部 13に記憶されている人物のリファレンスオブジェクトから獲得される。なお、この場合、ソースカラーの領域情報は、ソースオブジェクト（例えば人物）がソース画面中を移動し、一定の領域に止まって、るとは限らな、ため、カラーセット情報として記憶されな、。

[0075] また、本実施の形態では、例えば、図 2に示すソース画像 (ソース画像 Aおよびソース画像 B)の背景画像の対応領域の小領域 (例えば街路樹の葉の部分)から獲得したカラーセット情報として、緑色のソースカラーの色情報 (緑 8、緑 6)と領域情報（2b、 4e)が記憶されている。リファレンスカラーの色情報 (緑 7)は、例えば、リファレンスォブジェクト記憶部 13に記憶されている街路樹のリファレンスオブジェクトの葉の部分力も獲得される。また、背景画像の対応領域の小領域 (例えば街路樹の幹の部分)から獲得したカラーセット情報として、茶色のソースカラーの色情報 (茶 2、茶 3)と領域情報（2c、 4f)が記憶されている。リファレンスカラーの色情報 (茶 7)は、例えば、リフアレンスオブジェクト記憶部 13に記憶されている街路樹のリファレンスオブジェクトの幹の部分力獲得される。

[0076] 図 7は、オブジェクト類似判定部 12の構成を示すブロック図である。図 7に示すように、オブジェ外類似判定部 12は、特徴量獲得部 24と、特徴量類似判定部 25を備えている。特徴量獲得部 24は、色補正部 8のソースオブジェクト格納部 19からソースオブジェクトの特徴量を獲得するとともに、リファレンスオブジェクト記憶部 13からリフアレンスオブジェクトの特徴量を獲得する。例えば、図 2には、リファレンスオブジェクトの例が示される。本実施の形態では、リファレンスオブジェクトとして、例えば、街路樹や人物、道路などのオブジェクトが用いられる。そして、オブジェクトの特徴量として、例えば、オブジェクトの移動速度や大きさ、縦横比などの特徴量が使用される。特徴量類似判定部 25は、ソースオブジェクトの特徴量とリファレンスオブジェクトの特徴量を比較することによって、ソースオブジェクトとリファレンスオブジェクトの類似度を判定する。このように、オブジェクト類似判定部 12は、ソースオブジェクトとリファレンスォブジェタトが類似する力否かを判定できるように構成されて、る。

[0077] 図 8は、照明変化検出部 9の構成を示すブロック図である。図 8に示すように、照明変化検出部 9は、カラーセット情報記憶部 11からカラーセット情報を獲得するカラーセット情報獲得部 26と、カラーセット情報から対応領域 (または小領域）に対応するソ一スカラーを獲得するソースカラー獲得部 27を備えている（図 6参照)。また、照明変化検出部 9は、対応領域の色情報 (対応領域カラー)を獲得する対応領域カラー獲得部 34と、上記のソースカラーと対応領域カラーの色距離 Dを最小二乗法等の比較手法を用いて計算する色距離計算部 29と、色距離 Dが所定のしきい色距離 Dsよりも大きいときに照明変化があつたと判定する照明変化判定部 30を備えている。このように、照明変化検出部 9は、ソース画像における照明環境の変化を検出できるように構成されている。

[0078] 本実施の形態では、ソースカラーと対応領域カラーの色距離 Dは、例えば、下記の式 1によって計算される。ここでは、ソースカラーの HSV色空間における座標を (hi、 sl、 vl)とし、対応領域カラーの HSV色空間における座標を (h2、 s2、 v2)とする。

D= { (hl -h2) 2+ (sl -s2) 2+ (vl -v2) 2}0.5 (式 1)

[0079] 図 9は、カラーセット更新部 10の構成を示すブロック図である。図 9に示すように、力ラーセット更新部 10は、カラーセット情報獲得部 31と、ソースカラー獲得部 32と、ソース領域情報獲得部 33と、領域カラー獲得部 34と、重み付け計算部 35と、ソース力ラー置換部 36を備えている。

[0080] カラーセット更新部 10では、ソースオブジェクトとリファレンスオブジェクトが類似すると判定されたときに、ソース領域情報獲得部 33によって、ソースオブジェクトのォブジェタト情報が獲得され、領域カラー獲得部 34によって、ソースオブジェクトのォブジエタトカラ一が獲得される。また、カラーセット情報獲得部 31で、カラーセット情報が獲得され、ソースカラー獲得部 32によって、ソースオブジェクトに対応するソースカラーが獲得される。そして、重み付け計算部 35において、オブジェクトカラーとソースカラ一の重み付け平均処理が行われ、ソースカラー置換部 36において、重み付け平均処理前の古いソースカラー力重み付け平均処理後の新しいソースカラーに置換される。このようにカラーセット更新部 10は、ソースオブジェクトのオブジェクトカラーを用いて、カラーセットのソースカラーを自動的に更新できるように構成されて、る。

[0081] 本実施の形態では、重み付け計算部 35において、オブジェクトカラーとソースカラ一の重み付け平均処理が下記の式 2を用いて行われる。ここで、 Csは、重み付け平均処理を行う前の（更新前の)カラーセットのソースカラーの色情報であり、 Coは、ォブジェクトカラ一の色情報である。また、 Aは、重み付け係数 (0≤A≤1)である。そして、 Cs'が、重み付け平均処理によって得られた (更新後の）カラーセットのソース力ラーの色情報である。

Cs' = (1 -A) X Cs+AX Co (式 2)

[0082] また、カラーセット更新部 10では、ソース画像において照明環境の変化があつたと判定されたときに、ソース領域情報獲得部 33によって、対応領域の対応領域情報が獲得され、領域カラー獲得部 34によって、対応領域の対応領域カラーが獲得される。また、カラーセット情報獲得部 31で、カラーセット情報が獲得され、ソースカラー獲得部 32によって、対応領域に対応するソースカラーが獲得される。そして、上記と同様にして、重み付け計算部 35において、オブジェクトカラーとソースカラーの重み付け平均処理が行われ、ソースカラー置換部 36において、重み付け平均処理前の古いソースカラーが、重み付け平均処理後の新しいソースカラーに置換される。この場合、上記の式 2における Coとして、オブジェクトカラーの色情報の代わりに、対応領域カラー（対応領域の平均色）が用いられる。このようにカラーセット更新部 10は、対応領域の対応領域カラーを用いて、カラーセットのソースカラーを自動的に更新できるように構成されている。

[0083] 以上のように構成された色補正処理装置 1について、図 10〜図 15を用いてその動作を説明する。

[0084] まず、本発明の実施の形態の色補正処理装置 1にお!/、て、ソースオブジェクトのォブジェクトカラ一を用いて、色補正処理およびソースカラーの更新が行われるときの動作について、図 10〜図 12を用いて説明する。

[0085] 図 10は、本実施の形態の色補正処理装置 1において、ソースオブジェクトのォブジエタトカラ一を用いて、色補正処理およびソースカラーの更新処理を行うときの全体の流れを示すフロー図である。本実施の形態では、クライアントユニット 3のソース画像獲得部 5は、常時、所定のフレームレートで、カメラ 2からソース画像を獲得している

[0086] 図 10に示すように、ソースオブジェクトのオブジェクトカラーを用いて、色補正処理およびソースカラーの更新処理を行うときには、まず、領域選択部 6のソースオブジェタト抽出部 14において、ソース画像力もソースオブジェクトの抽出を行う（S 11)。つぎに、領域カラー決定部 7のオブジェクトカラー決定部 17において、ソースオブジェクトの代表色 (例えば、ソースオブジェクトの平均色）をオブジェクトカラーとして決定する (S12)。そして、色補正部 8において、ソースオブジェクトのオブジェクトカラーを用いて、色補正処理が行われる（S 13)。

[0087] 図 11は、色補正部 8において、ソースオブジェクトのオブジェクトカラーを用いて、色補正処理（S 13)を行うときの流れを示すフロー図である。図 11に示すように、ォブジェクトカラ一を用いて色補正を行うときには、まず、ソースオブジェクト格納部 19に、ソースオブジェクトのオブジェクト情報が格納される（S131)。そして、類似領域探索部 22は、オブジェクト情報力もソースオブジェクトのオブジェクトカラーの色情報を獲得するとともに（S132)、カラーセット情報記憶部 11からカラーセットのソースカラーの色情報を獲得する（S 133)。

[0088] そして、類似領域探索部 22では、ソースカラーと類似範囲内の色を有するソースォブジエタトの探索が行われる（S 134)。ソースカラーと類似範囲内の色を有するソースオブジェクトが見つかった場合には、領域色置換部 23において、ソースオブジェクトの色がそのソースカラーに対応するリファレンスカラーに置換され（S 135)、色補正処理が終了する。一方、ソースカラーと類似範囲内の色を有するソースオブジェクトが見つ力もな力つた場合には、色の置換を行わずに処理が終了する。

[0089] 上記のような色補正処理 (S13)が行われた後、サーバユニット 4のオブジェクト類似判定部 12の特徴量獲得部 24は、ソースオブジェクトとリファレンスオブジェクトの特徴量を獲得する（S14)。そして、オブジェクト類似判定部 12の特徴類似判定部において、ソースオブジェクトとリファレンスオブジェクトの特徴量に基づいて、ソースォブジェタトとリファレンスオブジェクトの類似判定が行われる（S 15)。

[0090] ソースオブジェクトとリファレンスオブジェクトが類似すると判定された場合には、クライアントユニット 3のカラーセット更新部 10において、ソースオブジェクトのオブジェクトカラーを用いて、ソースカラーの更新処理（S16)が行われる。一方、ソースオブジェタトとリファレンスオブジェクトが類似しないと判定された場合には、ソースカラーの更新を行うことなく処理を終了する。

[0091] 図 12は、カラーセット更新部 10において、ソースオブジェクトのオブジェクトカラーを用いて、ソースカラーの更新処理（S16)を行うときの流れを示すフロー図である。図 12に示すように、オブジェクトカラーを用いてソースカラーの更新を行うときには、まず、カラーセット更新部 10のソース領域情報獲得部 33によって、ソースオブジェクトのオブジェクト情報が獲得される（S161)。そして、領域カラー獲得部 34によって、ソースオブジェクトのオブジェクト情報力もオブジェクトカラーが獲得される（S162)。また、カラーセット情報獲得部 31では、カラーセット情報記憶部 11からカラーセット情報が獲得される（S163)。そして、ソースカラー獲得部 32において、カラーセット情報力もソースオブジェクトに対応するソースカラーが検索され獲得される（S 164)。

[0092] その後、カラーセット更新部 10の重み付け計算部 35において、オブジェクトカラーとソースカラーの重み付け平均処理が行われ（S165)、オブジェクトカラーとソース力ラー力も新しいソースカラーが求められる。そして、ソースカラー置換部 36において、カラーセットの古いソースカラー力新しいソースカラーに置換される（S166)。このようにして、カラーセットのソースカラーが自動的に更新される。

[0093] つぎに、本発明の実施の形態の色補正処理装置 1において、対応領域の対応領域カラーを用いて、色補正処理およびソースカラーの更新が行われるときの動作について、図 13〜図 15を用いて説明する。

[0094] 図 13は、本実施の形態の色補正処理装置 1において、背景画像の対応領域の対応領域カラーを用いて、色補正処理およびソースカラーの更新処理を行うときの全体の流れを示すフロー図である。本実施の形態でも、クライアントユニット 3のソース画像獲得部 5は、常時、所定のフレームレートで、カメラ 2からソース画像を獲得している。

[0095] 図 13に示すように、対応領域の対応領域カラーを用いて、色補正処理およびソースカラーの更新処理を行うときには、まず、領域選択部 6の背景画像獲得部 15において、ソース画像力も背景画像の獲得が行われる（S21)。この背景画像の獲得は、所定の時間間隔 (例えば、 1分間隔または 5分間隔)で行われる。つぎに、領域選択部 6の対応領域探索部 16において、背景画像から、カラーセットのソースカラーの領域情報に対応する対応領域の探索が行われる（S22)。そして、領域カラー決定部 7 の対応領域カラー決定部 18において、対応領域の代表色 (例えば、対応領域の平均色)が計算され、対応領域カラーとして決定される（S23)。

[0096] つづいて、照明変化検出部 9において、カラーセットのソースカラーと対応領域カラ一がそれぞれ獲得されて、カラーセットのソースカラーと対応領域カラーとの色距離 Dが色距離計算部 29で計算される (S24)。そして、照明変化判定部 30において、色距離 Dがしき、色距離 Dsよりも大き、か否かの判定が行われる（S25)。その判定の結果、色距離 Dがしきい色距離 Dsよりも大きい場合には、照明環境に変化があつたと判定され、ソースカラーの更新処理 (S26)が行われる。一方、色距離 Dがしきい色距離 Ds以下であった場合には、照明環境に変化がな力つたと判定され、ソース力ラーの更新処理が行われな、。

[0097] 図 14は、カラーセット更新部 10において、対応領域の対応領域カラーを用いて、ソ一スカラーの更新処理（S26)を行うときの流れを示すフロー図である。図 14に示すように、対応領域カラーを用いてソースカラーの更新を行うときには、まず、カラーセット更新部 10のソース領域情報獲得部 33によって、対応領域の対応領域情報が獲得される（S261)。そして、領域カラー獲得部 34によって、対応領域の対応領域情報から対応領域カラーが獲得される（S262)。また、カラーセット情報獲得部 31では、カラ一セット情報記憶部 11からカラーセット情報が獲得される（S263)。そして、ソース力ラー獲得部 32において、カラーセット情報力も対応領域に対応するソースカラーが検索され獲得される（S264)。

[0098] その後、カラーセット更新部 10の重み付け計算部 35において、対応領域カラーとソースカラーの重み付け平均処理が行われ (S265)、対応領域カラーとソースカラー力も新しいソースカラーが求められる。そして、ソースカラー置換部 36において、カラ一セットの古いソースカラー力新しいソースカラーに置換される（S266)。このようにして、カラーセットのソースカラーが自動的に更新される。

[0099] 上記のように一のカラーセットにっ、て、ソースカラーの更新処理（S26)が完了した後、すべてのカラーセットについて、ソースカラーの更新が完了した力否かの判断が行われる（S27)。その判断の結果、すべてのカラーセットについて、カラーセットの更新が完了していないと判断された場合には、再び、背景画像から、カラーセットのソースカラーの領域情報に対応する対応領域の探索し (S22)、平均色を計算する（ S23)。そして、照明環境の変化の有無についての判定を行い（S24〜S25)、残りのカラーセットにっ、てソースカラー更新処理 (S26)を繰り返し行う。

[0100] そして、上記のようにして更新されたカラーセットを用いて、色補正部 8において色補正処理が行われる（S28)。

[0101] 図 15は、色補正部 8において、対応領域の対応領域カラーを用いて、色補正処理

(S 28)を行うときの流れを示すフロー図である。図 15に示すように、対応領域カラーを用いて色補正を行うときには、まず、対応領域格納部 20に、対応領域の対応領域情報が格納される（S281)。 [0102] つぎに、色補正部 8の領域分割部 21にお、て、対応領域を小領域に分割するか否かの判断が行われる（S282)。本実施の形態では、例えば、対応領域が街路樹のような複数の色の領域 (例えば、葉の緑色の領域と幹の茶色の領域の二つの領域）から構成されている場合には、対応領域を小領域に分割する必要があると判断され、領域分割の処理が行われる（S283)。一方、対応領域が道路のように単一の色の領域 (例えば、舗装面のグレーの領域)から構成されている場合には、対応領域を小領域に分割する必要はなヽと判断される。

[0103] その後、色補正部 8の領域探索部において、格納された対応領域情報から、対応領域 (または小領域)の対応領域カラーの色情報が獲得されるとともに (S284)、カラ一セット情報記憶部 11から、カラーセットのソースカラーの色情報が獲得される (S28 5)。そして、類似領域探索部 22では、ソースカラーと類似範囲内の色を有する対応領域 (または小領域)の探索が行われる (S286)。

[0104] その探索の結果、ソースカラーと類似範囲内の色を有する対応領域 (または小領域 )が見つ力た場合には、領域色置換部 23において、対応領域 (または小領域)の色がそのソースカラーに対応するリファレンスカラーに置換され (S287)、色補正処理が終了する。一方、ソースカラーと類似範囲内の色を有する対応領域 (または小領域）が見つ力もな力つた場合には、色の置換を行わずに処理が終了する。

[0105] このような発明の実施の形態の色補正処理装置 1によれば、ソース領域カラー (ォブジェクトカラ一、対応領域カラー）を用いてカラーセットのソースカラーを更新する力ラーセット更新部 10を設けることにより、色補正処理に不用なカラーセットの情報を保持しなくてすみ、計算負荷が軽減されて、照明環境の変化にリアルタイムで対応することができる。

[0106] すなわち、本実施の形態では、カラーセット更新部 10において、ソース領域 (ソースオブジェクト、対応領域)のソース領域カラー (オブジェクトカラー、対応領域カラー）を用いて、カラーセットのソースカラーが置き換えられて更新される。したがって、追跡対象のオブジェクトが追加された場合や、照明環境に変化があった場合であっても、色補正処理に不用なカラーセットの情報を保持しなくてすむ。これにより、色補正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。したがって、色補正処理に要する時間が短くなり、色補正処理の動作が安定する。また、計算負荷が小さいので、照明環境の変化にもリアルタイムで対応できる。

[0107] また、本実施の形態では、追跡対象のオブジェクトが追加された場合であっても、オブジェクト類似判定部 12において、ソースオブジェクトがリファレンスオブジェクトと類似するか否かの判定が行われる。そして、ソースオブジェクトとリファレンスオブジェタトが類似すると判定されたときには、カラーセット更新部 10において、ソースォブジェタトのオブジェクトカラー（ソースオブジェクトの平均色）を用いて、カラーセットのソ一スカラーが更新される。これにより、色補正処理に不用なカラーセットの情報を保持しなくてすむ。したがって、色補正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。

[0108] また、本実施の形態では、オブジェクト類似判定部 12にお、て、ソースオブジェクトとリファレンスオブジェクトの特徴量 (例えば、移動速度、大きさ、縦横比など）を用いてオブジェクトの類似度を判定することができ、ソースオブジェクトとリファレンスォブジェタトの対応付けの精度が向上し、ソースオブジェクトの追跡精度が向上する。

[0109] また、本実施の形態では、カラーセット更新部 10において、オブジェクトカラーとソ一スカラーの重み付け平均処理で得られた重み付け平均色力更新用のソースカラ一として用いられる。これにより、ソースオブジェクトのオブジェクトカラーとカラーセットのソースカラーとの色の違!ヽが大き!/ヽ場合あっても、重み付けの度合ヽを調整することにより、更新用のソースカラーの色を調整することができる。

[0110] また、本実施の形態では、照明環境に変化があった場合には、照明変化検出部 9 において、照明環境に変化があつたと判定される。そして、照明環境に変化があったと判定されたときには、カラーセット更新部 10において、対応領域カラーを用いて力ラーセットのソースカラーが更新される。これにより、色補正処理に不用なカラーセットの情報を保持しなくてすむ。したがって、色補正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。

[0111] また、本実施の形態では、照明変化検出部 9において、対応領域カラーとソース力ラーの色距離 (色空間における二つの色座標の間の距離)を用いて照明環境の変化の有無の判定が行われる。これにより、従来の照明環境の変化の検出方法に比べて計算負荷が軽減され、照明環境の変化等への適応性が向上する。

[0112] また、本実施の形態では、領域選択部 6の背景画像獲得部 15において、所定の時間間隔 (例えば、 1分間隔または 5分間隔)で、ソース画像から背景画像を獲得する。そして、照明変化検出において、その背景画像力も照明環境の変化を検出する。したがって、照明環境が変化する頻度に応じて所定の時間間隔を調整することにより、照明環境の変化の検出計算を行う頻度を調整することができ、常に照明環境の変化を検出する場合に比べて計算負荷が軽減される。

[0113] また、本実施の形態では、色補正部 8において、対応領域 (例えば、街路樹)がそれぞれ異なる色を有する複数の小領域 (例えば、葉の部分と幹の部分)から構成されているときには、複数の小領域ごとの対応領域カラーを用いてソースカラーが更新される。これにより、対応領域の対応付けの精度が向上する。

[0114] 以上、本発明の実施の形態を例示により説明した力本発明の範囲はこれらに限定されるものではなぐ請求項に記載された範囲内において目的に応じて変更'変形することが可能である。

[0115] 例えば、以上の説明では、撮像装置として、所定のフレームレートで静止画像の撮影を行うカメラ 2の場合を例示して説明したが、本発明の範囲はこれに限定されるものではなぐ常時、動画画像の撮影を行うカメラ (ビデオカメラ)であってもよい。

[0116] また、以上の説明では、色補正処理装置 1が、二つのクライアントユニット 3と一つのサーバユニット 4で構成された例について説明した力本発明の範囲はこれに限定されるものではない。例えば、各クライアントユニット 3がサーバユニット 4の機能 (ォブジェクト類似判定手段、リファレンスオブジェクト記憶手段)を備えた構成であってもよヽ

[0117] また、以上の説明では、撮像装置であるカメラ 2が二つの場合を例示して説明した力本発明の範囲はこれに限定されるものではなぐ撮像装置が三つ以上の場合であっても同様に実施可會である。

[0118] また、以上の説明では、カメラ Aおよびカメラ Bの撮影領域が部分的に重複している場合を例示して説明したが（図 2参照）、本発明の範囲はこれに限定されるものではなぐカメラ Aおよびカメラ Bの撮影領域が重複していない場合であっても同様に実施可能である。

[0119] また、以上の説明では、色補正処理装置 1によって自動的にカラーセットの選択および更新が行われる例について説明した力本発明の範囲はこれに限定されるものではなぐユーザが手動でカラーセットの選択を行い、そのカラーセットの領域情報を用いてカラーセットの更新が行われても良!、。

[0120] (第 2発明の実施の形態）

以下、本発明（第 2発明）の実施の形態の動的なカメラ色補正装置について、図面を用いて説明する。

[0121] (第 1の実施の形態）

図 16は、本発明の第 1の実施の形態の動的なカメラ色補正装置の構成を示す。動的なカメラ色補正装置 100は、カラー画像を出力するカメラ 110に接続されるものである。動的なカメラ色補正装置 100は、特定のカラーチャートから色補正パラメータを決定する色補完部 126、色補正パラメータに基づいて、カメラ 110が撮像した画像の色補正を行う色補正部 120、色補正部 120経由で入力される映像 (色補正画像)から背景情報を抽出する背景抽出部 121、色補正部 120経由で入力される映像の画素が背景画素力どうか確認する背景確認部 122、背景抽出部 121および背景確認部 122から出力される映像力も画素の位置情報と色情報とを計算する色抽出部 123 、背景画素の位置情報と色情報とをテーブル化した参照テーブル 124、参照テープル 124に格納された位置情報および色情報と、背景確認部 122および色抽出部 12 3経由で抽出された位置情報と色情報とを比較し、異なっていた場合に色補正部 12 0に色補正値変更命令を出す色比較部 125から構成される。なお、色補正パラメータは色補正部に内蔵されている。

[0122] なお、図 16において、動的なカメラ色補正装置 100に接続されるカメラ 110は一例を示すものであって、カメラ 110の数を限定するものではない。また、図 16の太矢印は映像信号を表し、例えば、カメラ 110が NTSC準拠の信号の場合、太矢印は NTS C準拠の信号である。

[0123] 以上のように構成された動的なカメラ色補正装置 100について、初期運用動作と通常運用動作の 2種類説明する。初期運用動作は、動的な色補正を行うために、カメラ設置時に一度だけ行う動作である。通常運用動作は、前記初期運用動作時に設定した初期値を使用し動的な色補正を行う動作で、本発明の主要部分である。

[0124] まず、初期運用動作について、図 17、図 18、図 19を用いて説明する。カメラで同じ物体を撮像するとする。朝方撮像すると太陽の光量が弱いため暗く写り、昼間撮像すると太陽の光量が強いため明るく写り、夕方撮像すると赤っぽく写る。そのため、朝方撮像された色空間と夕方撮像された色空間とが、昼間撮像された色空間となるよう色補正を行う必要がある。

[0125] 図 17Aは、カラーチャートの模式図であり、図 17Bは、理論的な UV色空間とカラーチャートの理論的な UV値の一例であり、図 17Cは、 UV色空間とカラーチャートを力メラ撮像した場合の UV値の一例である。

[0126] 例えば、 RGB色空間は、 R (赤）は 0〜255、 G (緑）は 0〜255、 Bは 0〜255であり、色空間は 255 X 255 X 255 = 1677万色存在する。色空間を同一にするためには、 1677万色をカメラで撮像して色補正すればよいが、 1677万色を用意し、カメラで撮像することは、工数が膨大になることもあり、現実的ではない。そのため、 3次元の RG B色空間を輝度情報を除いた 2次元の UV空間に変換し、 UV空間での数種類の代表色をもったカラーチャート 200 (図 17A)をカメラで撮像し、代表色以外の色は補完する手法が一般的に使用される。

[0127] 図 17Bは、 UV色空間において UV色空間が理論上表現可能な範囲 210を示す。

また、カラーチャート 200の代表色の理論値 21 la、 211b, 211c, · ·、 21 Inを示す。カラーチャート 200の代表色をカメラ 110で撮像して得られた画像 (RGBの 3色力ゝら構成される）を再度 UV空間に変換すると、図 17Cに示す UV値 221a、 221b, 221c, - -、 221ηを取る。

[0128] 理論値 211&と11¥値221&、理論値 211t^UV g221b、 · ·、理論値 21 ^と11¥値 22 Inが対応して、ることが既知のため、代表色以外の色空間 220 (図 17C)を補完することが可能である。なお、図 17における代表色数は一例に示すものであって、代表数を限定するものではない。また、色空間は UV色空間に限るものではない。

[0129] 図 18は、本発明の第 1の実施の形態における動的なカメラ色補正装置の初期運用動作を説明するためのフロー図を示す。まず、カメラ 110がカラーチャート 200を撮像する（S300)。色補完部 126は、カメラ 110の撮像画像力もカラーチャート 200を抽出し (S301)、カラーチャート 200のもつ固有の色とカメラ 110で撮像されたカラーチヤート 200の色を比較する（S302)。色補完部 126は、比較した結果から、カラーチヤート 200以外の色の色補完を行い、色補正パラメータを色補正部 120に送信する（ S303)。

[0130] 図 19は、動的なカメラ色補正装置の色補正動作を説明するための模式図である。

例えば、太陽の光量が多い昼間にカラーチャート 200を撮像した場合、カメラ 110の撮像カラーチャート 400はとび気味に撮像される。しかし、色補正部 120にて、色補正パラメータに基づき色補正 402を行うことにより、カラーチャート 200のもつ固有の色空間のカラーチャート 402として出力される。

[0131] 図 18に戻り、カメラ 110が監視領域を撮像する（S304)。撮像画像は、色補正部 1 20で色補正パラメータに基づき色補正され (S305)、背景抽出部 121に入力される。カメラ 110で撮像される画像には前景と背景が存在する。前景とは、人、車といった常に動きのあるもので、背景とは、壁、地面といった動きのないものである。背景抽出部 121は、前景情報を除いた背景情報のみを抽出することにより背景画像を生成する（S306)。

[0132] 背景抽出（背景画像の生成）を行うアルゴリズムの一例を示す。数フレームのカメラ撮像画像であるカメラ撮像画像群には、前景よりも背景の方に非常に多く情報が含まれていると仮定することが出来る。任意の個数存在する母集団力最頻値をとる最小二乗メディアン法を用いて、フレーム内で画素毎の最頻値を背景画素とすることにより、背景画像を生成する。

[0133] 背景抽出部 121で抽出された背景画像から、色抽出部 123が、例えば Y (輝度) U、 V (色)と、つた輝度信号を除、た色情報を取得する（S307)。変換された色情報は、背景画素の位置情報と対応付けて、参照テーブル 124に格納される（S308)。

[0134] 図 20は、参照テーブルの一例を示す。この参照テーブルは、カメラ 110が NTSC 準拠、色情報が YUV規格の場合の例で、位置は 720 X 480、 U, Vの範囲は、 16から 240の範囲が格納される。

[0135] 図 21は、本発明の第 1の実施の形態における動的なカメラ色補正装置の通常運用動作を説明するためのフロー図を示す。通常運用動作について図 21を用いてその動作を説明する。カメラ 110が、監視領域を撮像する (S600)。撮像画像は、色補正部 120で色補正され (S601)、背景確認部 122に入力される。

[0136] 背景確認部 122は、差分法や動きベクトル法を用いて、入力された撮像画像から背景であるか前景である力画素単位で確認する（S602)。例えば、差分法を用いる場合、現在のフレームの撮像画像とその 1つ前のフレームの撮像画像との差分を求めて、動き領域を抽出し、その動き領域以外を背景であるとする。

[0137] 背景確認部 122で背景と確認された画素について、色抽出部 123は、輝度信号を除いた色情報を取得する（S603)。色情報を取得するアルゴリズムは、ステップ S30 7と同一である。抽出された色情報と、その画素の位置情報とは、色比較部 125に送られる（S604)。

[0138] 色比較部 125は、 S604で送られてきた色情報と、参照テーブル 124に格納されている色情報とを、位置情報に基づいて比較する（S605)。色情報の値が異なっている場合 (S606)、日照変動等により、初期設定動作時に設定した色空間が変化したと判断され、色比較部 125は、色補正部 122に、色補正値変更命令と参照テーブル 124の色情報と背景確認部 122経由の色情報とを送信する（S606)。

[0139] 色補正部 120は、参照テーブル 124の色情報と背景確認部 122経由の色情報とを基に、現時刻の背景色が初期設定動作時の背景色として出力されるように色補正パラメータを更新 (変更)する（S607)。色情報の値が異なって、な、場合 (S606)、ステツプ S600に戻る。

[0140] このような本発明の第 1の実施の形態の動的なカメラ色補正装置によれば、背景抽出部 121、色抽出部 123で、初期設置時にカメラ 110に撮像された背景の位置-色情報を参照テーブル 124に保持し、背景確認部 122、色抽出部 123で、運用中の力メラ 110の背景を抽出し、色比較部 125で、日照変動により色空間が変化したか比較し、色補正部 122で、色補正パラメータを更新することにより、カメラ 110の設置環境や日照変動等の撮像環境の変化によらず自動的に撮像画像を適切に色補正することができる。

[0141] (第 2の実施の形態）次に、本発明の第 2の実施の形態の動的なカメラ色補正装置を説明する。図 22は、本発明の第 2の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図 22 において図 16と共通する部分には同一の符号を付けてその説明を省略する。

[0142] 図 22において、本実施の形態に係る動的なカメラ色補正装置 700は、実施形態 1 で説明した色補正部 120、背景抽出部 121、背景確認部 122、色抽出部 123、参照テーブル 124、色比較部 125に加え、色補完部 726を備えて構成される。

[0143] 以上のように構成された動的なカメラ色補正装置 700について、初期運用動作と通常運用動作の 2種類説明する。初期運用動作は、前述の図 18のステップ S300〜ステツプ S308と同一であるので、説明を省略する。

[0144] 通常運用動作について、図 23、図 24を用いて説明する。図 23は、 UV色空間と背景色をカメラ撮像した場合の UV値の一例である。また、図 24は、本発明の第 2の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図 24のステップ S900〜ステップ S907は、前述した図 21のステップ S600〜ステップ S607と同一であるので、説明を省略する。

[0145] カメラ 110で撮像された UV色空間は、例えば、図 17Bに示す UV色空間 220である。また、参照テーブル 124に格納された背景画素の U, V値を、 801a、 802b, - -、 801ηとする。日照変動等により、背景画素の色 801aが 81 laに変化したとする。

[0146] 色補完部 726は、背景画素の色 801a、 802b, · ·、 801ηの中力ら、背景画素の色 801aと 811&に近、色を探す（3908)。図 23のように 801b力 ^近!/、場合、色ネ ΐ完咅 26は、色 801aと 801bを除!ヽた、 811a, 801c, -ヽ 80 Inを用!ヽて色ネ甫完を行!/、、色補正パラメータを更新する（S909)。

[0147] 以上のように本発明の第 2の実施の形態の動的なカメラ色補正装置によれば、色補完部 726で、変更された背景画素の色を用いて色補完を行い、色補正パラメータ全体を更新することにより、より精度の高い色補正をすることができる。

[0148] (第 3の実施の形態）

次に、本発明の第 3の実施の形態の動的なカメラ色補正装置を説明する。図 25は、本発明の第 3の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図 25 において図 16、図 22と共通する部分には同一の符号を付けてその説明を省略する [0149] 図 25において、本実施の形態に係る動的なカメラ色補正装置 1000は、実施の形態 1で説明した色補正部 120、背景抽出部 121、背景確認部 122、色抽出部 123、参照テーブル 124、色比較部 125と、実施の形態 2で説明した色補完部 726にカロえ、更新タイミング判別部 1027を備えて構成される。

[0150] 以上のように構成された動的なカメラ色補正装置 1000について、初期運用動作と通常運用動作の 2種類を説明する。初期運用動作は、前述の図 18のステップ S300 〜ステップ S 308と同一であるので、説明を省略する。

[0151] 通常運用動作について、図 26、図 27を用いて説明する。図 26は、本発明の第 3の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図 26のステップ S1100〜ステップ S1109は、前述した図 24のステップ S900 〜ステップ S909と同一であるので、説明を省略する。また、図 27は、ブロック分割した背景画像の一例を示す。

[0152] 更新タイミング判別部 1027は、背景確認部 122から入力された背景画像を図 27のように、 N X M個に矩形分割する（S 1110)。なお、図 27に示す N=4、 M=4の 16 分割は、一例を示すものであって、 N, Mの分割数を限定するものでない。更新タイミング判別部 1027は、分割された各領域について、輝度値の平均を計算する（S111 D o

[0153] 通常運用動作 1回目の場合、 1回目の各領域の輝度値の平均を初期運用動作時の輝度値の平均として格納する（S 1112)。更新タイミング判別部 1027は、分割された各領域について、初期運用動作時の輝度値の平均と、現フレームの輝度値の平均を比較する（S1113)。

[0154] 輝度値に大きな変化があった場合 (S1113 :YES)、日照変動が発生したと判断し、ステップ S 1103〜ステップ S 1109の処理に進む。輝度値に大きな変化がない場合 (S 1113： NO)、日照変動が発生して!/ヽな、と判断し、ステップ S1100に戻る。

[0155] このような本発明の第 3の実施の形態の動的なカメラ色補正装置によれば、更新タイミング判別部 1027が、背景画像の輝度値を検出し、前記背景画像の輝度値と初期運用時の輝度値 (基準となる輝度値)との差に応じて色比較部 125を機能させるか否か判別し、初期運用時に比べ日照変動が多く発生したときのみ、色補正パラメータの更新を行うことで、色補正を行う CPUもしくは DSPの処理負荷を軽減することができる。なお、更新タイミング判別部は、色情報に基づいて、色比較部 125を機能させる力否か判別してもよい。

[0156] (第 4の実施の形態）

次に、本発明の第 4の実施の形態の動的なカメラ色補正装置を説明する。図 28は、本発明の第 4の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図 28 において図 16、図 22、図 25と共通する部分には同一の符号を付けてその説明を省略する。

[0157] 図 28において、本実施の形態に係る動的なカメラ色補正装置 1300は、実施の形態 1で説明した色補正部 120、色抽出部 123、参照テーブル 124、色比較部 125と、実施の形態 2で説明した色補完部 726と、実施の形態 3で説明した更新タイミング判別部 1027にカ卩え、背景抽出部 1321、背景確認部 1322、ノッファ 1328、ノッファ 1 329を備えて構成される。

[0158] 以上のように構成された動的なカメラ色補正装置 1300について、初期運用動作と通常運用動作の 2種類を説明する。まず、初期運用動作について図 29、図 30を用いてその動作を説明する。図 29は、本発明の第 4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図 29のステップ S1400 〜ステップ S1405は、前述した図 18のステップ S300〜ステップ S305と同一であるので、説明を省略する。

[0159] 図 30Aは、現画像および背景画像の一例であり、図 30Bは、背景画素について時系列で作成したヒストグラムの一例である。図 30Aのように家の前に葉つばが存在し、葉っぱが風などで揺れる場合、図 30Aの矩形画素には、葉っぱと家の 2種類の背景色が存在する。そのため、背景抽出部 1321は、 2種類の背景色を抽出する必要がある。

[0160] 以下、 2種類の背景色を抽出するアルゴリズムの一例を説明する。色補正部 120で色補正パラメータに基づき色補正された撮像画像は、ノッファ 1328に格納される (S 1406)。背景抽出部 1321は、時系列的に格納された撮像画像について各画素毎にヒストグラム (図 30B)を生成する（S 1407)。生成されたヒストグラムから、例えば、 M ixture of Gaussian法や閾値法などを用いて、頻度の高!、輝度 b (葉つばの輝度）、輝度 c (家の輝度）を抽出する（S 1408)。図 30Bでは、横軸を輝度とした力輝度に制限するものでなく色も含んでょ、。

[0161] 色抽出部 123は、輝度 b、輝度 cの各画素の位置情報と画素情報から、例えば Y (輝度) U、 V (色）といった輝度信号を除いた 2つの色情報を取得する（S1409)。変換された色情報は、画素の位置情報と 2つの色情報を対応付けて、参照テーブル 124に格納される（S1410)。

[0162] 次に、通常運用動作について図 31を用いて説明する。図 31は、本発明の第 4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図 31のステップ S1600〜ステップ S1609は、前述した図 24のステップ S900〜ステップ S 909と同一であるので、説明を省略する。

[0163] カメラ 110で撮像された監視領域の画像は、バッファ 1329に格納される (S1614) 。背景確認部 1322は、時系列的に格納された撮像画像について各画素毎にヒストグラム (図 30B)を生成する（S1615)。生成されたヒストグラムから、例えば、 Mixture of Gaussian法や閾値法などを用いて、頻度の高!、輝度 b (葉つばの輝度）、輝度 c ( 家の輝度）を抽出する（S1616)。

[0164] 更新タイミング判別部 1027は、背景画像を図 27に示すように、 N X M個に矩形分割する（S1617)。なお、図 27の N=4、 M=4の 16分割は、一例を示すものであつて、 N, Mの分割数を限定するものでない。

[0165] 分割された各領域につ!、て、輝度 bと輝度 cの 2種類の領域にっ、て、輝度値の平均を計算する（S1618)。通常運用動作 1回目の場合、 1回目の各領域の輝度値の平均を初期運用動作時の輝度値の平均として格納する（S1619)。分割された各領域について、初期運用動作時の 2種類の輝度値の平均のそれぞれと、 2種類の現フレームの輝度値の平均とを比較する（S1620)。

[0166] 比較した 2種類の輝度値のどちらかに大きな変化があった場合（S1620 : YES)、ステツプ S 1603〜ステップ S 1609に進む。比較した 2種類の輝度値のどちらかに大きな変化がない場合 (S1620 :NO)、ステップ S1600に戻る。また、 2種類の背景色を抽出するアルゴリズムを記載した力 2種類に制限するものではな、。

[0167] このような本発明の第 4の実施の形態の動的なカメラ色補正装置によれば、背景抽出部 1321と背景確認部 1322で、複数の背景画素を抽出することにより、葉っぱや旗等の揺れが発生した場合であっても、精度よく色補正するができる。

[0168] (第 5の実施の形態）

次に、本発明の第 5の実施の形態の動的なカメラ色補正装置を説明する。図 32は、本発明の第 5の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図 32 において図 16、図 22、図 25、図 28と共通する部分には同一の符号を付けてその説明を省略する。

[0169] 図 32において、本実施の形態に係る動的なカメラ色補正装置 1700は、実施の形態 1で説明した色補正部 120、色抽出部 123、参照テーブル 124、色比較部 125と、実施の形態 2で説明した色補完部 726と、実施の形態 3で説明した更新タイミング判別部 1027と、実施の形態 4で説明した背景抽出部 1321、背景確認部 1322、ノッファ 1328、ノッファ 1329にカ卩え、背景変化確認部 1730を備えて構成される。

[0170] 以上のように構成された動的なカメラ色補正装置 1700について、初期運用動作と通常運用動作の 2種類を説明する。初期運用動作は、前述の図 29のステップ S140 0〜ステップ S1410と同一であるので、説明を省略する。

[0171] 通常運用動作について、図 33、図 34を用いて説明する。図 33および図 34は、本発明の第 5の実施の形態における動的なカメラ色補正装置の動作説明のためのフロ一図である。ここで、図 33のステップ S1800〜ステップ S1820は、前述した図 31のステップ S1600〜ステップ S1620と同一であるので、説明を省略する。

[0172] 背景確認部 1322で抽出された背景画像 (群）は、背景変化確認部 1730に送られる。背景変化確認部 1730は、 1つ前のフレームの背景画像 (群）と現在の背景画像（群)との差分を求める（S1821)。

[0173] 背景変化確認部 1730は、 1つ前のフレームの背景画像 (群)に、現在の背景画像（群)を上書き保存する（S1822)。差分結果に大きさ差異が存在した場合 (S1823 :Y ES)、ステップ S1904〜ステップ S1910 (図 34参照）に進む。

[0174] 図 34のステップ S1904〜ステップ S1910は、前述した図 29のステップ S 1404〜ステツプ S1410と同一であるので、説明を省略する。差分結果に大きな差異が存在しない場合（S1823 :NO)、ステップ S1817〜ステップ S1820、ステップ S1803〜ステップ S 1809の処理に進む。

[0175] このような本発明の第 4の実施の形態の動的なカメラ色補正装置によれば、背景変化確認部 1730で、 1つ前のフレームの背景画像 (群）と現在の背景画像 (群)を比較することにより、背景画像に含まれている駐車車両等が移動した場合であっても、精度よく色補正することができる。

[0176] (第 6の実施の形態）

次に、本発明の第 6の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置を説明する。図 35は、本発明の第 6の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置の構成を示す。なお、図 35において図 16と共通する部分には同一の符号を付けてその説明を省略する。

[0177] 図 35において、本実施の形態の映像検索装置は、カメラ 110と、監視装置 2000と

、データベース（_DB) 2035,人物検索部 2036、検索結果表示部 2037、キーボード

•マウス 2038力も構成される。

[0178] 監視装置 2000は、上述した実施の形態 1に係る動的なカメラ色補正装置 100、動領域抽出部 2031、人判別部 2032、領域分割部 2033、代表色算出部 2034、から構成される。

[0179] 以上のように構成された本実施の形態 6の映像検索装置について、蓄積動作、検索動作について説明する。まず、蓄積動作について、図 36、図 37を用いてその動作を説明する。図 36は、本発明の第 6の実施の形態における、動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。また、図 37はその説明図である。なお、動的なカメラ色補正装置 100の動作は、上述した実施の形態 1の動作と同一であるので、説明を省略する。

[0180] 色補正部 120が処理した撮像画像は、動領域抽出部 2031に入力される（S2100) 。動領域抽出部 2031は、入力された撮像画像とあらかじめ保持する背景画像との差分値を算出する背景差分処理を行う (S2101)。

[0181] 次に、動領域抽出部 2031は、撮像画像に動きがある力否かを判別する（S2102) 。具体的には、動領域抽出部 2031は、 S2102における背景差分処理において、差分値があらかじめ決められた値より大きな場合には映像に動きがあると判定し、そうでなヽ場合には画像に動きがな、と判定する。

[0182] なお、動領域抽出部 2031は、 S2101において、背景差分処理以外の処理を行い

、 S2102において、その背景差分処理以外の処理の結果に応じて画像に動きがある力否かを判定するようにしても良!、。

[0183] 動領域抽出部 2031に入力された撮像画像に対応する映像に動きがある場合には

、動領域抽出部 2031は、その映像内の動領域を抽出する（S2103)。更に、動領域抽出部 2031は、動領域の撮像画像を、人判定部 2032へ出力する。

[0184] 人判定部 2032は、動領域抽出部 2031からの動領域の撮像画像が入力されると、楕円ハフ処理を行う（S2104)。次に、人判定部 2032は、動領域の撮像画像が人であることの条件を満たして、る力否かを判定する（S2105)。

[0185] 具体的には、人判定部 2032は、 S2104における楕円ハフ処理によって、動領域内に人の顔らしい楕円形状の領域を検出することができた場合には、その動領域が人であることの条件を満たしていると判定する。また、人の顔らしい楕円形状の領域を検出することができな力つた場合には、その動領域が人であることの条件を満たしていないと判定する。

[0186] なお、人判定部 2032は、 S2104において、楕円ハフ処理以外の処理 (例えば、蓄積対象動領域全体の形状、大きさ等を導出する処理)を行い、 S2105において、その楕円ハフ処理以外の処理の結果に応じて動領域が人であることの条件を満たして V、る力否力判定するようにしても良!、。

[0187] 動領域が人であることの条件を満たしていない場合（S2105 : NO)には、ステップ S 2100に戻る。動領域が人であることの条件を満たしている場合（S2105 : YES)には、人判定部 2032は、動領域の撮像画像を、領域分割部 2033へ出力する。

[0188] 領域分割部 2033は、人判定部 2032からの動領域撮像画像を複数のブロック領域に分割する（S2106)。例えば、領域分割部 2033は、図 37のように、頭、上半身、下半身、靴の 4つに分割する。分割するアルゴリズムは、 K— Mean法でも、反復型領域拡張法でもよい。なお、動領域の分割数やブロック領域の形状、分割アルゴリズムは特に限定されるものではな、。

[0189] 領域分割部 2033は、分割された各ブロック領域に対応する撮像画像を、代表色算出部 2034へ出力する。代表色算出部 2034は、各ブロック領域を所定の色変換アルゴリズム（例えば、 RGB表色系を、 HSV表色系や Lab表色系、 YUV表色系に変換する）で、各ブロック領域の代表色を算出する（S2107)。例えば、領域内の色の平均値や、最頻値、ヒストグラム全体でもよい。

[0190] 更に、代表色算出部 2034は、各ブロック領域のテクスチャ情報を取得する（S210 8)。例えば、 2次元ガボール変換による空間周波数解析手法や、縦、横、斜め方向のエッジヒストグラムでも良、。

[0191] 次に、代表色算出部 2034は、 DB2035に代表色情報、テクスチャ情報を出力する。 DB2035は、代表色情報、テクスチャ情報を蓄積する（S2109)。なお、 DB2035 は、代表色情報、テクスチャ情報に対応付けて、撮像したカメラ 110の識別番号、撮像日時、サムネイル画像を蓄積するようにしてもよい。

[0192] 上述したステップ S2100〜ステップ S2109の処理が繰り返されることによって、 DB 2035には、複数の人物に対応する代表色情報、テクスチャ情報が蓄積される。

[0193] 次に、検索動作について、図 38を用いて説明する。図 38は、本発明の第 6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。

[0194] まず、ユーザがキーボード 'マウス 2038を介して、人物検索部 2036に、人物検索命令を送信する（S2300)。人物検索命令は、例えば、 DB2035に蓄積されたサムネイル画像でも、赤、青、黄色といった知覚代表 11色でも、日時、カメラ 110の識別番号でもよい。

[0195] また、上半身が赤色で、下半身が黒と白のストライプのテクスチャをもち、 2005年 1 1月 11日 10時 10分〜 2005年 11月 11日 20時 45分の間に、カメラ番号 1に撮像された人物を検索といった、絞込検索をしてもよい。

[0196] 人物検索部 2036は、人物検索命令が入力されると、 DB2035から人物検索命令に対応した人物に対応する代表色情報、テクスチャ情報を読み出す (S2301)。例えば、カメラ番号 1の人物と人物検索命令が出ている場合、カメラ番号 2に撮像された人物は読み出さない。

[0197] 次に、人物検索部 2036は、読み出された人物に対応する代表色情報、テクスチャ情報を、人物検索命令に沿ってスコア算出する（S2302)。例えば、 DB2035から人物 A、人物 B、人物 Cの代表色情報、テクスチャ情報が読み出されたとする。また、人物検索命令が、人物 Dの上半身の色と似ている人とする。

[0198] 人物 Aの上半身の色情報を 2次元座標 (Al、 A2)、人物 Bの上半身の色情報を 2 次元座標（Bl、 B2)、人物 Cの上半身の色情報を 2次元座標（Cl、 C2)、人物 Dの上半身の色情報を 2次元座標（Dl、 D2)とすると、 Dの座標と、 A, B, Cの座標のュークリツド距離を算出する。なお、ユークリッド距離以外の手法で、スコア算出してもよい。

[0199] 次に、検索結果表示部 2037は、人物検索部 2036が算出したスコア順に、例えばサムネイル画像を表示する（S2303)。なお、監視装置 2000は、動的なカメラ色補正装置 100の代わりに、実施の形態 2の動的なカメラ色補正装置 700、実施の形態 3の動的なカメラ色補正装置 900、実施の形態 4の動的なカメラ色補正装置 1300、実施の形態 5の動的なカメラ色補正装置 1700を備えてもよい。

[0200] なお、本実施の形態の監視装置 2000において、動的なカメラ色補正装置 100は、カメラ 110内部に実装されてもよい。また、本実施の形態 6の監視装置 2000における動領域抽出部 2031、人判定部 2032、領域分割部 2033、代表色算出部 2034は、カメラ 110内部に実装されてもよい。

[0201] このような本発明の第 6の実施の形態によれば、動的なカメラ色補正装置 100で、動的に色補正を行うことにより、カメラの個体差、日照の変動等の影響を受けることなく、精度の良い人物検索をすることができる。

[0202] (第 7の実施の形態）

次に、本発明の第 7の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置を説明する。図 39は、本発明の第 7の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置の構成を示す。なお、図 39において図 16、図 35と共通する部分には同一の符号を付けてその説明を省略する。

[0203] 図 39において、本実施の形態の映像検索装置は、カメラ 110と、実施の形態 6で説明した監視装置 2000、 DB2035、人物検索部 2036、キーボード 'マウス 2038に加え、圧縮部 2439、ストレージ 2440、展開部 2441、表示部 2442を備えて構成される。

[0204] 監視装置 2000は、上述した実施の形態 1に係る動的なカメラ色補正装置 100、上述した実施の形態 6に係る動領域抽出部 2031、人判別部 2032、領域分割部 2033 、代表色算出部 2034、から構成される。

[0205] 以上のように構成された本実施の形態 7の映像検索装置にっ、て、 DB蓄積動作、ストレージ蓄積動作、表示動作について説明する。蓄積動作は、前述の図 36のステップ S 2100〜ステップ S 2109と同一であるので、説明を省略する。

[0206] ストレージ蓄積動作について、図 40を用いて説明する。図 40は、本発明の第 7の実施の形態における、動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。

[0207] 色補正部 120は、色補正した撮像画像を、圧縮部 2439に出力する（S2500)。圧縮部 2439は、撮像画像を所定の圧縮方式で圧縮し (S2501)、圧縮された撮像画像はストレージ 2440に蓄積される（S2502)。ここで、所定の圧縮方式としては、例えは MPEG(Movging Picture Experts Group)方式、 JPEG (Joint Photograp hie Experts Group)方式等が用いられる。

[0208] なお、ストレージ 2440は、圧縮画像に対応付けて、撮像したカメラ 110の識別番号、撮像日時を蓄積するようにしてもよい。上述したステップ S2500〜ステップ S2502 の処理が繰り返されることによって、ストレージ 2440に撮像画像が格納される。

[0209] 表示動作について、図 41を用いて説明する。図 41は、本発明の第 7の実施の形態における、動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロ一図である。ここで、図 41のステップ S2600〜ステップ S2602は、前述した図 38のステップ S2300〜ステップ S2302と同一であるので、説明を省略する。

[0210] 人物検索部 2036によって算出された最上位のスコアの人物の画像を再生するよう、展開部 2441に人物再生命令を送信する（S2603)。例えば、最上位のスコア力 2 005年 11月 11日 10時 10分 00秒にカメラ番号 1で撮像された人物の場合、人物再生命令は、 2005年 11月 11日 10時 10分 00秒〜 2005年 11月 11日 10時 11分 00 秒のカメラ番号 1の圧縮画像を展開せよ、というようになる。

[0211] 展開部 2441は、人物再生命令に従い、ストレージ 2440から圧縮画像を読み出し ( S2604)、所定の伸張方式で、伸張する（S2605)。ここで、所定の伸張方式は、圧縮部 2439の圧縮方式と対応した伸張方式をとる。伸張された画像を、表示部 2442 で表示する（S 2606)。

[0212] なお、監視装置 2000は、動的なカメラ色補正装置 100の代わりに、実施の形態 2 の動的なカメラ色補正装置 700、実施の形態 3の動的なカメラ色補正装置 900、実施の形態 4の動的なカメラ色補正装置 1300、実施の形態 5の動的なカメラ色補正装置 1700を備えてもよい。

[0213] また、圧縮部 2439にて、圧縮するフレームを選択し、間欠して圧縮しても良い。これにより、扱うデータ量を減らすことができる。また、動的なカメラ色補正装置 100は、カメラ 110内部に実装されてもよい。また、動領域抽出部 2031、人判定部 2032、領域分割部 2033、代表色算出部 2034は、カメラ 110内部に実装されてもよい。

[0214] このような本発明の第 7の実施の形態によれば、動的なカメラ色補正装置 100で、動的に色補正を行い、色補正された映像をストレージ 2440に蓄積し、表示部 2442 で表示することで、カメラの個体差、日照の変動等の影響を受けることなぐ所望の人物を映像再生することができる。

[0215] (第 8の実施の形態）

次に、本発明の第 8の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置を説明する。図 42は、本発明の第 7の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置の構成を示す。なお、図 42において図 16、図 35、図 39と共通する部分には同一の符号を付けてその説明を省略する。

[0216] 図 42において、本実施の形態の映像検索装置は、カメラ 110と、実施の形態 6で説明した監視装置 2000、表示部 2442に加え、人物マッチング部 2743、映像切替部 2745を備えて構成される。

[0217] 監視装置 2000は、上述した実施の形態 1に係る動的なカメラ色補正装置 100、上述した実施の形態 6に係る動領域抽出部 2031、人判別部 2032、領域分割部 2033 、代表色算出部 2034、から構成される。 [0218] 以上のように構成された本実施の形態 8の映像検索装置について、図 43を用いて説明する。図 43は、本発明の第 8の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。ここで、図 43のステップ S 2800〜ステップ S2808は、前述した図 36のステップ S2100〜ステップ S2108と同一であるので、説明を省略する。

[0219] 代表色算出部 2034で生成された人物の代表色情報、テクスチャ情報は、人物マツチング部 2743に送られる。また、検索人物 DB2744には、あら力じめ特定の人物の代表色情報、テクスチャ情報が格納されている。

[0220] 人物マッチング部 2743は、検索人物 DB2744に格納されて、る代表色情報、テクスチヤ情報を読み出す (S2809)。検索人物 DB2744から読み出された代表色情報、テクスチャ情報と、代表色算出部 2034から送られた代表色情報、テクスチャ情報とを比較し (S2810)、同一人物である力判別する。比較方法は、例えば、前述のスコァ算出（S2302参照)で述べたユークリッド距離でも良い。

[0221] 同一人物である場合 (S2811： YES)、その人物の代表色情報、テクスチャ情報を生成した代表色算出部 2034に対応したカメラ識別番号にモニタ表示するよう、映像切替部 2745にカメラ切替命令を送信する（S2812)。切り替えられた撮像画像を、表示部 2442で表示する（S2813)。同一人物でない場合（S2811 :NO)、ステップ S2 800に戻る。

[0222] なお、監視装置 2000は、動的なカメラ色補正装置 100の代わりに、実施の形態 2 の動的なカメラ色補正装置 700、実施の形態 3の動的なカメラ色補正装置 900、実施の形態 4の動的なカメラ色補正装置 1300、実施の形態 5の動的なカメラ色補正装置 1700を備えてもよい。

[0223] また、動的なカメラ色補正装置 100は、カメラ 110内部に実装されてもよい。また、動領域抽出部 2031、人判定部 2032、領域分割部 2033、代表色算出部 2034は、カメラ 110内部に実装されてもよい。

[0224] このような本発明の第 7の実施の形態によれば、動的なカメラ色補正装置 100で、動的に色補正を行い、人物マッチング部 2743で、あら力じめ検索人物 DB2744に格納された人物力どうか比較し、同一人物の場合、映像切替部 2745で、カメラ切替をすることにより、カメラの個体差、日照の変動等の影響を受けることなぐ所望の人物がカメラ間を移動してもモニタリングすることができる。

[0225] 以上に現時点で考えられる本発明の好適な実施の形態を説明した力本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

産業上の利用可能性

[0226] 以上のように、本発明（第 1発明）にかかる色補正処理装置は、色補正処理に不用なカラーセットの情報を保持しなくてすみ、計算負荷が軽減されて、照明環境の変化にリアルタイムで対応できると!、う効果を有し、追跡監視システム等に用いられる色補正処理装置等として有用である。

[0227] また、以上のように、本発明（第 2発明）は、カメラ設置環境、日照環境等と!/、つた撮像環境の変動に影響されることなく、画像の色を適切に補正できると、う効果を有し、動的なカメラ色補正装置およびそれを用いた映像検索装置等に有用である。

Claims

請求の範囲

[1] 色補正の対象となるソースカラーの色情報と、色補正後のリファレンスカラーの色情報を含むカラーセット情報を記憶するカラーセット情報記憶部と、

前記カラーセットを用いて、複数の撮像装置で撮影された各ソース画像のうち前記ソースカラーと類似範囲内の色を前記リファレンスカラーに校正する色補正部と、前記各ソース画像から特定のソース領域を選択する領域選択部と、

前記ソース領域を代表する色としてソース領域カラーを決定する領域カラー決定部と、

前記ソース領域カラーを用いて、前記カラーセットのソースカラーを更新するカラーセット更新部と、

を備えたことを特徴とする色補正処理装置。

[2] 前記領域選択部は、前記ソース画像から、背景画像中を移動する前景オブジェクトをソースオブジェクトとして抽出するソースオブジェクト抽出部を備え、

前記領域カラー決定部は、前記ソースオブジェクトの平均色を、前記ソース領域力ラーであるオブジェクトカラーとして決定するオブジェクトカラー決定部を備え、色補正処理装置には、前記ソースオブジェクトと所定のリファレンスオブジェクトが類似する力否かを判定するオブジェクト類似判定部が備えられ、

前記カラーセット更新部は、前記ソースオブジェクトと前記リファレンスオブジェクトが類似すると判定されたときに、前記ソースオブジェクトのオブジェクトカラーを用いて、前記カラーセットのソースカラーを更新することを特徴とする請求項 1に記載の色補正処理装置。

[3] 前記オブジェクト類似判定部は、

前記ソースオブジェクトと前記リファレンスオブジェクトの特徴量を比較することにより、前記ソースオブジェクトと前記リファレンスオブジェクトの類似度を判定することを特徴とする請求項 2に記載の色補正処理装置。

[4] 前記カラーセット更新部は、

前記ソースオブジェクトのオブジェクトカラーと前記カラーセットのソースカラーの重み付け平均処理で得られた重み付け平均色を、更新用のソースカラーとして用いることを特徴とする請求項 2に記載の色補正処理装置。

[5] 前記カラーセット情報記憶部には、前記ソースカラーの色情報を獲得した領域情報を含むカラーセット情報が記憶され、

前記領域選択部は、前記複数のソース画像から背景画像を獲得する背景画像獲得部と、前記背景画像から、前記ソースカラーの領域情報に対応する対応領域を探索する対応領域探索部を備え、

前記領域カラー決定部は、前記対応領域の平均色を、前記ソース領域カラーである対応領域カラーとして決定する対応領域カラー決定部を備え、

色補正処理装置には、前記対応領域カラーに基づいて、前記ソース画像における照明環境の変化を検出する照明変化検出部が備られ、

前記カラーセット更新部は、照明環境に変化があつたと判定されたときに、前記対応領域カラーを用いて前記カラーセットのソースカラーを更新することを特徴とする請求項 1に記載の色補正処理装置。

[6] 前記照明変化検出部は、

前記対応領域カラーと前記ソースカラーの色距離を算出する色距離算出部と、前記対応領域カラーと前記ソースカラーの色距離が、所定のしきい色距離よりも大きいときに、照明環境に変化があつたと判定する照明変化判定部と、

を備えたことを特徴とする請求項 5に記載の色補正処理装置。

[7] 前記背景画像獲得部は、

所定の時間間隔で、前記複数のソース画像から前記背景画像を獲得し、前記照明変化検出部は、

前記所定の時間間隔で、前記ソース画像における照明環境の変化を検出することを特徴とする請求項 5に記載の色補正処理装置。

[8] 前記色補正部は、

前記対応領域を複数の小領域に分割する領域分割部を備え、

前記複数の小領域ごとに、前記ソースカラーと類似範囲内の色を前記リファレンスカラーに校正することを特徴とする請求項 5に記載の色補正処理装置。

[9] 色補正の対象となるソースカラーの色情報と、色補正後のリファレンスカラーの色情報を含むカラーセット情報を記憶し、

複数の撮像装置で撮影された各ソース画像カゝら特定のソース領域を選択し、前記ソース領域を代表する色としてソース領域カラーを決定し、

前記ソース領域カラーを用いて、前記カラーセットのソースカラーを更新し、前記カラーセットを用いて、前記複数のソース画像のうち前記ソースカラーと類似範囲内の色を前記リファレンスカラーに校正することを特徴とする色補正処理方法。

[10] 前記ソース画像から、背景画像中を移動する前景オブジェクトをソースオブジェクトとして抽出し、

前記ソースオブジェクトの平均色を、前記ソース領域カラーであるオブジェクトカラ一として決定し、

前記ソースオブジェクトと所定のリファレンスオブジェクトが類似する力否かを判定し前記ソースオブジェクトと前記リファレンスオブジェクトが類似すると判定されたときに、前記ソースオブジェクトのオブジェクトカラーを用いて、前記カラーセットのソースカラーを更新することを特徴とする請求項 9に記載の色補正処理方法。

[11] 前記ソースカラーの色情報を獲得した領域情報を含むカラーセット情報を記憶し、前記複数のソース画像から背景画像を獲得し、

前記背景画像から、前記ソースカラーの領域情報に対応する対応領域を探索し、前記対応領域の平均色を、前記ソース領域カラーである対応領域カラーとして決定し、

前記対応領域カラーに基づいて、前記ソース画像における照明環境の変化を検出し、

照明環境に変化があつたと判定されたときに、前記対応領域カラーを用いて前記力ラーセットのソースカラーを更新することを特徴とする請求項 9に記載の色補正処理方法。

[12] 監視領域を撮像する撮像部から入力される画像の色補正を行うカメラ色補正装置であって、

特定のカラーチャートから色補正パラメータを決定する色補完部と、前記色補正パラメータに基づ、て、前記撮像部が撮像した画像の色補正を行、色補正画像を出力する色補正部と、

前記色補正画像から背景画像を抽出する背景抽出部と、

前記背景画像が、背景か否かを確認する背景確認部と、

前記確認された背景画像力色情報を抽出する色抽出部と、

前記抽出された色情報が変化した場合に、前記色補正パラメータを変更させる色比較部とを備える動的なカメラ色補正装置。

[13] 前記背景画像の色情報を背景画像の位置情報と対応させて格納する参照テープルを備える請求項 12記載の動的なカメラ色補正装置。

[14] 前記色補正部は、前記色比較部が変更する色補正パラメータに基づ!、て、全色空間の色補正パラメータを更新する請求項 12記載の動的なカメラ色補正装置。

[15] 前記背景画像の画素情報を検出し、前記背景画像の画素情報と基準となる画素情報との差に応じて、前記色比較部を機能させる力否力判別する更新タイミング判別部を備える請求項 12記載の動的なカメラ色補正装置。

[16] 前記更新タイミング判別部は、前記背景画像を所定の領域に分割し、各領域の輝度値の平均を計算する請求項 15記載の動的なカメラ色補正装置。

[17] 前記色補正部が補正した画像を格納する第 1と第 2のバッファを備え、

前記背景抽出部は、前記第 1のバッファに格納した画像力複数の背景画像群 1を抽出し、

前記背景確認部は、前記第 2のバッファに格納した画像力複数の背景画像群 2を抽出し、

前記色比較部は、前記背景画像群 1および背景画像群 2の画素情報を検出し、前記背景画像群 1および背景画像群 2の画素情報の変化に基づいて前記色比較処理を行う請求項 15記載の動的なカメラ色補正装置。

[18] 前記背景抽出部は、前記第 1のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高、輝度を抽出し、

前記背景確認部は、前記第 2のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高い輝度を抽出する請求項 17記載の動的なカメラ色補正装置。

[19] 前記背景確認部で確認した背景画像中の物体が移動した力どうかを確認する背景変化確認部を備える請求項 15記載の動的なカメラ色補正装置。

[20] 前記背景変化確認部は、 1つ前のフレームの背景画像と現在の背景画像との差分を求める請求項 19記載の動的なカメラ色補正装置。

[21] 請求項 12記載の動的なカメラ色補正装置と、

前記色補正部で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出部と、

前記動領域抽出部で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別部と、

前記人判別部で抽出された人物領域をブロック分割する領域分割部と、前記領域分割部でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出部と、

前記代表色算出部で抽出された色情報とテクスチャ情報とを蓄積するデータべ一スと、

前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出する人物検索部と前記人物検索部で算出されたスコアを表示する検索結果表示部とを備える映像検索装置。

[22] 請求項 12記載の動的なカメラ色補正装置と、

前記人判別部で抽出された人物領域をブロック分割する領域分割部と、前記領域分割部でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出部と、前記代表色算出部で抽出された色情報とテクスチャ情報とを蓄積するデータべ一スと、

前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出し、特定のスコアの撮像画像を再生するよう再生命令を送信する人物検索部と、

前記色補正部で補正した撮像画像を所定の圧縮方式で圧縮する圧縮部と、前記圧縮部で圧縮された撮像画像を格納するストレージと、

前記人物検索部が送信した再生命令に基づき、前記ストレージに格納された前記圧縮部で圧縮された撮像画像を読み出し、所定の伸張方式で伸張する展開部と、前記展開部で展開された撮像画像を表示する表示部とを備える映像検索装置。

[23] 前記圧縮部は、前記色補正部で補正した撮像画像から任意のフレームを間欠し、所定の圧縮方式で圧縮する請求項 22記載の映像検索装置。

[24] 複数のカメラに接続される映像検索装置であって、

請求項 12記載の動的なカメラ色補正装置と、

特定の人物の色情報とテクスチャ情報とが格納された検索人物データベースと、前記検索人物データベースに格納された色情報およびテクスチャ情報と、前記代表色算出部で算出された色情報およびテクスチャ情報とを比較し、同一人物のものである場合、前記代表色算出部が検出した人物が撮像されている前記色補正部で補正した撮像画像を表示するようカメラ切替命令を送信する人物マッチング部と、前記人物マッチング部が送信したカメラ切替命令に基づき、前記色補正部で補正した撮像画像を撮像するカメラに切り替える映像切替部と、前記映像切替部で切り替えられた前記色補正部で補正した撮像画像をモニタ表示する表示部とを備える映像検索装置。

監視領域を撮像する撮像部から入力された画像の色補正を色補正パラメータに基づ、て行う色補正装置であって、

前記画像中の背景領域を抽出する背景領域抽出部と、

前記背景領域の色情報を抽出する色情報抽出部と、

参照テーブルに格納されている、初期運用時における背景領域の色情報と、抽出した色情報とを比較する色情報比較部と、

比較結果に基づ、て、前記色補正パラメータを変更するパラメータ変更部と、を備える色補正装置。