JP6520919B2 - 画像補正装置、画像補正方法およびプログラム - Google Patents

Description

本発明は、撮像手段により取得された画像を補正する技術に関する。

カメラ等の撮像手段により取得されたある画像を基に対象物を識別する方法として、形状等に関する特徴量を用いて識別する方法や、色情報を用いて識別する方法がある。色情報を用いて識別する方法は、対象物の向きやカメラの撮影角度等に対して頑健であると共に、直感的にもわかりやすいので、有用である。

一方で、色情報を用いて識別する方法では、カメラごとの特性や照明環境が変動することによって、画像ごとに観測（認識）される色情報が変動するという問題がある。

例えば、広域監視システムを用いた監視では、広い範囲を監視するために複数のカメラを設置する場合がある。この場合、カメラの設置場所に応じて照明環境が大きく異なるので、同じ色を有する対象物を撮影していても異なる色として認識されてしまう虞がある。また、異なる色特性を持つカメラを使用する場合、カメラごとの色の認識に違いが生じないように、予め、カメラに色校正を行うことが望ましい。しかしながら、全てのカメラに対して予め色校正を行うことは困難であるので、たとえ照明条件が同じ環境において同一物体を撮影したとしても、異なる色情報として観測されてしまう虞がある。

また、１台のカメラにより撮影された画像であっても、特に屋外では時刻によって照明環境が大きく変動するので、観測される色情報も変動する。

これらの問題を解決するため、画像から得られた色情報を、カメラが持つ色特性や照明環境によって変動しない、安定した色情報に補正する色補正技術が必要である。

非特許文献１には、グレーワールド仮説が開示されている。また、非特許文献２には、グレーエッジ仮説が開示されている。これらの技術を利用することにより、シーン（撮像対象である空間）全体の照明色を推定することができる。また、推定された照明色に基づいて、シーン全体のカラーバランスを補正することができる。

また、非特許文献３には、複数のカメラ間を移動する対象物の見た目を一致させる技術が開示されている。この技術では、輝度伝達関数（Ｂｒｉｇｈｔｎｅｓｓ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＢＴＦ）をそれぞれ定義および算出することにより、色補正を行っている。ＢＴＦは、一方のカメラで観測された映像の輝度分布を、もう一方のカメラで観測された映像の輝度分布と対応付ける関数である。２つのカメラ間のＢＴＦは、その間を移動する対象物の色変動を利用して学習される。ＢＴＦには様々な表現があり、例えばガンマ補正式やヒストグラム間距離などもＢＴＦの一種である。

このように、カメラ間のＢＴＦを学習することで、複数のカメラ間で同一の対象物に関する色情報が安定的に取得できるように、色補正を行うことができる。

また、特許文献１には、被検査体の表面の状態に個体差がある場合であっても、個体差の影響を除去して被検査体の表面を精度良く検査できる外観検査方法が開示されている。

また、特許文献２には、精度よく画像認識が行える画像認識装置が開示されている。

さらに、特許文献３には、ちらつきを生じずに映像ソースによらず、またシーンによらず、適応的に動画像を自動的に高画質化することが可能な映像処理装置が開示されている。

特開２０１０−０６６１５３号公報 特開２００６−３０１８０３号公報 特開２００２−２６２３０３号公報 ジー・ブッシュバウム（G.Buchsbaum）著、「スペイシャル プロセッサー モデル フォー オブジェクト カラー パーセプション（A spatial processor model for object colour perception）」、ジャーナル・オブ・ザ・フランクリン・インスティティート（J. Franklin. Inst.）、１９８０年、第３１０巻、第１号 、ｐｐ．１−２６ ジェイ・バン・デ・ウェイジャー（J. van de Weijer）、ティー・ジェバース（T. Gevers）、エイ・ジセン（A. Gijsenij）著、「エッジ・ベイスド カラー コンスタンシー（Edge-Based Color Constancy）」アイトリプルイー トランザクションズ オン イメージ プロセッシング（IEEE transactions on Image Processing）、 第１６巻、第９号、ｐｐ．２２０７−２２１４、２００７年 井尻、川西、美濃、村瀬著、「サーベイ論文：視野を共有しない複数カメラ間での人物照合」、パターン認識・メディア理解研究会、２０１１年

撮像対象である空間（撮像空間）に生じる影などによって、１台のカメラにより撮影された対象物でも、場所によって異なる明るさで認識されてしまう虞がある。すなわち、建物の柱などによって撮像空間に局所的に影が生じるような場合、その場所だけ対象物が暗く映る場合がある。したがって、場所によって同じ対象物が暗く映ったり明るく映ったりする場合があるので、認識の精度が低下してしまうという課題がある。

上述したグレーワールド仮説やグレーエッジ仮説を用いた色補正では、画像全体のカラーバランスの調整を行うことはできるが、場所ごとの照明強度の違いを補正することはできない。

また、ＢＴＦを求める方式も、カメラ間の輝度分布の違いを求めるのみであり、撮像空間における明るさが変動するような状況において、場所ごとの照明強度の違いを補正することはできない。

さらに、特許文献１に開示されている外観検査方法は、同一のサイズ、形状である物体の撮影画像ごとの個体差を補正する技術であり、撮像空間における場所ごとの照明強度の違いを補正することはできない。

同様に、特許文献２および３も、撮像空間における場所ごとの照明強度の違いを補正することはできない。

本願発明は、上記課題を鑑みてなされたものであり、撮像空間における照明強度が場所によって異なる場合でも、撮像画像における対象物を安定して識別することができる画像補正装置等を提供することを主要な目的とする。

本発明の第１の画像補正装置は、撮像対象である空間を移動する参照物体が撮像された参照画像における、前記参照物体が表示される領域の輝度情報と、当該領域の位置を示す座標情報とに基づいて、参照輝度補正パラメータを算出する参照輝度補正パラメータ算出手段と、補正対象物を含む、前記空間が撮像された撮像画像を、前記参照輝度補正パラメータに基づいて補正する補正手段とを備える。

本発明の第１の画像補正方法は、撮像対象である空間を移動する参照物体が撮像された参照画像における、前記参照物体が表示される領域の輝度情報と、当該領域の位置を示す座標情報とに基づいて、参照輝度補正パラメータを算出し、補正対象物を含む、前記空間が撮像された撮像画像を、前記参照輝度補正パラメータに基づいて補正する。

なお同目的は、上記の各構成を有する画像補正装置または画像補正方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても達成される。

本願発明によれば、撮像空間における照明強度が場所によって異なる場合でも、撮像画像における対象物を安定して識別することができるという効果が得られる。

図１は、本発明の第１の実施形態に係る画像補正装置の構成例を示すブロック図である。 図２は、本発明の第１の実施形態に係る画像補正装置における参照輝度補正パラメータ算出部の動作を説明するフローチャートである。 図３Ａは、本発明の第１の実施形態に係る画像補正装置における撮像部により取得された参照画像の一例を示す図である。 図３Ｂは、本発明の第１の実施形態に係る画像補正装置における撮像部により取得された参照画像の一例を示す図である。 図３Ｃは、本発明の第１の実施形態に係る画像補正装置における撮像部により取得された参照画像の一例を示す図である。 図４は、本発明の第１の実施形態に係る画像補正装置における撮像部が取得した撮像画像を参照輝度補正パラメータを用いて補正する動作を示すフローチャートである。 図５は、本発明の第１の実施形態に係る画像補正装置が取得した撮像画像の例を示す図である。 図６は、本発明の第２の実施形態に係る画像補正装置の構成例を示すブロック図である。 図７は、本発明の第２の実施形態に係る画像補正装置による補正処理について説明するフローチャートである。 図８は、本発明の第２の実施形態に係る画像補正装置における参照領域指定部により２つの参照領域が指定された画像の一例を示す図である。 図９は、本発明の第３の実施形態に係る画像補正装置の構成例を示すブロック図である。 図１０は、本発明の第４の実施形態に係る画像補正装置の構成例を示すブロック図である。 図１１は、本発明の各実施形態に係る情報処理装置のハードウエア構成を例示する図である。

以下、本発明の実施形態について図面を参照して説明する。

第１の実施形態
図１は、本発明の第１の実施形態に係る画像補正装置１００の構成例を示すブロック図である。図１に示すように、画像補正装置１００は、参照輝度補正パラメータ算出部１０１と、メモリ１０２と、対象物抽出部１０３と、輝度補正パラメータ算出部１０４と、輝度補正部１０５とを備える。

本実施形態では、人物同定において適用される画像補正装置について説明するが、本実施形態に示す例に限らない。すなわち、画像補正装置は、例えば人物以外の物体同定において適用されてもよい。

本実施形態に係る画像補正装置１００に含まれる構成要素の概要について説明する。

参照輝度補正パラメータ算出部１０１は、入力された参照画像に基づいて、撮像対象である撮像空間（シーン）を撮像した画像（撮像画像）の補正に用いるパラメータ（以降、「参照輝度補正パラメータ」と称する）を算出する。参照画像とは、撮像画像を補正するためのパラメータ等を算出するための参照用の画像である。参照画像は、撮像画像と少なくとも同一のシーンが撮像されており、かつ、参照輝度補正パラメータを算出するために用いられる物体である参照物体が少なくとも含まれている画像である。

メモリ１０２は、参照輝度補正パラメータ算出部１０１により算出された参照輝度補正パラメータ等の格納領域である。

対象物抽出部１０３は、撮像画像、すなわち監視カメラ等の撮像部１１０により取得された画像から、識別したい人物を抽出する。輝度補正パラメータ算出部１０４は、対象物抽出部１０３が抽出した人物に関して、メモリ１０２を参照しながら輝度補正パラメータを算出する。

輝度補正部１０５は、輝度補正パラメータ算出部１０４が算出したパラメータを用いて、撮像画像を補正する。

図２は、本実施形態に係る画像補正装置１００における参照輝度補正パラメータ算出部１０１の動作を説明するフローチャートである。図２を参照して、参照輝度補正パラメータ算出部１０１の動作について説明する。

参照輝度補正パラメータ算出部１０１は、まず、あるシーンを撮像した複数の参照画像を入力する（ステップＳＴ２０１）。そして、参照輝度補正パラメータ算出部１０１は、入力された複数の参照画像に基づいて、座標値（座標情報）に関連付けられる参照輝度補正パラメータを算出する。参照輝度補正パラメータは、監視カメラ等の撮像部１１０により取得された撮像画像の輝度を補正するためのパラメータである。

ここで、参照輝度補正パラメータ算出部１０１が参照輝度補正パラメータを算出するために用いる平均輝度値の算出について説明する。参照輝度補正パラメータ算出部１０１は、入力した複数の参照画像に含まれる、同一人物であると予め分かっている人物（以降、「参照人物」と称する）をユーザの操作に応じて抽出すると共に、その参照人物が表示される領域内の画素（座標）に関する輝度値（輝度情報）の平均値を算出する。以下の説明では、座標は２次元のＸ−Ｙ座標系とする。

図３Ａ乃至図３Ｃは、撮像部１１０により取得された参照画像の一例を示す図である。図３Ａに示すように、参照輝度補正パラメータ算出部１０１は、例えば参照人物１０を抽出したとき、参照人物１０が表示される領域内の各画素における輝度値Ｙを、それぞれの画素におけるＲＧＢ（Ｒ：Ｒｅｄ、Ｇ：Ｇｒｅｅｎ、Ｂ：Ｂｌｕｅ）値を用いて、次式（１）により算出する。

Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ・・・（１）
但し、本実施形態において、「×」は乗算を表す。

続いて、参照輝度補正パラメータ算出部１０１は、上記算出した輝度値の平均値、すなわち平均輝度値Ｙ_ａｖを、次式（２）により算出する。

Ｙ_ａｖ＝（ΣＹ）／Ｐ・・・（２）
但し、Ｐは、参照人物１０が表示される領域の総画素数を示す。ΣＹは、各画素における輝度値の総和を示す。また、本実施形態において、「／」は除算を表す。

参照輝度補正パラメータ算出部１０１は、上記式（１）および（２）を用いて、以下のように参照輝度補正パラメータを算出する。

まず、参照輝度補正パラメータ算出部１０１は、複数の参照画像のうちの所定の画像から、基準人物座標値と、その人物に関する平均輝度値を算出する（ステップＳＴ２０２）。所定の画像とは、参照人物１０に関する色情報が鮮明である画像であり、例えばユーザにより複数の参照画像のうちから選択される。また、例えば、図３Ａが、参照人物１０に関する色情報が鮮明な画像である場合、参照輝度補正パラメータ算出部１０１は、参照人物１０の位置を示す所定の点を示す座標値（ｘ_０,ｙ_０）を抽出し、それを基準人物座標値とする。また、参照輝度補正パラメータ算出部１０１は、参照人物１０に関する平均輝度値を、上式（１）および（２）を用いて算出し、その結果を平均輝度値Ｙ_０とする。

ここで、上記抽出する座標値は、参照人物１０が表示される領域における所定の点を示す座標値である。例えば、参照輝度補正パラメータ算出部１０１は、図３Ａに示すように、参照人物１０が表示される領域の最下端ａの座標値を抽出してもよい。また、参照輝度補正パラメータ算出部１０１は、参照画像における位置情報（画素位置）を座標値として抽出してもよいし、撮像空間と参照画像との位置関係を推定すると共に、その所望の位置関係にある座標値を抽出してもよい。ここでは、参照画像１０が表示される領域の最下端ａの座標値を、上記抽出する座標値とする。

続いて、参照輝度補正パラメータ算出部１０１は、上記算出した平均輝度値Ｙ_０と、参照人物１０が登場する別の参照画像とに基づいて、参照輝度補正パラメータを算出する（ステップＳＴ２０３）。例えば、図３Ｂに示す参照画像を、参照人物１０が登場する１番目の参照画像であるとすると、参照輝度補正パラメータ算出部１０１は、参照人物１０に関する平均輝度値Ｙ_１を上式（１）および（２）を用いて算出する。そして、参照輝度補正パラメータ算出部１０１は、参照人物１０の最下端ａを示す座標値（ｘ_１,ｙ_１）に関連付けられる参照輝度補正パラメータｐ_１を、例えば、次式（３）のように算出する。

ｐ_１＝Ｙ_０／Ｙ_１・・・（３）
すなわち、座標値（ｘ_ｎ,ｙ_ｎ）に関連付けられる参照輝度補正パラメータｐ_ｎは、次式（４）のように算出できる。

ｐ_ｎ＝Ｙ_０／Ｙ_ｎ・・・（４）
参照輝度補正パラメータ算出部１０１は、上式（３）のように参照輝度補正パラメータｐ１を算出すると、算出したｐ_１と、座標値（ｘ_１,ｙ_１）との組｛ｘ_１，ｙ_１，ｐ_１｝をメモリに記録する（ステップＳＴ２０４）。

図３Ｃは、参照人物１０が登場する例えば２番目の画像であるとすると、参照輝度補正パラメータ算出部１０１は、この画像においても、参照人物１０の最下端ａを示す座標値（ｘ_２,ｙ_２）における参照輝度補正パラメータｐ_２を、上式（４）を用いて算出する。そして、参照輝度補正パラメータｐ_２と座標値（ｘ_２,ｙ_２）との組｛ｘ_２，ｙ_２，ｐ_２｝をメモリに記録する。

参照輝度補正パラメータ算出部１０１は、上記参照輝度補正パラメータの算出を、入力した参照画像のうち参照人物１０が登場する複数の画像に対して行う（ステップＳＴ２０５）。

本実施形態では、参照輝度補正パラメータ算出部１０１は、一人の人物の追跡結果を用いて参照輝度補正パラメータを算出する方法を示すが、これに限らず、複数の人物の追跡結果を用いて参照輝度補正パラメータを算出してもよい。

また、参照輝度補正パラメータ算出部１０１は、参照人物の所定の点を示す座標値と参照輝度補正パラメータとを関連づけて記録するのではなくてもよい。すなわち、参照輝度補正パラメータ算出部１０１は、参照人物が登場するシーンの領域をいくつかの領域に分割し、その領域ごとに参照輝度補正パラメータを算出すると共に、記録してもよい。上記手順により、参照輝度補正パラメータ算出部１０１は、参照輝度補正パラメータを算出する。

次に、上述のように算出された参照輝度補正パラメータを用いて、撮像画像を補正する手順について説明する。図４は、撮像部１１０が取得した撮像画像を、メモリ１０２に保持される参照輝度補正パラメータを用いて補正する手順を示すフローチャートである。図４を参照して、撮像画像を補正する手順について説明する。

対象物抽出部１０３は、入力された撮像画像における人物が占める領域（以降、「人物領域」と称する）と、その人物が位置する座標値（以降、「人物座標値」と称する）を、画像ごとに抽出する（ステップＳＴ３０１）。人物座標値は、人物領域における所定の点を示す座標値とする。

対象物抽出部１０３は、人物領域を、例えば背景差分法などを利用して抽出すればよい。但し、対象物抽出部１０３は、当該人物の影は含まないように抽出する。

また、対象物抽出部１０３は、人物領域に含まれる各画素の色情報を抽出する（ステップＳＴ３０２）。色情報として、具体的には、対象物抽出部１０３は、ＲＧＢ色空間、Ｌ＊ａ＊ｂ＊色空間、ＨＳＶ色空間（Ｈ：Ｈｕｅ（色相）、Ｓ：Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｖ：Ｖａｌｕｅ（明度））などの色空間における各チャネルの値を取得する。本実施形態では、ＲＧＢ値色空間に関する値を抽出する。

続いて、輝度補正パラメータ算出部１０４は、以下のように、輝度補正パラメータを算出する（ステップＳＴ３０３）。

図５は、画像補正装置１００が取得した撮像画像の例を示す図である。対象物抽出部１０３は、図５に示す人物領域２０を補正したい人物（補正対象人物）として抽出したとする。輝度補正パラメータ算出部１０４は、この補正対象人物２０を輝度補正するための輝度補正パラメータを以下のように算出する。

すなわち、輝度補正パラメータ算出部１０４は、対象物抽出部１０３により抽出された補正対象人物２０が位置する人物座標値（ｘ_ｔ，ｙ_ｔ）と関連付けられる輝度補正パラメータｐ_ｔを、メモリ１０２に記録されている１または複数の参照輝度補正パラメータに基づいて算出する。１または複数の参照輝度補正パラメータは、人物座標値（ｘ_ｔ，ｙ_ｔ）の近傍の位置を表す１または複数の座標値に関連付けられた参照輝度補正パラメータである。「人物座標値（ｘ_ｔ，ｙ_ｔ）の近傍の位置を表す１または複数の座標値」とは、メモリ１０２に記録される当該複数の座標値のうち、人物座標値（ｘ_ｔ，ｙ_ｔ）からの距離が最も近い位置を示す２つの座標値であってもよい。

例えば、図５に示す座標値（ｘ_ｉ，ｙ_ｉ）、座標値（ｘ_ｊ，ｙ_ｊ）およびそれらに関連付けられた参照輝度補正パラメータｐ_ｉ、ｐ_ｊがメモリ１０２に記録されているとする。

輝度補正パラメータ算出部１０４は、人物座標値（ｘ_ｔ，ｙ_ｔ）の近傍の位置を表す２座標値として、座標値（ｘ_ｉ，ｙ_ｉ）、座標値（ｘ_ｊ，ｙ_ｊ）を抽出すると共に、それらに関連付けられた参照輝度補正パラメータｐ_ｉ、ｐ_ｊを、メモリ１０２から抽出する。

ここで、人物座標値（ｘ_ｔ，ｙ_ｔ）と座標値（ｘ_ｉ，ｙ_ｉ）との距離をｌ_ｉ、人物座標値（ｘ_ｔ，ｙ_ｔ）と座標値（ｘ_ｊ，ｙ_ｊ）との距離をｌ_ｊとする。輝度補正パラメータ算出部１０４は、例えば、次式（５）を用いて線形補間を行うことにより、輝度補正パラメータｐ_ｔを算出する。

ｐ_ｔ＝ｐ_ｉ×ｌ_ｊ／（ｌ_ｉ＋ｌ_ｊ）＋ｐ_ｊ×ｌ_i／（ｌ_ｉ＋ｌ_ｊ）・・・（５）
なお、このような補間方式に限らず、例えばスプライン補間などを用いることも可能である。

続いて、輝度補正部１０５は、対象物抽出部１０３が抽出した人物領域に含まれる各画素のＲ，Ｇ，Ｂ値に対して、輝度補正パラメータ算出部１０４が算出した輝度補正パラメータを用いて、輝度補正を行う（ステップＳＴ３０４）。

例えば、輝度補正部１０５は、輝度補正パラメータｐ_ｔを用いて、人物領域２０に含まれる各画素に対して以下の式（６）のように補正を行う。

Ｒ’＝ｐ_ｔ×Ｒ
Ｇ’＝ｐ_ｔ×Ｇ ・・・（６）
Ｂ’＝ｐ_ｔ×Ｂ
但し、（Ｒ，Ｇ，Ｂ）は、人物領域２０に含まれる各画素の補正前のＲ，Ｇ，Ｂ値を表し、（Ｒ’，Ｇ’，Ｂ’）は補正後のＲ，Ｇ，Ｂ値を表す。なお、輝度補正部１０５は、式（６）の例に限らず、指数関数などを利用して補正してもよい。

輝度補正部１０５は、上記のように輝度補正を行った輝度補正画像を出力する（ステップＳＴ３０５）。対象物抽出部１０３が、複数の補正対象人物領域を抽出した場合は、輝度補正パラメータ算出部１０４および輝度補正部１０５は、各補正対象人物領域について、ステップＳＴ３０２からステップＳＴ３０４の処理を行ってもよい。

以上のように、本実施形態によれば、参照輝度補正パラメータ算出部１０１は、移動するある人物の場所ごとの平均輝度値と、当該人物が鮮明に映る基準となる画像から求めた基準平均輝度値との比率に基づく参照輝度補正パラメータを、人物の位置を示す座標値に関連付けて算出する。輝度補正パラメータ算出部１０４は、参照輝度補正パラメータに基づいて、撮像画像に登場する人物の座標値ごとに最適な輝度補正パラメータを算出する。輝度補正部１０５は、輝度補正パラメータを用いて、撮像画像における対象物が適切な輝度になるように補正を行う。したがって、本実施形態によれば、照明強度が場所によって異なるシーンを撮像した画像においても、対象物を安定して識別できるという効果が得られる。

第２の実施形態
図６は、本発明の第２の実施形態に係る画像補正装置４００の構成例を示すブロック図である。図６に示すように、画像補正装置４００は、第１の実施形態において説明した画像補正装置１００の構成に加えて、参照領域指定部４０１と、色補正パラメータ算出部４０２と、色補正部４０３とを備える。

画像補正装置４００を構成する参照輝度補正パラメータ算出部１０１と、メモリ１０２と、対象物抽出部１０３と、輝度補正パラメータ算出部１０４と、輝度補正部１０５は、上記第１の実施形態において説明した画像補正装置１００におけるそれぞれと同様の動作を行うので、それらの説明を省略する。本実施形態では、参照領域指定部４０１、色補正パラメータ算出部４０２および色補正部４０３について説明する。

参照領域指定部４０１、色補正パラメータ算出部４０２および色補正部４０３は、撮像部１１０が取得した撮像画像の色補正を行う機能を有する。

図７は、画像補正装置４００による補正処理について説明するフローチャートである。図７を参照して、画像補正装置４００による補正処理について説明する。

参照領域指定部４０１は、上記第１の実施形態において説明した対象物抽出部１０３と同じく、入力された撮像画像を取得する（ステップＳＴ５０１）。参照領域指定部４０１は、取得したいずれかの撮像画像から、無彩色領域（以降、「参照領域」と称する）を指定する（ステップＳＴ５０２）。参照領域指定部４０１は、例えば、ユーザがドラッグ操作により選択した領域を無彩色領域として指定すると共に、その領域を構成する座標値を取得してもよい。参照領域は、白、グレーまたは完全な無彩色でなくとも無彩色に近い領域であればよい。また、参照領域の色は均一でなくともよい。

色補正パラメータ算出部４０２は、参照領域指定部４０１により指定された参照領域の色情報を用いて照明色を推定すると共に、色補正パラメータを算出する（ステップＳＴ５０３）。

ここで、色補正パラメータ算出部４０２は、色補正パラメータの算出を、全ての画像に関して行う必要はなく、複数画像おきに一の画像に関して行ってもよい。

また、色補正パラメータ算出部４０２は、第１の実施形態において説明した対象物抽出部１０３が抽出した人物領域を参照し、参照領域指定部４０１により指定された参照領域に対象物抽出部１０３が抽出した人物領域が含まれるか否かを調べる。含まれる場合、色補正パラメータ算出部４０２は、参照領域から人物領域と重なる領域を除いた領域の色情報を用いて色補正パラメータを算出する。もし、参照領域全てが人物領域と重なる場合、色補正パラメータ算出部４０２は、その画像を照明色の推定に用いず、その前後の画像から色補正パラメータを算出する。

照明色の推定は、例えば、グレーワールド仮説やグレーエッジ仮説など既に提案されている手法を利用すればよい。

一例として、グレーワールド仮説を用いた色補正パラメータの算出手順を以下に説明する。ここでは、色情報として、参照領域におけるＲＧＢ色空間の各チャネルの値を利用する。参照領域における各色情報を全て足し合わせた値を（ｓｕｍＲ，ｓｕｍＧ，ｓｕｍＢ）とすると、色補正パラメータ算出部４０２は、照明色ベクトル（ｗＲ，ｗＧ，ｗＢ）を、次式（７）を用いて算出する。

ｗＲ＝ｓｕｍＲ／ｓｕｍ
ｗＧ＝ｓｕｍＧ／ｓｕｍ ・・・（７）
ｗＢ＝ｓｕｍＢ／ｓｕｍ
但し、

を表す。

色補正部４０３は、上述のように算出された照明色ベクトル（ｗＲ，ｗＧ，ｗＢ）を色補正パラメータとして用いる。

すなわち、色補正部４０３は、色補正パラメータ算出部４０２が算出した色補正パラメータを用いて、色補正を行う（ステップＳＴ５０４）。例えば、上記グレーワールド仮説に基づいて算出した照明色ベクトルを色補正パラメータとして用いる場合、色補正部４０３は、次式（８）を用いてある座標値に関するＲＧＢ値を補正する。

但し、（Ｒ，Ｇ，Ｂ）は、補正前のＲ，Ｇ，Ｂ値を表し、（Ｒ’，Ｇ’，Ｂ’）は補正後のＲ，Ｇ，Ｂ値を表す。

色補正部４０３は、上述のように補正した（Ｒ’，Ｇ’，Ｂ’）値を、輝度補正部１０５に与える。輝度補正部１０５は、第１の実施形態において説明したように輝度補正処理を行った画像に対して、取得した（Ｒ’，Ｇ’，Ｂ’）値を用いて色補正処理を行う（ステップＳＴ５０５）。

ここで、参照領域指定部４０１が無彩色領域を指定する他の例について説明する。参照領域指定部４０１は、複数の無彩色領域を指定してもよい。例えば、シーン中に複数の色を示す照明が存在する場合、それぞれの色の照明が照射されている複数の領域を指定すると共に、各照明色を推定することにより、色補正部４０３は、複数の照明色による影響を補正することができる。

参照領域指定部４０１により複数の参照領域が指定される場合、色補正パラメータ算出部４０２は、参照領域ごとに複数の色補正パラメータを導出する。色補正部４０３は、例えば、参照領域からの距離に応じて複数の色補正パラメータを重みづけした値を用いて補正すればよい。

図８は、参照領域指定部４０１により２つの参照領域が指定された画像の一例を示す図である。図８を参照して、参照領域指定部４０１が２つの参照領域を指定した場合における、ある座標値（ｘ_ｋ，ｙ_ｋ）に関する補正後の（Ｒ’，Ｇ’，Ｂ’）を算出する手順について説明する。

色補正パラメータ算出部４０２は、指定された２つの参照領域ｒｅｆ_１、ｒｅｆ_２に関する色情報から、式（７）を用いて照明色ベクトル（ｗＲ_１，ｗＧ_１，ｗＢ_１），（ｗＲ_２，ｗＧ_２，ｗＢ_２）を求める。

ここで、ｒｅｆ_１と座標値（ｘ_ｋ，ｙ_ｋ）との距離を、ｌ_１とし、ｒｅｆ_２と座標値（ｘ_ｋ，ｙ_ｋ）との距離を、ｌ_２とする。距離は、例えば参照領域の中心点と座標値（ｘ_ｋ，ｙ_ｋ）との距離とする。このとき、座標値（ｘ_ｋ，ｙ_ｋ）における照明色ベクトル（色補正パラメータ）（ｗＲ，ｗＧ，ｗＢ）は、例えば、次式（９）のように２つの参照領域からの距離に応じて重みづけした照明色の線形和を用いて算出する。

ｗＲ＝ｗＲ_１×ｌ_２／（ｌ_１＋ｌ_２）＋ｗＲ_２×ｌ_１／（ｌ_１＋ｌ_２）
ｗＧ＝ｗＧ_１×ｌ_２／（ｌ_１＋ｌ_２）＋ｗＧ_２×ｌ_１／（ｌ_１＋ｌ_２） ・・・（９）
ｗＢ＝ｗＢ_１×ｌ_２／（ｌ_１＋ｌ_２）＋ｗＢ_２×ｌ_１／（ｌ_１＋ｌ_２）
なお、上式を用いて算出する方法に限らず、色補正部４０３は、例えば各参照領域に関する照明色ベクトルの平均値を用いて画像全体を補正してもよい。

ここで、色補正の強さの調整について説明する。色補正部４０３は、補正強度パラメータを設定することにより、色補正の強さを調整してもよい。参照領域指定部４０１は、シーン中の無彩色であると考えられる領域を指定する。しかしながら、指定した参照領域が撮像された実際のシーンの色が完全な無彩色である場合は少ないと考えられる。このとき補正が強くかかりすぎてしまい、実際のシーンの色と異なる色に補正されてしまう場合がある。

例えば、実際のシーンが青みがかったグレーであった場合、そのシーンの照明色は青い色であると推定される。この照明色に基づいて、上述のように色補正を施すと、照明による青色を打ち消すように補正されるため、実際のシーンの色よりやや赤みがかった色に補正される。

このような過補正を防ぐために、色補正部４０３は、推定した照明色を完全に打ち消すように補正するのではなく、照明色の何割かを打ち消すように補正強度を設定してもよい。補正強度パラメータを設定する場合、色補正部４０３は、例えば次式（１０）のように補正すればよい。

但し、ｋ（０≦ｋ≦１）は補正強度パラメータを表す。ｋ＝０に設定すると色補正は施されず、ｋ＝１に設定すると式（８）に示した補正強度を調整しない場合と同等に完全に照明色が打ち消される。

なお、画像の補正処理に関して、本実施形態では、ステップＳＴ５０５に示すように、まず輝度補正処理を行い、その後に色補正処理を行うことを示す。しかしながら、この例に限らず、色補正処理を行った後に輝度補正処理を行うことも可能である。

以上のように、本実施形態によれば、色補正パラメータ算出部４０２は、照明色の推定を行うことにより色補正パラメータを算出する。色補正部４０３は、算出された色補正パラメータを用いて撮像画像を色補正する。したがって、本実施形態によれば、シーンの照明色や、カメラの特性等の影響による対象物の色変動を抑えることができるので、対象物の識別精度を向上できるという効果が得られる。

第３の実施形態
図９は、本発明の第３の実施形態に係る画像補正装置６００の構成例を示すブロック図である。図９に示すように、画像補正装置６００は、第２の実施形態において説明した画像補正装置４００に加えて、露光補正パラメータ算出部６０１と、露光補正部６０２とを備える。

画像補正装置６００において、第２の実施形態において説明した画像補正装置４００と同一の構成要素は、上記第２の実施形態と同様の動作を行うので、それらの説明を省略する。本実施形態では、露光補正パラメータ算出部６０１および露光補正部６０２について説明する。

露光補正パラメータ算出部６０１および露光補正部６０２は、撮像部１１０が取得した撮像画像の明るさを補正する機能を有する。

１つのカメラにより同じシーンを撮像した画像であって、特に屋外環境では、撮像した時刻によって照明の強さが大きく変動する場合がある。このような場合、識別したい人物が一カ所に留まっていたとしても、見た目が変動することに起因して、カメラは同一人物と認識できない虞がある。そこで、本第３の実施形態では、シーン全体の明るさが一日中安定になるように補正することにより、より頑健に対象物の色情報が取得できる構成について説明する。

露光補正パラメータ算出部６０１は、上記第２の実施形態において説明した参照領域指定部４０１と同じく、入力された撮像画像を取得する。露光補正パラメータ算出部６０１は、例えば、参照領域指定部４０１が指定した参照領域の輝度情報に基づいて、露光補正パラメータを算出する。

具体的には、露光補正パラメータ算出部６０１は、参照領域指定部４０１が参照領域を指定した撮像画像のうち、露光が適正な画像における参照領域に関する輝度値を算出する。露光補正パラメータ算出部６０１は、算出した値を、基準輝度値Ｅ_０としてメモリ１０２に記録する。

続いて、露光補正パラメータ算出部６０１は、補正対象人物を含む画像における、参照領域指定部４０１が指定した参照領域に関する輝度値を算出する。算出した値をＥｍとすると、露光補正パラメータ算出部６０１は、露光補正パラメータｐ_ｍを例えば次式（１１）を用いて求める。

ｐ_ｍ＝Ｅ_０／Ｅ_ｍ ・・・（１１）
なお、露光補正パラメータ算出部６０１は、露光補正パラメータの算出を、全ての画像に関して行う必要はなく、複数画像おきに一の画像に関して行ってもよい。また、参照領域指定部４０１により指定された参照領域に、対象物抽出部１０３が抽出した人物領域が含まれる場合、参照領域から人物領域を除いた領域の輝度情報を用いる。参照領域が人物領域に全て含まれる場合、露光補正パラメータ算出部６０１は、その画像を露光パラメータの算出に用いず、その前後の画像から露光補正パラメータを算出する。

続いて、露光補正部６０２は、露光補正パラメータｐ_ｍを用いて、画像の各画素に対して次式（１２）を用いて補正を行う。

但し、（Ｒ，Ｇ，Ｂ）は、補正前のＲ，Ｇ，Ｂ値を表し、（Ｒ”，Ｇ”，Ｂ”）は、補正後のＲ，Ｇ，Ｂ値を表す。なお、式（１２）の例に限らず、露光補正部６０２は、指数関数などを利用して補正してもよい。

露光補正部６０２は、上述のように補正した（Ｒ”，Ｇ”，Ｂ”）値を、色補正部４０３に与える。色補正部４０３は、第２の実施形態において説明したように色補正処理を行った画像に対して、取得した（Ｒ”，Ｇ”，Ｂ”）値を用いて露光補正処理を行う。

なお、画像の補正処理に関して、輝度補正処理、色補正処理、露光補正処理は、いずれの順に行われてもよい。

以上のように、本実施形態によれば、露光補正パラメータ算出部６０１は、露光が適正な画像における参照領域に関する輝度値に基づいて、露光補正パラメータを算出する。露光補正部６０２は、露光補正パラメータを用いて画像全体の明るさを適切な値に補正する。したがって、本実施形態によれば、時間による照明強度の変動を抑制することができるので、上記第１および第２の実施形態において説明した輝度補正パラメータ算出部１０４および色補正パラメータ算出部４０２の精度を安定させることが可能となる。これにより、対象物の識別精度をさらに向上させることができるという効果がある。

第４の実施形態
図１０は、本発明の第４の実施形態に係る画像補正装置７００の構成例を示すブロック図である。図１０に示すように、画像補正装置７００は、参照輝度補正パラメータ算出部７０１と、補正部７０２とを備える。

参照輝度補正パラメータ算出部７０１は、撮像対象である空間を移動する参照物体が撮像された参照画像における前記参照物体が表示される領域の輝度情報と、当該領域の位置を示す座標情報とに基づいて、参照輝度補正パラメータを算出する。

補正部７０２は、補正対象物を含む、前記空間が撮像された撮像画像を、前記参照輝度補正パラメータに基づいて補正する。

補正部７０２は、上記第１の実施形態における輝度補正パラメータ算出部１０４および輝度補正部１０５に相当する。

以上のように、本実施形態によれば、参照輝度補正パラメータ算出部７０１は、座標情報に関連付けられた参照輝度補正パラメータを算出し、補正部７０２は、当該参照輝度補正パラメータを用いて撮像画像を補正する。この構成により、撮像空間における照明強度が場所によって異なる場合でも、撮像画像における対象物を安定して識別することができるという効果が得られる。

なお、図１、図６、図９、図１０に示した画像補正装置の各部は、図１１に例示するハードウエア資源において実現される。すなわち、図１１に示す構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、外部接続インタフェース１３および記憶媒体１４を備える。ＣＰＵ１０は、ＲＯＭ１２または記憶媒体１４に記憶された各種ソフトウエア・プログラム（コンピュータ・プログラム）を、ＲＡＭ１１に読み出して実行することにより、画像補正装置の全体的な動作を司る。すなわち、上記各実施形態において、ＣＰＵ１０は、ＲＯＭ１２または記憶媒体１４を適宜参照しながら、画像補正装置が備える各機能（各部）を実行するソフトウエア・プログラムを実行する。

また、上述した各実施形態では、図１、図６、図９、図１０に示した画像補正装置における各ブロックに示す機能を、図１１に示すＣＰＵ１０が実行する一例として、ソフトウエア・プログラムによって実現する場合について説明した。しかしながら、図１、図６、図９、図１０に示した各ブロックに示す機能は、一部または全部を、ハードウエアとして実現してもよい。

また、各実施形態を例に説明した本発明は、画像補正装置に対して、上記説明した機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、ＣＰＵ１０がＲＡＭ１１に読み出して実行することによって達成される。

また、係る供給されたコンピュータ・プログラムは、読み書き可能なメモリ（一時記憶媒体）またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムを表すコード或いは係るコンピュータ・プログラムを格納した記憶媒体によって構成されると捉えることができる。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

この出願は、２０１４年３月２８日に出願された日本出願特願２０１４−０６７５９５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、例えば、所定の領域を監視するための広域監視システムに適用できる。

１０ ＣＰＵ
１１ ＲＡＭ
１２ ＲＯＭ
１３ 外部接続インタフェース
１４ 記憶媒体
１００、４００、６００、７００ 画像補正装置
１０１ 参照輝度補正パラメータ算出部
１０２ メモリ
１０３ 対象物抽出部
１０４ 輝度補正パラメータ算出部
１０５ 輝度補正部
１１０ 撮像部
４０１ 参照領域指定部
４０２ 色補正パラメータ算出部
４０３ 色補正部
６０１ 露光補正パラメータ算出部
６０２ 露光補正部

Claims (10)

1. 撮像対象である空間を移動する参照物体が撮像された参照画像における、前記参照物体が表示される領域の輝度情報と、当該領域の位置を示す座標情報とに基づいて、参照輝度補正パラメータを算出する参照輝度補正パラメータ算出手段と、
   補正対象物を含む、前記空間が撮像された撮像画像を、前記参照輝度補正パラメータに基づいて補正する補正手段と
   を備えた画像補正装置。
2. 前記補正手段は、前記補正対象物の位置を示す座標情報に関連付けられる輝度補正パラメータを、前記参照輝度補正パラメータを用いて算出し、当該輝度補正パラメータに基づいて前記撮像画像を補正する
   請求項１記載の画像補正装置。
3. 前記座標情報は、所定の座標系における座標値を表しており、
   前記補正手段は、前記補正対象物の近傍の位置を表す座標値に関連付けられた前記参照輝度補正パラメータを当該補正対象物の位置を示す座標値と前記補正対象物の近傍の位置を表す座標値との距離に基づいて、補間することにより、前記輝度補正パラメータを算出する
   請求項２記載の画像補正装置。
4. 前記参照輝度補正パラメータ算出手段は、一の参照画像における、前記参照物体が表示される領域の平均輝度値と、他の参照画像における、前記参照物体が表示される領域の平均輝度値との比率を、前記他の参照画像における、前記参照物体の位置を示す座標情報に関連付けられる前記参照輝度補正パラメータとして算出する
   請求項１ないし請求項３のいずれか１項記載の画像補正装置。
5. 前記参照輝度補正パラメータ算出手段は、複数の参照物体のそれぞれについて参照輝度補正パラメータを算出し、算出したそれぞれの前記参照輝度補正パラメータに基づいて、一の参照輝度補正パラメータを算出する
   請求項１ないし請求項４記載の画像補正装置。
6. 前記撮像画像において指定された無彩色または略無彩色である参照領域に関する色情報に基づいて照明色を推定することにより色補正パラメータを算出する色補正パラメータ算出手段をさらに備え、
   前記補正手段は、前記色補正パラメータを用いて前記撮像画像を補正する
   請求項１ないし請求項５のいずれか１項記載の画像補正装置。
7. 前記色補正パラメータ算出手段は、複数の前記参照領域が指定された場合、当該参照領域ごとに前記色補正パラメータを算出し、
   前記補正手段は、前記色補正パラメータが算出された前記参照領域から前記補正対象物までの距離に応じて重み付けした色補正パラメータを用いて、前記撮像画像を補正する
   請求項６記載の画像補正装置。
8. 所定の前記撮像画像において指定された前記参照領域に関する輝度情報と、前記補正対象物を含む前記撮像画像において指定された前記参照領域に関する輝度情報とを用いて、露光補正パラメータを算出する露光補正パラメータ算出手段をさらに備え、
   前記補正手段は、前記露光補正パラメータを用いて前記撮像画像を補正する
   請求項６または請求項７記載の画像補正装置。
9. 撮像対象である空間を移動する参照物体が撮像された参照画像における、前記参照物体が表示される領域の輝度情報と、当該領域の位置を示す座標情報とに基づいて、参照輝度補正パラメータを算出し、
   補正対象物を含む、前記空間が撮像された撮像画像を、前記参照輝度補正パラメータに基づいて補正する
   画像補正方法。
10. 撮像対象である空間を移動する参照物体が撮像された参照画像における、前記参照物体が表示される領域の輝度情報と、当該領域の位置を示す座標情報とに基づいて、参照輝度補正パラメータを算出する処理と、
    補正対象物を含む、前記空間が撮像された撮像画像を、前記参照輝度補正パラメータに基づいて補正する処理とを
    コンピュータに実行させるコンピュータプログラム。
    
    
    

Images