WO2013114802A1

WO2013114802A1 - 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム

Info

Publication number: WO2013114802A1
Application number: PCT/JP2013/000195
Authority: WO
Inventors: 康史平川
Original assignee: 日本電気株式会社
Priority date: 2012-01-30
Filing date: 2013-01-17
Publication date: 2013-08-08
Also published as: JP2015092301A

Abstract

色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し（１０１）、該分類した区画毎に所定の個数の画素を選択するとともに、該選択した画素の位置に対応する、処理対象の背景画像を含む入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める（１０３）。

Description

画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム

　本発明は、例えば、撮影した画像を基に入力画像を補正する技術分野に関する。

　近年、例えば、企業や公共施設などで、カメラを用いて、人物や物体をモニタすることにより、これら被写体および、その周辺に生じる変化を監視するシステムが増えつつある。

　また、商業施設などでも、例えば、小売店に来店する人物の服装色などの傾向を把握することにより、マーケティングに活かすような試みもある。

　係るモニタリングシステムのカメラは、屋外や屋内の多様な場所に設置される。すると、そのカメラで撮影した画像では、被写体の色合い（いわゆる色味）は、周囲の状態によって変化する。例えば、強い日差しや、照明などの光により、画像が白っぽくなる。また、薄暮、曇天、あるいは節電に伴う照明の低減により、画像が黒っぽくなる。さらには、色味は、上述した環境光が変化する中で、多様に変化する。

　また、設置するカメラが複数台の場合は、カメラ自身の分光感度特性やレンズ特性などの個体差の影響を受けることによって、その撮影画像の色味も多様となる可能性がある。

　したがって、被写体を監視したり、色を認識したりするためには、天候や、照明などの環境光や、カメラの光学特性などの影響で変化した被写体の色の情報を正確に抽出するとともに、入力画像の画素の色味が、なるべく広い色空間をとるように適切に補正する必要がある。

　画像の色味補正技術としては、カラーチャートを用いた色補正手法がよく知られている。カラーチャートは、理想的な特定光源下において、色の値を計測した複数のパッチ（理想色の標本）からなる。これらのパッチの色の値（理想色の画素値）は公開されている。

　ここで、画素値とは、画素の濃淡を表す階調や、色情報である色調を離散的な数で表した値であると定義する。階調を用いるか、色調を用いるかは、用いる色空間による。

　任意の撮影環境下でカラーチャートを撮影し、その際に測定された各パッチの画素値を、上述の理想色の画素値に近づけることによって、理想的な特定光源下で撮影した画像に近い画像を得ることができる。

　その際に、測定された画素値を理想色の画素値に近づけるような色補正パラメタを推定するとともに、その色補正パラメタを基にして得られる色補正関数を、入力画像の領域全体に適用することで、色補正された画像を得ることができる。

　ここで、特許文献１には、監視カメラで予め撮影した背景画像に基いて、入力画像の色を補正する技術が開示されている。

　具体的には、設置者は、初期設定時に、背景画像の画素のいくつかの色をカラーチャートで校正しておき、それ以外の色は、補完することにより、理想色の画素値に近づけたい背景画像の画素の位置と、画素値とを、参照テーブルに保存する。

　次に、特許文献１に記載の技術は、実際の入力画像の中から前景画像を除いて、背景画像を抽出するとともに、その画像中の画素値を時系列に調べ、ヒストグラムを作成する。そのヒストグラムの区画毎にもっとも頻度が高い画素の値を背景領域候補とする。

　次に、上述の背景領域候補は、フレーム間で差分を取ることによって、動物体であるか否かを判定するとともに、動物体ではない場合は、背景領域として抽出する。

　次に、特許文献１に記載の技術は、初期設定時に作成した、カラーチャートによって色を補正した背景画像の画素の位置と画素値を保持する参照テーブル内の、対応する位置の画素の画素値と、上述の手段によって実際の入力画像から抽出した背景領域の画素の画素値とを比較する。そして、特許文献１に記載の技術は、比較の結果、両者が異なった場合、色補正パラメタを更新する。

　しかしながら、特許文献１に記載の技術は、画像中の画素値を時系列に調べることによって、ヒストグラムを作成する際に、そのヒストグラムのもっとも頻度が高い画素の値を背景領域候補とする。そのため、それを基に補正した画像の色は、偏る可能性がある。

特開２００７－１８３８７２号公報

　上述した関連する技術では、基準となる背景画像の支配的な色に偏った色補正となる可能性がある。

　したがって、背景領域の支配的な色ではなく、様々な色をバランスよく用いた色補正パラメタの推定が、色空間内で、より広範囲の色味で補正するために必要である。

　即ち、色をバランスよくするためには、基準となる画像から、万遍なく画素を選んで、入力画像の画素の色を補正する必要があるという課題がある。

　本発明の主たる目的は、上述した課題を解決するために、背景画像を基にした基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置等を提供することにある。

　本発明は、上述した課題の解決を目的としてなされた。即ち、本発明に係る画像処理装置は、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、該選択した画素の位置に対応する、処理対象の背景画像を含む入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする。

　また、同目的を達成する本発明の他の見地である画像処理方法は、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて、複数の区画に分類し、
　該分類した区画毎に、所定の個数の画素を選択するとともに、
　該選択した画素の位置に対応する、処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする。

　なお、同目的は、上記構成を有する画像処理装置、並びに対応する方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読取り可能な記憶媒体によっても達成される。すなわち、本発明によるコンピュータ・プログラムは、画像処理装置を制御するコンピュータ・プログラムであって、そのコンピュータ・プログラムにより、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、該選択した画素の位置に対応する、処理対象の背景画像を含む入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能を、コンピュータに実現させることを特徴とする。

　また、本発明による画像処理システムは、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択し、該選択した画素の位置に対応する、処理対象の背景画像を含む入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能の、いずれかの機能を集積回路によって実現することを特徴とする。

　さらに、同目的を解決する本発明の更なる他の見地である画像処理システムは、通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、上記構成を有することを特徴とし、求めた色補正係数を基に、色補正関数を用いて前記入力画像の色を補正し、補正した画像を通信ネットワークを通して送信し、モニタリング現場でその画像を表示するシステムによって達成される。

　本発明によれば、背景画像を基にした基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置等を提供することができる。

本発明の第１の実施形態に係る画像処理装置の概要を示すブロック図である。本発明の第２の実施形態に係る画像処理装置の概要を示すブロック図である。本発明の第２の実施形態に係る画像処理装置の概要を示すブロック図である。本発明の第２の実施形態に係る画像処理装置の前処理部の詳細を示すブロック図である。本発明の第２の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。本発明の第２の実施形態に係る画像処理装置の色補正パラメタ算出部の詳細を示すブロック図である。本発明の第２の実施形態に係る画像処理装置の制御フローを示すフローチャートである。本発明の第３の実施形態に係る画像処理装置の色補正用画素候補抽出部の変形例を示すブロック図である。本発明の第４の実施形態に係る画像処理装置の概要を示すブロック図である。本発明の第４の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。本発明の第５の実施形態に係るコンピュータ・プログラムによる画像処理装置の概要を示すブロック図である。本発明の第７の実施形態に係る画像処理システムの概要を示すブロック図である。

　以下、本発明を実施する形態について図面を参照して詳細に説明する。

　＜第１の実施形態＞
　本発明の第１の実施形態の構成について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の概要を示すブロック図である。

　本実施形態の画像処理装置１０の構成は、制御部１と、補正部２とを備える。

　制御部１は、補正部２に接続される。制御部１は、入力画像１２に応じて、色補正係数１５を出力するとともに、その色補正係数１５を補正部２に渡す。

　また、補正部２は、入力画像１２および色補正係数１５が入力されるのに応じて、色補正結果画像１３を出力する。

　なお、前処理部３は、予め、背景画像１１を撮影しておき、基準画像１４を制御部１に出力する。

　ここで、基準画像１４とは、前処理部３によって、色見本(不図示、以下同様)を用いて背景画像１１を色補正した画像である。

　また、背景画像１１とは、本画像処理装置１０によって撮影する入力画像１２において背景となる背景領域である。

　また、色見本とは、例えば、色の標本を配列した板状の物体である。色見本は、特定照明環境下で、既知の値、つまり理想色の画素値を有する。

　また、色補正係数１５とは、入力画像１２をなす画素の画素値を、対応する位置にある基準画像１４をなす画素の画素値に近づける際に用いる係数である。

　本実施形態の画像処理装置の動作について説明する。

　本画像処理装置１０の設置者は、本画像処理装置１０を設置する際に、前処理部３を用いて、任意の時刻の照明環境のもとで撮影した背景画像１１を、同じ条件で撮影した色見本を基準にして、色を補正することにより、基準画像１４を作成する。

　次に、制御部１は、前処理部３から入力される基準画像１４をなす画素の画素値に応じて、複数の区画（不図示、以下同様）に分類する。

　次に、制御部１は、上述した複数の区画に分類した基準画像１４をなす画素を、分類した区画毎に、所定の個数ずつの画素を選択する。

　ここで、制御部１は、基準画像１４をなす画素の画素値に応じて分類した区画毎に、それぞれ決まった数の画素をランダムに選択する。従って、その選択した画素の座標を、実画像に写像すると、まったくランダムな座標となる。つまり、画素は、分散されて選択されることになる。

　なお、制御部１は、その区画の画素値の数が少なくて、決まった数に満たない場合は、予め決めた最低限の数の範囲で選択すればよい。

　次に、制御部１は、処理対象の背景画像を含む入力画像１２の画素であって、選択した画素に対応する位置の画素の画素値を、選択した画素の画素値に近づけるように補正する色補正係数１５を求める。そして、制御部１は、その色補正係数１５を補正部２へ出力する。

　次に、補正部２は、その色補正係数１５を基にして、色補正関数（不図示、以下同様）を用いて入力画像１２を補正することにより、色補正結果画像１３を得る。

　なお、制御部１は、入力画像１２が含む不必要な画素を、予め除去部（不図示）により除去してもよい。たとえば、カメラの撮像回路などからのノイズを含む画素や、画素値が飽和した画素もしくは、画素値が不足した画素などが、不必要な画素に該当する。

　すなわち、本実施形態に係る画像処理装置１０は、前処理部３が出力する、背景画像１１を基にした基準画像１４をなす画素を、その画素値に応じて分類した区画毎に、所定の個数の画素を選択する。そして、画像処理装置１０は、その選択した画素を基準として、対応する入力画像１２の画素を色補正するための色補正係数１５を算出する。

　その求めた色補正係数１５を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像１２に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

　言い換えると、本実施形態の画像処理装置１０は、多様な照明環境で撮影した入力画像１２を、予め基準画像１４をなす画素を分類した区画毎から、所定の個数の画素を選ぶことにより、対応する入力画像１２の画素を分散するように選ぶことができる。

　その選んだ基準画像１４をなす画素の画素値に近づけるように入力画像１２の色を補正するので、撮影した背景画像１１の色が偏っていたとしても、基準画像１４に近い色味を再現することができる。

　つまり、本実施形態に係る画像処理装置によれば、背景画像を基にした、基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置を提供することができる。

　以上、本発明の第１の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

　＜第２の実施形態＞
　次に、第１の実施形態を基本とする本発明の第２の実施形態について図を参照して、詳細に説明する。図２Ａおよび図２Ｂは、第２の実施形態に係る画像処理装置の概要を示すブロック図である。図２Ａに示す本画像処理装置１００は、分類画素抽出部１０１と、色補正パラメタ算出部１０３とを有する。

　分類画素抽出部１０１は、色補正パラメタ算出部１０３に接続される。また、色補正パラメタ算出部１０３は、色補正部１０４に接続される。

　また、図２Ｂに示す本画像処理装置１００の構成では、図２Ａに対して、色補正用画素候補抽出部１０２を追加している。そして色補正用画素候補抽出部１０２は、色補正パラメタ算出部１０３に接続される。

　ここで、図１に示す、第１の実施形態に係る画像処理装置の概要を示すブロック図と対比すると、分類画素抽出部１０１、色補正用画素候補抽出部１０２および色補正パラメタ算出部１０３は、第１の実施形態における制御部１に対応する。

　また、色補正部１０４は、第１の実施形態における補正部２に対応する。

　さらに、基準色画像情報１１０を出力する前処理部３は、第１の実施形態における概略ブロック図（図１）に示した前処理部３に対応する。

　ここで、図２Ａおよび図２Ｂに示す基準色画像情報１１０（これを、基準画像と呼ぶこともできる）は、入力画像１２０を色補正する際の基準となる色の情報である。

　これは、本画像処理装置の設置現場において、前処理部３で、背景画像と同じ条件のもとで撮影したカラーチャート（不図示、以下同様。これを色見本と呼ぶこともできる）を用いて、その背景画像をあらかじめ色補正することによって生成する理想的な画像の画素（不図示）を、その画素の座標と画素値で表した情報である。

　以下、本実施形態を構成する主要部分である前処理部３、分類画素抽出部１０１、色補正用画素候補抽出部１０２、および色補正パラメタ算出部１０３ならびに色補正部１０４について順次、説明する。

　まず、図３を用いて、前処理部３について、その構成および接続を説明する。

　図３は、本発明の第２の実施形態に係る画像処理装置に適用可能な前処理部３の詳細を示すブロック図である。

　前処理部３は、ノイズ、画素値飽和および不足画素除去部２０１と、カラーチャートによる色補正パラメタ算出部２０２と、色補正部２０３と、基準色画像情報抽出部２０４と、エッジ算出部２１５と、エッジヒストグラム算出部２０９と、理想画像エッジヒストグラム情報蓄積部２０５とを含む。

　背景画像２１０、カラーチャート画像２２０は、ノイズ、画素値飽和および不足画素除去部２０１に入力される。

　ノイズ、画素値飽和および不足画素除去部２０１は、カラーチャートによる色補正パラメタ算出部２０２および色補正部２０３に接続される。

　色補正部２０３は、カラーチャートによる色補正パラメタ算出部２０２からの色補正パラメタ２７０を受けるとともに、基準色画像情報抽出部２０４、およびエッジ算出部２１５に接続される。

　エッジ算出部２１５は、エッジヒストグラム算出部２０９に接続される。エッジヒストグラム算出部２０９は、理想画像エッジヒストグラム情報蓄積部２０５に接続される。

　次に、同じく図３を用いて、前処理部３の動作について説明する。

　基準色画像情報１１０の算出には、任意の時刻の照明環境のもとで、運用の際のアングルで撮影した背景画像２１０と、それと同じ条件で撮影したカラーチャート画像２２０を用いる。

　カラーチャート画像２２０は、特定の色からなる領域であるパッチを複数枚含むカラーチャートを撮影することにより得る。この特定の色の理想的な画素値は、特定光源下で調べることにより、あらかじめ分かっている。

　なお、カメラの撮像回路などによって生ずる不要なごま塩状の点や、画像の輪郭部に生じる、ぎざぎざ状の模様（いわゆる、ジャギー。以下、同様）などのノイズ、画素値飽和（いわゆる、白とび。以下、同様）や画素値不足（いわゆる、黒つぶれ。以下、同様）などの画素をノイズ、画素値飽和および不足画素除去部２０１が除去する。これらの不要な画素の具体的な除去方法については、後述する。

　その後、カラーチャートによる色補正パラメタ算出部２０２は、カラーチャート画像２２０を手動もしくは、自動で識別することにより、カラーチャートの各パッチの色の値を抽出する。

　そして、カラーチャートによる色補正パラメタ算出部２０２は、抽出した各パッチの画素値を、各パッチの理想的な画素値に近づけるような、色補正関数に与える色補正パラメタ２７０を求めるとともに出力する。

　色補正部２０３は、カラーチャートを撮影したのと同じ条件で撮影した背景画像２１０を、上記で求めた色補正パラメタ２７０を適用して生成した色補正関数（不図示）で色補正することにより、理想画像２８０を求める。

　そして、基準色画像情報抽出部２０４は、理想画像２８０の画素の座標とその画素値を示す基準色画像情報１１０を出力する。

　すなわち、カラーチャート画像２２０を用いて背景画像２１０を色補正して得られる理想画像２８０は、基準色画像情報１１０を有する基準画像の基となる画像ということができる。

　ここで、色補正関数は、たとえば、線形変換や非線形変換を用いてもよい。

　また、色補正パラメタ２７０は、カラーチャートによる色補正パラメタ算出部２０２で、上述の色補正関数を有する色補正行列、もしくは色補正テーブルによって与えられる。しかし、これらの変換方法に限定するわけではなく、他の方法を用いて変換してもよい。

　また、色補正パラメタや色補正関数は、撮影現場環境や、予め実験に基いて確認された適切な変換方法と、それに基く適切なパラメタおよび関数とを用いる。

　ここで、エッジ算出部２１５は、理想画像２８０から理想画像のエッジ情報（不図示）を抽出する。そして、エッジヒストグラム算出部２０９は、その理想画像のエッジ情報を基に、エッジの強度と方向を示すエッジヒストグラムに分類するとともに、その分類結果を理想画像エッジヒストグラム情報２９５として抽出する。

　得られた理想画像エッジヒストグラム情報２９５は、理想画像エッジヒストグラム情報蓄積部２０５に蓄積される。また、理想画像エッジヒストグラム情報蓄積部２０５のエッジヒストグラム情報は、後述する第４の実施形態で、入力画像１２０と理想画像２８０のエッジヒストグラムの相関を抽出する相関抽出部１２１３で用いる。

　なお、上述した撮影現場環境での初期設置の際の、前処理部３による背景画像２１０、カラーチャート画像２２０の画像の取り込みは、カメラの切替え回路（不図示）を用いて、通常運用の際に用いるカメラを切替えて使うものとする。

　次に、ノイズ、画素値飽和および不足画素除去部２０１の動作について説明する。

　背景画像２１０や、カラーチャート画像２２０に存在するノイズを除去する例としては、画像の平滑化処理などがあるが、この方法に限定するものではなく、ノイズを除去できれば、他の手法を用いてもかまわない。ここで、たとえば、カメラの撮像回路などからのごま塩状の点や、輪郭部分のぎざぎざ状の模様などが、上記のノイズに該当する。

　また、画素値飽和、画素値不足の画素の除去方法について説明する。ノイズ、画素値飽和および不足画素除去部２０１が、入力した背景画像２１０およびカラーチャート画像２２０から、画素値が飽和している画素、あるいは不足している画素を検出し、その画素を予め除去する。

　ここで、飽和した画素とは、画素値がダイナミックレンジの最大値となっている画素のことである。つまり、飽和した画素とは、実空間上での値が、その最大値を超えていた可能性がある画素のことを指している。飽和した画素は、有意な情報を有さない除去されるべき画素である。

　たとえば、ＲＧＢ（すなわち、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）色空間の場合で、各Ｒ、Ｇ、Ｂの値が、０～２５５を取る場合を例に説明する。Ｒ、Ｇ、Ｂの要素の値のいずれかが２５５を超える画素は、画素値（つまりその要素の輝度値。以下、同様）を記録できず、画素の情報が飽和した可能性がある。反対に画素値が０の場合は、その画素値がない（不足している）ことを示す。

　そのため、以下の数式１に示すように、ある色空間の画素（座標と画素値との組）が、閾値Ｔｈ１から、Ｔｈ２の範囲に含まれる画素のみを、画素情報が飽和していない有意な情報の画素として抽出する。

　ここで、ｃは、色空間における色の要素（例えば、ＲＧＢ色空間の場合、Ｒ、またはＧ、またはＢ)であり、ｘｙはその画素の座標を指す。

　Ｔｈ１（ｃ）＜画素（ｘ、ｙ、ｃ）＜Ｔｈ２（ｃ）　　　・・・・・・（式１）

　たとえば、色空間が、ＲＧＢ空間の場合で、取り得る値のレンジが０～２５５の場合、Ｔｈ１（ｃ）として、０より少し大きめの値を設定し、一方、Ｔｈ２（ｃ）として、２５５より少し小さめの値を設定するとよい。このように、実際のＲＧＢ色空間のダイナミックレンジよりも少し内側の値に閾値を設定するのは、ノイズなどによる画素値の変動要因を考慮するものである。

　つまり、Ｒ、Ｇ、Ｂのいずれかの色で、たとえば、１１～２４４の値をとる場合は、Ｔh１（ｃ）＝１０、Ｔh２（ｃ）＝２４５となり、式１により、その座標の色が取る画素値の範囲は、１０＜画素（ｘ、ｙ、ｃ）＜２４５となる。なお、この値は例であり、この値に限定しているわけではない。

　また、画素値飽和、画素値不足の画素の除去は、上述の方法に限定するものではなく、予め画素値飽和、画素値不足の画素を除去できれば、他の手法を用いてもかまわない。

　ノイズ、画素値飽和および不足画素除去部２０１は、上述したような手法で、ノイズ、画素値飽和および画素値不足画素を除去することによって、背景画像情報２５０およびカラーチャート画像情報２６０を得る。

　引き続き、図２Ａおよび図２Ｂに示す本実施形態の分類画素抽出部１０１の動作について説明する。

　分類画素抽出部１０１は、基準色画像情報１１０の画素値に応じて、画素をカテゴリ、すなわち区画毎に分類するとともに、各画素を、座標と画素値とからなる組として保持する。

　そして、分類画素抽出部１０１は、保持している座標および画素値の組のうち、色補正パラメタ算出部１０３から入手した座標情報１４０と一致する画素の座標および画素値の組を、分類画素情報１５０として出力する。

　画素の画素値による分類方法としては、画素値がたとえばＲＧＢ色空間で表現される場合、ＲＧＢ空間をＲ、Ｇ、Ｂの各要素がとる値に応じて、一定の間隔で分割し、それぞれの区画に、画素を分類する。即ち、画素は、それぞれの区画内に、ヒストグラムのような分類で仕分けられる。

　ただし、区画に分類する際の色空間や、分類方法は、必ずしも上述の方法に限定するものではなく、ＹＵＶ（ここで、Ｙは輝度信号、Ｕは青色成分の差分信号、Ｖは赤色成分の差分信号）などの他の色空間を用いて画素を分類してもよい。また、分類手法として、k-means法などのクラスタリング手法を用いて分類したクラスタを用いて動的にカテゴリを設定してもよいし、その他の分類手法を用いてもよい。

　引き続き、図２Ｂに示す本実施形態の色補正用画素候補抽出部１０２の動作について、図４を用いてさらに詳細に説明する。図４は、本発明の第２の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図の例である。

　色補正用画素候補抽出部１０２は、例えば、カメラの撮像回路などからのノイズが少なく、画素値が飽和、もしくは不足している画素を入力画像から除く。そして、色補正用画素候補抽出部１０２は、人物や物体などの前景物体がない画素は、色補正パラメタ情報１７０を算出する際に誤差を抑えることができる安定的な画素と考え、その特徴を持つ画素を抽出することを目的とする。

　図４に示す、色補正用画素候補抽出部１０２の構成、接続について説明する。

　色補正用画素候補抽出部１０２は、背景モデル記憶装置１２１４と、情報飽和画素抽出部１２０１と、背景モデル差分抽出部１２０２と、画素変動値算出部１２０３と、安定画素判定部１２０４とを含む。

　情報飽和画素抽出部１２０１は、画素変動値算出部１２０３、安定画素判定部１２０４に接続される。

　また、背景モデル差分抽出部１２０２は、背景モデル記憶装置１２１４、画素変動値算出部１２０３、および安定画素判定１２０４に接続される。

　次に、色補正用画素候補抽出部１０２の動作について説明する。

　図４に示す、色補正用画素候補抽出部１０２は、以下の３つの不安定な画素を除去することにより、安定な画素であり、色補正の候補となる色補正用画素候補情報１６０を出力することを目的とする。

　まず、情報飽和画素抽出部１２０１は、入力画像１２０を構成する背景領域の画素の画素値が飽和、もしくは不足している画素があれば、情報飽和画素を抽出し、情報飽和画素情報１２３０として安定画素判定部１２０４に出力する。

　情報飽和画素の抽出手法については、図３にあるノイズ、画素値飽和および不足画素除去部２０１の画素値不足、画素値飽和除去と同じ機能を採用することができるので、ここでは説明を省略する。

　次に、背景モデル差分抽出部１２０２は、入力画像１２０と、背景モデル記憶装置１２１４に蓄積された背景を示す背景モデル情報１２１０との差を算出し、この差分を背景モデル差分情報１２４０として、画素変動値算出部１２０３と、安定画素判定部１２０４に出力する。

　つまり、背景モデル差分抽出部１２０２は、入力画像１２０の背景領域と、背景モデル記憶装置１２１４が初期値として保持する背景モデル情報１２１０の座標と一致する入力画像１２０の画素との画素値差分に応じて、画素が背景であるか否かを判定する。そして、背景モデル差分抽出部１２０２は、その判定結果と、その座標とを保持するとともに、背景モデル差分情報１２４０を算出する。

　また、背景差分モデル抽出部１２０２は、背景モデル画像が変化すれば、背景モデル記憶装置１２１４に蓄積された背景モデルを背景モデル更新情報１２２０により更新する。

　なお、背景モデル情報１２１０による背景領域抽出の一例としては、入力画像と背景モデル画像の差分による背景領域抽出手法で求めた背景領域の画素値で判定する方法がある。

　また、背景モデル画像の更新方法の一例としては、上述のような方法で判定したのちに、背景モデル画像の画素値の重みづけ平均した結果を背景モデル画像の画素として更新する手法がある。

　ただし、本発明は、背景画像か否かの判定方法や、背景画像が変化した場合の背景モデルの更新方法は、上述した手法に限定しているわけではなく、その他の背景領域を判定する手法と、背景モデル画像の更新方法の組み合わせでもかまわない。

　さらに、画素変動値算出部１２０３は、情報飽和画素抽出部１２０１から出力される情報飽和画素情報１２３０と、背景モデル差分抽出部１２０２から出力される背景モデル差分情報１２４０とによって予め、それぞれ所定の閾値を越える画素を、入力画像１２０から除く。

　そして、画素変動値算出部１２０３は、除去された不必要な画素以外の画素で構成する入力画像１２０の画素の座標と画素値を、所定の時間記録し、その記録した画素値の時間に対する変化を示す変動値を求める。

　画素変動値算出部１２０３は、求めた変動値が所定の値未満である画素を座標とともに記録した画素変動値情報１２５０を算出する。

　画素値の変動値算出手法としては、例えば分散などがあるが、この手法に限定しているわけではなく、その他の変動を示す指標でもよい。

　つまり、画素変動値算出部１２０３は、情報飽和画素情報１２３０の画素値が飽和していない画素で、かつ、背景モデル差分情報１２４０の背景領域と判定された画素の座標と一致する入力画像１２０の各画素の画素値を所定の時間、記録する。そして、画素変動値算出部１２０３は、その画素値の変動を示す数値（変動値）を算出する。

　なお、所定の時間、画素値を記録する際に、ある画素が情報飽和画素情報１２３０、背景モデル差分情報１２４０のどちらかに含まれる画素として除かれる頻度が高い場合、変動値の算出に用いる記録される画素数が少なくなる。

　そのため、記録される画素数が所定の個数以下の場合、その画素の変動値は算出しない。

　そして、画素変動値算出部１２０３は、各画素の座標と変動値、また、変動値を算出しない座標を、画素変動値情報１２５０として安定画素判定部１２０４に出力する。

　各画素値の変動値を示すには、所定の時間内の入力画像における各画素値の時間に対する変化を示す分散が利用できる。ただし、この手法に限定するわけではなく、分散以外の変動値を算出する手法を用いても構わない。

　次に、安定画素判定部１２０４は、安定画素を抽出し、その座標と画素値を色補正用画素候補情報１６０として、色補正パラメタ算出部１０３に出力する。ここで、情報飽和画素情報１２３０が有する画素の画素値が飽和していないかもしくは不足していない画素、または背景モデル差分情報１２４０が有する画素の判定が背景である画素、または画素変動値情報１２５０の変動値が所定の値以下の画素が、安定画素に該当する。

　引き続き、本実施形態に示す色補正パラメタ算出部１０３および色補正部１０４の動作について、図２Ｂと図５を用いて詳細に説明する。

　まず、図２Ｂに示す色補正パラメタ算出部１０３は、色補正用画素候補抽出部１０２の色補正用画素候補情報１６０、入力画像１２０、分類画素抽出部１０１の分類画素情報１５０を基に、色補正パラメタ情報１７０を算出する。

　具体的には、色補正パラメタ算出部１０３は、分類画素情報１５０で、画素値に応じて分類した各区画のそれぞれから、所定の個数の画素を選択する。そして、色補正パラメタ算出部１０３は、その選択した座標に対応する、色補正用画素候補情報１６０に含まれる色補正に用いることが可能である画素の座標を抽出する。

　その際に、色補正パラメタ算出部１０３は、選択する座標を、後述する座標情報１４０を用いて特定する。

　もし、所定の個数を抽出できる画素が無い区画が存在する場合、色補正パラメタ算出部１０３は、予め決めたその所定の個数より少ない最低数以上の画素数があれば、その区画の画素を最低数以上抽出する。

　ここで、最低数とは、画像内の領域が非常に小さく、色補正に用いるには画素数が少ないと判断するために用いる値である。

　続いて、色補正パラメタ算出部１０３は、後段の色補正関数（不図示）に与える色補正パラメタ情報１７０を算出するとともに、色補正部１０４に出力する。

　色補正部１０４では、色補正パラメタ算出部１０３から得た色補正パラメタ情報１７０を設定した色補正関数を用いて入力画像１２０の領域の色補正を行うとともに、色補正結果画像１３０として出力する。

　なお、色補正パラメタ算出方法は、前処理部３で、カラーチャートによる色補正パラメタ算出部２０２（図３参照）が、色補正パラメタ２７０を算出する方法と同様であるので、本実施形態での説明は省略する。

　引き続き、本実施形態に示す色補正パラメタ算出部１０３の動作について、図５を用いて、さらに詳しく説明する。

　図５は、本発明の第２の実施形態に係る画像処理装置の色補正パラメタ算出部の詳細を示すブロック図である。

　色補正パラメタ算出部１０３は、色補正パラメタ推定用画素情報選択部４０１と、色補正パラメタ算出部４０２とを含む。色補正パラメタ推定用画素情報選択部４０１は、色補正用パラメタ算出部４０２に接続される。

　色補正パラメタ推定用画素情報選択部４０１は、分類画素情報１５０にある、画素値に応じて分類した各区画のそれぞれから、所定の個数の画素を座標情報１４０で指定することにより選択する。さらに、色補正パラメタ推定用画素情報選択部４０１は、対応する安定画素の座標である色補正用画素候補情報１６０の画素を選択し、その選択した座標と画素値とを選択画素情報４１０として、色補正用パラメタ算出部４０２に渡す。

　色補正用パラメタ推定用画素選択部４０１での画素の選択手法の別の例として、以下の方法がある。この方法では、あらかじめ入力画像１２０を構成する画素に対して、ブロック（たとえば、入力画像に対して、横方向がＭ画素、縦方向がＮ画素）で分割した際のサイズを色補正用パラメタ推定用画素選択部４０１に設定しておく。そして各ブロックの範囲毎に、画素値によって分類した区画内で、かつ、安定な画素をランダムに抽出する。

　また、他の例としては、画像上のランダムな座標を設定し、その座標から所定の範囲に含まれる各区画の画素で、かつ、安定な画素を抽出する方法などが考えられる。

　ただし、本発明は、色補正の対象である色補正用候補画素の選択方法を、上述した手法に限定しているわけではなく、分類した各区画の画素を選択することにより、対応する実画像の座標を分散するように選択できる手法であれば、その他の手法でもかまわない。

　各区画の画素を所定の個数分を集めることができない場合、その区画に含まれる画素は、色補正には利用せず、選択画素情報４１０として出力しない。

　色補正用パラメタ算出部４０２は、選択画素情報４１０の画素とその画素と同一座標にある入力画像１２０の画素値を用いて、色補正関数の色補正パラメタを算出し、色補正パラメタ情報１７０として色補正部１０４に出力する。

　なお、図２Ａおよび図２Ｂに示す色補正部１０４は、色補正パラメタ情報１７０を用いる色補正関数（不図示）として、前処理部３で述べたのと同様に、たとえば線形変換や、非線形変換などの関数を用いる。また、色補正パラメタはそれらの関数に対応したものであればよい。しかしこれらの手法に限定しているわけではなく、他の手法を用いてもかまわない。

　次に、以上に述べた本実施形態の構成、接続、動作について、図２Ａおよび図２Ｂ、図３、図４、図５およびフローチャートを用いて説明する。

　図６は、本発明の第２の実施形態に係る画像処理装置の制御フローを示すフローチャートである。

　まず始めに、本実施形態の画像処理装置１００の前処理部３（図３参照）は、背景を撮影した画像と、それと同じ撮影条件（つまり、同じ時刻および同じ撮影アングル）で、カラーチャートを撮影した画像を用意する。

　そして、カラーチャートによる色補正パラメタ算出部２０２（図３参照）は、撮影したカラーチャート画像２２０の画素値と、その公開されている理想的な画素値を比較することにより、色補正関数に与える色補正パラメタ２７０を算出する。

　そして、色補正部２０３（図３参照）は、背景画像２１０からノイズや画素値が飽和した画素もしくは不足する画素を除いたあとの背景画像情報２５０と、色補正パラメタ２７０を用いて、理想画像２８０を出力することにより、背景画像２１０をあらかじめ色補正しておく。

　なお、この作業は、本画像処理装置１００の設置者が、現場に本画像処理装置１００を設置する際に、手動もしくは自動により行う初期設定である。

　そして、基準色画像情報抽出部２０４（図３参照）は、理想画像２８０の画素の座標と画素値を、基準色画像情報１１０として出力する（ステップＳ１００１）。

　次に、分類画素抽出部１０１（図２Ａ、図２Ｂ参照）は、基準色画像情報１１０に含まれる画素を画素値に応じて、複数の区画に分類する。分類画素抽出部１０１は、その分類結果を分類画素情報１５０として出力する（ステップＳ１００２）。

　基準色画像情報１１０の分類方法は、本実施形態で述べた分類画素抽出部１０１の画素の分類方法を用いる。

　次に、情報飽和画素抽出部１２０１（図４参照）は、情報飽和画素を、入力画像１２０の画素から抽出するとともに、情報飽和画素情報１２３０を出力する（ステップＳ１００３）。

　なお、情報飽和画素には、画素値が飽和した画素の他に、照明の明るさが不足することにより画素値が不足した画素も含む。

　次に、背景モデル差分抽出部１２０２（図４参照）は、入力画像１２０の背景領域と、背景モデル記憶装置１２１４に記憶した背景モデル情報１２１０の座標と一致する入力画像１２０の画素との画素値差分に応じて、その画素が背景であるか否かを判定する。

　背景モデル差分抽出部１２０２は、その判定結果と、その座標を背景モデル差分情報１２４０として出力する。（ステップＳ１００４）。

　次に、画素変動値算出部１２０３（図４参照）は、ステップＳ１００３で求めた情報飽和画素および、ステップＳ１００４で求めた背景モデル差分情報１２４０の背景領域ではないと判定する画素の座標を除いた、入力画像１２０の各画素の座標と画素値を所定の時間記録する。

　そして、画素変動値算出部１２０３は、その記録した画素値の時間変化を示す変動値を求める。画素変動値算出部１２０３は、その変動値が所定の値未満である画素を座標と画素値とともに記録した画素変動値情報１２５０を抽出するとともに出力する（ステップＳ１００５）。

　次に、色補正用画素候補抽出部１０２の安定画素抽出部１２０４（図４参照）は、ステップ１００３における情報飽和画素情報１２３０の画素と、ステップＳ１００４における背景モデル差分情報１２４０にある背景画像ではないと判定する画素と、ステップＳ１００５における画素変動値情報１２５０の変動値が所定の値以下の画素とを除去する。

　そして、色補正用画素候補抽出部１０２の安定画素抽出部１２０４は、その画素の座標と画素値を、色補正用画素候補情報１６０として抽出するとともに出力する（ステップＳ１００６）。

　次に、色補正パラメタ算出部１０３の色補正パラメタ推定用画素情報選択部４０１（図５参照）は、ステップＳ１００２にて、分類画素抽出部１０１（図２Ａ，図２Ｂ参照）が、出力する分類画素情報１５０の分類した各区画のそれぞれから、所定の個数の画素を、座標情報１４０を指定することによって、選択する。そして、色補正パラメタ推定用画素情報選択部４０１は、その選択した画素の位置に対応する、色補正用画素候補情報１６０の画素を選択する。

　色補正パラメタ推定用画素情報選択部４０１は、その選択した画素を選択画素情報４１０として、色補正用パラメタ算出部４０２に出力する（ステップＳ１００７）。

　次に、色補正用パラメタ算出部４０２（図５参照）は、ステップＳ１００７にて抽出した選択画素情報４１０の画素と、その座標に対応する入力画像１２０の画素値を基に、色補正関数に与える色補正パラメタ情報１７０を算出するとともに出力する（ステップＳ１００８）。

　最後に、色補正部１０４（図２Ａ，図２Ｂ参照）は、色補正パラメタ情報１７０を設定した色補正関数に入力画像１２０を与え、入力画像１２０の領域を色補正するとともに、色補正した画像の座標と画素値とからなる色補正結果画像１３０を出力する（ステップＳ１００９）。

　なお、入力画像１２０の画素に不要な画素がなければ、予め入力画像１２０から除去する必要はなく、そのまま入力画像１２０を対象として色補正パラメタを算出してもよい。ここで、画素値が飽和するかもしくは不足する画素、入力画像１２０とその背景領域の差分から背景領域ではないと判断する画素、および、入力画像１２０からそれらを除いた画素の単位時間あたりの変動値が所定の閾値を越える画素が、不要な画素に該当する。

　その場合、図６に示すステップＳ１００３乃至ステップＳ１００６は省略することができる。

　また、色補正用画素候補抽出部１０２の情報飽和画素抽出部１２０１、背景モデル差分抽出部１２０２、画素変動値算出部１２０３、安定画素判定部１２０４（図４参照）は、用いない。また、それにともなって、色補正用画素候補情報１６０（図５参照）は用いない。つまり、図２Ａに示す構成を用いてもよい。

　すなわち、本実施形態に係る画像処理装置によれば、カラーチャートを用いて背景画像を色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択する。そして、画像処理装置は、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

　そして、本実施形態に係る画像処理装置によれば、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

　また、その際に、対応する入力画像の画素に含まれる不要な画素を予め入力画素から除いてから、上述の色補正を行う。よって、多様な時刻の照明環境で撮影した入力画像であっても、より基準画像に近い色味を再現することができる。ここで、情報飽和画素と、背景モデルと入力画像の画素の画素値の差分が大きい画素と、単位時間あたりの上述した画素を入力画像から除いた残りの画素の変動値が大きい画素とが、上記の不要な画素に該当する。

　言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶ。そして、画像処理装置は、予め入力画像から不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

　その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。

　つまり、本実施形態に係る画像処理装置によれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理装置を提供することができる。

　以上、本発明の第２の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

　＜第３の実施形態＞
　次に、第２の実施形態を基本とした変形例である第３の実施形態について説明する。

　図７は、本発明の第３の実施形態に係る画像処理装置に適用可能な色補正用画素候補抽出部を示すブロック図である。

　本実施形態では、第２の実施形態の図２Ｂに示す色補正用画素候補抽出部１０２に、予め除去すべき不安定な画素を除去するための処理として、照明が変動することにより画素値が変動しやすい部分（たとえば画像の輪郭部分）を抽出するエッジ算出部１２０５と、背景画像の前面に重なる部分（たとえば前景画像）を抽出する前景物体検出部１２０６を加えた点が異なる。

　ここで、前景物体とは、入力画像の中で、背景画像より前面に存在する人や物などの物体と定義する。

　このため、以下の説明においては、本実施形態の応用例に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２の実施形態と同様な構成についての重複する説明は省略する。

　エッジ算出部１２０５、前景物体認識抽出部１２０６は、安定画素判定部１２０７に接続される。背景モデル記憶装置１２１４は、背景モデル差分抽出部１２０２に接続される。

　エッジ算出部１２０５は、画素値の変動が一般的に大きいエッジ成分を除いた安定画素を抽出するためにエッジ成分を算出する。

　すなわち、エッジ算出部１２０５は、入力画像１２０からエッジ成分を抽出し、エッジの強度が所定の閾値以上の画素に関して、エッジ強度、方向および、その座標とを組みにしたエッジ情報１２４５を安定画素判定部１２０７に出力する。

　エッジ抽出手法としては、例えば、一次微分フィルタや、Ｓｏｂｅｌフィルタ、２次微分フィルタ（Ｌａｐｌａｃｉａｎフィルタなど）、Ｃａｎｎｙフィルタなどがあるが、これらに限定するわけではなく、その他のエッジ抽出手法を利用してもかまわない。

　また、前景物体検出抽出部１２０６は、入力画像１２０の背景領域を隠してしまう可能性が高い物体（前景領域）を、物体検出技術を用いて検出するとともに、安定画素判定部１２０７で除去する。

　前景物体検出抽出部１２０６は、例えば、入力画像１２０から画像特徴量を抽出し、あらかじめ用意した前景領域の画像特徴量と比較し、画像特徴量同士が類似する領域を前景領域として抽出する。

　前景物体検出抽出部１２０６は、抽出した前景領域の座標とその画素値を物体抽出情報１２４６として安定画素判定部１２０７に出力する。物体検出技術の例としては、例えば、顔検出や頭部検出、人物検出などの検出技術がある。

　これらの検出技術は、Ｈａａｒ－ｌｉｋｅ特徴量と、ＡｄａＢｏｏｓｔなどの学習アルゴリズムを利用した顔や頭部検出および、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）と学習アルゴリズムを利用した人物抽出など、たとえば輝度勾配、輝度差などの特徴量に着目するとともに学習する手法がある。ただし、これらの手法に限定するわけではなく、その他の手法でもかまわない。

　安定画素判定部１２０７は、安定画素判定部１２０４（図４参照）と同じ方法で、安定画素を算出する。その際に、安定画素判定部１２０７は、エッジ情報１２４５に含まれるエッジ強度が所定の値以上である画素と、物体抽出情報１２４６が示す前傾物体の画素とをさらに除いた画素を安定画素とし、かかる安定画素を色補正用画素候補情報１６０として出力する。

　すなわち、本実施形態に係る画像処理装置によれば、カラーチャートを用いて背景画像を色補正することによって得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択する。そして、画像処理装置は、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

　また、その際に、画像処理装置は、対応する入力画像の画素に含まれる不要な画素を予め入力画素から除いてから、上述の色補正を行う。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素のうち変動値が大きい画素が、上記の不要な画素に該当する。

　さらに、上記に加えてエッジ強度が所定の値より大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を、予め入力画素から除いてから、上述の色補正を行う。

　これにより、本実施形態によれば、入力画像が多様な時刻の多様な照明環境で撮影した画像であり、かつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

　言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶ。そして、画像処理装置は、予め入力画像から不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

　その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外乱の影響を受けにくい、基準画像に忠実な色味を再現することができる。

　つまり、本実施形態に係る画像処理装置によれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。

　以上、本発明の第３の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

　＜第４の実施形態＞
　次に、第２および第３の実施形態を基本とする第４の実施形態について説明する。図８は、第４の実施形態に係る画像処理装置の概要を示すブロック図である。

　本実施形態は、図２Ｂに示す画像処理装置１００に、照明変動時に対するさらに頑健な色補正を可能とする機能を追加している。

　そのために、本実施形態では、画像処理装置１００が色補正部１０７を含み、その色補正部１０７から色補正結果情報１８０を取り出して、色補正用画素候補抽出部１０６へ反映している点が異なる。

　このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２および第３の実施形態と同様な構成についての重複する説明は省略する。

　図８に示す、画像処理装置１００は、分類画素抽出部１０８と、色補正用画素抽出部１０６と、色補正パラメタ算出部１０５と、色補正部１０７とを含む。

　図２Ｂに示す接続に加えて、図８に示す色補正部１０７は、色補正用画素候補抽出部１０６に接続される。

　画像処理装置１００が有する色補正用画素候補抽出部１０６（図８参照）は、図２Ｂに示す機能に加え、背景領域の差分抽出などに影響がでるほどの照明変動が起きているかを、現在の色補正結果である色補正結果情報１８０と、基準色画像情報１１０と、次の入力画像である入力画像１２０とを基に判定する。そして、色補正用画素候補抽出部１０６は、その判定結果に基いて、後述する安定画素の抽出方法を変更する。

　安定画素抽出手法方法については、後述する図９に示す安定画素判定部１２１２にて説明する。

　色補正部１０７は、図２Ｂに示す機能に加え、入力画像１２０を色補正した色補正結果画像１３０の画素の座標と画素値を含む色補正結果情報１８０を、色補正用画素候補抽出部１０６に出力する。色補正結果情報１８０に含まれる画素は、色補正に用いられる可能性がある画素のみでよく、色補正結果画像１３０の一部の画素でよい。

　例えば、色補正結果情報１８０に含まれる画素は、分類画素抽出部１０８に蓄積された画素と同じ座標の画素でよく、その場合、分類画素抽出部１０８から分類画素情報１５０の画素の位置情報を、図示していない経路を通して得るものとする。

　また、色補正結果情報１８０に含まれる画素は、色補正に用いる背景領域をあらかじめ色補正用画素候補情報１６０に設定しておく場合、その設定領域の画素のみとしてもよい。

　次に、図９は、本発明の第４の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。

　図９に示す色補正用画素候補抽出部１０６は、図７に示す色補正用画素候補抽出部１０２に、照明変動対応画素抽出部１２１１、補正画像差分抽出部１２０８、入力画像１２０のエッジ算出部１２１５、エッジヒストグラム算出部１２０９および相関抽出部１２１３を加えている点が異なる。

　これにより、照明変動時に背景領域抽出が困難になることに対して、照明変動を検知する。そして、入力画像１２０、色補正結果情報１８０、および理想画像２８０のエッジ相関（不図示）を用いて、色補正に適用することができる安定な背景領域の画素を抽出するとともに、色補正用画素候補情報１６０（不図示）を用いて、色補正パラメタ情報１７０を算出する。その結果、入力画像の色補正を頑健に行うことができる。

　なお、図９に含まれる図７および図８と同じ番号のブロックは同じ機能を持つため、本実施形態における説明を省略する。また、各機能のブロック間の接続について説明する。

　色補正用画素候補抽出部１０６は、情報飽和画素抽出部１２０１と、背景モデル差分抽出部１２０２と、画素変動値算出部１２０３と、エッジ算出部１２１５と、エッジヒストグラム算出部１２０９と、相関抽出部１２１３と、照明変動対応画素抽出部１２１１と、安定画素判定部１２１２と、補正画像差分抽出部１２０８と、背景モデル記憶装置１２１４とを含む。

　情報飽和画素抽出部１２０１は、画素変動値算出部１２０３、照明変動対応画素抽出部１２１１および安定画素判定部１２１２に接続される。

　背景モデル差分抽出部１２０２は、画素変動値算出部１２０３、照明変動対応画素抽出部１２１１および安定画素判定部１２１２に接続される。

　画素変動値算出部１２０３は、照明変動対応画素抽出部１２１１および安定画素判定部１２１２に接続される。

　エッジ算出部１２１５は、エッジヒストグラム算出部１２０９、および安定画素判定部１２１２に接続される。

　エッジヒストグラム算出部１２０９は、相関抽出部１２１３に接続される。

　相関抽出部１２１３は、安定画素判定部１２１２に接続される。

　背景モデル記憶装置１２１４は、背景モデル差分抽出部１２０２に接続される。

　照明変動対応画素抽出部１２１１は、補正画像差分抽出部１２０８、エッジ算出部１２１５、安定画素判定部１２１２に接続される。

　補正画像差分抽出部１２０８は、背景モデル記憶装置１２１４、背景モデル差分抽出部１２０２、安定画素判定部１２１２に接続される。

　前景物体検出部１２０６は、安定画素判定部１２１２に接続される。

　次に、本実施形態における色補正用画素候補抽出部１０６の動作について説明する。

　照明変動対応画素抽出部１２１１は、入力画像１２０を構成する背景領域と、背景モデル情報１２１０の座標と一致する入力画像１２０の画像との画素値差分に応じて、画素が背景であるか否かを判定する。そして、照明変動対応画素抽出部１２１１は、その判定結果と、その座標とを保持する背景モデル差分情報１２７０に影響がある照明変動が起きているか否かを、後述の方法で判定する。

　照明変動対応画素抽出部１２１１は、その判定した結果を、照明変動情報１２６５として、補正画像差分抽出部１２０８、安定画素判定部１２１２、エッジ算出部１２１５に出力する。

　背景モデル画像の差分抽出に影響がある照明変動が発生しているかの判定は、全画素から情報飽和画素を除いた画素数に対する、背景モデル差分情報１２７０における入力画像１２０の背景領域との画素値差分が所定の閾値以上生じている画素数の割合によって判定する。

　照明変動対応画素抽出部１２１１は、その割合が高い場合、照明変動が起きていると判定するとともに、その判定結果を照明変動情報１２６５として出力する。

　また、照明変動対応画素抽出部１２１１は、照明変動発生時ではなく、照明変動発生後、その変動が安定したタイミングで照明変動情報１２６５を出力する。

　つまり、画素変動値算出部１２０３の画素変動値情報１２７５の画素値の変動値の大きさが所定の値以下の場合、照明変動が発生した後に、その照明変動が落ち着いたタイミングと判定し、照明変動対応画素抽出部１２１１は、照明変動情報１２６５を出力する。

　また、補正画像差分抽出部１２０８は、照明変動情報１２６５により、照明変動が発生したという判定を受け取った場合、現在の入力画像１２０が色補正された色補正結果情報１８０と、基準色画像情報１１０の画素の画素値の差分を抽出する。補正画像差分抽出部１２０８は、その画素値差分が所定の値以下の画素の座標と画素値を、補正画像差分情報１２６０として、安定画素判定部１２１２に出力する。

　補正差分抽出方法は、例えば、背景差分のように同じ座標の画素値の差を利用してもよい。しかし、この手法に限定するわけではなく、その他の差分を算出する手法を利用してもよい。

　また、補正画像差分抽出部１２０８は、色補正結果情報１８０と、基準色画像情報１１０との差分抽出の際、差分値が所定の値以下である画素の座標と、その座標に対応する入力画像１２０の画素値に基づいて、背景モデル更新情報１２５５を作成する。補正画像差分抽出部１２０８は、背景モデル記憶装置１２１４の背景モデル画像を更新する。

　背景モデル画像の更新方法は、第２の実施形態の色補正用画素候補抽出理部１０２で説明した背景モデル画像の更新方法を利用することができる。

　一方で、照明変動情報１２６５が、背景モデル画像の差分抽出に影響がある照明変動が発生していないという判定である場合、安定画素判定部１２１２に補正画像差分情報１２６０を出力しないか、または、色補正結果情報１８０と基準色画像情報１１０との差分をとっていない色補正結果情報１８０を、補正画像差分情報１２６０として出力する。

　また、エッジ算出部１２１５は、図７に示すエッジ算出部１２０５と同じ手法でエッジ算出を行い、エッジ情報１２８０を安定画素判定部１２１２に出力する。ただし、エッジヒストグラム算出部１２０９でエッジヒストグラム情報１２８５を算出する必要があるため、少なくとも２方向のエッジを抽出する。

　エッジ情報１２８０の出力先は、照明変動情報１２６５の内容によって変化する。照明変動情報１２６５により照明変動が発生しているという判定を受けた場合、エッジヒストグラム算出部１２０９および、安定画素判定理部１２１２の両方にエッジ情報１２８０を出力する。

　また、照明変動が発生していないという判定を受けた場合、エッジヒストグラム算出部１２０９にのみエッジ情報１２８０を出力する。

　ここで、エッジヒストグラム算出部１２０９は、たとえば特定サイズで分割したブロックを算出し、各ブロックに含まれる各エッジ方向の頻度を算出することにより、エッジ方向をヒストグラムの区画（つまり、ビン）にしたエッジヒストグラムを作成する。

　そして、エッジヒストグラム算出部１２０９は、各ブロックのエッジヒストグラムをエッジヒストグラム情報１２８５として、相関抽出部１２１３に出力する。

　なお、エッジヒストグラムの算出方法として、例えば、複数の方向でのエッジ成分をエッジ算出部（図３に示す２１５や図９に示す１２１５）で算出しておき、各ブロックに含まれる各方向のエッジ成分の頻度からエッジヒストグラムを作成する方法がある。

　その他に、縦横２方向のエッジ成分をエッジ算出部２１５（エッジ算出部１２１５でもよい。）で算出し、各画素の横方向のエッジの強度を縦方向のエッジ強度で割り、そのアークタンジェント（ａｒｃｔａｎ（ｘ）すなわち、ｔａｎ（ｘ）の逆関数；xは、たとえば、各画素の横方向のエッジの強度を縦方向のエッジ強度で除算した値）の値をエッジ方向とし、各ブロックに含まれる各方向のエッジ成分の頻度からエッジヒストグラムを作成する方法がある。

　なお、これらの手法に限定するわけではなく、これ以外のエッジヒストグラムを算出する手法を用いてもよい。

　相関抽出部１２１３は、入力画像１２０から求めたエッジヒストグラム情報１２８５と、図３に示す前処理部３において、基準色画像情報１１０を求める際に理想画像から求めた理想画像エッジヒストグラム情報２９５との相関を求める。そして、相関抽出部１２１３は、相関情報１２９０として安定画素判定部１２１２に出力する。

　そして、安定画素判定部１２１２は、照明変動情報１２６５の内容により、安定画素の作成方法を変更する。

　安定画素判定部１２１２は、照明変動情報１２６５が、照明変動が発生していないという判定である場合、図４に示す安定画素判定部１２０４と同様の方法で、色補正用画素候補情報１６０を算出するとともに出力する。

　一方、照明変動情報１２６５が、照明変動が発生しているという判定である場合、入力画像１２０のエッジヒストグラム情報１２８５（図９参照）と、理想画像エッジヒストグラム情報２９５（図３参照）とを相関抽出部１２１３で相関をとることにより、相関が高いブロック領域を抽出する。

　次に、エッジ情報１２８０から、入力画像１２０のブロック領域内に含まれるエッジ成分の強度が低い画素を抽出する。次に、そのエッジ成分の強度が低い画素から、情報飽和画素情報１２３０により情報飽和画素を削除した画素を安定画素判定部１２１２が安定画素と判定し、色補正用画素候補情報１６０として出力する。

　そして、色補正用画素候補抽出部１０６は、色補正用画素候補情報１６０を色補正パラメタ算出部１０５（図８参照）へ出力する。

　すなわち、本実施形態に係る画像処理装置によれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択する。そして、画像処理装置は、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

　そして、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

　また、その際に、対応する入力画像の画素に含まれる不要な画素を除く。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画像から除いた残りの画素の変動値が大きい画素、および入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素が、上記の不要な画素に該当する。

　さらに、照明変動の際の入力画像と理想画像との相関が高い領域のうち、エッジ強度が弱い画素を対象にして上記の色補正を行うことにより、入力画像が多様な時刻の多様な照明環境で撮影した画像であり、かつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

　言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、上述した不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

　その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正をするので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。

　以上、本発明の第４の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

　＜第５の実施形態＞
　次に、第２乃至第４の実施形態を基本とする、第５の実施形態について説明する。

　本実施形態は、図１０に示す情報処理装置が、図６に示す本画像処理装置１００の制御フローを実現するソフトウェアと協働して動作する。この結果、図２Ａまたは図２Ｂまたは図８に示す各ブロックの機能が実現される。

　このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２乃至第４の実施形態と同様な構成についての重複する説明は省略する。

　図１０は、第５の実施形態に係るコンピュータ・プログラムによる画像処理装置の概要を示すブロック図である。

　情報処理装置による画像処理装置５００は、Ｃｅｎｔｒａｌ　Ｐｒｏｃｃｅｓｓｉｎｇ　Ｕｎｉｔ（以下、ＣＰＵと称する）５１、メモリ５２、ストレージ５３、記録媒体５４および、チップセットならびに、入出力コントローラを有するとともに、これらのハードウェアと協働して動作するソフトウェアである、Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ（以下、ＯＳと称する）、Ａｐｐｌｉｃａｔｉｏｎ　Ｓｏｆｔｗａｒｅ（以下、ＡＰと称する）を有する。

　また、本情報処理装置による画像処理装置５００において、カメラ５５、モニタ５６、および、入力デバイスならびに、通信インタフェースが接続される。

　次に、画像処理装置５００の動作について説明する。

　まず、画像処理装置５００の設置者は、カメラと、本装置を設置する現場において、本装置を起動する。そして、画像処理装置５００は、メモリ５２に、ＯＳおよび必要なＡＰをストレージ５３から読込む。

　なお、制御する際に必要となる情報（たとえば各閾値などの設定値情報）は、たとえば、ストレージ５３または、チップセットの読書き可能な不揮発性の記憶部（不図示）に保持する。

　ここで、保持する各閾値などの設定値情報とは、たとえば、図３に示す前処理部３でいえば、ノイズ、画素値飽和および不足画素除去部２０１の、画素値飽和および不足画素を範囲を有する閾値で除去する際の閾値や、カラーチャートによる色補正パラメタ算出部２０２が出力する色補正パラメタ２７０などである。

　次に、設置者は、本画像処理装置５００のＡＰの一部である図示していない初期設定プログラムを使って初期設定を実行する。

　初期設定プログラムは、モニタ５６にガイダンスおよび撮影した画像を表示するので、設置者は、ガイダンスに従って入力デバイスを用いて、設置したカメラを用いた背景画像の撮影、同じくカラーチャートの撮影、および初期設定プログラムによる、カラーチャートを用いた色補正を手動もしくは自動で実行する。

　これにより、本画像処理装置５００の前処理部３は、基準色画像情報１１０を出力する（図６に示すステップＳ１００１）。そして、初期設定後の、ＡＰの一部である運用プログラム（不図示）を使って運用を開始する。その際、初期設定のために使用したモニタ５６、入力デバイスは、取り外してもよい。

　次に、ＡＰの運用プログラムは、図２Ａまたは図２Ｂまたは図８に示す分類画素抽出部で、基準色画像情報１１０の画素の画素値に応じて各区画に分類するとともに、分類画素情報１５０を出力する（ステップＳ１００２）。

　以降、ＡＰの運用プログラムは、第２の実施形態ですでに述べた図６に示す制御フローの処理を順次、実行するため、途中の説明は省略する。そして、図２Ａまたは図２Ｂまたは図８に示す色補正部は、色補正結果画像１３０を出力する（ステップＳ１００９）。

　なお、色補正の制御をする際に必要となる、上述した各閾値などの最新の設定値情報は、たとえば、ストレージ５３や、チップセットの読書き可能な不揮発性記憶部で保持もしくは更新する。

　ここで、更新する情報としては、たとえば、色補正パラメタや背景モデル画像などである。

　以上に述べたように、図２Ａまたは図２Ｂまたは図８に示すブロック図の各機能や、図６に示す画像処理装置の制御フローは、図１０に示す画像処理装置５００がコンピュータ・プログラムに従って動作することで実現される。

　画像処理装置５００を情報処理装置で実現するために、図６に示す制御フローの機能を実現可能なＡＰ（コンピュータ・プログラム）を供給する。そして、ＣＰＵ５１が、ＯＳおよびＡＰをメモリ５２に読出して実行する。

　ここで、当該ＣＰＵ５１に供給されるコンピュータ・プログラムは、読書き可能な不揮発性ストレージ５３に格納すればよい。

　また、前記の場合において、当該装置内へのコンピュータ・プログラムの供給方法は、フロッピー（登録商標）ディスクやＣＤ－ＲＯＭ等の各種記録媒体５４を介して当該装置内にインストールする方法や、通信インタフェースを用いて、インターネット等の通信ネットワークを介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。

　そして、このような場合において、本発明は、係るコンピュータ・プログラムを構成するコード、或いは係るコードが記録されたところの、コンピュータ読み取り可能な記憶媒体によって構成されると捉えることができる。

　また、本画像処理装置の色補正を行う処理を、ソフトウェアによって行うことにより、汎用の情報処理装置を用いて画像処理装置を構成することができる。そして、プログラムおよび各閾値などの設定情報を書き換えるだけで、より柔軟に、幅広いカメラ設置現場の環境に対応することができるという効果がある。

　つまり、本実施形態に係る画像処理システムによれば、環境光などの多様な外乱に強く、背景画像を基にした、基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置を提供するとともに、ソフトウェアにより、現場環境に合わせて、より柔軟な色補正処理を行うことができる。

　すなわち、本実施形態に係る画像処理方法とそのプログラム・ソフトウェアによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

　また、その際に、対応する入力画像の画素に含まれる不要な画素を除く。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素、および入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素が、上記の不要な画素に該当する。

　さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、入力画像が多様な時刻の多様な照明環境で撮影した画像であり、かつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

　また、本画像処理装置を構成する情報処理装置が有するＣＰＵは、上述した入力画像の色を補正する制御を、ＯＳ、ＡＰであるプログラム・ソフトウェアと協働することにより、汎用性のある情報処理装置を用いて本画像処理装置を構成することができるとともに、プログラム・ソフトウェアや、各閾値などの設定値情報を書き換えるだけで、より柔軟に、幅広いカメラの設置環境に対応することができるという効果がある。

　言い換えると、本実施形態の画像処理方法とそのプログラム・ソフトウェアは、多様な照明環境で撮影した入力画像であっても、プログラム・ソフトウェアを用いて、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、上述した不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

　つまり、本実施形態に係る画像処理方法とそのプログラム・ソフトウェアによれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。

　以上、本発明の第５の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

　＜第６の実施形態＞
　次に、第２乃至第５の実施形態を基本とする変形例である第６の実施形態について説明する。

　本実施形態は、たとえば、図２Ａまたは図２Ｂに示す画像処理装置１００の分類画素抽出部１０１と、色補正用画素候補抽出部１０２と、色補正パラメタ算出部１０３と、色補正部１０４と、前処理部３とのいずれか、もしくは全てを、集積回路によって実現する。

　このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２乃至第５の実施形態およびその変形例と同様な構成についての重複する説明は省略する。

　本実施形態では、色補正をするための上述したような各機能ブロックに集積回路を適用することにより、系としての画像処理システムを構築することができる。

　そのため、本画像処理装置１００は、本画像処理システム１００と読み替えることもできる。

　そして、本画像処理システム１００は、上述した基本となる実施形態の変形例として、現在では一般的な技術である集積回路を用いることにより、上述した基本となる実施形態の効果に加えて、小型化、低消費電力化が可能となるとともに、これらに伴い、多様な現場への設置が容易になるという効果を得ることもできる。

　そして、図６に示す本画像処理システム１００の制御フローは、上述した集積回路により実行する。なお、図６に示す制御フローは、第２の実施形態で説明しているので、省略する。

　また、上述した図２Ａまたは図２Ｂに示す機能ブロックの一部を、消費電力との兼ね合いに応じて、集積回路化するとともに、残りはソフトウェアにより処理するように分担する装置構成としてもよい。

　その場合、集積回路化する機能ブロック以外の機能は、ソフトウェアに従って動作するＣＰＵによって実現される。

　例えば、カメラの設置環境が変化することが少なければ、図６に示すステップＳ１００１を行う前処理部３は、集積回路化するとともに、残りの機能ブロック（ステップＳ１００２以降に対応するブロック）は、ソフトウェアによって実現すればよい。

　また、対応する入力画像の画素に含まれる不要な画素および、照明変動の際の入力画像と理想画像とのエッジ相関が高い領域を予め入力画素から除く必要がなければ、色補正用画素候補抽出部１０２を用いず、当該機能ブロックは集積回路化をしないようにしてもよい。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素と、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素が、上記の不要な画素に該当する。

　その際は、不要な画素の影響は受けやすくなるが、簡素な構成で、かつ、安価にすることができる。

　なお、各閾値などの設定値情報は、集積回路に内蔵する読書き可能な不揮発性記憶部(不図示、以下同様)、もしくは図６に示す、ストレージ５３において記憶するとともに、上述の閾値を柔軟に調整できるようにしてもよい。

　すなわち、本実施形態に係る画像処理システムによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に、所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する座標にある入力画像の画素を色補正するための色補正係数を算出する。

　そして、求めた色補正係数を用いた色補正関数を用いて、入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

　また、その際に、画像処理システムは、対応する入力画像の画素に含まれる不要な画素を除く。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素が、上記の不要な画素に該当する。

　さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

　また、本画像処理システムが有する色補正を行うディスクリート(個別部品)回路もしくはソフトウェアを、集積回路によって実現することにより、本画像処理システムを、たとえば、小型化できる。また、ＣＰＵによって行う色補正を、集積回路によって行うことにより、低消費電力化できる。また、これらに伴い、本画像処理システムを多用な場所に設置しやすくなるという新たな効果を得ることができる。

　さらに、一部分を集積回路化するとともに、残りをソフトウェアで分担する装置構成とすることにより、ＣＰＵの負荷や、コストのバランスをとることもできる。

　言い換えると、本実施形態の画像処理システムは、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、不要な画素や、照明変動の際に生じる入力画像の変動に伴う画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

　その求めた色補正パラメタから色補正関数を求めて、処理対象の背景画像を含む入力画像の色を補正するので、背景画像の色に偏りにくく、外光の影響を受けにくい、基準画像に近い色味を再現することができる。

　つまり、本実施形態に係る画像処理装置によれば、環境光などの多様な外乱に強く、広範囲の色味を再現する画像処理システムを提供することが出来る。

　以上、本発明の第６の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

　＜第７の実施形態＞
　次に、第２乃至第６の実施形態を基本とする変形例である第７の実施形態について説明する。

　本実施形態では、たとえば、カメラ設置現場と、そこで撮影した画像をモニタリングする現場が離れている場合、両者を、通信ネットワークを用いて接続することにより、遠隔地で撮影した被写体である人、物の様子をモニタしたり、人物の服装色などの傾向を把握することができる。

　すなわち、例えば監視システム、あるいは被写体観察システムなどの画像処理システムを構築できる点が異なる。

　このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２乃至第６の実施形態およびその変形例と同様な構成についての重複する説明は省略する。

　本実施形態の構成を、図１１を用いて説明する。図１１は、第７の実施形態に係る画像処理システムの概要を示すブロック図である。

　本画像処理システムでは、情報処理装置からなる画像処理装置５００は、カメラ設置現場に設置され、本画像処理装置５００の通信インタフェースを用いることにより、通信ネットワークに接続される。

　一方で、モニタ６１と、入力デバイスを有し、通信インタフェースを用いることにより通信ネットワークに接続される情報処理装置６００をモニタリング現場に設置する。この情報処理装置６００は、情報処理装置を用いた画像処理装置５００と同様の内部構成であるが、カメラ５５は用いない。

　なお、情報処理装置からなる画像処理装置５００および、情報処理装置６００は、共に、汎用的な情報処理装置であっても、専用の情報処理装置であってもよい。

　また、ここで用いる通信ネットワークは、本画像処理装置を設置する現場で用いるカメラで撮影した画像を伝送することが可能な帯域幅を有する。この通信ネットワークは、例えば、有線や無線を用いた専用回線やインターネットなどである。

　図１１に示す、画像処理システムについて、その動作を説明する。

　まず、設置者は、カメラ設置現場で本画像処理装置５００を設置する際に、画像処理装置５００において動作するＡＰが有する初期設定プログラムを用いて、背景となる画像およびカラーチャートの画像を手動もしくは自動により、カメラ５５によって、撮影する。また、設置者は、色補正を行い、図示していない基準画像を本画像処理装置５００の内部に予め用意する。

　以降、カメラ設置現場で、カメラ５５を用いて撮影した被写体画像は、画像処理装置５００で動作するＡＰが有する運用プログラムを用いて色補正を行うとともに、通信インタフェースを用いて、通信ネットワークを通して、相手側の情報処理装置６００に送信する。

　実際には、色補正をした画像は更に、通信ネットワークが有する帯域に対応するように、たとえば、画像圧縮を行ってから送信する。

　情報処理装置６００は、受信した色補正された画像を、ＡＰが有する表示プログラムを用いることにより、モニタ６１を用いて表示する。

　実際には、受信した画像データは圧縮されているので、情報処理装置６００は、たとえば、画像伸張を行ってから、色補正して送信されてきた画像を表示する。

　以上により、モニタリング現場でモニタする観察者は、通信ネットワークを通して遠隔地にあるカメラ設置現場の、多様な照明環境で撮影したのちに色補正したカメラ画像をよい色味でモニタすることができる。

　すなわち、本実施形態に係る画像処理システムによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

　また、その際に、対応する入力画像の画素に含まれる不要な画素を除く。ここで、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素が、上記の不要な画素に該当する。

　さらに、照明変動の際の入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、入力画像が多様な時刻の多様な照明環境で撮影した画像であり、かつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

　また、本画像処理システムは、照明変動を含む幅広い照明環境にあるカメラ設置現場で撮影した被写体の画像を、色補正したのち、通信ネットワークを通して、遠隔地のモニタリング現場にある表示機器を有する情報処理装置に伝送するとともに、画像を表示する。

　これにより、カメラ設置現場での被写体である人や物および人物の服装色の傾向を、遠隔地において基準画像に近い色味で再現することができ、これらの監視や、観測を容易に行うことができる。

　つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理システムを提供することが出来る。

　以上、本発明の第７の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

　この出願は、２０１２年１月３０日に出願された日本特許出願２０１２－０１６５８５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用の可能性

　本発明は、上述した各実施形態には限定されず、例えば、企業や公共施設などでの人物や物体などのモニタリングに供するカメラ映像の画像処理に適用可能である。

　１　　制御部
　２　　補正部
　３　　前処理部
　１０　　画像処理装置
　１１　　背景画像
　１２　　入力画像
　１３　　色補正結果画像
　１４　　基準画像
　１５　　色補正係数
　１００　　画像処理装置
　１０１　　分類画素抽出部
　１０２　　色補正用画素候補抽出部
　１０３　　色補正パラメタ算出部
　１０４　　色補正部
　１０５　　色補正パラメタ算出部
　１０６　　色補正用画素候補抽出部
　１０７　　色補正部
　１０８　　分類画素抽出部
　１１０　　基準色画像情報
　１２０　　入力画像
　１３０　　色補正結果画像
　１４０　　座標情報
　１５０　　分類画素情報
　１６０　　色補正用画素候補情報
　１７０　　色補正パラメタ情報
　１８０　　色補正結果情報
　２０１　　ノイズ、画素値飽和および不足画素除去部
　２０２　　カラーチャートによる色補正パラメタ算出部
　２０３　　色補正部
　２０４　　基準色画像情報抽出部
　２０５　　理想画像エッジヒストグラム情報蓄積部
　２０９　　エッジヒストグラム算出部
　２１０　　背景画像
　２１５　　エッジ算出部
　２２０　　カラーチャート画像
　２５０　　背景画像情報
　２６０　　カラーチャート画像情報
　２７０　　色補正パラメタ
　２８０　　理想画像
　２９５　　理想画像エッジヒストグラム情報
　４０１　　色補正パラメタ推定用画素情報選択部
　４０２　　色補正用パラメタ算出部
　４１０　　選択画素情報
　１２０１　　情報飽和画素抽出部
　１２０２　　背景モデル差分抽出部
　１２０３　　画素変動値算出部
　１２０４　　安定画素判定部
　１２０５　　エッジ算出部
　１２０６　　前景物体検出部
　１２０７　　安定画素判定部
　１２０８　　補正画像差分抽出部
　１２０９　　エッジヒストグラム算出部
　１２１０　　背景モデル情報
　１２１１　　照明変動対応画素抽出部
　１２１２　　安定画素判定部
　１２１３　　相関抽出部
　１２１４　　背景モデル記憶装置
　１２１５　　エッジ算出部
　１２２０　　背景モデル更新情報
　１２３０　　情報飽和画素情報
　１２４０　　背景モデル差分情報
　１２４５　　エッジ情報
　１２４６　　物体抽出情報
　１２５０　　画素変動値情報
　１２５５　　背景モデル更新情報
　１２６０　　補正画像差分情報
　１２６５　　照明変動情報
　１２７０　　背景モデル差分情報
　１２７５　　画素変動値情報
　１２８０　　エッジ情報
　１２８５　　エッジヒストグラム情報
　１２９０　　相関情報

Claims

　色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、
　該選択した画素の位置に対応する、処理対象の背景画像を含む入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めること
　を特徴とする画像処理装置。
　請求項１に記載の画像処理の動作を行う制御部を備え、
　前記制御部は、
　基準画像である基準色画像の画素を、その画素値に応じて、複数の区画に分類する分類画素抽出部と、
　前記分類した区画毎に、所定の個数の画素を選択し、該選択した画素の位置に対応する、前記処理対象の背景画像を含む前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数である色補正パラメタ情報を求める色補正パラメタ算出部とを含む
　ことを特徴とする請求項１に記載の画像処理装置。
　前記色補正パラメタ情報を用いて、色補正関数を求めて、求めた該色補正関数を用いて、前記処理対象の背景画像を含む前記入力画像を色補正する補正部をさらに備える
　ことを特徴とする請求項１または請求項２に記載の画像処理装置。
　前記背景画像と、特定の照明環境のもとで理想的な画素値を有する色見本とを用いて、予め任意の時刻における照明環境で、手動もしくは自動により撮影した、複数の色の前記色見本であるカラーチャート画像の画素の画素値を、該カラーチャートが有する理想的な画素値にそれぞれ近づける、カラーチャートによる色補正パラメタを算出し、そのカラーチャートによる色補正パラメタに基づいて、同じ条件で撮影した前記背景画像を色補正することにより得た前記基準色画像の画素を、その座標と画素値との組を含む基準色画像情報として生成する前処理部をさらに備える
　ことを特徴とする請求項１または請求項２に記載の画像処理装置。
　前記前処理部は、前記背景画像と、カラーチャート画像とに含まれる不要な画素であるノイズの画素、画素値が飽和した画素、および画素値が不足した画素を予め除去する
　ことを特徴とする請求項４に記載の画像処理装置。
　色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、
　該分類した区画毎に、所定の個数の画素を選択し、
　該選択した画素の位置に対応する、処理対象の背景画像を含む入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める
　ことを特徴とする画像処理の方法。
　画像処理装置を制御するコンピュータ・プログラムであって、そのコンピュータ・プログラムにより、
　色見本を用いて背景画像を予め色補正した基準画像を構成する画素を該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、該選択した画素の位置に対応する、処理対象の背景画像を含む入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能を、
　コンピュータに実現させることを特徴とするコンピュータ・プログラム。
　色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択し、該選択した画素の位置に対応する、処理対象の背景画像を含む入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能の、いずれかの機能を集積回路によって実現する
　ことを特徴とする画像処理システム。
　通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、請求項１に記載の画像処理装置を用いる
　ことを特徴とする画像処理システム。