JP4991356B2

JP4991356B2 - 画像処理装置、画像処理方法および画像処理用プログラム

Info

Publication number: JP4991356B2
Application number: JP2007073743A
Authority: JP
Inventors: 雄介高橋; 美彦鈴木; 賢二馬場; 孝明榎原; 晴喜木下
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-03-20
Filing date: 2007-03-20
Publication date: 2012-08-01
Anticipated expiration: 2027-03-20
Also published as: JP2008236437A

Description

この発明は、監視対象である人や車両などの追跡に好適な画像処理装置、画像処理方法および画像処理用プログラムに関するものである。

従来、例えば複数の監視カメラ映像により人間等の特定の監視対象を抽出、追跡する際には、主に以下のような三つの方法で実現されていた。

その１は、複数の監視カメラ映像間で監視範囲が重なるように画角を設定し、また予め監視カメラの監視範囲に対する幾何学的な設置関係を求めておく。これにより、監視対象の位置を第１カメラ映像中で抽出し、この情報を基に第２カメラ映像で監視対象がどの位置に見えるかを算出し、この情報から第１カメラ映像における監視対象と第２カメラ映像中の監視対象を同定する。係る手法を用いることによって、第２カメラ映像中における監視対象を追跡するのである。

その２は、予め監視カメラの監視範囲に対する幾何学的な設置関係を求めておき、監視対象の位置情報・ＩＤ情報（識別情報）を特定可能な無線タグ等のセンサによる位置情報・情報（識別情報）に基づいて、複数のカメラ間で監視対象を追跡するのである。

その３は、監視対象の特徴量（形状、色等、監視対象が人間の場合は顔など）に基づき、複数のカメラ映像中において監視対象を同定し、追跡する。

第１の手法では、監視カメラの画角、設置位置等の幾何学的なパラメータを予め求めておく必要があり、初期調整の手間とコストを要する。画角が変化する旋回型監視カメラ等では、更に調整が複雑或いは困難となる。また、一般に複数カメラ間で監視範囲が重複するように画角を設定する必要があるので、監視範囲に対するカメラ数が増加する問題がある。

第２の手法では、監視カメラ以外に例えば無線タグなどのセンサの情報を用いることにより、位置情報・ＩＤ情報（識別情報）を得ることができ、実空間における位置をカメラ画像上における位置に変換することで監視対象を追跡でき、複数のカメラ間で監視範囲を重複させる必要はない利点がある。しかし、別途センサが必要であり、そのセンサからの情報取得および連携という処理が必要となり、構成の複雑化およびコスト増を招来する問題がある。

第３の手法では、第１第２の手法のように、予め監視カメラの画角、設置位置等の幾何学的パラメータを算出しておく必要はない点において優れているが、一般的に、複数カメラ映像間で別々に、同一監視対象を同定する特徴を抽出することは困難である。周知のように、監視対象を同定する特徴量としては、対象の形状、色等がよく用いられる。一般に監視対象の形状は、視点・対象の相対的回転により変化するため、複数カメラ映像において追跡の特徴量として用いるのは難しい。また監視対象の色は、一般に対象を同定するのに適しているが、光源環境により色の見え方が変化する可能性が高いという問題がある。

色を用いて、複数の物体を含む画像中から予め登録してある物体の領域を見つけだす画像検索装置としては、登録した物体のマルチバンド空間（例えばＲＧＢの色空間）でのヒストグラムを予め計算し、入力画像に窓関数などの注目領域を設定し、その注目領域の中のマルチバンド空間でのヒストグラムを計算し、そのヒストグラムと予め登録した物体のヒストグラムとの距離を計算して、この距離の値に基づき物体の存在を判定する手法を有する装置が特許文献１に記載されている。

特開平７−２８８４４６号公報

発明者らは、色は光源環境に依存して変化するものであるが、光源環境に依存しない色を抽出することで、複数のカメラ映像間で監視対象の追跡に適した特徴量としての色情報を得ることができることを見出した。人間の色知覚機能には光源環境に依存しない色を認識できる色恒常性と呼ばれる機能が備わっている。この機能により、人間は、光源が異なる環境下においても、標準的な光源下での色彩として認識することができ、物体を同定することが可能である。

この機能をコンピュータにより実現するために、物体固有の色を示す物体表面反射率を推定し、標準光源下の色を特徴量とすることを案出した。光源環境に依存しない色を抽出し、これを複数のカメラ間における特徴量とすることで対象の追跡性能を向上させることが可能となることが分かる。本発明では、このように光源環境に依存しない色特徴量を利用することで、より高精度に監視対象を複数のカメラ映像間で追跡することが可能となる画像処理装置、画像処理方法および画像処理用プログラムを提供する。

本発明に係る画像処理装置は、画像情報を得る画像取得手段と、この画像取得手段により得られた画像情報に対する画像処理して監視対象を抽出する抽出手段と、この抽出手段により抽出された監視対象について光源環境に依存しない色特徴量情報を算出する特徴量算出手段とこの特徴量算出手段により算出された色特徴量情報に基づき、前記画像取得手段から得られる画像情報について、前記監視対象の存在を判定する判定手段とを具備することを特徴とする。

本発明に係る画像処理装置は、監視対象に対応して光源環境に依存しない色特徴量情報が予め記憶された追跡対象情報データベースを備え、判定手段は、前記追跡対象情報データベースの色特徴量情報に基づき、画像取得手段から得られる画像情報について、監視対象の存在を判定することを特徴とする

本発明に係る画像処理装置は、特徴量算出手段は、監視領域に置かれた色または分光反射率が既知の被写体の画像情報から光源の分光分布情報を得る光源情報取得手段と、この光源情報取得手段により得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定手段とを具備することを特徴とする。

本発明に係る画像処理装置では、特徴量算出手段が、所定画像領域における色分布情報に対応する分光分布情報が予め記憶された分光分布情報データベースと、得られた画像情報について所定画像領域における色分布情報を作成する色分布情報作成手段と、この色分布情報作成手段により作成された色分布情報と前記分光分布情報データベースの情報を比較して、作成された色分布情報に対応する分光分布情報を得る光源情報取得手段と、この光源情報取得手段により得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定手段とを具備することを特徴とする。

本発明に係る画像処理装置では、色推定手段は、光源情報取得手段により得られる分光分布情報と、画像情報における色値とから監視対象の分光反射率を推定する分光反射率推定手段と、この分光反射率推定手段により推定された分光反射率に基づき標準光源下における監視対象の色特徴量情報を算出する算出手段とを具備することを特徴とする。

本発明に係る画像処理方法は、画像情報を得る画像取得ステップと、この画像取得ステップにより得られた画像情報に対する画像処理して監視対象を抽出する抽出ステップと、この抽出ステップにより抽出された監視対象について光源環境に依存しない色特徴量情報を算出する特徴量算出ステップと、色特徴量情報算出後に前記撮像ステップから得られる画像情報について、この特徴量算出ステップにより算出された色特徴量情報に基づき、前記監視対象の存在を判定する判定ステップとを具備することを特徴とする。

発明に係る画像処理方法は、監視対象に対応して光源環境に依存しない色特徴量情報が予め記憶された追跡対象情報データベースを備え、判定ステップでは、前記追跡対象情報データベースの色特徴量情報に基づき、撮像ステップにて得られる画像情報について、監視対象の存在を判定することを特徴とする。

本発明に係る画像処理方法では、特徴量算出ステップは、監視領域に置かれた色または分光反射率が既知の被写体の画像情報から光源の分光分布情報を得る光源情報取得ステップと、この光源情報取得ステップにより得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定ステップとを具備することを特徴とする。

本発明に係る画像処理方法では、特徴量算出ステップは、所定画像領域における色分布情報に対応する分光分布情報が予め記憶された分光分布情報データベースと、得られた画像情報について所定画像領域における色分布情報を作成する色分布情報作成ステップと、この色分布情報作成ステップにより作成された色分布情報と前記分光分布情報データベースの情報を比較して、作成された色分布情報に対応する分光分布情報を得る光源情報取得ステップと、この光源情報取得ステップにより得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定ステップとを具備することを特徴とする。

本発明に係る画像処理方法では、色推定ステップは、光源情報取得ステップにより得られる分光分布情報と、画像情報における色値とから監視対象の分光反射率を推定する分光反射率推定ステップと、この分光反射率推定ステップにより推定された分光反射率に基づき標準光源下における監視対象の色特徴量情報を算出する算出ステップと
を具備することを特徴とする。

本発明に係る画像処理プログラムは、画像情報を得て画像処理を行うコンピュータを、得られた画像情報に対する画像処理して監視対象を抽出する抽出手段、この抽出手段により抽出された監視対象について光源環境に依存しない色特徴量情報を算出する特徴量算出手段、この特徴量算出手段により算出された色特徴量情報に基づき、得られる画像情報について、前記監視対象の存在を判定する判定手段として機能させることを特徴とする。

本発明に係る画像処理プログラムは、監視対象に対応して光源環境に依存しない色特徴量情報が予め記憶された追跡対象情報データベースを備え、判定手段は、前記追跡対象情報データベースの色特徴量情報に基づき、画像取得手段から得られる画像情報について、監視対象の存在を判定することを特徴とする。

本発明に係る画像処理プログラムでは、特徴量算出手段は、監視領域に置かれた色または分光反射率が既知の被写体の画像情報から光源の分光分布情報を得る光源情報取得手段と、この光源情報取得手段により得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定手段とを具備することを特徴とする。

本発明に係る画像処理プログラムでは、特徴量算出手段は、所定画像領域における色分布情報に対応する分光分布情報が予め記憶された分光分布情報データベースと、得られた画像情報について所定画像領域における色分布情報を作成する色分布情報作成手段と、この色分布情報作成手段により作成された色分布情報と前記分光分布情報データベースの情報を比較して、作成された色分布情報に対応する分光分布情報を得る光源情報取得手段と、この光源情報取得手段により得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定手段とを具備することを特徴とする。

本発明に係る画像処理プログラムでは、色推定手段は、光源情報取得手段により得られる分光分布情報と、画像情報における色値とから監視対象の分光反射率を推定する分光反射率推定手段と、この分光反射率推定手段により推定された分光反射率に基づき標準光源下における監視対象の色特徴量情報を算出する算出手段とを具備することを特徴とする。

本発明によれば、得られた画像情報に対する画像処理して監視対象を抽出し、この抽出された監視対象について光源環境に依存しない色特徴量情報を算出し、この算出された色特徴量情報に基づき或いは与えられた色特徴量情報に基づき、得られる画像情報について前記監視対象の存在を判定するので、高精度に監視対象を複数のカメラ映像間などでも追跡することが可能となる。

本発明によれば、監視対象に対応して光源環境に依存しない色特徴量情報が予め記憶された追跡対象情報データベースを備え、この追跡対象情報データベースの色特徴量情報に基づき、得られる画像情報について、監視対象の存在を判定するので、適切な色特徴量情報を得て、色特徴量情報に基づき、得られる画像情報について上記監視対象の存在を判定することができる。

本発明によれば、特徴量算出は、監視領域に置かれた色または分光反射率が既知の被写体の画像情報から光源の分光分布情報を得て、この得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定するので、適切な色特徴量情報を得ることができる。

本発明によれば、特徴量算出は、所定画像領域における色分布情報に対応する分光分布情報が予め記憶された分光分布情報データベースを用い、得られた画像情報について所定画像領域における色分布情報を作成し、この作成された色分布情報と前記分光分布情報データベースの情報を比較して、作成された色分布情報に対応する分光分布情報を得て、この得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定することで、適切な色特徴量情報を得ることができる。

本発明によれば、色推定は、得られる分光分布情報と、画像情報における色値とから監視対象の分光反射率を推定して、この推定された分光反射率に基づき標準光源下における監視対象の色特徴量情報を算出することで、適切な色特徴量情報を得ることができる。

以下添付図面を参照して本発明に係る画像処理装置、画像処理方法および画像処理用プログラムの実施例を説明する。各図において、同一の構成要素には、同一の符号を付して重複する説明を省略する。図１には、本発明係る画像処理装置の実施例の構成図が示されている。画像処理装置１０に対してビデオカメラなどの画像出力手段２０−１、２２−２から画像情報が送られる。画像出力手段２０−１、２２−２は、ＤＶＤなどの記憶媒体であっても良い。画像処理装置１０は、コンピュータにより構成され、コンピュータが実行することにより以下の各手段として機能する画像処理プログラムを備えている。

画像処理装置１０には、画像取得手段１１、抽出手段１２、特徴量算出手段１３および判定手段１４および追跡対象情報データベース１５が備えられている。画像取得手段１１は、画像出力手段２０−１、２２−２から画像情報を取り込むものである。取り込んだ画像がアナログ信号である場合にはディジタル化し、また必要に応じてコンピュータによる画像処理が可能なＲＧＢなどの画素値情報に変換する。画像取得手段１１が実行する処理は、画像処理装置１０が行う画像処理方法の画像取得ステップを構成する。抽出手段１２は、画像取得手段１１により得られた画像情報に対する画像処理して監視対象を抽出するものである。抽出手段１２が実行する処理は、画像処理装置１０が行う画像処理方法の抽出ステップを構成する。

具体的には抽出手段１２は、背景差分やフレーム間差分を行って移動物体の検出を行い、更に、エッジ検出やパターンマチングを行って、監視すべき監視対象を画像内に検出する。

特徴量算出手段１３は、抽出手段１２により抽出された監視対象について光源環境に依存しない色特徴量情報を算出するものである。特徴量算出手段１３が実行する処理は、画像処理装置１０が行う画像処理方法の徴量算出ステップを構成する。光源環境に依存しない色特徴量情報とは、ＪＩＳにより規格化されているＤ６５標準光源やＣ標準光源下においての色情報を指すものである。特徴量算出手段１３は、図２に示すように光源情報取得手段１３Ａと色推定手段１３Ｂとを備える。

光源情報取得手段１３Ａは、画像においける監視領域に置かれた色または分光反射率が既知の被写体の画像情報から光源の分光分布情報を得るものである。光源情報取得手段１３Ａが実行する処理は、画像処理装置１０が行う画像処理方法の光源情報取得ステップを構成する。ここで、図３のモデルを用いて説明する。カラー画像の生成に決定的な役割を果たす要素は、光源、物体、カメラ（イメージセンサ）である。図３はこれら三者の典型的な関係を示している。

ここで、光源の特性は光源の分光放射率Ｌ（λ）で記述され，この照明光は物体表面で吸収あるいは反射される。物体の分光反射率ｒ（λ）は各波長の入射光に対する反射光の割合を表す。次にカメラに向かう反射光の分光分布は積Ｌ（λ）ｒ（λ）として計算される。ただし、表面での反射が拡散反射成分のみに基づくものとし、光源、物体、カメラの幾何学的関係を考慮すべき鏡面反射の成分を含む場合は、本モデルでは対象としない。

物体からの反射光は視覚系に対応するカメラに入射する。このような入射光はしばしば色信号（color signal）と呼ばれる。カメラの分光応答は3種類の分光感度関数Ｓ_Ｒ（λ），Ｓ_Ｇ（λ），Ｓ_Ｂ（λ）で代表され、これにより色信号は三つの色成分に分解される。カメラの出力ν（κ）は、

で記述される。ここで積分は可視領域vis=(400,700)nmと考えてよい。
上記図３のモデルにあって、物体の分光反射率ｒ（λ）が既知であり、式[2.1]のカメラの出力ν（κ）が得られている。更に、カメラの分光感度に関しては、次に説明する通り所定の特性を有するのである。

カメラの分光感度は、通常のカメラであれば、RGBバンド各々の計3種類の分光感度特性を有する。この分光感度特性は、画像を撮影したカメラが特定することができれば、その特性を知ることは可能である。しかし、撮影に用いたカメラが未知の画像や、近年登場した自動色補正機能付きのカメラで撮影した画像は、その分光感度を知ることは困難となる。

一方において、多くのカメラでは、カラーマネジメントの一つである標準色空間sRGB[]に準拠した色情報を出力するように構成されている。これは、異なる機器間での色情報を統一化するために、国際照明委員会（CIE）が策定した規格である。したがって、カメラシステムの出力は全てsRGB準拠であり、そのカメラシステムの分光感度特性は、図４に示すような1931 CIE XYZの特性を有していると仮定することができる。すなわち、カメラの分光感度も所定（既知）である。

従って、式[2.1]の分光感度関数Ｓ（κ，λ）も既知であり、式[2.1]から光源の分光感度Ｌ（λ）が求まる。図２の色推定手段１３Ｂは、上記の通りにして光源情報取得手段１３Ａにより得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する。色推定手段１３Ｂが実行する処理は、画像処理装置１０が行う画像処理方法の色推定ステップを構成する。

上記のようにして特徴量算出手段１３が色特徴量情報を算出すると、図１に示す判定手段１４は算出された色特徴量情報に基づき或いは他の（例えば、隣接して演算を行っている装置の）特徴量算出手段１３によって得られて送られた色特徴量情報に基づき、画像取得手段１１から得られる画像情報について、上記監視対象の存在を判定する。つまり、画面内に監視対象が存在するか否かを判定して、存在する場合には表示画面において、監視対象をブリンク表示するなどを行うことができる。判定手段１４が実行する処理は、画像処理装置１０が行う画像処理方法の判定ステップを構成する。

また、図１に示されるように、ビデオカメラである画像出力手段２０−１、２２−２が連続する監視領域を撮像している場合において、最初に画像出力手段２０−１が出力する画像に監視対象を検出し、画像出力手段２０−１の撮像範囲から監視対象が消失したとする。そこで、先に特徴量算出手段１３により算出された色特徴量情報に基づき画像出力手段２０−２が出力した画像情報について前述の処理を行い、判定手段１４が判定を行って監視対象の検出を行うことができる。

図５には、図２とは異なる構成を有する特徴量算出手段１３の構成図が示されている。特徴量算出手段１３は、分光分布情報データベース１３Ｃ、色分布情報作成手段１３Ｄ、光源情報取得手段１３Ｅ、色推定手段１３Ｂを備えている。分光分布情報データベース１３Ｃは、所定画像領域における色分布情報に対応する分光分布情報が予め記憶されたものである。例えば、図６の分光分布情報データベース１３Ｃでは、色分布情報Ｃ１１、Ｃ１２、Ｃ１３・・・とあり、これに分光分布情報Ｒ１１、Ｒ１２、Ｒ１３・・・が対応付けられている。

色分布情報作成手段１３Ｄは、画像取得手段１１により得られた画像情報について所定画像領域における色分布情報を作成するものである。具体的には、画像取得手段１１により得られた画像情報について定められた特定の領域（全領域であっても良い）の画素の色情報（ＲＧＢの成分）を三次元の色空間（ＲＧＢの座標空間）にプロットする。または、ＲＧＢ成分の引き算により色情報を二次元化した場合には、二次元の色空間にプロットする。このプロット結果が、色分布情報であり、同じ領域に対応の画素について予め得ておいてデータベース化したものが、分光分布情報データベース１３Ｃに記憶されているのである。色分布情報作成手段１３Ｄが実行する処理は、画像処理装置１０が行う画像処理方法の色分布情報作成ステップを構成する。

色分布情報作成手段１３Ｄにより作成された色分布情報は、光源情報取得手段１３Ｅへ送られ、光源情報取得手段１３Ｅは、上記で作成された色分布情報と上記分光分布情報データベース１３Ｃの情報を比較して、作成された色分布情報に対応する分光分布情報を得る。例えば、色分布情報作成手段１３Ｄにより図６に示す色分布情報Ｃ２２が作成されたとすると、分光分布情報データベース１３Ｃに記憶されている色分布情報Ｃ１１、Ｃ１２、Ｃ１３・・・と比較され、一致或いは差が閾値内に収まるものである場合に、これに対応する分光分布情報Ｒ２２（Ｒ１１、Ｒ１２、Ｒ１３・・・のいずれか一つ）を選択する。光源情報取得手段１３Ｅが実行する処理は、画像処理装置１０が行う画像処理方法の光源情報取得ステップを構成する。

色推定手段１３Ｂは、図２の構成と同じように、上記の光源情報取得手段１３Ｅにより得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する。色推定手段１３Ｂは、図７に示されているように、分光反射率推定手段３１と算出手段３２とにより構成されている。

分光反射率推定手段３１は、光源情報取得手段１３Ａ（または１３Ｅ）により得られる分光分布情報と、画像情報における色値とから監視対象の分光反射率を推定する。分光反射率推定手段３１が実行する処理は、画像処理装置１０が行う画像処理方法の分光反射率推定ステップを構成する。具体的手法としては、以下に説明するように構成可能である。

ここで、既に述べたカラー画像の生成モデル式 [2.1] を、ベクトル表示で考えることにする。すなわち、式 [2.1] において、波長λは400nm〜700nmを10nm間隔で考えて31次元とし、κ＝Ｒ，Ｇ，Ｂをκ＝１，２，３と置き換えると、光源の分光放射率は次の式 [2.2]により表され、

カメラの分光感度は次の式 [2.3]により表され、

物体の分光反射率は次の式 [2.4]により表され、

カメラの出力は次の式 [2.5]により表される。

以上により、カメラの出力（ベクトルｖ）は次のように表すことができる。
カメラの出力は次の式 [2.5]により表される。

と表すことができる。
ここで、分光反射率の推定は式 [2.8] において、カメラの出力（ベクトルｖ）とベクトルＦからベクトルｒを求める問題である。すなわち、ベクトルＦの逆行列とカメラの出力から求めることができる。

式 [2.9] において、可視光400〜700nmを5nmあるいは10nmの間隔で考えれば、ベクトルｒは61次元、31次元のデータをもつ。しかし、カメラの出力（ベクトルｖ）は通常RGBの3チャンネルである。すなわち、式 [2.9] において逆行列を解く問題はいわゆる不良設定問題となる。

これを解くために、ここでは、予め対象となる多数の分光反射率を測定し、その主成分分析から得られる固有値ベクトルｕを用いて推定する、例えば、様々な自然対象物の分光反射率の主成分分析から計算される固有値ベクトルｕ、カメラの出力から計算される係数α、ベクトルｍを平均値ベクトルとすれば物体の分光反射率は次式から推定できる。

すなわち、物体の分光反射率をカメラの出力と画像システムの分光積および対象とする物体の分光反射率の主成分分析から得られる固有値ベクトルｕ、平均値ベクトルｍを基底ベクトルとして求めることができる。

式 [2.10] で述べた、固有値ベクトルｕ、平均値ベクトルｍは、事前に求めておく必要がある。本報告では、元になる様々な対象物の分光反射率は、公開されているデータベースを利用する。ISO（国際標準化機構：International Organization for Standardization）にも登録されているSOCS（色再現評価用標準物体色分光データベース：standard object color sample）から算出した、図８に示すような基底ベクトルを利用する。図８中のr0は平均値ベクトルを表し、r1，r2，r3は固有値ベクトルを表している。

式 [2.10] で示したように、3つの係数α_１，α_２，α_３は，各固有値ベクトルの重みを意味しており、この3つのパラメータにより31次元もしくは61次元の物体表面の分光反射率を一意に決定することができる。

以上の通りにして分光反射率推定手段３１により監視対象の分光反射率の推定がなされると、算出手段３２は、この分光反射率推定手段３１により推定された分光反射率に基づき標準光源下における監視対象の色特徴量情報を算出する。算出手段３２が実行する処理は、画像処理装置１０が行う画像処理方法の算出ステップを構成する。すなわち、監視対象について、式 [2.1]における分光反射率ｒ（λ）が求まり、光源の分光放射率Ｌ（λ）はＪＩＳにより規格化されているＤ６５標準光源やＣ標準光源のものとして既知であり、カメラの分光感度関数Ｓ_Ｒ（λ），Ｓ_Ｇ（λ），Ｓ_Ｂ（λ），Ｓ（κ，λ）も図４を用いて説明した通り既知であるから、カメラの出力ν（κ）は標準光源下における監視対象の色特徴量情報に他ならず、この色特徴量情報が算出手段３２によって式 [2.1]に基づき算出される。

本発明に係る画像処理装置の実施例のブロック図。本発明に係る画像処理装置の実施例の要部ブロック図。本発明に係る画像処理装置の実施例においてモデルとしているカラー画像生成モデルを示す図。ｓＲＧＢに準拠したカメラ感度の分光特性を示す図。本発明に係る画像処理装置の実施例の要部ブロック図。本発明に係る画像処理装置の実施例において採用している光源分光分布推定過程を示す説明図。本発明に係る画像処理装置の実施例の要部ブロック図。本発明に係る画像処理装置の実施例において採用した基底ベクトルを示す図。

符号の説明

１０画像処理装置
１１画像取得手段
１２抽出手段
１３特徴量算出手段
１３Ａ光源情報取得手段
１３Ｂ色推定手段
１３Ｃ分光分布情報データベース
１３Ｄ色分布情報作成手段
１３Ｅ光源情報取得手段
１４判定手段
１５追跡対象情報データベース
２０画像出力手段
３１分光反射率推定手段
３２算出手段

Claims

画像情報を得る画像取得手段と、
この画像取得手段により得られた画像情報に対する画像処理して監視対象を抽出する抽出手段と、
この抽出手段により抽出された監視対象について光源環境に依存しない色特徴量情報を算出する特徴量算出手段と、
この特徴量算出手段により算出された色特徴量情報に基づき、前記画像取得手段から得られる画像情報について、前記監視対象の存在を判定する判定手段と
を具備することを特徴とする画像処理装置。
監視対象に対応して光源環境に依存しない色特徴量情報が予め記憶された追跡対象情報データベースを備え、
判定手段は、前記追跡対象情報データベースの色特徴量情報に基づき、画像取得手段から得られる画像情報について、監視対象の存在を判定することを特徴とする請求項１に記載の画像処理装置。
特徴量算出手段は、
監視領域に置かれた色または分光反射率が既知の被写体の画像情報から光源の分光分布情報を得る光源情報取得手段と、
この光源情報取得手段により得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定手段と
を具備することを特徴とする請求項１または２に記載の画像処理装置。
特徴量算出手段は、
所定画像領域における色分布情報に対応する分光分布情報が予め記憶された分光分布情報データベースと、
得られた画像情報について所定画像領域における色分布情報を作成する色分布情報作成手段と、
この色分布情報作成手段により作成された色分布情報と前記分光分布情報データベースの情報を比較して、作成された色分布情報に対応する分光分布情報を得る光源情報取得手段と、
この光源情報取得手段により得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定手段と
を具備することを特徴とする請求項１または２に記載の画像処理装置。
色推定手段は、
光源情報取得手段により得られる分光分布情報と、画像情報における色値とから監視対象の分光反射率を推定する分光反射率推定手段と、
この分光反射率推定手段により推定された分光反射率に基づき標準光源下における監視対象の色特徴量情報を算出する算出手段と
を具備することを特徴とする請求項３または４に記載の画像処理装置。
画像情報を得る画像取得ステップと、
この画像取得ステップにより得られた画像情報に対する画像処理して監視対象を抽出する抽出ステップと、
この抽出ステップにより抽出された監視対象について光源環境に依存しない色特徴量情報を算出する特徴量算出ステップと、
色特徴量情報算出後に前記撮像ステップから得られる画像情報について、この特徴量算出ステップにより算出された色特徴量情報に基づき、前記監視対象の存在を判定する判定ステップと
を具備することを特徴とする画像処理方法。
監視対象に対応して光源環境に依存しない色特徴量情報が予め記憶された追跡対象情報データベースを備え、
判定ステップでは、前記追跡対象情報データベースの色特徴量情報に基づき、撮像ステップにて得られる画像情報について、監視対象の存在を判定することを特徴とする請求項６に記載の画像処理方法。
特徴量算出ステップは、
監視領域に置かれた色または分光反射率が既知の被写体の画像情報から光源の分光分布情報を得る光源情報取得ステップと、
この光源情報取得ステップにより得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定ステップと
を具備することを特徴とする請求項６または７に記載の画像処理方法。
特徴量算出ステップは、
所定画像領域における色分布情報に対応する分光分布情報が予め記憶された分光分布情報データベースと、
得られた画像情報について所定画像領域における色分布情報を作成する色分布情報作成ステップと、
この色分布情報作成ステップにより作成された色分布情報と前記分光分布情報データベースの情報を比較して、作成された色分布情報に対応する分光分布情報を得る光源情報取得ステップと、
この光源情報取得ステップにより得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定ステップと
を具備することを特徴とする請求項６または７に記載の画像処理方法。
色推定ステップは、
光源情報取得ステップにより得られる分光分布情報と、画像情報における色値とから監視対象の分光反射率を推定する分光反射率推定ステップと、
この分光反射率推定ステップにより推定された分光反射率に基づき標準光源下における監視対象の色特徴量情報を算出する算出ステップと
を具備することを特徴とする請求項８または９に記載の画像処理方法。
画像情報を得て画像処理を行うコンピュータを、
得られた画像情報に対する画像処理して監視対象を抽出する抽出手段、
この抽出手段により抽出された監視対象について光源環境に依存しない色特徴量情報を算出する特徴量算出手段、
この特徴量算出手段により算出された色特徴量情報に基づき得られる画像情報について、前記監視対象の存在を判定する判定手段と
して機能させることを特徴とする画像処理プログラム。
監視対象に対応して光源環境に依存しない色特徴量情報が予め記憶された追跡対象情報データベースを備え、
判定手段は、前記追跡対象情報データベースの色特徴量情報に基づき、画像取得手段から得られる画像情報について、監視対象の存在を判定することを特徴とする請求項１１に記載の画像処理プログラム。
特徴量算出手段は、
監視領域に置かれた色または分光反射率が既知の被写体の画像情報から光源の分光分布情報を得る光源情報取得手段と、
この光源情報取得手段により得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定手段と
を具備することを特徴とする請求項１１または１２に記載の画像処理プログラム。
特徴量算出手段は、
所定画像領域における色分布情報に対応する分光分布情報が予め記憶された分光分布情報データベースと、
得られた画像情報について所定画像領域における色分布情報を作成する色分布情報作成手段と、
この色分布情報作成手段により作成された色分布情報と前記分光分布情報データベースの情報を比較して、作成された色分布情報に対応する分光分布情報を得る光源情報取得手段と、
この光源情報取得手段により得られた光源の分光分布情報に基づき監視対象について光源環境に依存しない色特徴量情報を推定する色推定手段と
を具備することを特徴とする請求項１１または１２に記載の画像処理プログラム。
色推定手段は、
光源情報取得手段により得られる分光分布情報と、画像情報における色値とから監視対象の分光反射率を推定する分光反射率推定手段と、
この分光反射率推定手段により推定された分光反射率に基づき標準光源下における監視対象の色特徴量情報を算出する算出手段と
を具備することを特徴とする請求項１３または１４に記載の画像処理プログラム。