JP5022956B2 - 画像処理装置、画像処理方法および画像処理システム - Google Patents

Description

本発明は、たとえば、大規模店舗内に設置された複数の監視カメラにより取得された複数の画像からそれぞれ色情報を抽出し、この抽出した色情報に基づき前記複数の画像内に存在する移動人物を同定あるいは識別する画像処理装置および画像処理方法に関する。

また、本発明は、たとえば、大規模店舗内に設置された複数の監視カメラにより取得された複数の画像からそれぞれ色情報を抽出し、この抽出した色情報に基づき前記複数の画像内に存在する移動人物を同定して当該人物を追跡する画像処理システムに関する。

従来、カラー画像に含まれる色情報を抽出するには、たとえば、ＲＧＢの色情報をＨＳＶ、ＨＳＬなどの色空間に変換し、色相Ｈ、彩度Ｓの値を基に色判別を行なうのが一般的である。しかし、当該画像を取得する際に用いられた照明用光源の影響を受け、色ずれが発生し易いという問題がある。

また、これらの色空間は、各色を無理に均一な空間に変換しており、本来の色分布を適切に表現できていないため、色判別の分解能が低下するという問題がある。さらに、色の分類を色相、彩度、輝度の成分で表現、分類することは困難である。

このような色判別技術を用いたシステムとして、たとえば、複数の監視カメラで移動する人物（以降、単に移動人物ともいう）を追跡する監視システムが公知である（たとえば、特許文献１参照）。この公知例は、移動する人物の顔の目、鼻、口などの特徴、あるいは、形状、色、大きさなどの特徴に基づき当該人物の追跡を行なうものである。

また、同じく、移動する人物の情報と色情報とを基に当該人物の追跡を行なうという技術も公知である（たとえば、特許文献２参照）。
これらの外にも、移動する人物の顔検出に基づく当該人物の追跡や検索、あるいは、移動する人物の肌色抽出に基づく当該人物の追跡に関する技術が各種提案されている。

ところが、これらの公知技術では、移動する人物の追跡に必要な特徴については言及しているが、具体的にどのようにしてそれらの特徴を抽出できるか言及されていない。また、色情報の抽出についても、考えられる色空間を全てリストアップしただけの曖昧な記述や、特定の色空間を基に色判別を行なうことが記述されている。これらの公知技術における色情報の抽出では、入力画像から得られる色情報をそのまま使用しており、色間の違いをどのように判別しているか不明である。さらに、色情報を適切にサンプリングした構造をとっていないため、色判別に要する計算コストが大きいという問題がある。

また、一般に、監視カメラからの画像は、照明用光源およびカメラの特性等により色が変動する。そのため、従来のカラー画像処理では、安定した色判別が困難という問題がある。
特開２００３−３２４７２０号公報 特開２００７−１１６９６号公報

そこで、本発明は、人間の色知覚特性をベースとした色分布から色判別用のデータベースを構築することで、安定した高速の色判別が可能となり、たとえば、移動する人物が着用する衣服の色に基づく人物の同定を容易に実現できる画像処理装置、画像処理方法および画像処理システムを提供することを目的とする。

本発明の画像処理装置は、入力される少なくとも２つの画像からそれぞれ色情報を抽出し、この抽出した色情報に基づき前記２つの画像内に存在する移動物体を同定あるいは識別する画像処理装置であって、前記入力される２つの画像を取得する際に用いられた照明用光源の種類ごとに設けられ、同系色の集合を代表する色を意味する限定された色である基本系統色と同系色の集合を構成する色を意味する細かな色分類が可能な構成色とから構成される色情報を格納した色判別用のデータベースと、前記入力される２つの画像に対し当該画像を取得する際に用いられた照明用光源の種類を推定する光源種類推定手段と、この光源種類推定手段により推定された照明用光源の種類に対応した色判別用のデータベースを前記各色判別用のデータベースの中から選択するデータベース選択手段と、入力される少なくとも２つの画像に対し前記データベース選択手段により選択された色判別用のデータベースを用いて色判別を行なうもので、細かな色分類が可能な構成色で色を判別した後、限定された色である基本系統色に分類することにより色情報を抽出する色判別手段と、前記入力される少なくとも２つの画像から移動物体の領域を切出す物体切出手段と、この物体切出手段により切出された移動物体の領域から、前記色判別手段により抽出された色情報に基づき、当該移動物体の色情報を抽出する色情報抽出手段と、この色情報抽出手段により抽出された色情報に基づき前記２つの画像内に存在する移動物体を同定あるいは識別する処理手段とを具備する。

また、本発明の画像処理方法は、入力される少なくとも２つの画像からそれぞれ色情報を抽出し、この抽出した色情報に基づき前記２つの画像内に存在する移動物体を同定あるいは識別する画像処理方法であって、前記入力される２つの画像を取得する際に用いられた照明用光源の種類ごとに設けられ、同系色の集合を代表する色を意味する限定された色である基本系統色と同系色の集合を構成する色を意味する細かな色分類が可能な構成色とから構成される色情報を格納した色判別用のデータベースを有し、前記入力される２つの画像に対し当該画像を取得する際に用いられた照明用光源の種類を推定する光源種類推定ステップと、この光源種類推定ステップにより推定された照明用光源の種類に対応した色判別用のデータベースを前記各色判別用のデータベースの中から選択するデータベース選択ステップと、入力される少なくとも２つの画像に対し前記データベース選択ステップにより選択された色判別用のデータベースを用いて色判別を行なうもので、細かな色分類が可能な構成色で色を判別した後、限定された色である基本系統色に分類することにより色情報を抽出する色判別ステップと、前記入力される少なくとも２つの画像から移動物体の領域を切出す物体切出ステップと、この物体切出ステップにより切出された移動物体の領域から、前記色判別ステップにより抽出された色情報に基づき、当該移動物体の色情報を抽出する色情報抽出ステップと、この色情報抽出ステップにより抽出された色情報に基づき前記２つの画像内に存在する移動物体を同定あるいは識別する処理ステップとを具備する。

また、本発明の画像処理システムは、少なくとも２つの撮像手段により取得された画像からそれぞれ色情報を抽出し、この抽出した色情報に基づき前記２つの画像内に存在する移動人物を同定して当該人物を追跡する画像処理システムであって、前記少なくとも２つの撮像手段により取得された２つの画像を取得する際に用いられた照明用光源の種類ごとに設けられ、同系色の集合を代表する色を意味する限定された色である基本系統色と同系色の集合を構成する色を意味する細かな色分類が可能な構成色とから構成される色情報を格納した色判別用のデータベースと、前記少なくとも２つの撮像手段により取得された２つの画像に対し当該画像を取得する際に用いられた照明用光源の種類を推定する光源種類推定手段と、この光源種類推定手段により推定された照明用光源の種類に対応した色判別用のデータベースを前記各色判別用のデータベースの中から選択するデータベース選択手段と、少なくとも２つの撮像手段により取得された２つの画像に対し前記データベース選択手段により選択された色判別用のデータベースを用いて色判別を行なうもので、細かな色分類が可能な構成色で色を判別した後、限定された色である基本系統色に分類することにより色情報を抽出する色判別手段と、前記少なくとも２つの撮像手段により取得された２つの画像から移動人物の領域を切出す人物切出手段と、この人物切出手段により切出された移動人物の領域から、前記色判別手段により抽出された色情報に基づき、当該移動人物の色情報を抽出する色情報抽出手段と、この色情報抽出手段により抽出された色情報に基づき前記２つの画像内に存在する移動人物を同定して当該移動人物を追跡する処理手段とを具備する。

本発明によれば、人間の色知覚特性をベースとした色分布から色判別用のデータベースを構築することで、安定した高速の色判別が可能となり、たとえば、移動する人物が着用する衣服の色に基づく人物の同定を容易に実現できる画像処理装置、画像処理方法および画像処理システムを提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、本発明に係る画像処理装置および画像処理方法が適用される画像処理システムの監視領域と監視カメラの設置状態を主体に示す模式図である。この画像処理システムは、たとえば、スーパーマーケットやデパート等の大規模店舗内に設置された複数の監視カメラで取得した画像から移動人物（移動物体）を抽出し、抽出した人物が着用する衣服の色情報を基に、各カメラ間で移動人物を同定して当該人物を追跡するものである。

図１において、１は大規模店舗内のフロアであり、このフロア１内に例えば３つの監視領域２ａ，２ｂ，２ｃが設定されていて、この監視領域２ａ，２ｂ，２ｃに対しそれぞれ監視カメラ（撮像手段）３ａ，３ｂ，３ｃが設置されているものとする。監視カメラ３ａ，３ｂ，３ｃは、それぞれカラーカメラであり、対応する監視領域２ａ，２ｂ，２ｃ内の画像を撮像する。そして、監視カメラ３ａ，３ｂ，３ｃから得られる画像４ａ，４ｂ，４ｃに対し後述する色判別用のデータベースを用いて色判別を行なうことにより色情報を抽出し、この抽出された色情報に基づき、監視領域２ａ，２ｂ，２ｃ内を移動する人物（物体）Ｍの領域５ａ，５ｂ，５ｃを切出し、この切出された移動人物Ｍの領域５ａ，５ｂ，５ｃから衣服の色情報を抽出し、この抽出された色情報に基づき各カメラ３ａ，３ｂ，３ｃ間で移動人物Ｍを同定して当該人物を追跡するようになっている。

ここで、衣服の色情報による人物の同定の仕組みについて図２を用いて簡単に説明しておく。図２（ａ）は例えば監視カメラ３ａで取得した画像から抽出した人物で、たとえば、オレンジ色の服と灰色のズボンであるとする。図２（ｂ）は例えば監視カメラ３ｂで取得した画像から抽出した人物で、たとえば、オレンジ色の服と灰色のズボンであるとする。これらの画像に対し衣服の色情報を抽出し、上下の衣服の色を基に、図２（ａ）の人物と図２（ｂ）の人物とが同じ人物であるかどうか判定する。同定とは、人物の特定はしないが、ある画像の人物と別の画像の人物とが同じ人物であるかどうか判断することを意味する。図２の例では同じ人物であると同定される。

図３は、第１の実施の形態に係る画像処理装置および画像処理方法が適用される画像処理システムの構成を概略的に示すものである。なお、説明を簡単にするため図１に示した２つの監視カメラ３ａ，３ｂに対し適用した場合について説明する。

画像入力部１１ａ，１１ｂは、監視カメラ３ａ，３ｂで取得されたＲＧＢのカラー画像に対し各種信号処理を施した後、たとえば、８ビットのデジタル画像として入力する。

光源影響除去手段としての光源影響除去処理部１２ａ，１２ｂは、画像入力部１１ａ，１１ｂから入力された画像に対し、たとえば、分光画像処理を施すことで、当該画像を取得する際に用いられた照明用光源の影響を除去する。このように、照明用光源の影響を除去することにより、照明用光源の影響にロバストな色判別を実現することができる。
なお、必ずしも照明用光源の影響を除去する必要はなく、照明用光源の影響を除去しなくても一定レベルでロバストに色判別が可能である。

ここに、分光画像処理技術は、色推定の一手法である。色は光源特性、被写体の分光反射率、カメラ特性の3要素で決定される。画像により色が変化する要因である光源特性および被写体の分光反射率(光の波長ごとの入射光に対する反射光の割合)を推定することで、光源変動の影響成分を除去した被写体固有の色を推定する。なお、分光画像処理の詳細については、たとえば、文献（富永昌治、石田淳史、ブライアン A.ワンデル：センサ相関法によるシーン照明の色温度推定）、および、文献（電子情報通信学会論文誌(D-II)，Vol.J85-D-II, No.5, pp.1180-1189, 2002）などに記載されている。

色判別手段としての色判別画像処理部１３ａ，１３ｂは、光源影響除去処理部１２ａ，１２ｂにより照明用光源の影響を除去された画象に対し、輝度情報の抽出を行なうとともに、後で詳細を説明する色判別用のデータベース１４ａ，１４ｂを用いて色判別を行なうことにより色情報を抽出する。

人物切出手段（物体切出手段）および色情報抽出手段としての色情報抽出処理部１５ａ，１５ｂは、色判別画像処理部１３ａ，１３ｂにより抽出された輝度情報に基づき移動人物の領域を切出し、この切出された移動人物の領域から、色判別画像処理部１３ａ，１３ｂにより抽出された色情報に基づき当該移動人物が着用する衣服の色情報を抽出する。

処理手段としての人物同定処理部１６は、色情報抽出処理部１５ａ，１５ｂにより抽出された衣服の色情報に基づき、監視カメラ３ａ，３ｂで取得された画像内に存在する移動人物Ｍを同定して当該移動人物Ｍを追跡する処理を行なう。

以下、色判別用のデータベース１４ａ，１４ｂについて詳細に説明する。
まず、色判別データの基本構造について説明する。
画像に含まれる領域の色判別を行なうにあたり、２種類の色分類を定義する。１つは、同系色の集合を代表する色を意味する基本系統色と、同系色の集合を構成する色を意味する構成色である。基本系統色と構成色の関係は、たとえば、図４に示すようになっている。すなわち、画像を構成する画素の色を判別する際に、細かな色分類が可能な構成色で色を判別した後、限定された色である基本系統色に分類する。１つの基本系統色には、複数の構成色が属する、色情報を管理する際のデータ構造を定義する。

次に、色判別用のデータベースへの人間の色知覚特性の反映について説明する。
画像の色の分類は、人間が何色に知覚するかに依存する。そこで、様々な環境で撮影された画像に対して、人間が画像の色を決定し、分類すべき基本系統色ごとに色情報を蓄積する色判別用のデータベースを構築する。すなわち、基本系統色の個々の色について、その色に属すると人間が判断する色情報を収集し、データベースとして構築する。たとえば、赤色には鮮やかな赤、黒ずんだ赤、白に近い赤などが含まれる。

基本系統色を例えば１５色としたときの色判別用のデータベースの構築方法の例を図５に示す。本色判別用のデータベースには、基本系統色ごとに、輝度、彩度、他の色に近い中間色を含む多くの同系色情報が含まれる。光源やカメラが異なる場合の色情報が含まれることで、基本系統色を構成する構成色の色変動範囲を推定可能な、色の基本データベースとなる。

次に、人間の色知覚特性を反映した色判別用のデータベースについて説明する。
上記したようにして作成された色判別用のデータベースを基に、構成色をメッシュ状に配置したメッシュ型色判別用のデータベースを構築する（図６参照）。ここに、図６（ａ）は、収集した色情報を単純にＬ^＊ｕ^＊ｖ^＊色空間にプロットして生成される色判別用のデータベースを示し、図６（ｂ）は、図６（ａ）の色判別用のデータベースを標本化し、色の点を増やしたメッシュ型色判別用のデータベースを示している。

本色判別用のデータベースは、色空間内に配置したメッシュ状の色間隔を変動させることが可能であり、色判別性能、すなわち、色判別の分解能を制御できる。また、人間は、色ごとに知覚分解能が異なるため、データベースでは色ごとに色空間を占有する領域サイズが異なる（図７参照）。ここに、図７はメッシュ型色判別用のデータベースにおける色領域を示し、特定の色に着目したときのメッシュ型色判別用のデータベースにおける色データ分布を意味し、色ごとに分布の仕方が異なる。図７（ａ）は立体的な分布（３次元分布）を示し、図７（ｂ）はＬ^＊ｕ^＊ｖ^＊色空間のｕ^＊ｖ^＊平面における色分布を示している。

基本系統色に属する構成色を変更することで、当該色判別用のデータベースでは１つの色分類に、輝度、彩度、色みが異なる多様な色を柔軟に組入れることが可能である。
また、有彩色と無彩色、有彩色同士、無彩色同士の違いが僅かな場合、色の判別が困難であることから、画像を構成する画素に対して複数の色を割当てることが可能な仕組みを盛り込むことができる。

ここに、メッシュ型色判別用のデータベースを用いて色判別し、基本系統色あるいは構成色で塗り分けた画像例を図８に示す。構成色画像は、原画像の画素の色を構成色に属する色の中から選択し、構成色の色で画像全体を塗り分けたものであり、基本系統色画像は、原画像の画素の色を基本系統色に属する色の中から選択し、構成色の色で画像全体を塗り分けたものである。
なお、図８において、三角マークで示す服の部分２１は赤色を示し、丸マークで示すズボンの部分２２は黒色を示している。

次に、上記のような構成において図９に示すフローチャートを参照して全体的な動作を説明する。

まず、画像入力部１１ａ，１１ｂは、監視カメラ３ａ，３ｂで取得されたＲＧＢのカラー画像を取込み、所定の処理を施した後、デジタル画像として光源影響除去処理部１２ａ，１２ｂに送る（ステップＳ１）。光源影響除去処理部１２ａ，１２ｂは、画像入力部１１ａ，１１ｂから入力された画像に対し照明用光源の影響を除去した後、色判別画像処理部１３ａ，１３ｂに送る。

色判別画像処理部１３ａ，１３ｂは、光源影響除去処理部１２ａ，１２ｂにより照明用光源の影響を除去された画象に対し、輝度情報の抽出を行なうとともに、色判別用のデータベース１４ａ，１４ｂを用いて色判別を行なうことにより色情報を抽出する（ステップＳ２）。

次に、色情報抽出処理部１５ａ，１５ｂは、色判別画像処理部１３ａ，１３ｂにより抽出された輝度情報に基づき移動人物の領域を切出し（ステップＳ３）、この切出された移動人物の領域から、色判別画像処理部１３ａ，１３ｂにより抽出された色情報に基づき、当該移動人物が着用する衣服の色情報を抽出する（ステップＳ４）。なお、画像から人物領域を切り出す際に、輝度情報だけでなく、判別した色情報をも用いることができる。

次に、色情報抽出処理部１５ａ，１５ｂは、抽出した人物領域の色情報に基づき、当該移動人物が着用する衣服の色情報を生成し、人物同定処理部１６へ送る（ステップＳ５）。

次に、人物同定処理部１６は、色情報抽出処理部１５ａ，１５ｂにより抽出された衣服の色情報に基づき、監視カメラ３ａ，３ｂで取得された画像内に存在する移動人物Ｍを同定して当該移動人物Ｍを追跡する処理を行なう（ステップＳ６）。

次に、ステップＳ２における色情報抽出処理について図１０に示すフローチャートを参照して詳細に説明する。

まず、光源影響除去処理部１２ａ，１２ｂからの画像に対しＲＧＢ色空間の値を抽出する（ステップＳ１１）。次に、抽出したＲＧＢ色空間の値を画素単位でＬ^＊ｕ^＊ｖ^＊色空間の情報に変換する（ステップＳ１２）。次に、図１１に示すように、変換したＬ^＊ｕ^＊ｖ^＊色空間の情報をメッシュ型色判別用のデータベース１４ａ，１４ｂにプロットすることで、最近傍の構成色を選択する（ステップＳ１３）。

次に、あらかじめ設定された構成色と基本系統色との関係を定義付けた色テーブル（図１２参照）を参照することにより、構成色が属する基本系統色の情報を取得し（ステップＳ１４）、最後に色判別情報を抽出する（ステップＳ１５）。このように、メッシュ型に色を配置することで、高速な色判別が実現可能となる。

なお、画像を構成する画素の色を判別するとき、有彩色と無彩色、有彩色同士、無彩色同士の各場合の厳密な色判別が困難な場合が存在する。特に、色と色の境界部では、人間でも知覚する色にばらつきが生じる。そこで、ある画素の色を判別する際に、基本系統色に複数の色判別結果を持たせられるデータ構造にしてもよい。具体的には、ある画素の基本系統色：無彩色Ａ／無彩色Ｂ／有彩色Ｃ／有彩色Ｄなどが考えられる。

次に、ステップＳ６における人物の同定処理について図１３を参照して詳細に説明する。

図１３（ａ）は、たとえば、監視カメラ３ａで取得した画像から抽出した人物で、オレンジ色の服（３角マークで示す部分）と灰色のズボン（丸マークで示す部分）であるとする。図１３（ｂ）は、たとえば、監視カメラ３ｂで取得した画像から抽出した人物で、たとえば、オレンジ色の服と灰色のズボンであるとする。

衣服の色情報による人物の同定処理は、前述したように上下の衣服の色を基に、たとえば、図１３（ａ）の人物と図１３（ｂ）の人物とが同じ人物であるかどうか判定する（同定する）。
すなわち、前述したように、画像から切出した人物領域について、画素単位で色判別を行なう。服の領域は、光の当たり方の違い、皺の有無等の影響により、本来同じ色の領域全体が必ずしも１つの色に判別されない。

そこで、服の領域から抽出される基本系統色、構成色の分布、たとえば、ヒストグラムを計算し、支配的な色を算出する。図１３の例の場合、３角マークで示す部分（オレンジ色の服）と丸マークで示す部分（灰色のズボン）が支配的な色として決定される。このとき、服の領域に複数の色が含まれる場合は、支配的な色を複数算出することも可能である。

次に、こうして決定した衣服の支配的な色を基に、たとえば、監視カメラ３ａで取得した画像から抽出した人物と監視カメラ３ｂで取得した画像から抽出した人物とが同じ人物であるかどうか判定する。すなわち、同定する。

なお、衣服の支配的な色ではなく、基本系統色および構成色の分布情報そのものを用いて、人物の同定を行なう方式も考えられる。

次に、第２の実施の形態について説明する。
図１４は、第２の実施の形態に係る画像処理装置および画像処理方法が適用される画像処理システムの構成を概略的に示すものである。第２の実施の形態の前述した第１の実施の形態と異なる点は、光源影響除去処理部１２ａ，１２ｂが、光源種類推定手段としての光源種類推定処理部１７ａ，１７ｂ、データベース選択手段としてのデータベース選択処理部部１８ａ，１８ｂに置き換わり、かつ、色判別用のデータベース１４ａ，１４ｂがそれぞれ複数個の色判別用のデータベース１４ａ１〜１４ａｎ，１４ｂ１〜１４ｂｎに置き換わった点にあり、その他は前述した第１の実施の形態（図３）と同様であるので、その説明は省略する。

色判別用のデータベース１４ａ１〜１４ａｎ，１４ｂ１〜１４ｂｎは、それぞれ監視カメラ３ａ，３ｂで画像を取得する際に用いられた照明用光源の種類ごとに設けられている。

光源種類推定処理部１７ａ，１７ｂは、画像入力部１１ａ，１１ｂから入力された画像に対し、当該画像を取得する際に用いられた照明用光源の種類を推定する。
ここに、光源の推定処理について簡単に説明しておく。一般に、光源の色みは、光の波長成分の組合せにより変化する。そこで、太陽光や照明などに含まれる光の波長成分を推定することで、光源の色みを推定する。具体的には、たとえば、赤みがかった光源、黄色みがかった光源などである。なお、光源の推定処理の詳細については、たとえば、特開２００５−１６７４４４号公報、および、特開２００６−０９０８９７２００５−１６７４４４号公報などに記載されている。

データベース選択処理部部１８ａ，１８ｂは、光源種類推定部１７ａ，１７ｂにより推定された照明用光源の種類に対応した色判別用のデータベースを色判別用のデータベース１４ａ１〜１４ａｎ，１４ｂ１〜１４ｂｎの中から選択し、色判別画像処理部１３ａ，１３ｂにそれぞれ接続する。

色判別画像処理部１３ａ，１３ｂは、画像入力部１１ａ，１１ｂから入力された画象に対し、輝度情報の抽出を行なうとともに、データベース選択処理部部１８ａ，１８ｂで選択された色判別用のデータベース１４ａ１〜１４ａｎの中の１つ，１４ｂ１〜１４ｂｎの中の１つを用いて色判別を行なうことにより色情報を抽出する。

このように、特性の異なる照明用光源ごとに色判別用のデータベースを用意しておき、入力画像に対して照明用光源の種類を推定した後、照明用光源に対応した色判別用のデータベースを選択してから色判別処理を行なうことにより、照明用光源の影響を除去することができ、照明用光源の影響にロバストな色判別を実現することができる。

以上説明したように上記実施の形態によれば、人間の色知覚特性をベースとするメッシュ型色判別用のデータベースを構築することで、常に安定した色判別が可能となるとともに、環境変動にロバストな色判別、高速な色判別が可能となる。また、画像の色を、色数を絞った基本系統色と微小な色の差を識別可能な構成色の２つの形式で同時に表現できる仕組みを有する。これらの色判別の仕組みを実現することで、従来では困難であった衣服の色に基づく人物の同定を実現できる。

なお、前記実施の形態では、移動人物を同定する場合について説明したが、本発明はこれに限定されるものではなく、たとえば、移動人物を識別する場合にも同様に適用可能である。

また、前記実施の形態では、対象物が移動する人物の場合について説明したが、本発明はこれに限定されるものではなく、たとえば、移動する物品や動物など、他の移動物体の場合でも同様に適用可能である。

本発明に係る画像処理装置および画像処理方法が適用される画像処理システムの監視領域と監視カメラの設置状態を主体に示す模式図。 衣服の色情報による人物の同定の仕組みについて説明する図。 第１の実施の形態に係る画像処理装置および画像処理方法が適用される画像処理システムの構成を概略的に示すブロック図。 基本系統色と構成色の関係を説明する模式図。 色判別用のデータベースの構築方法の例を説明する模式図。 色判別用のデータベースを基にメッシュ型色判別用のデータベースを構築する例を説明する模式図。 メッシュ型色判別用のデータベースにおける色領域を示す模式図。 基本系統色あるいは構成色で塗り分けた画像例を示す模式図。 全体的な動作を説明するフローチャート。 色情報抽出処理について説明するフローチャート。 画像の色情報から構成色を選択する処理を説明する模式図。 構成色と基本系統色との関係を定義付けた色テーブルの例を示す図。 衣服の支配色に基づく人物の同定処理を説明する模式図。 第２の実施の形態に係る画像処理装置および画像処理方法が適用される画像処理システムの構成を概略的に示すブロック図。

符号の説明

１…大規模店舗内のフロア、２ａ，２ｂ，２ｃ…監視領域、３ａ，３ｂ，３ｃ…監視カメラ（撮像手段）、Ｍ…移動人物（移動物体）、１１ａ，１１ｂ…画像入力部、１２ａ，１２ｂ…光源影響除去処理部（光源影響除去手段）、１３ａ，１３ｂ…色判別画像処理部（色判別手段）、１４ａ，１４ｂ…色判別用のデータベース、１５ａ，１５ｂ…色情報抽出処理部（人物切出手段、物体切出手段、色情報抽出手段）、１６…人物同定処理部（処理手段）、１７ａ，１７ｂ光源種類推定処理部（光源種類推定手段）、１８ａ，１８ｂデータベース選択処理部部（データベース選択手段）、１４ａ１〜１４ａｎ，１４ｂ１〜１４ｂｎ色判別用のデータベース。

Claims (6)

1. 入力される少なくとも２つの画像からそれぞれ色情報を抽出し、この抽出した色情報に基づき前記２つの画像内に存在する移動物体を同定あるいは識別する画像処理装置であって、
   前記入力される２つの画像を取得する際に用いられた照明用光源の種類ごとに設けられ、同系色の集合を代表する色を意味する限定された色である基本系統色と同系色の集合を構成する色を意味する細かな色分類が可能な構成色とから構成される色情報を格納した色判別用のデータベースと、
   前記入力される２つの画像に対し当該画像を取得する際に用いられた照明用光源の種類を推定する光源種類推定手段と、
   この光源種類推定手段により推定された照明用光源の種類に対応した色判別用のデータベースを前記各色判別用のデータベースの中から選択するデータベース選択手段と、
   入力される少なくとも２つの画像に対し前記データベース選択手段により選択された色判別用のデータベースを用いて色判別を行なうもので、細かな色分類が可能な構成色で色を判別した後、限定された色である基本系統色に分類することにより色情報を抽出する色判別手段と、
   前記入力される少なくとも２つの画像から移動物体の領域を切出す物体切出手段と、
   この物体切出手段により切出された移動物体の領域から、前記色判別手段により抽出された色情報に基づき、当該移動物体の色情報を抽出する色情報抽出手段と、
   この色情報抽出手段により抽出された色情報に基づき前記２つの画像内に存在する移動物体を同定あるいは識別する処理手段と、
   を具備したことを特徴とする画像処理装置。
2. 前記入力される２つの画像に対し当該画像を取得する際に用いられた照明用光源の影響を除去する光源影響除去手段をさらに具備し、
   前記色判別手段は、前記光源影響除去手段により照明用光源の影響を除去された画象に対し前記色判別用のデータベースを用いて色判別を行なうことを特徴とする請求項１記載の画像処理装置。
3. 前記色判別用のデータベースにおける構成色はメッシュ状に配置されていることを特徴とする請求項１記載の画像処理装置。
4. 入力される少なくとも２つの画像からそれぞれ色情報を抽出し、この抽出した色情報に基づき前記２つの画像内に存在する移動物体を同定あるいは識別する画像処理方法であって、
   前記入力される２つの画像を取得する際に用いられた照明用光源の種類ごとに設けられ、同系色の集合を代表する色を意味する限定された色である基本系統色と同系色の集合を構成する色を意味する細かな色分類が可能な構成色とから構成される色情報を格納した色判別用のデータベースを有し、
   前記入力される２つの画像に対し当該画像を取得する際に用いられた照明用光源の種類を推定する光源種類推定ステップと、
   この光源種類推定ステップにより推定された照明用光源の種類に対応した色判別用のデータベースを前記各色判別用のデータベースの中から選択するデータベース選択ステップと、
   入力される少なくとも２つの画像に対し前記データベース選択ステップにより選択された色判別用のデータベースを用いて色判別を行なうもので、細かな色分類が可能な構成色で色を判別した後、限定された色である基本系統色に分類することにより色情報を抽出する色判別ステップと、
   前記入力される少なくとも２つの画像から移動物体の領域を切出す物体切出ステップと、
   この物体切出ステップにより切出された移動物体の領域から、前記色判別ステップにより抽出された色情報に基づき、当該移動物体の色情報を抽出する色情報抽出ステップと、
   この色情報抽出ステップにより抽出された色情報に基づき前記２つの画像内に存在する移動物体を同定あるいは識別する処理ステップと、
   を具備したことを特徴とする画像処理方法。
5. 少なくとも２つの撮像手段により取得された画像からそれぞれ色情報を抽出し、この抽出した色情報に基づき前記２つの画像内に存在する移動人物を同定して当該人物を追跡する画像処理システムであって、
   前記少なくとも２つの撮像手段により取得された２つの画像を取得する際に用いられた照明用光源の種類ごとに設けられ、同系色の集合を代表する色を意味する限定された色である基本系統色と同系色の集合を構成する色を意味する細かな色分類が可能な構成色とから構成される色情報を格納した色判別用のデータベースと、
   前記少なくとも２つの撮像手段により取得された２つの画像に対し当該画像を取得する際に用いられた照明用光源の種類を推定する光源種類推定手段と、
   この光源種類推定手段により推定された照明用光源の種類に対応した色判別用のデータベースを前記各色判別用のデータベースの中から選択するデータベース選択手段と、
   少なくとも２つの撮像手段により取得された２つの画像に対し前記データベース選択手段により選択された色判別用のデータベースを用いて色判別を行なうもので、細かな色分類が可能な構成色で色を判別した後、限定された色である基本系統色に分類することにより色情報を抽出する色判別手段と、
   前記少なくとも２つの撮像手段により取得された２つの画像から移動人物の領域を切出す人物切出手段と、
   この人物切出手段により切出された移動人物の領域から、前記色判別手段により抽出された色情報に基づき、当該移動人物の色情報を抽出する色情報抽出手段と、
   この色情報抽出手段により抽出された色情報に基づき前記２つの画像内に存在する移動人物を同定して当該移動人物を追跡する処理手段と、
   を具備したことを特徴とする画像処理システム。
6. 前記少なくとも２つの撮像手段により取得された２つの画像に対し当該画像を取得する際に用いられた照明用光源の影響を除去する光源影響除去手段をさらに具備し、
   前記色判別手段は、前記光源影響除去手段により照明用光源の影響を除去された画象に対し前記色判別用のデータベースを用いて色判別を行なうことを特徴とする請求項５記載の画像処理システム。

Images