WO2016175234A1 - 色画像処理方法、色画像処理プログラム、物体認識方法及び装置 - Google Patents

Abstract

　照明光などの光源変化にロバストな色画像処理方法、色画像処理プログラム、物体認識方法及び装置を提供する。少なくとも１つのテンプレート画像を用いて、対象画像となるカラー画像に対してテンプレートマッチングを行う色画像処理方法であって、テンプレート画像が複数のブロックに分割された各ブロック領域における色ヒストグラムの類似度を用いてマッチングを行う。色ヒストグラムとして、ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルを用いる。

Description

色画像処理方法、色画像処理プログラム、物体認識方法及び装置

　本発明は、照明光などの光源変化にロバストな色画像処理方法、色画像処理プログラム、物体認識方法及び装置に関するものである。

　近年、防犯カメラが市街地や屋内に数多く設置されており、色情報は人や物を照合するための一つの特徴として利用されている。色の特徴は、物体表面に固有であり、見えている部分の色情報に関しては不変であるため、物体の形状の一部が隠れたとしても特徴が保たれるため、同一物体の検出の有効な手がかりとなる。

　また、昨今のロボット分野において、ヒト型ロボットのような移動ロボットではカメラを介して物体認識を行う要求があるが、物体の色の認識は困難である。その理由として、移動ロボットの場合、場所を移動して多様な照明光の元で活動するため、照明光の変化によって、物体表面の“色の見え”が変化してしまうからである。そのため、照明光に対してロバストな色画像処理が求められている。特に、ヒト型ロボットは頭部にカメラを持ち、ヒトと同じ様に情景を認識することが期待されている。

　このように、色情報は人や物を認識する際の手がかりとなる反面、時々刻々と色が変化する屋外環境の場合や、主体的な移動などによって周りの照明の色が変わる屋内環境であったりすると、物体表面の“色の見え”が変化してしまうといった特徴がある。カメラで撮像した画像から抽出される色情報は、物体表面の“色の見え”の変化に対応して、撮像されたカメラ画像の画素値も変化してしまうため、実際にその場にいた人が知覚した色とカメラの捉えた画像では、色が大きくかけ離れてしまう可能性がある。
　一方、人の目の場合、室内であっても屋外であっても、また昼光であっても日陰であっても、光源色の影響を取り除き同一色を同一色として認識できる性質（色恒常性）があり、光源の変化により変わる物体色から物体表面色を推定する色恒常性問題について、長年研究されている。

　例えば、色恒常性に基づく色画像処理の理論としてRetinex理論が知られている。Retinex理論は、Retina（網膜）とCortex（大脳皮質）を合わせた造語であり、人の脳が色や光をどのようにとらえるのかをモデル化した理論である。Retinex理論では、カメラが画素ごとの物理的な光量によって輝度を決定するのに対して、人の視覚は、照明光などの光源光を除去して、領域毎の相対化された輝度比を知覚するというモデルである。Retinex理論によれば、人の目に入る光は、物体に照射された照明光の成分と、照明に依存しない物体表面の反射率との積によってモデル化される。

　また一方で、照明光などの光源変化にロバストなテンプレートマッチングとして、正規化相関を用いたテンプレートマッチングや、探索すべき対象画像の一部が遮へいされている場合であっても、安定なテンプレートマッチングを実現する方法として、テンプレート画像をブロック領域に分割し、各ブロック単位に正規化相関によるマッチングを行う方法が知られている（非特許文献１を参照）。各ブロック単位に正規化相関によるマッチングを行う方法によれば、部分的な隠れに対してロバストである。

　また、テンプレートマッチングを用いた物体追跡問題（指定した対象が画像上でどこにいるかを推定する問題）において、テンプレートのウィンドウ内の色ヒストグラムの特徴を用いて追跡（トラッキング）を行う方法（Mean－Shift法）が知られている。かかる方法は、ある関数の初期値付近の所定区間内における傾きを求めて、求めた傾きで関数値が大きくなる方向へ区間の中心を移動させ、初期値付近で極大となる位置を求める方法である。この方法の場合、画像の時間的連続性を仮定して追跡を行っている。

　また、色情報の付与を画素単位ではなく、取得したカラー画像を予め設定された大きさで分割してなる画素ブロック単位に行い、その画素ブロックを積算した色ヒストグラムを用いて、領域分割（形状獲得）を行うことなく対象物の認識を行う環境認識装置が知られている（特許文献１を参照）。特許文献１の環境認識装置では、対応づけられた色情報と着目する色インデックスとが一致する画素ブロックの数をカラー画像上の一方向に沿って積算し、その積算値を一次元的に配列してなる色ヒストグラムを、色インデックス毎に生成している。

特開２００７－６０２７３号公報

斉藤文彦，"ブロック照合投票処理を用いた遮へいに強い画像マッチング",電子情報通信学会論文誌，Vol.J84－D2，No.10，pp.2270-2279，2001.10

　上述の如く、カメラで撮像した画像から抽出される色情報は、物体表面の“色の見え”の変化に対応して、撮像されたカメラ画像の画素値も変化してしまうため、実際にその場にいた人が知覚した色とカメラの捉えた画像では、色が大きくかけ離れてしまうといった問題がある。
　そのため、照明光などの光源の変化により変わる物体色から物体表面色を推定する色恒常性問題を解決する色画像処理や物体認識装置などが求められている。

　かかる状況に鑑みて、本発明は、照明光などの光源変化にロバストな色画像処理方法、色画像処理プログラム、物体認識方法及び装置を提供することを目的とする。

　上記課題を解決すべく、本発明の色画像処理方法は、少なくとも１つのテンプレート画像を用いて、対象画像となるカラー画像に対してテンプレートマッチングを行う色画像処理方法であって、テンプレート画像が複数のブロックに分割された各ブロック領域における色ヒストグラムの類似度を用いてマッチングを行う。

　本発明の色画像処理方法は、テンプレート画像を複数のブロックに分割し、個々のブロック領域に対して、対象画像となるカラー画像に対してテンプレートマッチングを行うことによって、小領域の光源変化をロバスト推定できる。また、各ブロック領域における色ヒストグラムの類似度を用いてテンプレートマッチングを行うことによって、多少の形状の違い、すなわち、多少の変形を許容できる。色ヒストグラムは、画像中に特定の色が何ピクセルあるかをカウントしたヒストグラムであり、色ヒストグラムの類似度は、このヒストグラムの形が相互に似ている度合いを数値化したものである。例えば、カラー画像が、赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）で構成されるとした場合、通常、ディジタルデータでは各色が８ビット（２５６通り）で表現され、表示できる色数は２５６×２５６×２５６＝１６７７万７２１６通りになる。この場合、ヒストグラムの棒グラフの本数は１６７７７２１６本、１６７７７２１６次元ベクトルとなる。ＲＧＢの各成分をｎ等分（例えば、１６等分）して、中央の代表値に置き換えることによって減色して本数や次元を減らすことも可能である。
　ここで、色ヒストグラムの類似度を数値化する方法として、例えば、後述する輝度順色ベクトルを用いる方法や、度数分布を作成して、適切なビンのサイズを選んだ上で、カイ二乗距離やバタチャリヤ距離を用いる方法がある。

　本発明の色画像処理方法によれば、物体表面の色のばらつき度合いと言ったテクスチャ感のみではなく、照明光などの光源分布を推定してテンプレートマッチングを行うので、照明光などの光源の変化による物体表面の“色の見え”の変化を吸収し、光源変化にロバストなマッチングを行える。

　ブロック領域における色ヒストグラムは、ブロック領域の画像の画素値から決まるもので、ブロック領域の色分布を示すものである。ブロック領域の色分布は、ブロック領域の光源の分光分布と物体表面の分光反射特性の積で決まる。ブロック領域の２次元画素値から、ブロック領域の色分布が算出できる。テンプレート画像におけるブロック領域の色分布と、対象画像となるカラー画像におけるブロック領域の色分布とを比較する際、光源が異なることが想定される。テンプレート画像におけるブロック領域に映っている物体と、対象画像におけるブロック領域に映っている物体とが同一の物体であれば、物体表面の分光反射特性は同じになる。

　そこで、光源が異なり、ブロック領域の光源の分光分布が異なるとしても、それを補正することで光源の分光分布を一致させる。光源が異なる場合は、例えば、光の強度が異なる場合もあるし、或は、光源の色特性が異なる場合もある。ブロック領域の色分布において、特定の色の分光分布で比較したり、スケーリングを行って強度を合せたりして補正し、光源の分光分布を一致させる。光源の分光分布を一致させて、ブロック領域の色分布を示す色ヒストグラムを比較する。すなわち、スケールを変化させてヒストグラムの類似度が最大になるようにスケーリングすることにより、光源の分光分布を推定して、ブロック領域の色分布の類似度を判別することにより、光源変化にロバストなマッチングを行うのである。

　上述の通り、光源の分光分布を推定して、ブロック領域の色分布の類似度を判別してマッチングを行うが、具体的には、ブロック領域の色ヒストグラムを輝度値（画素値）に基づいてソーティングした色ヒストグラムを利用する。輝度値に基づいてソーティングすることにより、画素の位置情報が無くなり、物体の形状に関する特徴が失われることによって、ブロック領域内に含まれる画素値の大きさのみを利用することになる。照明光の変化に伴って各色の輝度値が変化する状況が考えられるが、輝度値順に並べ替えることによって、照明光の変化が輝度値の変化のみに現れることになる。
　そして、照明光が変化して物体表面の“色の見え”が変化した場合の色特徴量の変化が、色ヒストグラムの分散に現れることになる。例えば、光源が強くなればその分だけ分布が幅広くなる。

　本発明の色画像処理方法のマッチングにおいて、ブロック領域を、赤、緑および青の濃淡画像に分離して、各々の濃淡画像に基づいて、色ヒストグラムを比較することでもよい。処理を簡略化できるからである。
　具体的には、テンプレートマッチングにおけるウィンドウ内の上記ブロック領域を一つのカラー画像として切り出した画像を、赤、緑および青の３つの濃淡画像に分離して、３つのベクトルに変形する。そして、３つのベクトルを各々輝度値順に並び替え、３本一組のベクトルをブロック領域の色特徴量として扱い、色ヒストグラムを比較する。これにより、光源変化に対して、さらにロバストになる。

　本発明の色画像処理方法において、色ヒストグラムは、具体的には、ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルである。
　そして、色ヒストグラムの類似度は、テンプレート画像と対象画像のそれぞれの輝度順色ベクトルの差と、最小誤差と最大誤差の重み付けから得られる所定閾値とから算出することが好ましい。

　本発明の色画像処理方法におけるテンプレート画像は、撮像時の光源色が既知である画像であることが好ましい。
　テンプレート画像の撮像時の光源色が既知であることで、テンプレート画像の物体に固有な物体表面の分光反射特性を知ることができるので、マッチングの精度を高めることができる。ここで、光源色とは、光源の色特性のことであり、これから光源の分光分布を算出できる。もちろん、光源の分光分布が既知であってもよい。

　本発明の色画像処理方法において、対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおけるデータの分散に基づいて、対象画像を撮像した時の光源光が物体に妨げられて影が形成されたブロック領域と、対象画像を撮像した時の光源光が自然な太陽光ではなかったブロック領域と、を判別して除外することが好ましい。
　対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおいて、データの分布が偏っていることに着目し、その分布の偏りから外れたものを、影が形成されているか、又は、光源光が自然な太陽光ではなかったと判別して除外することにより、マッチングの精度を高める。

　屋外の影は、単純な黒ではなく、青色の成分が強い黒である。そのため、対象画像を撮像した時の光源光が物体に妨げられて影が形成される場合、影の部分では、Ｒ（赤），Ｇ（緑），Ｂ（青）の内、自然な太陽光では青色の成分が強調されてしまい、明るさを正規化すると、影の部分は青みがかるという結果となり、ＲＧＢごとに隣接する２つのブロック領域の輝度順色ベクトルの差を計算する本発明の色画像処理方法の根拠となる。

　上述の３次元マップにおいて、対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とすることにしたのは、データ分布の偏りを加味する際に、光の当たり方が、例えば２倍になったものと１／２倍になったものを、同じスケールの差として示すためである。

　上記の本発明の色画像処理方法において、対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおけるデータの分散から、三変量のマハラノビス距離の閾値を設定して、対象画像を撮像した時の光源光が物体に妨げられて影が形成されたブロック領域と、対象画像を撮像した時の光源光が自然な太陽光ではなかったブロック領域とを、設定した閾値により判別して除外することでもよい。

　３次元マップにおけるデータの分散に基づいて、Ｒ（赤），Ｇ（緑）およびＢ（青）の対数を三変量とするマハラノビス距離を用いた判別分析を行うものである。具体的には、マハラノビス距離の閾値を設定して、その閾値より大きいものを除外する。
　その他、サポートベクターマシン（ＳＶＭ）による区分分けをして判別分析することでもよい。

　次に、本発明の物体認識方法について説明する。
　本発明の物体認識方法は、下記１）～４）のステップを備え、下記３）のテンプレートマッチングを行うステップは、ウィンドウの画像を複数のブロック領域に分割し、上述の本発明の色画像処理方法を用いて、ブロック領域の色ヒストグラムもしくは輝度順色ベクトルの類似度を比較する。
１）カメラにより撮像された対象物のカラー画像を取得するステップ
２）予め設定されたサイズのウィンドウで目的対象物が写る画素領域を用いて、少なくとも１つのテンプレート画像を設定するステップ
３）取得したカラー画像におけるウィンドウと同サイズの画像と、テンプレート画像とを、それぞれ比較することによるテンプレートマッチングを行うステップ
４）テンプレートマッチングの結果に基づいて、カラー画像における目的対象物の分布の位置を認識するステップ

　テンプレート画像が複数枚の場合、取得したカラー画像に対し、各々のテンプレート画像を用いて、上記３）のテンプレートマッチングを行うステップを行い、テンプレートマッチング結果の組合せで目的対象物の分布の位置を認識することが好ましい。
　複数枚のテンプレート画像を用いて、テンプレートマッチングを行い、マッチング結果の組合せ（例えば、合計など）で目的対象物の分布の位置を認識することにより、光源変化に対して、さらにロバストな物体認識を行うことができる。

　次に、本発明の機械制御方法、色情報出力方法、色画像処理プログラムを説明する。
　本発明の機械制御方法は、本発明の色画像処理方法、或は、本発明の物体認識方法を用いる制御方法であって、制御対象の機械が、テンプレートマッチングにより目的対象物を検知し、動作を起こすことを特徴とする。本発明の機械制御方法によれば、光源変化に対してロバストな機械制御を行うことができる。
　ここで、制御対象の機械とは、ロボット、例えば果実採取ロボット、工場のラインの機械装置、自動車などであり、プログラムによる制御や自律制御や遠隔制御される機械が含まれる。

　本発明の色情報出力方法は、本発明の色画像処理方法、或は、本発明の物体認識方法を用いる出力方法であって、カメラ画像の中に存在する個々の物体を認識し、認識した物体の表示色をテンプレートマッチングにより判別して、色情報を出力することを特徴とする。本発明の色情報出力方法によれば、光源変化に対してロバストな色情報出力を行うことができる。
　ここで、色情報出力には、色情報をテキスト表示したり、音声表示したり、ウェアラブル端末に表示したり、ネットワーク通信データとして出力したりするものなどが含まれる。本発明の色情報出力方法は、例えば、色覚異常患者のサポートの一つの方法として有用である。

　本発明の色画像処理プログラムは、本発明の物体認識方法におけるテンプレートマッチングを行うステップを、コンピュータに実行させるためのプログラムである。
　すなわち、本発明の色画像処理プログラムは、取得したカラー画像におけるウィンドウと同サイズの画像と、テンプレート画像とを、それぞれ比較することによるステップをコンピュータに実行させる際に、ウィンドウの画像を複数のブロック領域に分割し、本発明の色画像処理方法を用いて、ブロック領域の色ヒストグラムを比較させる。

　次に、本発明の物体認識装置について説明する。
　本発明の物体認識装置は、カメラにより撮像された対象物のカラー画像を取得する画像取得手段と、予め設定されたサイズのウィンドウで目的対象物が写る画素領域を用いて、少なくとも１つのテンプレート画像を設定するテンプレート設定手段と、取得したカラー画像におけるウィンドウと同サイズの画像と、テンプレート画像とを、それぞれ比較することによるテンプレートマッチングを行うマッチング手段と、テンプレートマッチングの結果に基づいて、カラー画像における目的対象物の分布の位置を認識する解析手段を備える。
　そして、上記のマッチング手段は、ウィンドウの画像を複数のブロック領域に分割し、それぞれのブロック領域の色ヒストグラムと、テンプレート画像の当該ブロック領域の色ヒストグラムとの類似度を比較する。
　上記構成によれば、光源変化に対して、ロバストな物体認識を行うことができる。

　本発明の物体認識装置のマッチング手段において、色ヒストグラムの類似度の比較は、ブロック領域を、赤、緑および青の濃淡画像に分離して、各々の濃淡画像に基づいて、色ヒストグラムの類似度を比較することでもよい。
　また、本発明の物体認識装置において、色ヒストグラムは、具体的には、ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルである。そして、色ヒストグラムの類似度は、テンプレート画像と対象画像のそれぞれの輝度順色ベクトルの差と、最小誤差と最大誤差の重み付けから得られる所定閾値とから算出することが好ましい。

　また、本発明の物体認識装置のテンプレート画像は、撮像時の光源色が既知である画像であることが好ましい。
　さらに、テンプレート画像が複数枚の場合、取得したカラー画像に対し、各々のテンプレート画像を用いて、マッチング手段がテンプレートマッチングを行い、解析手段がそれぞれのテンプレートマッチングの結果の組合せで目的対象物の分布の位置を認識することが好ましい。
　これらによって、光源変化に対して、さらにロバストな物体認識を行えることになる。

　本発明の物体認識装置において、対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおけるデータの分散に基づいて、対象画像を撮像した時の光源光が物体に妨げられて影が形成されたブロック領域と、対象画像を撮像した時の光源光が自然な太陽光ではなかったブロック領域と、を判別して除外する除外判別手段を、更に備えることが好ましい。
　対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおいて、データの分布が偏っていることに着目し、その分布の偏りから外れたものを、影が形成されているか、又は、光源光が自然な太陽光ではなかったと判別して除外する除外判別手段を備えることにより、物体認識のマッチングの精度を高める。

　上記の本発明の物体認識装置の除外判別手段において、対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおけるデータの分散から、三変量のマハラノビス距離の閾値を設定して、対象画像を撮像した時の光源光が物体に妨げられて影が形成されたブロック領域と、対象画像を撮像した時の光源光が自然な太陽光ではなかったブロック領域とを、該閾値により判別して除外することでもよい。３次元マップにおけるデータの分散に基づいて、２つの輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を三変量とするマハラノビス距離を用いた判別分析を行うものである。具体的には、マハラノビス距離の閾値を設定して、その閾値より大きいものを除外する。

　本発明の機械制御システムは、本発明の物体認識装置が組み込まれ、或は、ネットワークで接続された制御システムであって、制御対象の機械が、テンプレートマッチングにより目的対象物を検知し、動作を起こすことを特徴とする。光源変化に対してロバストな機械制御を行うことができる。

　本発明の色情報出力システムは、本発明の物体認識装置が組み込まれ、或は、ネットワークで接続された出力システムであって、カメラ画像の中に存在する個々の物体を認識し、認識した物体の表示色をテンプレートマッチングにより判別して、色情報を出力することを特徴とする。光源変化に対してロバストな色情報出力を行うことができる。

　本発明によれば、物体表面の色のばらつき度合いと言ったテクスチャ感のみではなく、照明光などの光源分布を推定してテンプレートマッチングを行うので、照明光などの光源の変化による物体表面の“色の見え”の変化を吸収し、光源変化にロバストなマッチングを行え、それを用いて光源変化にロバストな物体認識を行えるといった効果がある。

実施例１の色画像処理方法の処理フロー図 実施例１のブロック領域の色特徴の特徴量化のフロー図 ブロック領域の色ヒストグラムの比較の説明図 色ヒストグラムのソーティング後のグラフの比較の説明図 赤緑青の３つの濃淡画像に分離した各色の色ヒストグラムの説明図 赤緑青の３つの濃淡画像の色ヒストグラムの例 物体表面の色の見えについての説明図 テンプレートマッチングの説明図（１） テンプレートマッチングの説明図（２） テンプレートマッチングの説明図（３） 複数のテンプレート画像を用いたテンプレートマッチングの概念図 マッチングの実験結果の説明図（１） マッチングの実験結果の説明図（２） マッチングの実験結果の説明図（３） 物体認識装置の機能ブロック図 移動ロボット制御システムの機能ブロック図 色覚異常患者サポートシステムの機能ブロック図 色覚異常患者サポートシステムのテキスト提示の一例 Ｒ，Ｇ，Ｂの３次元マップにおけるデータ分散の一例 実施例１，２のマッチング性能評価グラフ

　以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

　まず、テンプレート画像を用いて、対象画像となるカラー画像に対してテンプレートマッチングを行う色画像処理方法を説明し、後述の実施例で、テンプレート画像が複数のブロックに分割された各ブロック領域における色ヒストグラムの類似度を用いてマッチングを行う色画像処理方法について詳述する。

　屋内環境の照明光と、屋外環境の太陽光とでは、物体表面の“色の見え”が変化してしまう。図７の光源１３は照明ランプ、光源１４は太陽であり、図７（１）（２）は、それぞれ室内環境と屋外環境の光源光による物体表面の色の見えを表現している。カメラで撮像した画像から抽出される色情報は、物体表面の“色の見え”の変化に対応して、撮像されたカメラ画像の画素値も変化してしまうが、人の目であれば、室内環境であっても屋外環境であっても、光源色の影響を受けず同一色を同一色として認識できる。

　カメラで撮影されたカラー画像の持つ各ピクセルの画素値、光源色、物体表面色の関係は、従来からモデル化されており、特に、画像処理でよく用いられるのは２色性反射モデルである。２色性反射モデルでは、下記数式１に示されるように、物体表面色が物体表面の拡散反射成分と鏡面反射成分の足し合わせで表現される。Ｓ_Ｓ（λ）は物体色の鏡面反射成分であり、Ｓ_Ｄ（λ）は物体色の拡散反射成分に対する分光反射率であり、Ｅは光源の分光分布であり、λは波長である。この他、拡散反射成分をもつ物体のみ対象とする１色性反射モデルも用いられる（下記数式２を参照）。
　後述の実施例では、下記数式２に示される１色性反射モデルを前提とし、拡散反射成分をもつ物体のみ扱うものとする。なお、本発明は、１色性反射モデルに限定されるものではなく、２色性反射モデルやその他のモデルにも適用可能である。

　一方、物体をデジタルカメラ等で撮像する場合、光源から放射された光が物体表面で反射しカメラのカラーフィルタを通過して得られる画素値Ｉ_ｃは下記数式３で表せる。

　ここで、Ｉ（λ）は物体からの反射光であり、τは絞り，シャッタースピード，電気的な増幅によるカメラのゲインを表す。ｑ（Ａ）はセンサの応答特性、λはスペクトルの波長、ｇは露出に依存するパラメータを表す。ｃ＝｛Ｒ，Ｇ，Ｂ｝はフィルタのカラーチャンネルであり、積分領域Ωは光の可視光領域である。物体色が一定の場合には、画素のＲＧＢ値は、光源のＲＧＢ値に比例することになる。

　人の刺激に対する非線形性と画像信号の表現能力から、通常、カメラに入射する光の強度と画素値には非線形な変換が施されており、通常のディスプレイに出力する際には、非線形な関係を元に戻すための補正が一般的に行われている。かかる補正は、ガンマ補正といい、撮像対象の輝度とディスプレイの明るさとが比例するように、対象輝度と映像信号強度との特性を補正する。対象の輝度（或は、それに比例するビデオカメラ結像面の照度）をＩ、ガンマ特性値をγ、映像信号強度をＥとすると、Ｅ∝Ｉ^γとなる。既に、ガンマ補正がかかっている画像を対象にして物体色を算出する場合、ガンマ補正を考慮に入れる。

　次に、図８～１１を参照して、本発明の色画像処理で用いるテンプレートマッチングについて説明する。テンプレートマッチングは、ある特定のパターンをあらかじめ用意しておき、入力画像中にそれと同じパターンがあるかどうかを調べて、その位置を特定する処理である。
　テンプレートマッチングでは、画素の値をそのまま利用する場合、輝度値の変化や影に対して弱くなる。そこで、実環境における画像を対象とする場合、マッチングの対象となる画像の画素値が照明の変化によって変化し、事前に用意したテンプレート画像に比べて色がかけ離れてしまうことが問題である。そこで、本発明の色画像処理では、図８に示すように、１つのテンプレート画像２を碁盤の目状の小さなブロック領域４に分割し、テンプレート画像２全体でのマッチングではなく、局所的なブロック領域４でマッチングを行う。そして、そのマッチング結果を統合することによって、安定したマッチング位置を得る。

　ここで、図８では、Ｗ_ｓ×Ｗ_ｓサイズの正方形のテンプレートを、Ｂ_ｓ×Ｂ_ｓサイズの正方形のブロックに分割する。但し、Ｗ_ｓはＢ_ｓの整数倍になるように選択する。Ｂ（ｎ，ｍ）は、分割されたブロック領域のｎ行ｍ列のブロック領域を表す。テンプレート及び対象画像中のウィンドウをブロック領域に分割した例を図９に示す。符号２で示した正方形がウィンドウ画像であり、それを更に正方形に区切った一つ一つがブロック領域である。図９で示したように、細かいブロック領域４に分割された二つのウィンドウ２ができる。このブロック領域２内の画素値から特徴量を抽出して比較する。

　対象画像におけるテンプレート画像のウィンドウの走査の方向は様々あるが、基本的には図１０に示すように走査する。すなわち、テンプレート画像をＷ_ｓ×Ｗ_ｓサイズとし、テンプレート画像の進む幅を“step”とする。左上端から右上端まで、テンプレート画像を平行移動させていく。ここで、進む幅は１ピクセルにしても構わないが、処理速度を高めるために、step （pixel）とする。

　ウィンドウサイズＷ_ｓ×Ｗ_ｓのテンプレート画像とそのテンプレートのマッチング対象となる画像を用意する。テンプレート画像を複数枚とマッチング対象となる対象画像を複数枚用意し、図１１に示すように、用意した複数毎のテンプレート（ＴＰ_１～ＴＰ_ｎ）を使用し一枚一枚テンプレートマッチングを行う。複数枚のテンプレートを一枚の画像に対してマッチングし、その組合せ（例えば、合計など）によってマッチング位置を得る。
　後述する性能実験では、多様なぶどうのステクチャを含むテンプレート画像を用いて、同じぶどうであってもテンプレート画像が含まれない画像に対して、一枚で行うよりも頑健な結果が得られることを確認している。

　図１は、色画像処理方法の処理フローを示している。
　色画像処理方法では、カメラにより撮像された対象物のカラー画像を取得し（ステップＳ０１）、取得したカラー画像を予め設定されたサイズのウィンドウサイズのウィンドウ画像に分割して切り出しておく（ステップＳ０２）。ウィンドウサイズＷ_ｓ、対象画像サイズｌ×ｍ、移動幅stepとすると、切り出されるウィンドウの数は、下記数式４で表される。ここで、[ ] はガウス記号である。

　ウィンドウのデータがＷ_Ｎ個あるので、各々をブロック領域に分割する（ステップＳ０３）。ブロック領域の大きさをＢ_Ｓとする．ウィンドウサイズＷ_ＳがブロックサイズＢ_Ｓの整数倍になるようにあらかじめ決めておく。ブロック領域の個数は、どのウィンドウにも共通でＢ_Ｎ ＝ （Ｗ_ｓ／Ｂ_ｓ）^２個となる。
　ブロック領域に分割した後、Ｂ_Ｎ個ある各ブロック領域から特徴量を抽出する。すなわち、各ブロック領域の色特徴を特徴量化する（ステップＳ０４）。
　各ブロック領域の色特徴を特徴量化の処理フローについて、図２を参照して説明する。特徴量化の処理は、各ブロック領域を赤、青及び緑へ分解して（ステップＳ２１）、色毎にブロック領域の画素値から色ヒストグラムを生成する（ステップＳ２２）。具体的には、画像はカラー画像であるので、ＲＧＢ各色に分解し、Ｂ_ｓ×Ｂ_ｓ（pixel）の各色の輝度画像を一列のベクトル形状にし、３つのベクトルを特徴量とする。そして、３つのベクトルの特徴量を輝度値順にソーティングする（ステップＳ２３）ことにより、ブロック領域の色特徴を特徴量化する。この特徴量化する処理は、後述するように、テンプレートに対しても同様である。

　再び、図１の処理フローに戻るが、各ブロック領域の色特徴を特徴量化（ステップＳ０４）した後、テンプレート画像を設定する（ステップＳ０５）。テンプレート画像は、目的対象物が写る画像に基づいて、予め設定されたサイズのウィンドウで目的対象物が写る画素領域に基づいてテンプレート画像を設定する。なお、テンプレート画像の設定は、図１の処理フローの最初に行っても構わない。そして、テンプレート画像についても、ブロック領域へ分割して（ステップＳ０６）、各ブロック領域の色特徴を特徴量化する（ステップＳ０７）。各ブロック領域の色特徴を特徴量化（ステップＳ０７）の処理フローについては、上述の図２の説明と同様である。
　対象画像におけるウィンドウ内のブロック領域の特徴量と、テンプレート画像内のブロック領域の色特徴量を比較してマッチング処理を行う。色特徴量の比較は、ブロック領域の色ヒストグラムを用いて、光源光分をスケーリングして色特徴量を比較する（ステップＳ０８）。

　色特徴量の類似度、すなわち、ブロック領域の色ヒストグラムの類似度が閾値範囲内であれば、テンプレート画像のブロック領域と一致すると判断し、そうでなければ不一致と判断する（ステップＳ０９）。それらの類似度の判断をそれぞれのブロック領域の色ヒストグラムについて行い、テンプレート画像の類似度を算出する。
　ここで、ブロック領域の単位で色ヒストグラムの類似度から一致不一致を判断するのではなく、ブロック領域の色ヒストグラムの類似度の評価値の合計値で、マッチング領域全体の一致不一致を判断することでもよい。
　なお、図１の処理フローには、図示しないが、テンプレート画像が複数枚あれば、他のテンプレート画像に切り替えて、すなわち、ステップＳ０５に戻り、処理を繰り返して、それぞれのテンプレート画像によるマッチング結果の合計で、総合的にテンプレート画像の類似度を算出する。
　テンプレートマッチング結果の合計で目的対象物の分布の位置を認識することができるため、テンプレート画像の類似度マップを作成することができる。類似度マップは、目的対象物の分布の位置を示す地図であり、マッチング度合いを濃淡で示したものである。

　ここで、図３および図４を参照して、色特徴量として用いるブロック領域の色ヒストグラムについて、色特徴量の比較方法とその比較に使う処理であるスケーリングについて詳細に説明する。上述の如く、本発明で用いるテンプレートマッチングでは、ブロック領域同士を比較する。ブロック領域内の画素値から色特徴量を抽出してそれを比較に用いる。ブロック領域内に含まれる色、すなわち、ＲＧＢの画素値を利用する。
　本実施例では、ブロック領域の色特徴量を示す色ヒストグラムとして、輝度順色ベクトルを用いる。輝度順色ベクトルとは、ＲＧＢ画像の各色を輝度値順に並べ替えたものである。上述の如く、並べ替えることによって、画素の位置情報が無くなり、形状に関する特徴が失われるが、照明光の変化が輝度値の変化のみに現れるために処理しやすいといった利点がある。具体的には、ウィンドウ内のブロック領域を一つのカラー画像として切り出し、その画像をＲＧＢの３つの濃淡画像に分離し、各々を列ベクトルに変形する。３つのベクトルができ、それぞれを輝度順に並び替える。これらの３本一組のベクトルをブロック領域の色特徴量として扱う。

　次に、色特徴量の比較について説明する。色特徴量の比較は、二つのブロック領域の物体色の類似度を計算することにより行う。ブロック領域内の１画素は、Ｒ，Ｇ，Ｂの３次元ベクトルで表現されている。ブロック領域内の画素数をＮとすると、Ｎ個のベクトルが存在し、これらＮ個のＲ，Ｇ，Ｂの３つのベクトルを各色独立に比較を行う。すなわち、ブロック領域内の物体色Ｓは、Ｎ個の要素を持つＲ，Ｇ，Ｂの３つのベクトルで表され、各色独立に比較を行うことになる。ｃ∈｛Ｒ，Ｇ，Ｂ｝とすると、テンプレートのブロック領域の物体色をＳ_Ｔｃ, 対象画像のウィンドウ内のブロック領域の物体色をＳ_Ｗｃとすると、その二つの差e は下記数式５で表される。また、テンプレート内のブロック領域の画素値Ｉ_Ｔｃとすると、Ｉ_Ｔｃ ^γ ＝ Ｓ_ＴｃＥ_Ｔｃ、Ｉ_Ｗｃ ^γ ＝ Ｓ_ＷｃＥ_Ｗｃとなるので、下記数式５は、下記数式６で表される。

　画素値と光源色は比例の関係であることは、上述した通りである。ガンマ補正を考慮に入れると、画素値のガンマ乗と光源色が比例の関係となっているので、スケール値s_ｃ を下記数式７のように定義する。対象画像がテンプレートと同じものを表していると仮定し、輝度順色ベクトルの差を最小にするようにスケール値s_ｃを決定する。そのうえで差ｅ_ｃ の値を２つのベクトル間の距離とする。上記数式６は、スケール値s_ｃを用いて下記数式８で表される。

　上記数式８における第一項と第二項の比較を行う。Ｉ_Ｔｃ のｋ番目の要素をＩ_Ｔｃｋ、Ｉ_Ｗｃ のｋ番目の要素をＩ_Ｗｃｋ，要素数をＮとすると、ｅ_ｃは、下記数式９になる。ｅ_ｃの最小値を考えるために、ｅ_ｃ ＝ ｆ（ｓ_ｃ）とする。ｆ（ｓ_ｃ）の最小値を求めるため、ｆ（ｓ_ｃ）を微分すると、ｆ（ｓ_ｃ）´は下記数式１０で表される。

　上記数式１０から、下記数式１１の時に、ｆ（ｓ_ｃ）´＝０となることがわかる。その時のｓ_ｃは下記数式１１で表される。

　従って、差異ｓ_ｃは、２つの照明光によって上記数式７として表されたが、上記数式１２の通り、２つの画像の画素値のみによって表すことができたことがわかる。これにより、実際に照明光のＲＧＢが分からない場合でも、２つの物体色の類似度の計算ができる。
　そして、色特徴量の比較を行った後、差が小さく閾値以下である領域を検出対象のある位置とする。領域の選択に用いる閾値は、下記数式１３で示す値にする。ここで、αは予め設定する任意の実数であり、実験の中で一つの定数として用いる。

　図５は、ブロック領域の色特徴を特徴量化するイメージを図示したものである。対象画像２の各ブロック領域４を赤（Ｒ）、青（Ｂ）及び緑（Ｇ）へ分解して、色毎にブロック領域の画素値から色ヒストグラムを生成する。色ヒストグラムは画素値を色毎に列ベクトルに変換したものである。赤（Ｒ）、青（Ｂ）及び緑（Ｇ）の３つのベクトルができるので、これらのベクトルを輝度値順にソーティングしたものを、ブロック領域の特徴量として扱う。
　図６は、赤緑青の３つの濃淡画像の色ヒストグラムの一例を示している。横軸は画素数（Number of Pixel）であり、縦軸は画素値(Pixel Value)である。図６は、８×８（Pixel）のカラー画像から変換した６４個の要素を有する３つのベクトルをグラフ化したものであり、画素数の最大が６４になり、画素値の最大が２５６となっている。

（性能評価実験）
　性能評価実験として、白ぶどうの認識を行った。白ぶどうと白ぶどう以外のぶどう（巨峰などの赤ぶどう）の画像を複数枚用意し、実施例１の色画像処理を用いた物体認識方法を実行し、白ぶどうとして認識された画像中の位置と、人の眼で認識された画像中の白ぶどうの位置を比較し、その適合率を算出することにより性能を評価した。テンプレート画像については、用意した画像中から白ぶどう部分を切り抜くことによって準備した。また、画像の大きさは、ぶどうの粒の大きさがほぼ同じくらいになるようにリサイズを施した。テンプレート画像も複数枚用意した。テンプレート画像を複数枚用意することによりロバスト性を上げた。

　実験では１０枚の白ぶどう画像を用意したが、その内の１枚の画像を図１２（１）に示す。テンプレート画像は、全て白ぶどうの房部分を切り取り用意した。図１２（１）において、対象画像３の中に四角で囲んだ領域がテンプレート画像２である。テンプレート画像のサイズは、３２×３２（ｐｉｘｅｌ）である。テンプレート画像に対して、照明光のコントロールやホワイトバランス調整といった色に関する特別な処理は施していない。

　本実施例の方法では、テンプレートマッチングの類似度を算出するのがウィンドウサイズである。また、ウィンドウの左右上下の移動は、上述の通りstep 毎である。そのため、白ぶどうの有り無しの判定は、四角形の連続となり、細かさは無くなっている。
　図１２（２）は、物体認識における目的対象物の分布の位置を示す類似度マップであり、マッチング度合いを濃淡で示したものである。白に近い方はマッチング度合いが大きく、輝度値が小さくなるに従って、マッチング度合いは小さくなる。図１２（２）に示すように、図１２（１）におけるテンプレート画像２の枠の中心位置が最も白くなっている。

　本実施例の方法で算出した結果が正しいかどうかを検証するために、比較用の正解画像が必要となるが、用意した実験画像一つ一つについて、人の目で確認して、白ぶどうの房の位置を示す正解画像を用意した。

　本実施例の方法を実行した結果で得られる画像は、二値画像の領域画像であり、準備した正解画像と比較した。比較方法は、正解画像の白ぶどうの房の領域と、本実施例の方法によって得た処理画像の白ぶどうの房の領域の２つの重なりの割合を確認することにより、性能を評価する。
　図１３（１）に正解画像、（２）に本実施例による処理画像を示す。それぞれの画像における白ぶどうの房の領域の画素数を表記する。正解画像（１１２９７ピクセル）と比べると、処理画像（１１９５３ピクセル）の方が、白ぶどうの房の領域が多く、その割合は約１．１６倍であった。まず、処理画像の方が白ぶどうの房の領域が多く算出された理由としては、白ぶどうの有り無しの判定は、四角形の連続となり粗いためである。正解画像と処理画像との２つの重なりの割合の誤差が２０％以内で、図１３の位置分布もほぼ同一であることから、本実施例の色画像処理方法の処理性能が高いことが確認できた。

　図１４を参照して、本実施例の色画像処理方法の正答率について説明する。
　図１４において、Ａ領域は本実施例の色画像処理方法で得られた領域であり、Ｂ領域は正解画像の領域である。また、正答率は下記数式１４で表される。図１４において、斜線部分で示されるＣ領域が正答率の計算に利用する範囲である。図１４における（１）２０４８ピクセルと（２）３９２ピクセルの位置が誤解答した部分である。

　次に、テンプレートのマッチング対象となる画像として、白ぶどう画像を３４枚、房が紫色である巨峰画像を２７枚用意して、評価実験を行った結果について説明する。用意した画像の大きさは全て同一サイズである。
　下記表１は、白ぶどうと巨峰ぶどう（単にぶどうと表記）の画像と正解画像、２値画像の画像サイズ（画素数）および正答率を示している。正答率以外の数値の単位はpixelであり、括弧内はパッセンテージである。ここで、白ぶどうとぶどうの２つの種類としているのは、白ぶどう３４枚の足し合わせと、ぶどう２７枚の足し合わせの２つの結果だからである。画像サイズは白ぶどうの方が多い画像数なので、画像サイズも白ぶどうが上回っている。テンプレート画像は白ぶどうであるため、白ぶどうとぶどうを比べると白ぶどうの方が、正答率が高いことは予想されるが、実験結果も同様に、白ぶどうの方が高い結果となった。

　実施例１で説明した色画像処理方法の処理において、さらに、対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおけるデータの分散に基づいて、対象画像を撮像した時の光源光が物体に妨げられて影が形成されたブロック領域と、対象画像を撮像した時の光源光が自然な太陽光ではなかったブロック領域とを判別して除外する処理を加えた色画像処理方法について説明する。
　特に、対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおけるデータの分散から、三変量のマハラノビス距離の閾値を設定して、対象画像を撮像した時の光源光が物体に妨げられて影が形成されたブロック領域と、対象画像を撮像した時の光源光が自然な太陽光ではなかったブロック領域とを、設定した閾値により判別して除外する処理を説明する。

　図１９は、対象画像における隣接する２つのブロック領域の輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップの一例を示している。図１９の３次元マップ上に、２つの輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の値が散らばっている。図１９の３次元マップは、影の度合いによって色ヒストグラムがどのように変化していくのかを表している。データ（マップ上で“×”で表記）の散らばり方（分散）について、三変量のマハラノビス距離を用いて、分散の方向軸を算定する（図１９の直線が方向軸である）。
　図１９の場合、方向軸にそって１つのグループのデータの存在が確認できる。この方向軸に沿った方向には、データが分散されやすいと言える。一方で、この方向軸から逸脱したデータ、例えば図１９のグラフの右端にある３つのデータは、特異なデータであると言える。
　そこで、マハラノビス距離の閾値を設定して、設定した閾値より大きいデータを判別して除外することにより、対象画像を撮像した時の光源光が物体に妨げられて影が形成されたブロック領域と、対象画像を撮像した時の光源光が自然な太陽光ではなかったブロック領域とを除外する。これによって、色ヒストグラムの類似度の判定精度を高めて、テンプレートマッチングの精度を高めるのである。

　マッチング性能評価グラフを図２０に示す。図２０は、縦軸にTrue Positive、横軸にFalse Positiveの割合を２次元プロットしたグラフである。図２０において、比較例とは、光源の影響を考慮せずテンプレートの色の分布を正規分布で表し、マハラノビス距離によって識別した例である。比較例の詳細については、文献（B. Schiele and A. Waibel, "Gaze tracking based on face color", in Proceedings of the International Workshop on Automatic Face and Gesture Recognition, pp. 344－349, 1995.）に説明されている。
　図２０のグラフでは、グラフの左上方向に向かって凸状態になる方が、正しいものを正しく、間違ったものを間違っていると判定する精度が高いことを表している。
　図２０から、上述の実施例１の色画像処理方法、本実施例２の色画像処理方法の方が、比較例よりもマッチング性能の改善が図られているのがわかる。また、本実施例２の色画像処理方法の方が、上述の実施例１の色画像処理方法よりも、更にマッチング性能の改善が図られているのがわかる。

　次に、物体認識装置について説明する。図１５は、物体認識装置の機能ブロック図を示している。
　物体認識装置１００は、画像取得手段１０２とテンプレート設定手段１０４とマッチング手段１１０と解析手段１０６とから構成される。画像取得手段１０２は、カメラ１０１により撮像された対象物のカラー画像を取得する。テンプレート設定手段１０４は、テンプレート画像データベース（Ｄ／Ｂ）１０３から目的対象物が写る１つ或は複数のテンプレート画像を読み込む。そして、読み込んだテンプレート画像と取得したカラー画像を比較する。
　テンプレート画像は、予め設定されたサイズのウィンドウで目的対象物が写る画素領域である。マッチング手段１１０は、取得したカラー画像におけるウィンドウと同サイズの画像と、テンプレート画像とをそれぞれ比較するテンプレートマッチングを行う際に、ウィンドウの画像を複数のブロック領域に分割し（ブロック領域分割１１１）、それぞれのブロック領域の色ヒストグラムと、テンプレート画像の当該ブロック領域の色ヒストグラムとの類似度を比較する（色ヒストグラムの類似度比較１１３）。
　解析手段１０６は、マッチング手段１１０によるテンプレートマッチングの結果に基づいて、カラー画像における目的対象物の分布の位置を解析し認識する。

　次に、機械制御システムの一例として、移動ロボット制御システムについて説明する。図１６は、移動ロボット制御システムの機能ブロック図を示している。
　移動ロボット制御システム１２０は、カメラ１０１と上述の実施例２で説明した物体認識装置１００と目的対象物の方向と距離の演算部１２２とロボット駆動ユニット１２４とから構成される。移動ロボット制御システム１２０では、カメラ１０１を用いてカラー画像を取得し、取得したカラー画像と予め取得した目的対象物のテンプレート画像を用いて、物体認識装置１０１が目的対象物の検出を行う。そして、目的対象物の方向と距離の演算部１２２は、公知の写真測量方法を用いて、カメラ１０１の３次元位置を基準として目的対象物の３次元位置をカメラ画像から計測し、カメラ位置を基準とした目的対象物の方向と距離を算出する。算出された方向と距離の情報をロボット駆動ユニットに伝達し、ロボットを駆動する。例えば、ロボットが果実採取ロボットの場合、適切な位置までロボットが移動し、採取するための採取機構が作動することになる。

　次に、色情報出力システムの一例として、色覚異常患者サポートシステムについて説明する。図１７は、色覚異常患者サポートシステムの機能ブロック図を示している。
　色情報出力システム１３０は、図１７に示すように、カメラ１０１と物体認識装置１００とディスプレイ１３２とから構成される。物体認識装置１００は、カメラ１０１が取得したカラー画像から目的対象物の分布位置を特定し、目的対象物の色を特定する。例えば、目的対象物が果実の場合には、熟し度合いによって果実の色が変化する。そのため、果実の色変わりを想定し、複数の色合い（熟し度合い）のテンプレート画像を予め準備することにより、カラー画像から果実の位置のみならず、果実の色を特定する。ディスプレイ１３２における色表示は、カラー画像に写る目的対象物の近傍に、例えば、目的対象物の色を文字で表すことができる。なお、色情報出力システム１３０において、目的対象物の色を文字でディスプレイ１３２に表示する以外に、色を音声出力してもよい。

　図１８は、色覚異常患者サポートシステムのテキスト表示の一例を示している。図１８は、道路を走行する車に搭載されたカメラから前方の交差点の様子の画像を模式図として表している。図１８の模式図では、交差点に２つの信号機（３１，３２）と２つの横断歩道（３５，３６）があり、１台の車３７（シルバーの車体色の車）が交差点に入っている。また、中央線３３と車道外側線３４が示されている。色覚異常患者サポートシステムでは、目的対象物として、信号機、横断歩道、車、中央線および車道外側線が登録されており、それらのテンプレート画像も予め用意されている。信号機の場合は、青色（或は緑色）、黄色、赤色の３通りの色のテンプレート画像が用意されている。横断歩道と車道外側線は白色のテンプレート画像が用意され、中央線はオレンジ色のテンプレート画像が用意されている。車は、様々な色のテンプレート画像が用意されている。そして、色覚異常患者サポートシステムでは、車載カメラから取得したカラー画像から、目的対象物として、信号機、横断歩道、車、中央線、車道外側線を認識し、それらの色を特定して、カラー画像をディスプレイに表示する際に、目的対象物の色をテキスト表示する（４１～４７）。

　本発明は、果実採取ロボットなどの移動ロボットの制御装置として有用である。

　２　　ウィンドウ画像
　３　　対象画像
　４　　ブロック領域
　１１　物体表面
　１２　ヒトの目
　１３，１４　光源
　ＴＰ_１，ＴＰ_２，・・・，ＴＰ_ｎ　テンプレート画像
　１００　物体認識装置
　１０１　カメラ
　１０２　テンプレート画像Ｄ／Ｂ
　１０２　画像取得手段
　１０４　テンプレート設定手段
　１０５　解析手段
　１１０　マッチング手段
　１２０　移動ロボット制御システム
　１２２　目的対象物の方向と距離の演算部
　１２４　ロボット駆動ユニット
　１３０　色覚異常患者サポートシステム
　１３２　ディスプレイ

Claims (22)

1. 　少なくとも１つのテンプレート画像を用いて、対象画像となるカラー画像に対してテンプレートマッチングを行う色画像処理方法であって、
   　前記テンプレート画像が複数のブロックに分割された各ブロック領域における色ヒストグラムの類似度を用いてマッチングを行うことを特徴とする色画像処理方法。
2. 　前記マッチングにおいて、前記ブロック領域を、赤、緑および青の濃淡画像に分離して、各々の濃淡画像に基づいて、前記色ヒストグラムを比較することを特徴とする請求項２に記載の色画像処理方法。
3. 　前記色ヒストグラムは、前記ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルであることを特徴とする請求項１に記載の色画像処理方法。
4. 　前記色ヒストグラムの類似度は、前記テンプレート画像と前記対象画像のそれぞれの前記輝度順色ベクトルの差と、最小誤差と最大誤差の重み付けから得られる所定閾値とから算出することを特徴とする請求項３に記載の色画像処理方法。
5. 　前記テンプレート画像は、撮像時の光源色が既知である画像であることを特徴とする請求項１～４の何れかに記載の色画像処理方法。
6. 　前記対象画像における隣接する２つの前記ブロック領域の前記輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおけるデータの分散に基づいて、
   　前記対象画像を撮像した時の光源光が物体に妨げられて影が形成されたブロック領域と、前記対象画像を撮像した時の光源光が自然な太陽光ではなかったブロック領域と、
   　を判別して除外することを特徴とする請求項３に記載の色画像処理方法。
7. 　前記３次元マップにおけるデータの分散から、三変量のマハラノビス距離の閾値を設定して、該閾値により前記ブロック領域を判別して除外することを特徴とする請求項６に記載の色画像処理方法。
8. 　カメラにより撮像された対象物のカラー画像を取得するステップと、
   　予め設定されたサイズのウィンドウで目的対象物が写る画素領域を用いて、少なくとも１つのテンプレート画像を設定するステップと、
   　取得した前記カラー画像における前記ウィンドウと同サイズの画像と、前記テンプレート画像とを、それぞれ比較することによるテンプレートマッチングを行うステップと、
   　テンプレートマッチングの結果に基づいて、前記カラー画像における前記目的対象物の分布の位置を認識するステップ、
   　を備え、
   　前記テンプレートマッチングを行うステップは、
   　前記ウィンドウの画像を複数のブロック領域に分割し、請求項１～７の何れかの色画像処理方法を用いて、前記ブロック領域の前記色ヒストグラムもしくは前記輝度順色ベクトルの類似度を比較することを特徴とする物体認識方法。
9. 　前記テンプレート画像が複数枚の場合、取得した前記カラー画像に対し、各々の前記テンプレート画像を用いて、前記テンプレートマッチングを行うステップを行い、テンプレートマッチング結果の組合せで前記目的対象物の分布の位置を認識することを特徴とする請求項８に記載の物体認識方法。
10. 　請求項１～７の何れかの色画像処理方法、或は、請求項８又は９の物体認識方法を用いる制御方法であって、
    　制御対象の機械が、前記テンプレートマッチングにより前記目的対象物を検知し、動作を起こすことを特徴とする機械制御方法。
11. 　請求項１～７の何れかの色画像処理方法、或は、請求項８又は９の物体認識方法を用いる出力方法であって、
    　カメラ画像の中に存在する個々の物体を認識し、認識した物体の表示色を前記テンプレートマッチングにより判別して、色情報を出力することを特徴とする色情報出力方法。
12. 　請求項８又は９の物体認識方法における前記テンプレートマッチングを行うステップを、コンピュータに実行させるための色画像処理プログラム。
13. 　カメラにより撮像された対象物のカラー画像を取得する画像取得手段と、
    　予め設定されたサイズのウィンドウで目的対象物が写る画素領域を用いて、少なくとも１つのテンプレート画像を設定するテンプレート設定手段と、
    　取得した前記カラー画像における前記ウィンドウと同サイズの画像と、前記テンプレート画像とを、それぞれ比較することによるテンプレートマッチングを行うマッチング手段と、
    　テンプレートマッチングの結果に基づいて、前記カラー画像における前記目的対象物の分布の位置を認識する解析手段、
    　を備え、
    　前記マッチング手段は、
    　前記ウィンドウの画像を複数のブロック領域に分割し、それぞれのブロック領域の色ヒストグラムと、前記テンプレート画像の当該ブロック領域の色ヒストグラムとの類似度を比較することを特徴とする物体認識装置。
14. 　前記マッチング手段において、色ヒストグラムの類似度の比較は、前記ブロック領域を、赤、緑および青の濃淡画像に分離して、各々の濃淡画像の色ヒストグラムの類似度を比較することを特徴とする請求項１３に記載の物体認識装置。
15. 　前記色ヒストグラムは、前記ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルであることを特徴とする請求項１３に記載の物体認識装置。
16. 　前記色ヒストグラムの類似度は、前記テンプレート画像と前記対象画像のそれぞれの前記輝度順色ベクトルの差と、最小誤差と最大誤差の重み付けから得られる所定閾値とから算出することを特徴とする請求項１５に記載の物体認識装置。
17. 　前記テンプレート画像は、撮像時の光源色が既知である画像であることを特徴とする請求項１３～１６の何れかに記載の物体認識装置。
18. 　前記対象画像における隣接する２つの前記ブロック領域の前記輝度順色ベクトルから求められる光源比のＲ（赤），Ｇ（緑）およびＢ（青）の対数を各軸とする３次元マップにおけるデータの分散に基づいて、
    　前記対象画像を撮像した時の光源光が物体に妨げられて影が形成されたブロック領域と、前記対象画像を撮像した時の光源光が自然な太陽光ではなかったブロック領域と、を判別して除外する除外判別手段、
    を更に備えたことを特徴とする請求項１５に記載の物体認識装置。
19. 　前記除外判別手段において、３次元マップにおけるデータの分散から、三変量のマハラノビス距離の閾値を設定して、該閾値により前記ブロック領域を判別して除外することを特徴とする請求項１８に記載の物体認識装置。
20. 　前記テンプレート画像が複数枚の場合、
    　取得した前記カラー画像に対し、各々の前記テンプレート画像を用いて、
    　前記マッチング手段が前記テンプレートマッチングを行い、
    　前記解析手段がそれぞれの前記テンプレートマッチングの結果の組合せで前記目的対象物の分布の位置を認識することを特徴とする請求項１３～１９の何れかに記載の物体認識装置。
21. 　請求項１３～１９の何れかの物体認識装置が組み込まれ、或は、ネットワークで接続された制御システムであって、
    　制御対象の機械が、前記テンプレートマッチングにより前記目的対象物を検知し、動作を起こすことを特徴とする機械制御システム。
22. 　請求項１３～１９の何れかの物体認識装置が組み込まれ、或は、ネットワークで接続された出力システムであって、
    　カメラ画像の中に存在する個々の物体を認識し、認識した物体の表示色を前記テンプレートマッチングにより判別して、色情報を出力することを特徴とする色情報出力システム。
     

Images