JP4506409B2 - 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 - Google Patents

Description

本発明は、画像に存在する認識対象を表現した領域の抽出等に用いる領域分割方法及び装置、及びその領域分割装置を利用した画像認識処理装置に関する。

従来より、画像内に存在する「空」「地面」「森林」「人」等の認識対象物が示された領域を抽出する技術として領域分割が行われている。
この領域分割によって抽出される領域の精度は、後段における符号化処理や領域の認識／識別処理の結果に大きな影響を与えるため、領域分割の精度を高めることが求められている。

一般的な領域分割では、まず、処理対象となる対象画像から得られる特徴量（カラー情報，テクスチャ情報等）を用いて、対象画像を小領域に細分化し、その後、類似する隣接領域同士を順次統合する手法が用いられている（例えば、特許文献１，２参照）。

しかし、対象画像から得られる特徴量は、対象画像に存在する様々なノイズの影響を受けているため、物標を表現している領域を精度よく抽出できない場合があるという問題があった。

例えば、雨天時の屋外の状況の画像におけるアスファルト面に対する周囲状況の映り込み，逆光の影響による物体の輪郭の変化，影の影響等により、現実には物標が存在しないはずの領域が抽出されてしまう場合がある。また、対象画像上において、同一のカラー情報で表現されているが、実際は異なった物体が重なり合っている場合、そのような領域では、そもそも各物標の領域を表す特徴量に差異が存在しないため、個々の領域へと分割することができないといった問題も存在する。

これに対して、複数のセンサ（赤外線カメラ，可視カメラ，ミリ波レーダ）からの検出データを入力画像として取得し、これら入力画像を周囲環境に応じた重みで重み付け加算することで単一の対象画像を生成し、この対象画像を用いて認識処理を実行する装置が知られている（例えば、特許文献３参照。）。
特開２００２−３２７６３号公報 特開２００３−１７３４４２号公報 特開２００２−３２７５４号公報

しかし、特許文献３に記載の装置では、複数の画像データを統合する際に、全ての画素について重み付け加算を実行しなければならず、処理負荷の増大を招くといった問題があった。

また、各センサの出力が持つ空間分解能が、互いに一致することはまれであり、各センサの出力の情報を、そのまま画像上の画素へと対応付けすることが困難であるという問題もあった。

そこで、本発明は、上記問題点を解決するために、対象画像に存在するノイズの影響が抑制され、高精度な領域分割を低負荷で可能とする領域分割方法及び装置、及びその領域分割装置を利用した画像認識装置を提供することを目的とする。

上記目的を達成するためになされた第一発明の領域分割方法は、対象画像から得られる複数種類の特徴量の中の一つを特定特徴量とし、前記対象画像を、前記特定特徴量を用いて領域分割するか又は予め設定されたサイズで領域分割することで複数の生成領域からなる生成領域群を生成すると共に、前記生成領域での前記特定特徴量の代表値を該生成領域の特徴量に設定する処理を、同一の対象画像に対し、互いに異なる複数の前記特定特徴量を用いて実行する第１のステップと、前記対象画像を分割する複数の基本領域を設定し、前記基本領域の一つを注目基本領域、前記生成領域群の一つを注目生成領域群として選択し、前記注目基本領域と一部又は全部が重なり合う前記注目生成領域群中の一又は複数の生成領域を抽出し、その抽出した生成領域の特徴量の平均値又は重み付きの平均値を、前記注目基本領域の特徴量の一つとして付加する処理を、前記基本領域毎に全ての前記生成領域群について実行することにより、複数種類の特徴量で特徴付けられた複数の基本領域からなる単一の基本領域群を生成する第２のステップと、隣接する基本領域間の類似度として、前記基本領域の特徴量により表現される多次元特徴空間における両領域間の距離を両領域の特徴量に基づいて算出し、前記類似度が予め設定された統合条件を満たす場合に、前記基本領域同士を統合する第３のステップとからなる。

つまり、本発明の領域分割方法によれば、複数の生成領域群から単一の基本領域群を生成する際に、画素単位ではなく生成領域単位で特徴量を処理するため、基本領域への特徴量の組み込みを、少ない処理量で実行することができる。

また、本発明の領域分割方法によれば、複数の特徴量で特徴付けられた基本領域を生成し、この複数の特徴量に基づく類似度を用いて基本領域の統合を行うため、対象画像の撮像時の状況や各種ノイズの影響を抑制することができ、常に高精度な領域分割を行うことができる。即ち、ある特徴量では値に差が生じない領域でも、他の特徴量では値に明確な差が生じる場合や、ノイズが特定の特徴量にのみ影響を与える場合等があるため、複数の特徴量から類似度を求めることで、これら個々の状況やノイズの影響を抑制することができるのである。

次に、第二発明の領域分割装置では、領域分割手段が、対象画像から得られる複数種類の特徴量の中の一つを特定特徴量とし、前記対象画像を、前記特定特徴量を用いて領域分割するか又は予め設定されたサイズで領域分割することで複数の生成領域からなる生成領域群を生成すると共に、前記生成領域での前記特定特徴量の代表値を該生成領域の特徴量に設定する処理を実行する複数の分割処理部からなり、各分割処理部は、同一の対象画像に対し互いに異なる前記特定特徴量を用いて前記処理を実行する。

すると、基本領域群生成手段が、対象画像を分割する複数の基本領域を設定し、基本領域の一つを注目基本領域、生成領域群の一つを注目生成領域群として選択し、注目基本領域と一部又は全部が重なり合う注目生成領域群中の一又は複数の生成領域を抽出し、その抽出した生成領域の特徴量の平均値又は重み付きの平均値を、注目基本領域の特徴量の一つとして付加する処理を、基本領域毎に全ての生成領域群について実行することにより、複数種類の特徴量で特徴付けられた複数の基本領域からなる単一の基本領域群を生成する。

そして、領域統合手段が、隣接する基本領域間の類似度として、前記基本領域の特徴量により表現される多次元特徴空間における両領域間の距離を両領域の特徴量に基づいて算出し、その類似度が予め設定された統合条件を満たす場合に、基本領域同士を統合する。

即ち、本発明の領域分割装置は、第一発明の領域分割方法を実現するものであり、従って、第一発明と同様の効果を得ることができる。
なお、領域分割手段は、特徴量として、対象画像から得られる値（例えば、カラー情報，テクスチャ情報，動き情報など）のみを用いてもよいが、更に、対象画像の撮像領域と同じ領域を検出範囲とし、その検出範囲を複数に分割してなる単位領域毎に、予め設定された物理量（例えば距離，温度など）を検出するセンサ（例えば、レーダ，サーモグラフィなど）からの検出値を組み合わせて用いてもよい。

そして、対象画像から得られる値のみを用いる前者の場合、対象画像を得るための撮像装置以外のセンサを設ける必要がないため、装置構成を簡略化することができる。また、センサの検出値を組み合わせて用いる後者の場合、センサからの検出値に基づく特徴値が対象画像に基づく特徴値と同じノイズの影響を受ける可能性が極めて低いため、より確実にノイズの影響を抑制することができ、高精度な領域分割を実現できる。

ところで、基本領域群生成手段では、基本領域を設定する方法として、例えば、領域分割手段にて生成された複数の生成領域群を重ね合わせた時に、生成領域の境界で区切られる全ての領域を、基本領域として設定すれことが考えられる。

この場合、領域を細分化する段階で、分割されるべき領域が分割されずに残ってしまう可能性が低減されるため、領域分割の精度を向上させることができる。また、この場合、注目する一つの基本領域（以下「注目基本領域」と称する。）と重なり合う生成領域は、各生成領域群毎に一つずつしか存在しないため、注目基本領域の特徴量は、その注目基本領域に重なる生成領域の特徴量をそのまま使用すればよく、基本領域の特徴量を簡単に設定することができる。

但し、この場合、基本領域の数、即ち、領域統合の処理対象となる領域の数が増えてしまい、領域統合の処理量を増加させてしまう可能性がある。
そこで、基本領域群生成手段は、例えば、領域分割手段にて生成された複数の生成領域群の中の一つを選択し、その選択された生成領域群を構成する生成領域を、前記基本領域として設定するように構成してもよい。但し、選択する生成領域群は、生成領域の数が最も多いものであることが望ましい。

この場合、基本領域の数を抑えることができ、領域統合に必要な処理量を低減することができる。
なお、このように生成領域群の一つを基本領域群として設定すると、注目基本領域に対して同じ生成領域群に属する複数の生成領域が重なる場合がある。

そこで、基本領域群生成手段は、抽出した生成領域が複数存在する場合、その生成領域の全てを、注目基本領域に付加する特徴量の算出に用いてもよいし、その生成領域のうち、注目基本領域との重心間の距離及び注目基本領域と重なり合う面積のうち一方又は両方が予め設定された算出対象条件を満たすもののみを、注目基本領域に付加する特徴量の算出に用いてもよい。

なお、算出対象条件として、具体的には、例えば、重心間の距離又は重なり合う面積が予め設定された一定値以内又は以上であること、重心間の距離及び重なり合う面積をパラメータとした演算結果が一致値以内又は以上であること、重心間の距離の近さ又は重なり合う面積の大きさが、上位から予め設定された規定個以内であることの他、これらの条件の組合せ等が考えられる。

ところで、特に重み付け平均値を用いる場合、基本領域群生成手段は、特徴量の算出を重み付け加算によって行う場合、算出対象となる生成領域の重み付けを、注目基本領域との重心間の距離及び該注目基本領域と重なり合う面積のうち少なくとも一方に従って可変設定することが望ましい。

このような重み付けの可変設定や、算出対象領域の選択を行うことにより、基本領域の特徴をより的確に表現した特徴量を設定することができ、ひいては、領域分割の精度を向上させることができる。

次に、本発明の領域分割装置は、対象画像の全体を分析することで対象画像が有する全体的な特性を抽出し、その特性に従って、領域統合手段にて用いる特徴量の重み付けを可変設定する重み情報設定手段を備えていてもよい。

つまり、対象画像が有する全体的な特徴には、対象画像が取得された時の周囲の状況が反映されているため、その特徴に応じて特徴量の重み付けを変化させることで、その時々の状況によらず、常に高精度な領域分割を実現することができる。

なお、重み情報設定手段は、対象画像が有する全体的な特徴として、例えば、対象画像の明るさ、及び対象画像の複雑さ等を用いることができ、このような全体的な特徴を１種類だけ用いてもよいし複数種類用いてもよい。

次に第三発明の画像認識処理装置では、上述した領域分割装置からなる領域抽出手段を備え、識別手段が、この領域抽出手段にて抽出された各領域毎に、それらの領域が表現する物標の識別を行う。

つまり、領域抽出手段にて高精度な領域分割が行われ、その領域分割によって抽出された領域に基づいて物標の識別が行われるため、高い識別精度を得ることができる。
ところで、上述した領域分割装置を構成する各手段は、コンピュータを機能させるためのプログラムにより実現してもよい。

この場合、そのプログラムを、コンピュータが読み取り可能な記録媒体に記憶させ、その記憶させたプログラムを必要に応じてコンピュータシステムにロードして起動することにより、用いることができる。なお、記録媒体は、持ち運び可能なものであってもよいし、コンピュータシステムに組み込まれたものであってもよい。また、プログラムは、ネットワークを介してコンピュータシステムにロードするものであってもよい。

以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
図１は、本発明が適用された画像認識装置の全体構成を示すブロック図である。

本実施形態の画像認識装置は、ＣＣＤカメラ等からなり画像情報を取得する撮像部２と、レーザレーダ等からなり、撮像部２の撮像領域と同じ領域を検出領域として、その検出領域に存在する物標までの距離を測定するセンサ部４と、撮像部２からの入力画像、及びセンサ部４からの検出データに従って、入力画像を複数の領域に領域分割することで識別対象となる領域を抽出する領域抽出部１０と、領域抽出部１０にて抽出された領域が示す物標を識別する領域識別部２０とにより構成されている。

このうち、領域抽出部１０は、撮像部２からの入力画像、又はその一部を切り出して対象画像とする対象画像取得部１１と、対象画像取得部１１にて取得された対象画像に基づいて、対象画像の全体的な特性を分析し、その分析結果に基づいて後述する領域統合部１９で使用する重み情報を設定する画像特性分析部１３と、対象画像取得部１１にて取得された対象画像を、それぞれが互いに異なる種類の特徴量を用いて領域分割する第１〜第５分割処理部１５ａ〜１５ｅからなる領域分割部１５と、各分割処理部１５ａ〜１５ｅでの処理結果として生成される第１〜第５生成領域群に基づいて単一の基本領域群を生成する基本領域群生成部１７と、基本領域群生成部１７にて生成された基本領域群を構成する基本領域を、画像特性分析部１３で設定された重み情報を用いて統合する領域統合部１９とからなる。

また、領域分割部１５を構成する各分割処理部１５ａ〜１５ｅのうち、分割処理部１５ａは、画素の色をＨ（色相），Ｓ（彩度），Ｖ（明度）の３値で表したカラー情報を特徴量として領域分割を行うように構成されている。この領域分割によって生成される各領域が生成領域であり、各生成領域は、図７（ａ）に示すように、任意の輪郭形状を有したものとなる。以下では、カラー情報ＨＳＶを、特徴量ｆｅａ₁ ，ｆｅａ₂ ，ｆｅａ₃ とも表すものとする。

なお、領域分割は、例えば、領域成長法、分割併合法、watershed 法、ブロブ画像生成などの公知の領域分割アルゴリズムを用いることができ、これに限らず、研究者が独自に開発した一般的には知られていない領域分割アルゴリズム等を適用してもよい。また、カラー情報としては、ＨＳＶ以外の表色系や三原色を表すＲＧＢ、或いはこれらを基に任意の多項式によって変換した情報等を用いてもよい。

分割処理部１５ｂ，１５ｃは、対象画像を４等分（分割処理部１５ｂの場合）或いは１６等分（分割処理部１５ｃの場合）してなる固定サイズの領域を生成領域とし（図７（ｂ）（ｃ）参照）、その生成領域毎に、領域の持つ規則性を数値化してなるテクスチャ情報を算出し、このテクスチャ情報を各生成領域の特徴量とするように構成されている。但し、生成領域のサイズや形状は、４等分，１６等分した長方形に限るものではなく、任意のサイズや形状に設定してよい。

また、テクスチャ情報の算出には、公知の各種周波数解析手法（ＤＣＴ，ＦＦＴ，ガボールフィルタ等）や、ヒストグラム統計量（分散，エントロピー，パワー等）を用いることができる。ここでは、２次元ＦＦＴを用い、各テクスチャ情報（特徴量）は、それぞれ絶対値と偏角とによって表されるものとする。以下では、分割処理部１５ｂで算出されるテクスチャ情報（絶対値，偏角）を特徴量ｆｅａ₄ ，ｆｅａ₅ 、分割処理部１５ｃで算出されるテクスチャ情報（絶対値，偏角）を特徴量ｆｅａ₆ ，ｆｅａ₇ とも表すものとする。

分割処理部１５ｄは、対象画を３０等分してなる固定サイズの領域を生成領域とし（図７（ｄ）参照）、その生成領域毎に、領域内に示された物標の動きを、そのフロー方向とフロー強度とで表した動き情報を算出し、この動き情報を各生成領域の特徴量とするように構成されている。但し、生成領域のサイズや形状は、３０等分した長方形に限るものではなく、任意のサイズや形状に設定してよい。

また、動き情報の算出には、公知の各種動き分析手法（オプティカルフロー、フレーム間差分、背景差分等）を用いることができる。以下では、動き情報（フロー方向，フロー強度）を特徴量ｆｅａ₈ ，ｆｅａ₉ とも表すものとする。

分割処理部１５ｅは、センサ部４からの検出データである物標までの距離を示した距離情報を特徴量として、対象画像の領域分割を行うように構成されている。この領域分割によって生成される各領域が生成領域であり、各生成領域は、図７（ｅ）に示すように、領域同士の重なりを許容する外接矩形に表現されたものとなる。以下では、距離情報を特徴量ｆｅａ₁₀とも表すものとする。

なお、領域分割は、分割処理部１５ａの場合と同様に、任意の領域分割アルゴリズムを用いることができる。また、距離情報の供給元であるセンサ部４は、レーザレーダに限らず、ミリ波レーダ、距離画像を生成するセンサ、複数の撮像装置で撮像されたステレオ画像を処理する装置等で構成されていてもよい。

但し、領域抽出部１０及び領域識別部２０は、ＣＰＵ，ＲＯＭ，ＲＡＭを中心に構成された周知のマイクロコンピュータが実行する処理として実現される。
ここで、領域抽出部１０としての処理を、図２〜図５に示すフローチャートに沿って説明する。

本処理が起動すると、図２に示すように、まず、撮像部２からの入力画像、又はその一部を切り出したものを対象画像として取得する対象画像取得部１１としての処理を実行し（Ｓ１１０）、その取得した対象画像について、画像全体に渡る特性を分析し、後述の領域統合処理で利用する重み情報を設定する画像特性分析部１３としての処理（以下「画像特性分析処理」と称する。）を実行する（Ｓ１２０）。

この画像特性分析処理では、図３に示すように、まず、対象画像の画面全体の平均輝度Ｔｈを算出する（Ｓ２１０）。これと共に、今回取得した対象画像と、前回取得した対象画像との差分を求めることによりエッジ画像を作成し（Ｓ２２０）、このエッジ画像全体について画素値の絶対値和（以下「エッジ情報」と称する。）Ｅａを算出する（Ｓ２３０）。なお、対象画像の輝度値をｆ(i,j) とすると、平均輝度Ｔｈは（１）式、エッジ情報Ｅａは（２）式にて表すことができる。

このようにして求めた平均輝度Ｔｈ及びエッジ情報Ｅａに従って、各特徴量ｆｅａ_p （ｐ＝１〜１０）の重み情報Ｋｐを設定して（Ｓ２４０）、本処理を終了する。

具体的には、平均輝度Ｔｈを、予め設定されたしきい値Ｔ１と比較することで、対象画像の明るさを明／暗の２値に分類すると共に、エッジ情報Ｅａを、予め設定されたしきい値Ｔ２と比較することで、対象画像の複雑さを単調／複雑の２値に分類し、図６に示すテーブルに従って、重み情報Ｋ₁ 〜Ｋ₁₀を設定する。

即ち、明るさ判定が明（Ｔｈ≧Ｔ１）で複雑さ判定が単調（Ｅａ≦Ｔ２）である場合、又は明るさ判定が暗（Ｔｈ＜Ｔ１）で複雑さ判定が複雑（Ｅａ＞Ｔ２）である場合には、各重み情報Ｋ₁ 〜Ｋ₁₀を予め用意されたデフォルト値に設定する。また、明るさ判定が明（Ｔｈ≧Ｔ１）で複雑さ判定が複雑（Ｅａ＞Ｔ２）である場合、カラー情報に対する重み情報Ｋ₁ 〜Ｋ₃ 、及びテクスチャ情報に対する重み情報Ｋ₄ 〜Ｋ₇ の値を増大させ、動き情報に対する重み情報Ｋ₈ 〜Ｋ₉ 、及び距離情報に対する重み情報Ｋ₁₀の値を減少させる。逆に、明るさ判定が暗（Ｔｈ＜Ｔ１）で複雑さ判定が単調（Ｅａ≦Ｔ２）である場合、カラー情報に対する重み情報Ｋ₁ 〜Ｋ₃ ，及びテクスチャ情報に対する重み情報Ｋ₄ 〜Ｋ₇ の値を減少させ、動き情報に対する重み情報Ｋ₈ 〜Ｋ₉ 、及び距離情報に対する重み情報Ｋ₁₀を増大させる。

なお、ここでは、明るさと複雑さをそれぞれ２段階に分類したが、それぞれ３段階以上に分類したり、平均輝度Ｔｈ及びエッジ情報Ｅａをパラメータとする計算式を用いて各重み情報Ｋ₁ 〜Ｋ₁₀を算出するように構成してもよい。更に、明るさと複雑さとに限らず、対象画像の全体的な特徴を表すものであれば、その他の特性を用いてもよい。

図２に戻り、５種類（カラー情報，テクスチャ情報：領域大，テクスチャ情報：領域小，動き情報，距離情報）の特徴量を用い、先のＳ１１０にて取得した対象画像を、各特徴量毎に領域分割する領域分割部１５としての処理（以下「領域分割処理」と称する。）を実行して、第１〜第５生成領域群を生成する（Ｓ１３０）。

次に、Ｓ１３０にて生成された第１〜第５生成領域群に基づいて、後述する領域統合の基礎となる単一の基本領域群を生成する基本領域群生成部１７としての処理（以下「基本領域群生成処理」と称する。）を実行する（Ｓ１４０）。

この基本領域群生成処理では、図４に示すように、まず、第１〜第５生成領域群の中の一つを基本領域群として選択する（Ｓ３１０）。この時、生成領域（分割された領域）の数が一定値以上であること、領域の大きさのバラツキが少ないこと等を選択基準にして選択する。

そして、基本領域群を構成する基本領域の一つを注目基本領域として選択する（Ｓ３２０）と共に、基本領域群以外の生成領域群の中の一つを注目生成領域群として選択する（Ｓ３３０）。

なお、注目基本領域の選択は、例えば、画面の上を基点として走査する方法や、ランダムに選択する方法、領域の面積が小さいもの（或いは大きいもの）から順番に選択する方法等を用いることができる。

次に、注目生成領域群の中から、注目基本領域と一部又は全部が重なり合う生成領域（以下「重なり領域」と称する。）を抽出し（Ｓ３４０）、その抽出した全ての重なり領域を算出対象領域として、算出対象領域の特徴量の平均値を算出し（Ｓ３５０）、その特徴量の平均値を、対象基本領域の特徴量に組み込む（Ｓ３６０）。

そして、基本領域群以外の全ての生成領域群の中で、注目生成領域群として未だ選択されていないものが存在するか否かを判断し（Ｓ３７０）、未選択の生成領域群があれば、Ｓ３３０に戻って、その未選択の生成領域群に対してＳ３３０〜Ｓ３６０の処理を繰り返す。

一方、未選択の生成領域群がなければ、今度は、基本領域の中で注目基本領域として未だ選択されていないものが存在するか否かを判断し（Ｓ３８０）、未選択の基本領域があれば、Ｓ３２０に戻って、その未選択の基本領域に対してＳ３２０〜Ｓ３７０の処理を繰り返し、未選択の基本領域がなければ、本処理を終了する。

つまり、基本領域群生成処理では、例えば、基本領域群として第１生成領域群が選択され、図８（ａ）中に左傾斜斜線で示す領域が注目基本領域として選択された場合、図８（ｂ）〜（ｅ）中に右傾斜斜線で示す領域が、第２〜第５生成領域群との重なり領域（ひいては算出対象領域）として抽出されることになる。

そして、基本領域群生成処理により、基本領域群を構成する各基本領域Ｒ_k （ｋは基本領域を識別するための変数）は、（３）式に示すように、５種類で１０個の特徴量ｆｅａ₁ (Ｒ_k )〜ｆｅａ₁₀(Ｒ_k )で特徴付けられたものとなる。

図２に戻り、Ｓ１４０にて基本領域群が生成されると、その基本領域群を構成する基本領域Ｒ_k を、Ｓ１２０で設定された重み情報Ｋｐを用いて統合する領域統合部１９としての処理（以下「領域統合処理」と称する。）を実行して（Ｓ１５０）、本処理を終了する。

この領域統合処理では、図５に示すように、まず、基本領域群を構成する基本領域の一つを注目領域Ｒtar として選択する（Ｓ４１０）と共に、この注目領域Ｒtar に隣接する全ての基本領域を、候補領域Ｒ_k として抽出する（Ｓ４２０）。

そして、全ての候補領域Ｒ_k について、注目領域Ｒtar との類似度を表す指標として、基本領域の特徴量によって表現される１０次元特徴空間における両領域間の距離Ｄif(Ｒtar，Ｒ_k)を（４）式を用いて算出する。

この場合、距離Ｄif(Ｒtar，Ｒ_k)が小さいほど、類似度は高いものと判断される。

このようにして算出された距離Ｄif(Ｒtar，Ｒ_k)が最も小さい、即ち、類似度が最も高いこと（（５）式参照）を統合条件として、この統合条件を満たす候補領域Ｒ_k を注目領域Ｒtar に統合する（Ｓ４４０）。

そして、Ｓ４４０にて領域統合された基本領域群の状態が、予め設定された終了条件に適合するか否かを判断し（Ｓ４５０）、終了条件に適合していなければ、Ｓ４１０に戻ってＳ４１０〜Ｓ４４０の処理を繰り返し、終了条件に適合していれば、本処理を終了する。

なお、終了条件に適合するか否かは、統合が行われた基本領域群を構成する全ての基本領域が、予め設定した目標領域面積しきい値以上の大きさに達しているか否かによって判断する。

ここで図９（ａ）は、領域統合処理を実行する前の基本領域群を示し、図９（ｂ）は、領域統合処理を実行した後の基本領域群を示す。
このようにして統合された基本領域が出力領域群として領域識別部２０に供給される。そして、領域識別部２０では、出力領域群を構成する各領域毎に、その領域の大きさや形状，特徴量等から、その領域に示された物標の識別を行う。

以上説明したように、本実施形態の画像認識装置によれば、複数の生成領域群から単一の基本領域群を生成する際に、画素単位ではなく生成領域単位で特徴量を処理するため、基本領域への特徴量の組み込みを、少ない処理量で実行することができる。

また、実施形態によれば、複数の特徴量で特徴付けられた基本領域を生成し、この複数の特徴量に基づいて算出された距離Ｄif(Ｒtar，Ｒ_k)により基本領域間の類似度を評価して基本領域の統合を行うため、各種ノイズの影響を抑制することができ、常に高精度な領域分割を行うことができる。

しかも、特徴量には、撮像部２から得られる対象画像に基づくもの（カラー情報，テクスチャ情報，動き情報）だけでなく、撮像部２とは別体のセンサ部４から得られる検出データに基づくもの（距離情報）が含まれており、この検出データに基づく特徴量は、対象画像に基づく他の特徴量と同じノイズの影響を受ける可能性が極めて低いため、より確実にノイズの影響を抑制することができ、領域分割を精度をより向上させることができる。

また、本実施形態では、距離Ｄif(Ｒtar，Ｒ_k)を算出する際に用いる特徴量の重みＫｐを、対象画像の全体的な特性（明るさ，複雑さ）、即ちその特性から把握される周囲の状況に応じて可変設定するようにされているため、撮像時の状況によって領域分割の精度が大きく変化してしまうことがなく、高精度な領域分割を安定して実現することができる。

ところで、本実施形態では、注目基本領域に組み込む重なり領域の特徴量の平均値を算出する際に、全ての重なり領域を算出対象領域としているが、図１０（ｃ）に示すように、重なり領域のうち、その重心ＧＫと注目基本領域の重心ＧＭとの距離（以下「重心距離」と称する。）が、予め設定された距離しきい値ＴＨｒより小さいものだけを算出対象領域（図中太線で示された領域）としたり、図１０（ｄ）に示すように、重なり領域のうち、その全面積に対する注目基本領域と重なり合う面積の比（以下「面積比」と称する。）が、予め設定された面積比しきい値ＴＨｓより大きいものだけを算出対象領域（図中太線で示された領域）とするように構成してもよい。

なお、図１０（ａ）が基本領域群、（ｂ）が基本領域群と注目生成領域群とを重ね合わせた状態を示す説明図、（ｃ）〜（ｆ）が、（ｂ）中の斜線で示された基本領域を注目基本領域とした場合に、注目基本領域と重なり領域とを拡大して抽出した説明図である。

また、本実施形態では、重なり領域の特徴量の単純な平均値を、注目基本領域の特徴量に組み込むように構成されているが、重なり領域のそれぞれに注目基本領域との関係に応じた重みを付与し、この重みを用いた特徴量の重み付け平均値を、注目基本領域の特徴量に組み込むように構成してもよい。

この場合、各重なり領域には、図１０（ｅ）に示すように、重心距離に応じた重み（図中では各領域の重みを境界線の太さ（ここでは３段階）で示す）を付与してもよいし、図１０（ｆ）に示すように、面積比に応じた重み（図中では各領域の重みを境界線の太さ（ここでは３段階）で表示）を付与してもよい。

更に、重心距離や面積比に従って算出対象領域の選択を行うと同時に、選択された算出対象領域の中で、重心距離や面積比に応じた重みを付与するように構成してもよい。
また、本実施形態では、注目基本領域Ｒtar に隣接する隣接領域Ｒ_k の中で、注目基本領域Ｒtar との距離Ｄif(Ｒtar，Ｒ_k)が最も小さいことを、基本領域同士を統合する際の統合条件としているが、例えば、距離Ｄif(Ｒtar，Ｒ_k)が予め設定された距離しきい値Ｔ３より小さいことを統合条件とするように構成してもよい。

また、本実施形態では、類似度を表す指標として、重み付きのユークリッド距離Ｄif(Ｒtar，Ｒ_k)を用いたが、これに限らず、重み付きの各成分の距離の最大値と最小値といった非線形距離を用いたり、ＧＭＭ（混合ガウシアンモデル）、ＨＭＭ（隠れマルコフモデル）、ＧＭＲＦ（ガウシアンマルコフ確率場）等といった確率モデルにより領域を表現し、モデル同士の比較による類似度の算出といった手法を用いてもよい。

また、本実施形態では、センサ部４を一つだけ設けたが、センサ部４を複数設け、対象画像以外の検出データに基づく特徴量が２種類以上となるように構成してもよい。
なお、本実施形態において、領域分割部１５とＳ１３０が第１のステップ及び領域分割手段、基本領域群生成部１７とＳ１４０が第２のステップ及び基本領域群生成手段、領域統合部１９とＳ１５０が第３のステップ及び領域統合手段、画像特性分析部１３とＳ１２０が重み情報設定手段に相当する。
［第２実施形態］
次に、第２実施形態について説明する。

本実施形態では、基本領域群生成処理の内容が、第１実施形態のものとはことなるだけであるため、この処理を中心に説明する。
即ち、本実施形態において、基本領域群生成処理は、図１１に示すように、ます、第１〜第５生成領域群の一部又は全部を重ね合わせることによって、基本領域群を生成する（Ｓ５１０）。

具体的には、図１２に示すように、生成領域群を重ね合わせた時に、各生成領域の境界によって細分化される全ての領域を、基本領域とした基本領域群を設定する。
なお、図１２は、第１，３，５生成領域群を重ね合わせた場合を示す。

このようにして生成された基本領域の一つを注目基本領域として選択し（Ｓ５２０）、この注目基本領域と重なり合う生成領域（重なり領域）のうち、基本領域群の生成に使用した生成領域群に属するものについては、その生成領域の特徴量を、そのまま注目基本領域の特徴量に組み込み、一方、基本領域群の生成に使用していない生成領域群に属するものについては、第１実施形態の場合と同様に算出した重なり領域（算出対象領域）の特徴量の平均値を、注目基本領域の特徴量に組み込む（Ｓ５３０）。

そして、基本領域の中で注目基本領域として未だ選択されていないものが存在するか否かを判断し（Ｓ５４０）、未選択の基本領域があれば、Ｓ５２０に戻って、その未選択の基本領域に対してＳ５２０〜Ｓ５３０の処理を繰り返し、未選択の基本領域がなければ、本処理を終了する。

このように構成された本実施形態の画像認識装置によれば、基本領域の生成に使用した生成領域群に属する生成領域については、特徴量に加工を施すことなく、そのまま基本領域の特徴量に組み込むことができるため、基本領域に特徴量を組み込むための処理を大幅に削減することができる。

実施形態の画像認識装置の全体構成を示すブロック図。 領域抽出処理の内容を示すフローチャート。 画像特性分析処理の内容を示すフローチャート。 基本領域群生成処理の内容を示すフローチャート。 領域統合処理の内容を示すフローチャート。 重み情報の設定に使用するテーブルの内容を示す説明図。 分割処理部で使用／生成される特徴量と処理によって生成される生成領域の例を示す説明図。 注目基本領域と重なり領域との関係を示す説明図。 領域統合処理の処理前及び処理後の基本領域群の例を示す説明図。 注目基本領域に組み込む特徴量の他の算出方法を示す説明図。 第２実施形態における基本領域群生成処理の内容を示すフローチャート。 第２実施形態における基本領域群の生成例を示す説明図。

符号の説明

２…撮像部、４…センサ部、１０…領域抽出部、１１…対象画像取得部、１３…画像特性分析部、１５…領域分割部、１５ａ〜１５ｅ…分割処理部、１７…基本領域群生成部、１９…領域統合部、２０…領域識別部。

Claims (13)

1. 対象画像から得られる複数種類の特徴量の中の一つを特定特徴量とし、前記対象画像を、前記特定特徴量を用いて領域分割するか又は予め設定されたサイズで領域分割することで複数の生成領域からなる生成領域群を生成すると共に、前記生成領域での前記特定特徴量の代表値を該生成領域の特徴量に設定する処理を、同一の対象画像に対し、互いに異なる複数の前記特定特徴量を用いて実行する第１のステップと、
   前記対象画像を分割する複数の基本領域を設定し、前記基本領域の一つを注目基本領域、前記生成領域群の一つを注目生成領域群として選択し、前記注目基本領域と一部又は全部が重なり合う前記注目生成領域群中の一又は複数の生成領域を抽出し、その抽出した生成領域の特徴量の平均値又は重み付きの平均値を、前記注目基本領域の特徴量の一つとして付加する処理を、前記基本領域毎に全ての前記生成領域群について実行することにより、複数種類の特徴量で特徴付けられた複数の基本領域からなる単一の基本領域群を生成する第２のステップと、
   隣接する基本領域間の類似度として、前記基本領域の特徴量により表現される多次元特徴空間における両領域間の距離を両領域の特徴量に基づいて算出し、前記類似度が予め設定された統合条件を満たす場合に、前記基本領域同士を統合する第３のステップと、
   からなることを特徴とする領域分割方法。
2. 対象画像から得られる複数種類の特徴量の中の一つを特定特徴量とし、前記対象画像を、前記特定特徴量を用いて領域分割するか又は予め設定されたサイズで領域分割することで複数の生成領域からなる生成領域群を生成すると共に、前記生成領域での前記特定特徴量の代表値を該生成領域の特徴量に設定する処理を実行する複数の分割処理部からなり、各分割処理部は、同一の対象画像に対し互いに異なる前記特定特徴量を用いて前記処理を実行する領域分割手段と、
   前記対象画像を分割する複数の基本領域を設定し、前記基本領域の一つを注目基本領域、前記生成領域群の一つを注目生成領域群として選択し、前記注目基本領域と一部又は全部が重なり合う前記注目生成領域群中の一又は複数の生成領域を抽出し、その抽出した生成領域の特徴量の平均値又は重み付きの平均値を、前記注目基本領域の特徴量の一つとして付加する処理を、前記基本領域毎に全ての前記生成領域群について実行することにより、複数種類の特徴量で特徴付けられた複数の基本領域からなる単一の基本領域群を生成する基本領域群生成手段と、
   隣接する基本領域間の類似度として、前記基本領域の特徴量により表現される多次元特徴空間における両領域間の距離を両領域の特徴量に基づいて算出し、前記類似度が予め設定された統合条件を満たす場合に、前記基本領域同士を統合する領域統合手段と、
   からなることを特徴とする領域分割装置。
3. 前記領域分割手段は、前記特徴量として、前記対象画像の撮像領域と同じ領域を検出範囲とし、該検出範囲を複数に分割してなる単位領域毎に、予め設定された物理量を検出するセンサからの検出値を少なくとも用いることを特徴とする請求項２に記載の領域分割装置。
4. 前記基本領域群生成手段は、前記領域分割手段にて生成された複数の生成領域群を重ね合わせた時に、前記生成領域の境界で区切られる全ての領域を、前記基本領域として設定することを特徴とする請求項２又は請求項３に記載の領域分割装置。
5. 前記基本領域群生成手段は、前記領域分割手段にて生成された複数の生成領域群の中の一つを選択し、その選択された生成領域群を構成する生成領域を、前記基本領域として設定することを特徴とする請求項２又は請求項３のいずれかに記載の領域分割装置
6. 前記基本領域群生成手段は、前記抽出した生成領域が複数存在する場合、該生成領域の全てを、前記注目基本領域に付加する特徴量の算出に用いることを特徴とする請求項２〜５のいずれかに記載の領域分割装置。
7. 前記基本領域群生成手段は、前記抽出した生成領域が複数存在する場合、該生成領域のうち、前記注目基本領域との重心間の距離及び該注目基本領域と重なり合う面積のうち一方又は両方が予め設定された算出対象条件を満たすものを、前記注目基本領域に付加する特徴量の算出に用いることを特徴とする請求項２〜５のいずれかに記載の領域分割装置。
8. 前記基本領域群生成手段は、前記特徴量の算出を重み付け加算によって行う場合、算出対象となる前記生成領域の重み付けを、前記注目基本領域との重心間の距離及び該注目基本領域と重なり合う面積のうち少なくとも一方に従って可変設定することを特徴とする請求項２〜７のいずれかに記載の領域分割装置。
9. 前記対象画像の全体を分析することで該対象画像が有する全体的な特性を抽出し、該特性に従って、前記領域統合手段にて用いる前記特徴量の重み付けを可変設定する重み情報設定手段を備えることを特徴とする請求項８に記載の領域分割装置。
10. 前記重み情報設定手段は、前記対象画像が有する全体的な特徴として、対象画像の明るさ、及び対象画像の複雑さのうち、少なくとも一方を用いることを特徴とする請求項９に記載の領域分割装置。
11. 請求項２〜１０のいずれかに記載の領域分割装置からなる領域抽出手段と、
    該領域抽出手段にて抽出された各領域毎に、該領域が表現する物標の識別を行う識別手段と、
    を備えることを特徴とする画像認識処理装置。
12. 請求項２〜１０のいずれかに記載の領域分割装置を構成する各手段として、コンピュータを機能させるためのプログラム。
13. 請求項１２に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。

Images