JP5151472B2 - 距離画像生成装置、環境認識装置、及びプログラム - Google Patents

Description

本発明は、距離画像生成装置、環境認識装置、及びプログラムに係り、特に車両周辺の環境を認識するための距離画像生成装置、環境認識装置、及びプログラムに関する。

従来より、撮像された画像データから物体を識別することで、例えば車両を運転するドライバの視覚を支援する様々な装置が提案されている。例えば、学習画像から部分画像を取り出し、クラスに分類してクラス毎に特徴量データを蓄積しておき、入力画像を分割した部分画像から特徴量を抽出して、蓄積されたクラスごとの特徴量データとの類似度を計算することにより物体認識を行う物体認識装置が提案されている（例えば、特許文献１）。

また、画像の小領域を切り出した部分画像同士の非類似度に相当する順序関係を定義し、この順序関係に基づいて各部分画像を任意の距離空間における点へと写像し、写像された点の集合に関してクラスタリングを行い、最も多くの点が属するクラスタに属する点を逆写像して得られる部分画像を背景領域であると判定する画像分割処理システムが提案されている（例えば、特許文献２）。
特開２０００−２４２７８４号公報 特開２００６−３１３９０号公報

しかしながら、走行している車両から撮像した画像のように奥行き方向の広がりがある場合には、画像内に近傍から無限遠まで距離の異なる位置に物体が存在しているため、同じ物体でも、近傍にある場合と遠方にある場合とでは見え方に違いが生じるが、従来の物体認識装置では、部分画像を一定のサイズで切り出しているため、この見え方の違いが特徴量に影響を与えて適切に環境を認識できない、という問題がある。

また、従来の画像分割処理システムは、背景か物体かを識別するものであり、複数かつ複雑な形状の物体で構成されている画像では、背景と物体とを区別するのは困難であり、また、背景か物体かの区別は何に注目するかによって変化するため別途定義しなければ適切に環境を認識できない、という問題がある。

本発明は、上述した問題を解決するために提案されたものであり、環境認識の精度を向上させることができる距離画像生成装置、環境認識装置、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の距離画像生成装置は、被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段と、前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段と、前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段と、を含んで構成されている。

本発明の距離画像生成装置によれば、領域分割手段が、被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割し、距離情報算出手段が、画像の特徴点となる画素に対応する距離情報を算出する。特徴点には、明度差の大きい物体の境界付近や形状に特徴があり安定して抽出できる画素を選択し、距離情報の算出には、周知の算出方法であるＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）やステレオ視を利用した算出方法を用いる。

そして、距離画像生成手段が、領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する。

このように、距離が不連続に変化する可能性の低い同一の分割領域内の特徴点となる画素の距離情報に基づいて、距離情報が算出されていない画素の距離情報を補完して距離画像を生成するため、比較的容易に、適切な距離情報を有する距離画像を生成することができる。

また、本発明の距離画像生成装置は、前記領域分割手段により分割された分割領域に基づいて、路面領域となる分割領域を推定する路面推定手段を更に含み、前記距離画像生成手段は、前記路面推定手段により路面領域となると推定された分割領域では、横方向の画素の距離情報が同一または略同一となり、前記路面領域となると推定された分割領域以外の分割領域では、縦方向の画素の距離情報が同一または略同一となるように前記特徴点となる画素以外の画素の距離情報を補完するようにすることができる。

本発明の路面推定手段によれば、領域分割手段により分割された分割領域に基づいて、路面領域となる分割領域を推定し、距離画像生成手段が、路面推定手段により路面領域となると推定された分割領域では、横方向の画素の距離情報が同一または略同一となり、路面領域となると推定された分割領域以外の分割領域では、縦方向の画素の距離情報が同一または略同一となるように特徴点となる画素以外の画素の距離情報を補完する。

このように、路面領域の距離の特性を利用して距離画像を生成するため、より適切な距離情報を有する距離画像を生成することができる。

また、本発明の環境認識装置は、前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウであって、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じたサイズのウインドウを前記画像に設定すると共に、該ウインドウ内の画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段と、を含んで構成されている。

本発明の環境認識装置によれば、特徴量抽出手段が、画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウであって、距離画像生成手段により生成された距離画像から得られる注目画素又は注目領域に対応した距離情報に応じたサイズのウインドウを画像に設定すると共に、ウインドウ内の画素から注目画素または注目領域の特徴量を抽出する。

また、本発明の環境認識装置の前記特徴量抽出手段は、前記注目画素または前記注目領域の距離情報が示す距離が遠くなるほど前記ウインドウのサイズを小さくするようにすることができる。

このように、距離情報に応じて、特徴情報を抽出するためのウインドウのサイズを変更するため、画像の近傍に撮像されている場合と遠方に撮像されている場合とで生じる見え方の違いが、特徴量に影響を与えることを防止することができる。

また、本発明の環境認識装置は、前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウを前記画像に設定すると共に、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じて、設定したウインドウ内の解像度を変更し、該ウインドウ内の解像度が変更された画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段と、を含んで構成されている。

このように、ウインドウのサイズを変えるのではなく、ウインドウ内の解像度を変えることによっても、上記のウインドウのサイズを変える場合と同様の効果を得られる。

また、本発明の環境認識装置の前記特徴量抽出手段は、紫外域から赤外域までの複数の異なる波長帯の光を用いて撮像された複数の画像に基づいて、前記注目画素または前記注目領域の特徴量を抽出することができる。波長帯の異なる光を用いて撮像された画像毎に特徴量を抽出することにより、物体の識別精度を向上させることができる。さらに、近赤外域の光は、物体の材質に応じて可視光とは異なった反射率を有するという特性を示すため、これを用いることにより、さらに物体の識別精度を向上させることができる。

また、本発明の環境認識装置の前記領域分割手段は、前記識別手段による識別結果に基づいて、同じ対象物に対する分割領域が同じ分割領域となるように、再度、領域の分割を行うようにすることができる。また、前記路面推定手段は、前記識別手段による識別結果に基づいて、路面と識別された領域に含まれる分割領域が路面と推定されるように、再度、路面領域の推定を行うようにすることができる。また、前記距離画像生成手段は、前記識別手段により空領域と識別された領域の画素の距離情報が無限遠となるように、再度、距離画像の生成を行うようにすることができる。

このように、識別結果を各手段にフィードバックさせることにより、より精度の高い識別結果を得ることができる。

また、本発明の環境認識装置の前記領域分割手段は、被写体を撮像することにより順次得られる画像を順次処理する場合において、先に得られた画像に対する前記識別手段による識別結果に基づいて、同じ対象物に対する分割領域が同じ分割領域となるように、領域の分割を修正することができる。また、前記路面推定手段は、被写体を撮像することにより順次得られる画像を順次処理する場合において、先に得られた画像に対する前記識別手段による識別結果に基づいて、路面と識別された領域に含まれる分割領域が路面と推定されるように、路面領域の推定を修正することができる。

このように、時系列で処理を行う場合に、先に処理された画像の識別結果を利用することにより、より精度の高い識別結果を得ることができる。

また、本発明の距離情報生成プログラムは、コンピュータを、被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段と、前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段と、前記領域分割手段により分割された分割領域に基づいて、路面領域となる分割領域を推定する路面推定手段と、前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完する際に、前記路面推定手段により路面領域となると推定された分割領域では、横方向の画素の距離情報が同一または略同一となり、前記路面領域となると推定された分割領域以外の分割領域では、縦方向の画素の距離情報が同一または略同一となるように前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段として機能させるためのものである。

また、本発明の環境認識プログラムは、コンピュータを、被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段と、前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段と、前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段と、前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウであって、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じたサイズのウインドウを前記画像に設定すると共に、該ウインドウ内の画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段として機能させるためのものである。

本発明によれば、環境認識の精度を向上させることができる、という効果が得られる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

（第1の実施の形態）

図１に示すように、第１の実施の形態に係る環境認識装置１０は、認識対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて環境を認識する環境認識処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。

撮像装置１２は、認識対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１６は、環境認識装置１０全体の制御を司るＣＰＵ、後述する環境認識処理ルーチンのプログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２によって撮像された画像を複数の領域に分割する領域分割部２０と、画像の特徴点となる画素の距離情報を算出する距離情報算出部２２と、領域分割部２０及び距離情報算出部２２の算出結果に基づいて、特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成部２４と、距離画像生成部２４で生成された距離画像の画素毎に特徴量を抽出する特徴量抽出部２６と、予め求めた環境認識の対象となる物体毎の特徴量を記憶した特徴量記憶部２８と、特徴量抽出部２６で抽出された特徴量及び特徴量記憶部２８に記憶された特徴量に基づいて物体を識別する物体識別部３０と、撮像装置１２によって撮像された撮像画像に、物体識別部３０による識別結果を重畳させて表示装置１８に表示するよう制御する表示制御部３２とを含んだ構成で表すことができる。

領域分割部２０は、撮像した画像の各画素の色または明度を示す値とその画素に隣接する画素の色または明度を示す値との差分を算出して、画像内の色や明るさが急激に変化する場所を領域の境界として、画像を複数の領域に分割する。

距離情報算出部２２は、ＳｆＭの手法を用いて、画像内の複数の特徴点について距離情報を算出する。ＳｆＭは、時系列に取得される画像において特徴点を追跡し、その移動量と撮像装置１２の動きとに基づいて距離情報を算出するものである。特徴点として、輝度値に特徴があり、時系列に取得される画像に対して対応の取りやすい点を抽出して距離情報を算出する。

距離画像生成部２４は、距離情報が算出されていない画素について、その画素と同一の分割領域内にある近傍の複数の特徴点を探索し、画素間隔に応じて重み付けを行い、複数の特徴点の有する距離情報に基づいて距離情報を補完して、距離画像を生成する。距離画像の所定箇所の画素のみが距離情報を有することとしてもよいが、ここでは、全画素が距離情報を有する場合について説明する。

特徴量抽出部２６は、距離画像の画素毎に特徴量を抽出する。特徴量としては、高次局所自己相関特徴や色情報等の物体表面の質感、模様、及び色などを示す特徴量であるテクスチャ情報を抽出する。特徴量抽出部２６は、特徴量を抽出する際に設定するウインドウのサイズを、特徴量を抽出しようとしている画素（注目画素）の距離情報に応じて変更する。具体的には、注目画素の距離情報の示す距離が遠い場合には、ウインドウサイズを小さくし、距離が近くなるほどウインドウのサイズを大きくする。なお、特徴量の抽出は、複数の画素からなる小領域（注目領域）に対して行ってもよい。この場合、注目領域の距離情報としては、注目領域を構成する複数の画素の距離情報の平均や合計を利用するようにするとよい。

特徴量記憶部２８は、ハードディスクドライブ（ＨＤＤ）やＣＤ−ＲＯＭ等のように、内蔵または外付けの記憶手段であって、物体毎の特徴量を記憶できる媒体により構成されている。特徴量は、予め用意した所定枚数（例えば、１０００枚）の学習画像から所定の物体（ここでは、「路面」、「植物」、「建物」、「空」、及び「車線」とする。）を切り取り、物体毎に、後述する特徴量抽出処理ルーチンと同様の処理により抽出する。このようにして抽出された特徴量は、データベース形式で特徴量記憶部２８に記憶される。

物体識別部３０は、特徴量抽出部２６で抽出された特徴量を、特徴量記憶部２８に記憶された物体毎の特徴量と照合して、画素毎にどの物体の特徴量と一致するかを識別する。一致する特徴量がない場合には、「その他」として識別する。ノイズ等の影響により分割領域内の他の画素と矛盾する識別結果となる画素が存在する場合もあるので、分割領域内の画素の識別結果の整合性をとって、分割領域毎に識別結果を算出する。

なお、コンピュータ１６を領域分割部２０、距離情報算出部２２、及び距離画像生成部２４で表される構成とすることにより、本発明の距離画像生成装置を構成することができる。

次に、図２を参照して、第１の実施の形態における環境認識の処理ルーチンについて説明する。

ステップ１００で、撮像装置１２で撮像された画像が、領域分割部２０及び距離情報算出部２２に入力される。ここでは、図３に示すような画像が入力されるものとする。次に、ステップ１０２で、領域分割部２０は、入力画像の各画素の明度情報に基づいて、同一の物体を示している可能性が高いと考えられる領域が同一の領域となるように、入力画像を複数の領域に分割する。図４に入力画像を領域分割した結果を示す。

次に、ステップ１０４で、距離情報算出部２２は、ＳｆＭの手法により、特徴点の距離情報を算出する。図５に距離情報の算出結果の一例を示す。距離情報が算出された特徴点について、距離が近い特徴点は赤色の点、距離が遠い特徴点は青色の点（図５では、距離が近い点ほど淡い色の点、距離が遠いほど濃い色の点）となるように表されている。

次に、ステップ１０６で、後述する距離画像生成の処理を実行して距離画像を生成し、次に、ステップ１０８で、後述する特徴量抽出の処理を実行して画素毎の特徴量を抽出する。

次に、ステップ１１０で、物体識別部３０は、画素毎に抽出した特徴量を、特徴量記憶部２８に記憶してある物体毎の特徴量と照合し、画素毎に対応する物体を識別する。次に、ステップ１１２で、物体識別部３０は、同じ分割領域の画素の識別結果の中で最も多い識別結果をその領域の示す物体として識別し、環境を認識する。これにより得られた認識結果の一例を図６に示す。

次に、図７を参照して、上記環境認識の処理ルーチン（図２）のステップ１０６で実行される距離画像生成の処理ルーチンについて説明する。本処理は、距離画像生成部２４において実行される。

ステップ２００で、入力画像の全画素に付された通し番号を示すカウンタ値ｋ（ｋ＝１，２，・・・Ｍ）を初期値である１に設定し、次に、ステップ２０２で、画素Ｐ（ｋ）の距離情報が算出されているか否かを判断する。特徴点として距離情報が算出されている画素の場合には否定されてステップ２０４へ進み、カウンタ値ｋをインクリメントしてステップ２０２へ戻る。画素Ｐ（ｋ）が距離情報の算出されていない画素である場合には、ステップ２０６へ進み、画素Ｐ（ｋ）と同じ分割領域内にあり、かつ距離情報が算出されている画素を探索する。

次に、ステップ２０８で、探索された画素のうち、画素Ｐ（ｋ）の近傍の画素を所定数選択し、これらの画素の距離情報、及び画素Ｐ（ｋ）と各画素との距離に応じた重み付けに基づいて画素Ｐ（ｋ）の距離情報を補完する。例えば、図８に示すように、画素Ｐ（ｋ）に対して３点の画素を選択した場合は、画素Ｐ（ｋ）との距離が最も小さい画素Ｐ（ａ）については重み付けを大きくし、画素Ｐ（ｋ）との距離が最も大きい画素Ｐ（ｂ）については重み付けを小さくし、画素Ｐ（ｋ）との距離が中程度の画素Ｐ（ｃ）については重み付けを中程度として、各画素の距離情報に重み付けを掛け合わせた値の平均値を画素Ｐ（ｋ）の距離情報とする。なお、図８は、距離情報算出結果の画面（図５）において、同一領域内に含まれる一部を拡大表示したものである。

次に、ステップ２１０で、カウンタ値ｋの値が入力画像の全画素数Ｍと等しくなったか否かを判断することにより、全画素について処理を終了したか否かを判断する。全画素について処理が終了していない場合には、ステップ２０４で、カウンタ値ｋをインクリメントしてステップ２０２に戻り、全画素について処理が終了するまで繰り返す。全画素について処理が終了した場合には、本ルーチンを終了してリターンする。

次に、図９を参照して、上記環境認識の処理ルーチン（図２）のステップ１０８で実行される特徴量抽出の処理ルーチンについて説明する。特徴量は、画素毎に抽出してもよいし、複数の画素からなる小領域毎に抽出してもよいが、ここでは、画素毎に抽出する場合について説明する。本処理は、特徴量抽出部２６において実行される。

ステップ３００で、入力画像の全画素に付された通し番号を示すカウンタ値ｋ（ｋ＝１，２，・・・Ｍ）を初期値である１に設定し、次に、ステップ３０２で、画素Ｐ（ｋ）の距離情報を取得する。次に、ステップ３０４で、画素Ｐ（ｋ）を含む周辺画素に対して、取得した距離情報に応じたサイズのウインドウを設定する。例えば、画素Ｐ（ｋ）の距離情報が示す距離が遠い場合には、画素Ｐ（ｋ）を中心に３×３画素のウインドウを設定し、それよりも距離が近い場合には、９×９画素のウインドウを設定するなどして、ウインドウ内の画素が示す被写体の実際の面積に差が生じないようなサイズのウインドウを設定する。

次に、ステップ３０６で、設定したウインドウ内の画素を用いて画素Ｐ（ｋ）の特徴量を抽出し、次に、ステップ３１０で、カウンタ値ｋの値が入力画像の全画素数Ｍと等しくなったか否かを判断することにより、全画素について処理を終了したか否かを判断する。全画素について処理が終了していない場合には、ステップ３０８で、カウンタ値ｋをインクリメントしてステップ３０２に戻り、全画素について処理が終了するまで繰り返す。全画素について処理が終了した場合には、本ルーチンを終了してリターンする。

以上説明したように、第１の実施の形態における環境認識装置１０では、同一物体である可能性が高い分割領域内に存在する特徴点の距離情報に基づいて、距離情報が算出されていない画素の距離情報を補完するため、比較的容易かつ適切な距離情報を有する距離画像を生成することができる。この適切な距離情報に基づいて各画素の特徴量を抽出するための範囲（ウインドウサイズ）を設定しているため、距離の差による影響を受けにくい状態で特徴量を抽出することができる。この特徴量に基づいて物体を識別して環境を認識するため、環境認識の精度を向上させることができる。

（第２の実施の形態）

第２の実施の形態では、第１の実施の形態の構成に加え、入力画像の中で路面に該当する領域を推定する路面推定部を備えた環境認識装置について説明する。なお、第２の実施の形態の環境認識装置の構成において、上記第１の実施の形態の環境認識装置１０の構成と同一の構成、及び同一の処理については同一の符号を付し、その説明を省略する。

第２の実施の形態の環境認識装置４１０は、コンピュータ４１６を備えており、このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１０に示すように、領域分割部２０、距離情報算出部２２、入力画像の中で路面に該当する領域を推定する路面推定部４３４、距離画像生成部２４、特徴量抽出部２６、特徴量記憶部２８、物体識別部３０、及び表示制御部３２を含んだ構成で表すことができる。

路面推定部４３４は、領域分割部２０により複数に分割された分割領域のうち、入力画像における位置や画素の色などから判断して、路面領域を推定する。例えば、入力画像を２つの対角線で４分割した場合の下方領域に最も高い割合で含まれている分割領域を路面と推定したり、分割領域内の画素の大多数の画素の色が予め定めた路面の色と同一の場合に、その分割領域を路面と推定したりすることができる。なお、距離情報算出部２２により算出した特徴点の距離情報を路面の推定に用いてもよい。

距離画像生成部２４は、距離情報が算出されていない画素の距離情報を補完する際、路面推定部４３４の推定結果を利用する。路面は略水平面であり、図１１に示すように、画像中の横方法に並ぶ画素間では距離は略同一であるため、路面領域と推定された領域では、横方向の画素の距離情報が同一または略同一となるように距離情報を補完する。一方、路面以外の構造物は垂直面で構成されるため、画像中の縦方向に並ぶ画素間では距離は略同一であるため、路面領域と推定された領域以外の領域では、縦方向の画素の距離情報が同一または略同一となるように距離情報を補完する。

より詳細には、横並びの画素の距離情報においては、画像の中央（視点）から画像の左端または右端に向かうに従って、距離が微小距離ずつ徐々に増加するように距離情報を補完し、縦並びの画素の距離情報においては、画像の中央（視点）から画像の上端または下端に向かうに従って、距離が微小距離ずつ徐々に増加するように距離情報を補完するようにするとよい。

次に、図１２を参照して、第２の実施の形態の環境認識の処理ルーチン（図２）のステップ１０６で実行される距離画像生成の処理ルーチンについて説明する。

ステップ５００で、路面推定部４３４は、分割領域の入力画像中の位置と分割領域内の画素の色から路面に該当する分割領域を推定し、次に、ステップ２００で、カウンタ値ｋを初期値である１に設定し、次に、ステップ２０２で、画素Ｐ（ｋ）の距離情報が算出されているか否かを判断し、次に、ステップ２０６で、画素Ｐ（ｋ）と同じ分割領域内にあり、かつ距離情報が算出されている画素を探索する。

次に、ステップ５０２で、画素Ｐ（ｋ）が路面と推定されている分割領域に含まれる画素か否かを判断する。路面領域の場合には、ステップ５０４へ進み、探索された画素のうち、画素Ｐ（ｋ）の近傍の画素で、画素Ｐ（ｋ）と横並びの画素を優先的に所定数選択し、これらの画素と距離が略同一となるように重み付け（横方向の拘束条件）をして距離情報を補完する。路面以外の領域の場合には、ステップ５０６へ進み、縦方向の拘束条件に基づいてステップ５０４と同様の処理により、距離情報を補完する。

次に、ステップ２１０で、全画素について処理を終了したか否かを判断し、全画素について処理が終了していない場合には、ステップ２０４で、カウンタ値ｋをインクリメントしてステップ２０２に戻り、全画素について処理が終了するまで繰り返す。全画素について処理が終了した場合には、本ルーチンを終了してリターンする。

以上説明したように、第２の実施の形態における環境認識装置４１０では、路面推定部４３４による路面領域の推定を行い、路面と推定された領域では横方向、路面以外の領域では縦方向の画素の距離情報を同一または略同一となるように距離情報を補完して、より適切な距離画像を生成することができるため、さらに環境認識の精度を向上させることができる。

（第３の実施の形態）

第３の実施の形態では、物体識別部３０による識別結果を領域分割部２０にフィードバックする場合について説明する。なお、第３の実施の形態の環境認識装置の構成において、上記第１の実施の形態の環境認識装置１０の構成と同一の構成、及び同一の処理については同一の符号を付し、その説明を省略する。

第３の実施の形態の環境認識装置６１０は、コンピュータ６１６を備えており、このコンピュータ６１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１３に示すように、領域分割部２０、距離情報算出部２２、距離画像生成部２４、特徴量抽出部２６、特徴量記憶部２８、物体識別部３０、及び表示制御部３２を含んだ構成で表すことができる。

次に、図１４を参照して、第３の実施の形態における環境認識の処理ルーチンについて説明する。ステップ１００〜ステップ１１２で、第１の実施の形態と同様の処理により分割領域毎に物体を識別する。

次に、ステップ７００で、識別結果を領域分割部２０へフィードバックすることにより行う識別結果の修正を所定回数行ったか否かを判断する。所定回数行っていない場合は、ステップ７０２へ進んで、領域分割部２０は、ステップ１１２の処理によって算出された識別結果に基づいて、再度領域の分割を行う。ここでの領域分割は、隣接する分割領域の識別結果が同一物体であると判断されている場合に、分割領域を統合するようにするとよい。

また、ステップ１１２の処理で、分割領域内の画素毎の識別結果を統合する際、所定の割合以上を占める識別結果がない場合には、その分割領域については識別結果の統合を行わず、そのまま識別結果を領域分割部２０へフィードバックし、ステップ７０２において、該当分割領域を更に詳細な領域となるように分割するようにしてもよい。

次に、ステップ７０４で、識別結果が「空」である分割領域の画素の距離情報を無限遠に統一する。

次に、ステップ７０６で、距離画像生成の処理を実行する。ここでは、距離情報の補完に路面領域の情報を利用する図１１に示す距離画像生成処理を実行する。この際、ステップ５００において、識別結果が「路面」である領域を路面と推定することにより、第２の実施の形態における路面推定部４３４を設けない構成でも、第２の実施の形態と同様の処理を行うことができる。

次に、ステップ７０８で、特徴量抽出の処理を実行する。ここでは、図１５に示すように、ステップ８００で、前回算出された距離情報と新たに算出された距離情報とを比較して、距離情報が修正された画素についてのみ、ステップ３０４及びステップ３０６の処理により特徴量を抽出するようにするとよい。

なお、上記の実施の形態では、識別結果を領域分割部２０にフィードバックして処理する中で、路面領域を再度推定する処理を実行する場合や、「空」領域の画素の距離情報を無限遠とする処理を実行する場合について説明したが、路面推定部４３４や距離情報算出部２２へ直接識別結果をフィードバックするようにしてもよい。

また、上記の実施の形態では、１つの画像に対する処理の中で識別結果をフィードバックする場合について説明したが、順次入力される次の画像の処理に対して、フィードバックと同様の処理により識別結果を利用するようにしてもよい。

以上説明したように、第３の実施の形態における環境認識装置６１０では、算出された識別結果をフィードバックして再度物体の識別を行うため、より適切に物体の識別を行うことができ、環境認識の精度を向上させることができる。

なお、上記第１〜第３の実施の形態では、距離情報の算出方法として、ＳｆＭの手法を用いる場合について説明したが、ステレオ視の手法を用いる場合や、タイムオブフライト方式の距離画像センサを用いる場合などのように距離情報を算出できる場合であれば特に限定されない。

また、上記第１〜第３の実施の形態では、識別対象の物体を「路面」、「植物」、「建物」、「空」、及び「車線」（これら以外を「その他」）として環境認識する場合について説明したが、その他にも「人」、「車両」等を対象物としてもよいし、これらの中から選択した数個を対象物としてもよい。

また、上記第１〜第３の実施の形態では、識別結果を表示装置に表示する場合について説明したが、識別結果を歩行者検出装置や車両検出装置など別の検出装置の入力情報として利用するようにしてもよい。例えば、歩行者検出装置において、上記識別結果が入手された場合、歩行者の探索範囲は「その他」と識別されている領域のみに限定することができる。なぜなら、他の領域は「路面」、「植物」、「建物」、「空」、及び「車線」のいずれかに識別されており、それらの中に歩行者が存在することはないからである。このように利用すると、探索範囲が限定されるため、歩行者検出装置における計算コストの削減や誤検出率の低減などの面で非常に効果的となる。

また、上記第１〜第３の実施の形態では、特徴量を抽出する際に設定するウインドウのサイズを注目画素の距離情報に応じて変更する場合について説明したが、ウインドウのサイズは同じ設定とし、距離情報に応じてウインドウ内の解像度を変更するようにしてもよい。例えば、注目画素の距離情報の示す距離が近い場合は、画素値を平均化するなどして、ウインドウ内の解像度が低くなるように変更する。また距離が遠い場合は、画素分割を行うなどして、解像度が高くなるように変更する。

また、上記第１〜第３の実施の形態では、１枚の入力画像に対して処理を行う場合について説明したが、異なる波長帯の光による撮像を行うための複数の撮像装置、またはフィルタを用いて１度に複数の波長帯の光による撮像が可能な１台の撮像装置を用いて、複数の画像を入力し、複数の画像から抽出された特徴量を総合的に判断して物体を識別するようにしてもよい。例えば、近赤外域の光を用いて撮像された画像、及び可視光域の複数の異なる波長帯の光を用いて撮像された複数の画像を１度に入力画像とすることができる。

第１の実施の形態に係る環境認識装置を示すブロック図である。 第１の実施の形態に係る環境認識の処理ルーチンを示すフローチャートである。 入力画像の一例を示す図である。 領域分割の結果の一例を示す図である。 距離情報の算出結果の一例を示す図である。 認識結果の一例を示す図である。 第１の実施の形態に係る距離画像生成の処理ルーチンを示すフローチャートである。 距離情報の補完を説明する図である。 第１の実施の形態に係る特徴量抽出の処理ルーチンを示すフローチャートである。 第２の実施の形態に係る環境認識装置を示すブロック図である。 路面領域を利用した距離情報の補完を説明する図である。 第２の実施の形態に係る距離画像生成の処理ルーチンを示すフローチャートである。 第３の実施の形態に係る環境認識装置を示すブロック図である。 第３の実施の形態に係る環境認識の処理ルーチンを示すフローチャートである。 第３の実施の形態に係る特徴量抽出の処理ルーチンを示すフローチャートである。

符号の説明

１０、４１０、６１０ 環境認識装置
２０ 領域分割部
２２ 距離情報算出部
２４ 距離画像生成部
２６ 特徴量抽出部
２８ 特徴量記憶部
３０ 物体識別部
４３４ 路面推定部

Claims (11)

1. 被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段と、
   前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段と、
   前記領域分割手段により分割された分割領域に基づいて、路面領域となる分割領域を推定する路面推定手段と、
   前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完する際に、前記路面推定手段により路面領域となると推定された分割領域では、横方向の画素の距離情報が同一または略同一となり、前記路面領域となると推定された分割領域以外の分割領域では、縦方向の画素の距離情報が同一または略同一となるように前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段と、
   を含む距離画像生成装置。
2. 請求項１記載の距離画像生成装置と、
   前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウであって、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じたサイズのウインドウを前記画像に設定すると共に、該ウインドウ内の画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段と、
   を含む環境認識装置。
3. 前記特徴量抽出手段は、前記注目画素または前記注目領域の距離情報が示す距離が遠くなるほど前記ウインドウのサイズを小さくする請求項２記載の環境認識装置。
4. 請求項１記載の距離画像生成装置と、
   前記画像内の注目画素及び注目画素の周辺に存在する周辺画素を含む領域、または前記画像内の複数の画素からなる注目領域及び注目領域の周辺に存在する周辺画素を含む領域で表されるウインドウを前記画像に設定すると共に、前記距離画像生成手段により生成された距離画像から得られる前記注目画素又は前記注目領域に対応した距離情報に応じて、設定したウインドウ内の解像度を変更し、該ウインドウ内の解像度が変更された画素から前記注目画素または前記注目領域の特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段により抽出された特徴量と、予め求めておいた対象物毎の特徴量とを比較することにより対象物を識別する識別手段と、
   を含む環境認識装置。
5. 前記路面推定手段は、前記識別手段による識別結果に基づいて、路面と識別された領域に含まれる分割領域が路面と推定されるように、再度、路面領域の推定を行う請求項２〜請求項４のいずれか１項記載の環境認識装置。
6. 前記路面推定手段は、被写体を撮像することにより順次得られる画像を順次処理する場合において、先に得られた画像に対する前記識別手段による識別結果に基づいて、路面と識別された領域に含まれる分割領域が路面と推定されるように、路面領域の推定を修正する請求項２〜請求項５のいずれか１項記載の環境認識装置。
7. 前記特徴量抽出手段は、紫外域から赤外域までの複数の異なる波長帯の光を用いて撮像された複数の画像に基づいて、前記注目画素または前記注目領域の特徴量を抽出する請求項２〜請求項６のいずれか１項記載の環境認識装置。
8. 前記領域分割手段は、前記識別手段による識別結果に基づいて、同じ対象物に対する分割領域が同じ分割領域となるように、再度、領域の分割を行う請求項２〜請求項７のいずれか１項記載の環境認識装置。
9. 前記距離画像生成手段は、前記識別手段により空領域と識別された領域の画素の距離情報が無限遠となるように、再度、距離画像の生成を行う請求項２〜請求項８のいずれか１項記載の環境認識装置。
10. 前記領域分割手段は、被写体を撮像することにより順次得られる画像を順次処理する場合において、先に得られた画像に対する前記識別手段による識別結果に基づいて、同じ対象物に対する分割領域が同じ分割領域となるように、領域の分割を修正する請求項２〜請求項９のいずれか１項記載の環境認識装置。
11. コンピュータを、
    被写体を撮像することにより得られた画像を、同一色の画素又は同一明度の画素が同一分割領域に含まれるように、複数の分割領域に分割する領域分割手段と、
    前記画像の特徴点となる画素に対応する距離情報を算出する距離情報算出手段と、
    前記領域分割手段により分割された分割領域に基づいて、路面領域となる分割領域を推定する路面推定手段と、
    前記領域分割手段により分割された同一の分割領域に存在する複数の特徴点となる画素の距離情報に基づいて、分割領域毎に前記特徴点となる画素以外の画素の距離情報を補完する際に、前記路面推定手段により路面領域となると推定された分割領域では、横方向の画素の距離情報が同一または略同一となり、前記路面領域となると推定された分割領域以外の分割領域では、縦方向の画素の距離情報が同一または略同一となるように前記特徴点となる画素以外の画素の距離情報を補完して距離画像を生成する距離画像生成手段と、
    して機能させるための距離画像生成プログラム。