JP4510554B2 - 立体物監視装置 - Google Patents

Description

本発明は、立体物監視装置に係り、特に、立体物との距離を計測し、得られた距離データに基づいて外部の状況を把握する立体物監視装置に関する。

近年、装置の外部環境の中から特定の立体物を抽出して監視する立体物監視装置や立体物監視方法等の技術の開発が種々の産業分野で進められている。

例えば、自動車産業の分野では、自動車等の車両にカメラやレーダ等を搭載して自車両の前方の車両や障害物を検出し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的に自車両のブレーキを作動させて減速や停止をさせたり、あるいは、先行車両との車間距離を安全に保つように自動的に自車両の走行速度を調整する等の技術が活発に開発されている（例えば、特許文献１乃至特許文献７等参照）。

特に、特許文献１では、車外の物体の距離分布を示す擬似画像に基づいて、先行車両や障害物等の物体と道路に沿った構造物とを同一の処理によって検出することで、従来、正確な検出が困難であった斜め前方の車両の位置や挙動を正確に検出して認識し、かつ、計算処理を低減することができる立体物監視装置が提案されている。

また、特許文献２では、特許文献１と同様に擬似画像から先行車両等を検出する際に、前回の認識処置で検出された先行車両等の立体物の現在位置を推定するなど既検出の立体物の情報を効果的に利用してデータ処理量を減少させるとともに遠方の立体物に対する認識を確実なものとし、検出精度および信頼性がより向上された立体物監視装置が提案されている。
特開平１０−２８３４６１号公報 特開平１０−２８３４７７号公報 特開平５−２６５５４７号公報 特開平６−２６６８２８号公報 特開２００４−１８５１０５号公報 特開２００４−１８９１１６号公報 特開２００４−１９８３２３号公報

前記特許文献１および特許文献２に記載の立体物監視装置では、自車両前方の先行車両等の立体物を、“物体”や“側壁”として平面的に検出し（後述する図１１等参照）、さらに“物体”と“側壁”との交点をコーナー点として把握して立体物を認識する。このような認識方法をとると、実際には、多数の先行車両等のほかにも道路わきの植え込みの枝の張り出し等を含め、数多くの“物体”や“側壁”、コーナー点が検出される。

しかしながら、前記の装置では、このようにして検出された立体物のすべてを監視して衝突の危険性を吟味していたため、装置の計算負荷が大きなものとなっていた。また、監視すべき障害物が多数検出されることにより、植え込みの枝などの本来衝突の危険性のない障害物に対して誤って警報を発する可能性があった。

さらに、警報の確度を上げるためには、ＣＣＤカメラ等のステレオ撮像装置から送られてくる一定フレーム数の画像で連続して危険であると判断されて初めて警報を発する等の方法がとられるが、従来の装置では、前記計算負荷により、必ずしも短時間に計算を行うことができず、警報を発するまでに時間がかかってしまうことがあった。

そのため、このような立体物監視装置では、監視すべき障害物等の立体物を絞り込み、かつ、その絞り込みが簡単な方法でしかも合理的に行われることが必要であり、そのような立体物監視装置が望まれていた。

そこで、本発明は、簡単な方法で監視すべき立体物を絞り込むことが可能で、その絞込みにより計算負荷を低減することが可能な立体物監視装置を提供することを目的とする。

前記の問題を解決するために、請求項１に記載の立体物監視装置は、
立体物までの距離を計測する距離計測手段と、
前記距離計測手段により得られた前記立体物までの距離の分布から前記立体物までの距離データを求め、前記距離データを複数のグループに分け、各グループ毎に前記立体物の位置および速度を算出するグループ化手段と、
前記立体物のパラメータとして、前記立体物が周囲の立体物に対して相対的に前記距離計測手段側に突出している度合を、前記立体物までの前記距離データに基づいて、数値として算出する突出度合算出手段と
を備え、
前記突出度合算出手段は、前記立体物の突出度合の数値に基づいて、立体物の中から監視すべき立体物を選出するように構成されていることを特徴とする。

請求項１に記載の発明によれば、距離計測手段により立体物までの距離を計測し、その結果に基づいてグループ化手段で距離データをグループ化し、突出度合算出手段では、立体物までの距離データをもとに立体物が周囲の立体物に対して相対的にどの程度装置側に突出しているかを数値として算出し、突出度合が算出された全立体物のうち、周囲の立体物に対して相対的に装置側に突出している立体物のみを監視すべき立体物として選出する。

請求項２に記載の発明は、請求項１に記載の立体物監視装置において、前記突出度合算出手段は、前記距離データに基づき、前記距離データがどの立体物に所属するかを判断して前記立体物の突出度合を算出するように構成されていることを特徴とする。

請求項２に記載の発明によれば、突出度合算出手段では、グループ化手段によりグループ化された立体物に所属する距離データを割り出し、その立体物に所属するすべての距離データをもとに立体物が周囲の立体物に対して相対的にどの程度装置側に突出しているかを数値として算出する。

請求項３に記載の発明は、請求項２に記載の立体物監視装置において、前記突出度合算出手段は、前記距離計測手段の視野を水平方向に複数の区分に分割し、各区分に対応する前記距離データについて近傍の区分の距離データとの平滑値を算出し、前記平滑値と前記距離データとの差分に基づいて当該区分の突出度合を算出し、立体物毎に当該立体物に所属する区分の突出度合の合計に基づいて立体物の突出度合を算出するように構成されていることを特徴とする。

請求項３に記載の発明によれば、距離計測手段の視野を短冊状の区分に分割し、各区分の距離データについて近傍の区分の距離データとの平滑値を算出し、その平滑値を基準として各区分の突出度合を算出し、立体物に所属する区分の突出度合を合計して立体物の突出度合を算出する

請求項４に記載の発明は、請求項３に記載の立体物監視装置において、前記突出度合算出手段は、前記各区分の平滑値として、各区分に対応する距離データの時間的な平均値または時間的に重み付けされた平均値を用いて算出された平滑値を用いることを特徴とする。

請求項４に記載の発明によれば、突出度合算出手段における各区分の平滑値の算出において、現在処理の対象となっている距離データのみならず、すでに処理された距離データをも用いて距離データの時間的な平均、あるいは時間的に重み付けされた平均をとり、その値を平滑値として用いる。

請求項５に記載の発明は、請求項３に記載の立体物監視装置において、前記突出度合算出手段は、前記各区分の平滑値として、以前に算出された各区分の平滑値の時間的な平均値または時間的に重み付けされた平均値を用いることを特徴とする。

請求項５に記載の発明によれば、前記請求項４のように距離データの時間的（重み付け）平均を用いる代わりに、各区分の平滑値の時間的な平均、あるいは時間的に重み付けされた平均をとってその値を平滑値として用いる。

請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の立体物監視装置において、前記突出度合算出手段は、算出した前記立体物の突出度合の大きい順に所定の個数の立体物のみを監視すべき立体物として選出するように構成されていることを特徴とする。

請求項６に記載の発明によれば、突出度合算出手段では、算出された各立体物の突出度合を大きい順に並べたリストを作成し、そのリストに基づいて所定数の上位の立体物を監視すべき立体物として選出する。

請求項７に記載の発明は、請求項１から請求項５のいずれか一項に記載の立体物監視装置において、前記突出度合算出手段は、算出した前記立体物の突出度合が所定の閾値を越える立体物のみを監視すべき立体物として選出するように構成されていることを特徴とする。

請求項７に記載の発明によれば、前記請求項６のように突出度合が大きい所定数の立体物を選出する代わりに、突出度合が所定の閾値を越えた立体物を監視すべき立体物として選出する。

請求項８に記載の発明は、請求項１から請求項７のいずれか一項に記載の立体物監視装置において、前記グループ化手段は、検出される立体物を時間的に追跡するように構成されていることを特徴とする。

請求項８に記載の発明によれば、グループ化手段は、以前に検出しグループ化した立体物についてのパラメータを使って現在検出の対象となっている立体物を検出して立体物を時間的に追跡する。

請求項９に記載の発明は、請求項１から請求項８のいずれか一項に記載の立体物監視装置において、前記グループ化手段は、前記突出度合算出手段において算出された各立体物の突出度合の算出結果に基づいて、グループ化の順番を決定するように構成されていることを特徴とする。

請求項９に記載の発明によれば、グループ化手段における距離データのグループ化を、突出度合算出手段において作成された突出度合に関するリストに基づいて、例えば、突出度合が大きい順にグループ化を行う。

請求項１０に記載の発明は、請求項１から請求項９のいずれか一項に記載の立体物監視装置において、前記距離計測手段は、ステレオ撮像装置で撮像した１対の画像の相関を求め、同一の立体物に対する視差から三角測量の原理によりその立体物までの距離を算出する基となる対応する位置のずれ量を求めるように構成されていることを特徴とする。

請求項１０に記載の発明によれば、距離計測手段は、複数の撮像装置により撮像された画像から立体物に対する画素のずれ量を求め、そのずれ量から三角測量の原理に基づいて立体物までの距離を算出する。

請求項１１に記載の発明は、請求項１から請求項１０のいずれか一項に記載の立体物監視装置において、撮像された画像、計測された距離データ、または検出された立体物に関する各種パラメータを図形または文字で表示する表示手段を備えることを特徴とする。

請求項１１に記載の発明によれば、表示手段のモニタ等に、撮像された画像と検出された立体物を囲う枠線等を表示したり、計測された距離データや立体物に関する各種パラメータを図形や文字で表示する。

請求項１２に記載の発明は、請求項１から請求項１１のいずれか一項に記載の立体物監視装置において、前記突出度合算出手段で選出された立体物を他の立体物と区別して表示する表示手段を備えたことを特徴とする。

請求項１２に記載の発明によれば、例えば、表示手段のモニタ等に表示される選出された立体物を囲う枠線の色を他の立体物を囲う枠線とは別の色で表示したり、選出された立体物のみを枠線で囲って表示したりする。

請求項１に記載の発明によれば、距離計測手段により立体物までの距離を計測し、その結果に基づいてグループ化手段で距離データをグループ化し、突出度合算出手段では、立体物までの距離データをもとに立体物が周囲の立体物に対して相対的にどの程度装置側に突出しているかを数値として算出する。そのため、装置側への立体物の突出度合を基準にして装置への接近や衝突する可能性や危険性があるか否かを判断すべき立体物を自動的に絞り込むことができ、遠く離れた立体物などの注意を払う必要のない立体物についてその後の処理を行う必要がなくなるため、処理の計算負荷を低減することが可能となると同時に、処理時間の短縮を図ることができる。
また、突出度合算出手段は、突出度合が算出された全立体物のうち、周囲の立体物に対して相対的に装置側に突出している立体物のみを監視すべき立体物として選出するため、前記各請求項に記載の発明の効果に加え、単純な基準により立体物を絞り込むことができ、より簡単に監視すべき立体物を絞り込むことが可能となる。

請求項２に記載の発明によれば、突出度合算出手段では、グループ化手段によりグループ化された立体物に所属する距離データを割り出し、その立体物に所属するすべての距離データをもとに立体物が周囲の立体物に対して相対的にどの程度装置側に突出しているかを数値として算出するため、立体物の検出がより正確になり、前記請求項１に記載の発明における立体物の絞り込みをより正確に行うことが可能となる。

請求項３に記載の発明によれば、距離計測手段の視野を短冊状の区分に分割し、各区分の距離データについて近傍の区分の距離データとの平滑値を算出し、その平滑値を基準として各区分の突出度合を算出し、立体物に所属する区分の突出度合を合計して立体物の突出度合を算出する。そのため、前記各請求項に記載の発明の効果に加え、突出度合の基準として簡単に算出可能な平滑値を用い、平滑値の算出のために距離計測手段により得られた画像を短冊状の区分に分割する作業も機械的に簡単に行うことができるから、立体物が装置側に突出しているか否かの判断を容易かつ迅速に行うことが可能となる。

請求項４に記載の発明によれば、突出度合算出手段における各区分の平滑値の算出において、現在処理の対象となっている距離データのみならず、すでに処理された距離データをも用いて距離データの時間的な平均、あるいは時間的に重み付けされた平均をとり、その値を平滑値として用いる。そのため、前記各請求項に記載の発明の効果に加え、特に、装置に対して接近してくる立体物に対する感度を向上させることが可能となる。

請求項５に記載の発明によれば、各区分の平滑値の時間的な平均、あるいは時間的に重み付けされた平均をとってその値を平滑値として用いる。このようにしても、請求項４に記載の発明と同様に、特に、装置に対して接近してくる立体物に対する感度を向上させることができるという効果が得られる。

請求項６に記載の発明によれば、突出度合算出手段では、算出された各立体物の突出度合を大きい順に並べたリストを作成し、そのリストに基づいて所定数の上位の立体物を監視すべき立体物として選出するため、前記各請求項に記載の発明の効果に加え、装置に対してより突出した位置にある立体物を監視の対象として選出することが可能となり、処理の対象を一定数に保つことで計算負荷が低減された状態を維持することが可能となる。

請求項７に記載の発明によれば、突出度合が所定の閾値を越えた立体物を監視すべき立体物として選出するため、前記各請求項に記載の発明の効果に加え、突出の度合がある一定の大きさ以上である立体物のすべてを監視の対象として選出することが可能となり、装置の信頼性を向上させることができる。

請求項８に記載の発明によれば、グループ化手段は、以前に検出しグループ化した立体物についてのパラメータを使って現在検出の対象となっている立体物を検出して立体物を時間的に追跡するため、前記各請求項に記載の発明の効果に加え、監視すべき立体物を的確に追跡することが可能となり、警報を発する等の処理をより正確かつ確実に行うことが可能となる。

請求項９に記載の発明によれば、グループ化手段における距離データのグループ化を、突出度合算出手段において作成された突出度合に関するリストに基づいて、例えば、突出度合が大きい順にグループ化を行うため、前記各請求項に記載の発明の効果に加え、監視すべき突出度合が大きい立体物を、誤って突出度合が小さい立体物と一緒にまとめてグループ化してしまうことを有効に防止することができ、より確実かつ的確に監視すべき立体物を絞り込むことが可能となる。

請求項１０に記載の発明によれば、距離計測手段は、複数の撮像装置により撮像された画像から立体物に対する画素のずれ量を求め、そのずれ量から三角測量の原理に基づいて立体物までの距離を算出する。そのため、前記各請求項に記載の発明の効果に加え、検出すべき立体物までの距離を簡単かつ正確に求めることが可能となる。

請求項１１に記載の発明によれば、表示手段のモニタ等に、撮像された画像と検出された立体物を囲う枠線等を表示したり、計測された距離データや立体物に関する各種パラメータを図形や文字で表示する。そのため、前記各請求項に記載の発明の効果に加え、車両の運転者等の装置のオペレータに装置の処理結果を明確に伝えることが可能となる。

請求項１２に記載の発明によれば、例えば、表示手段のモニタ等に表示される選出された立体物を囲う枠線の色を他の立体物を囲う枠線とは別の色で表示したり、選出された立体物のみを枠線で囲って表示したりすることで、前記各請求項に記載の発明の効果に加え、装置のオペレータに対し、監視すべき立体物を的確に伝え、注意を喚起することが可能となる。

以下、本発明の立体物監視装置および立体物監視方法に係る実施の形態について、図面を参照して説明する。

以下の第１および第２の実施形態では、立体物監視装置および立体物監視方法として、自動車等の車両に搭載され、車両前方の先行車両等を監視する、いわゆる車外監視装置および車外監視方法について述べる。しかし、本発明の立体物監視装置および立体物監視方法は、下記の実施形態に限定されることはなく、この他にも、例えば、走行型人工知能ロボットの外界認識装置および方法や警備用等に用いられる据え付け型監視装置および方法等としても使用することが可能である。

［第１の実施の形態］
図１は、本実施形態の立体物監視装置の全体構成を示すブロック図であり、図２は、図１の立体物監視装置の回路ブロック図である。立体物監視装置１は、車両Ａに搭載されており、距離計測手段としての距離計測装置２と、グループ化手段および突出度合算出手段としての画像処理装置３と、表示手段としての表示警報装置４とを備えており、さらに車速センサ５や舵角センサ６等が接続されている。

距離計測装置２は、ステレオ撮像装置２１、イメージプロセッサ２２およびメモリ２３等から構成されている。ステレオ撮像装置２１は、車両Ａのフロントガラス内側に前方の視野領域を撮像可能な状態に間隔をおいて取り付けられた２台の撮像装置２１ａ、２１ｂより構成されている。本実施形態では、撮像装置２１ａ、２１ｂとして、電荷結合素子（ＣＣＤ）等の固体撮像素子を用いたＣＣＤカメラがそれぞれ用いられている。

イメージプロセッサ２２は、撮像装置２１ａ、２１ｂで撮像された１対の画像（図３参照。ただし、図３では、２つの撮像装置で撮像された２画像のうちの１画像のみを示す。）の相関を求め、いわゆるステレオ法により同一の立体物に対する視差から三角測量の原理によりその立体物までの距離を算出する基となる対応する位置のずれ量を求めるようになっている。

より具体的には、イメージプロセッサ２２は、撮像装置２１ａ、２１ｂで撮像した１対の画像に対して、一方の画像における４×４画素を１ブロックとした小領域に対して他方の画像の同様の小領域を１画素ずつずらしながらいわゆるマッチング処理を行い、対応する位置のずれ量（以下、画素ずれ量ｄｐという。）を画像中の全画素について求めるようになっている。

ただし、画像の小領域内の横方向の隣接画素間の輝度差が小さくマッチング処理を行い難い場合等には、画素ずれ量ｄｐとして０を出力するように規制されているため、有効な画素ずれ量ｄｐを有する画素を点で示すとすれば、撮像装置２１ａ、２１ｂで撮像された画像は、図４に示すように、画像のような形態をした擬似画像（以下、距離画像という。）に変換される。

すなわち、距離画像は、撮像装置２１ａ、２１ｂの視野内の立体物のうち、左右方向に隣り合う画素間で明暗変化が大きい輪郭部分にのみ有効な画素ずれ量ｄｐのデータを持つ擬似画像となる。距離画像において点が示されていない画素、すなわち、画素ずれ量ｄｐの値が０である画素については、以下の画像処理装置３における処理では無視されるようになっている。

画素毎の画素ずれ量ｄｐの値（すなわち、距離画像）は、イメージプロセッサ２２から出力され、メモリ２３に保存されるようになっている。

なお、以上の距離計測装置２の構成や機能について、および以下に述べる画像処理装置３の道路形状検出部３４の構成および機能については、本出願人により先に提出された前記特許文献３および特許文献４に詳述されている（特許文献３等では、距離計測装置は「ステレオ画像処理装置」と、画像処理装置の道路形状検出装置は「道路・側壁検出装置」と記載されている。）。

画像処理装置３は、システムバス３１にインターフェース回路３２、Ｉ／Ｏインターフェース回路３３、道路形状検出部３４、立体物検出部３５、突出度合監視部３６、メモリ３７および表示警報制御部３８のほか、図示しないＲＡＭやＲＯＭ等が接続されて構成されている。

インターフェース回路３２は、前述した距離計測装置２のメモリ２３に接続されており、Ｉ／Ｏインターフェース回路３３は、車速センサ５および舵角センサ６にそれぞれ接続されている。また、道路形状検出部３４、立体物検出部３５および突出度合監視部３６は、本実施形態では、それぞれシステムバス３１に並列に接続されたマイクロプロセッサより構成されている。なお、道路形状検出部３４、立体物検出部３５および突出度合監視部３６のうちの２つまたはすべてを同一のプロセッサで制御するように構成することも可能である。

画像処理装置３では、前記距離計測装置２で得られた距離画像上の点を実空間の座標系に座標変換して３次元的に把握し、道路形状の認識や立体物の位置や速度を算出し、立体物が周囲の立体物に対して相対的に手前側に突出している度合を算出して立体物を監視するように構成されている。

ここで、この座標変換について簡単に述べる。図４に示したように距離画像の左下隅を原点として横方向をｉ座標軸、縦方向をｊ座標軸とし、その点のｉ座標およびｊ座標にその点に対応する画素ずれ量ｄｐを付記して距離画像上の点を（ｉ，ｊ，ｄｐ）と表し、一方、実空間の３次元の座標系を自車両Ａに固定の座標系とし、図５（Ａ）および図５（Ｂ）に示すように、Ｘ軸を車両Ａの進行方向に向かって右方向、Ｙ軸を車両Ａの上方向、Ｚ軸を車両Ａの前方向とし、原点を２台の撮像装置２１ａ、２１ｂの中央真下の道路面上の点とした場合、距離画像上の点（ｉ，ｊ，ｄｐ）から実空間上の点（ｘ，ｙ，ｚ）への座標変換は、下記の（１）式乃至（３）式に基づいて行われる。
ｘ＝ＣＤ／２＋ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
ｙ＝ＣＨ＋ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
ｚ＝ＣＤ／（ＰＷ×ｄｐ） …（３）

ここで、ＣＤは２台の撮像装置２１ａ、２１ｂの間隔、ＰＷは１画素当たりの視野角、ＣＨは２台の撮像装置２１ａ、２１ｂの取り付け高さ、ＩＶおよびＪＶは車両Ａの正面の無限遠点の距離画像上のｉ座標およびｊ座標を表す。また、実空間上の点の座標（ｘ，ｙ，ｚ）は、Ｉ／Ｏインターフェース回路３３を介して入力される車速センサ５や舵角センサ６からのデータにより適宜修正されるようになっている。

なお、実空間上の点（ｘ，ｙ，ｚ）から距離画像上の点（ｉ，ｊ，ｄｐ）への座標変換は、前記（１）式乃至（３）式の逆演算である下記の（４）式乃至（６）式に基づいて行われる。
ｉ＝（ｘ−ＣＤ／２）／（ｚ×ＰＷ）＋ＩＶ …（４）
ｊ＝（ｙ−ＣＨ）／（ｚ×ＰＷ）＋ＪＶ …（５）
ｄｐ＝ＣＤ／（ＰＷ×ｚ） …（６）

道路形状検出部３４は、距離計測装置２のメモリ２３に記憶された距離画像から前記（１）式乃至（３）式に基づいて実空間上の点に座標変換し、その中から実際の道路上の白線のみを分離して抽出し、道路上の白線を下記の（７）式および（８）式で表される直線の折れ線で近似して道路形状を認識するように構成されている。
ｘ＝ａ×ｚ＋ｂ …（７）
ｙ＝ｃ×ｚ＋ｄ …（８）

得られた直線式の道路形状パラメータａ、ｂ、ｃ、ｄは、メモリ３７（図２参照）に送信されて保存されるようになっている。

道路形状検出部３４の構成および機能については特許文献３および特許文献４に、また、以下に述べる立体物検出部３５の構成および機能については特許文献１および特許文献２にそれぞれ詳述されている。

立体物検出部３５は、道路形状検出部３４で検出された道路形状に基づいて、道路表面より上側にあるデータを立体物データとして抽出し、検出された立体物の位置が互いに近接するデータを１つのグループにまとめ、各グループを、データが略Ｘ軸方向に並ぶ場合には“物体”として、また、データが略Ｚ軸方向に並ぶ場合には“側壁”として立体物を検出するようになっている。

より具体的に言えば、立体物検出部３５は、距離画像を水平方向に所定間隔（例えば、８〜２０画素間隔）で区分し（図６参照）、各区分に含まれる距離画像上の各点（ｉ，ｊ，ｄｐ）を前記（１）式乃至（３）式に従って実空間上の点（ｘ，ｙ，ｚ）に変換するようになっている。すなわち、特に、前述した距離計測装置２のイメージプロセッサ２２において画素ずれ量ｄｐを求めたことは、前記（３）式に基づく変換により、実空間上の点の距離ｚを計測したことに対応づけられる。

そして、立体物検出部３５は、前記道路形状検出部３４により得られた前記道路形状パラメータａ、ｂ、ｃ、ｄから得られる道路形状に基づいて、それらの実空間上の点の中から道路表面より上側にある点を抽出し、予め設定された間隔に分けられた距離方向の区間（図７参照）に含まれる点を数えて距離ｚに関するヒストグラムを作成するように構成されている。

さらに、立体物検出部３５は、ヒストグラムの度数が予め設定された判定値以上でかつ最大値となる区間に立体物が存在すると判断し、その度数が最大値となる区間までの距離をその立体物までの距離データとして検出するようになっている。立体物検出部３５は、この各区分毎の距離データの検出を全区分について行うように構成されており、それにより、図８に示すように、実空間上で立体物の自車両Ａに面した部分に多少バラツキを持った距離データが検出されるようになっている（以下、この処理を距離データ検出という。）。得られた各区分毎の距離データは、それぞれの区分に対応付けられてメモリ３７に保存されるようになっている。

また、立体物検出部３５は、各距離データをグループ化し（図９参照）、距離データが略Ｘ軸方向に並ぶグループには“物体”とラベルし、距離データが略Ｚ軸方向に並ぶグループには“側壁”とラベルして（図１０参照）、“物体”および“側壁”をそれぞれ立体物を検出するようになっている。

また、立体物検出部３５は、図１０中の“物体２”と“側壁３”または“側壁４”と“物体６”のように、“物体”と“側壁”とがそれぞれ１つの立体物に属する場合には、“物体”と“側壁”との組み合わせを立体物として認識し、“物体２”と“側壁３”との境目または“側壁４”と“物体６”との境目のような立体物の角部をコーナー点Ｃとして算出するように構成されている。立体物検出部３５は、“物体”、“側壁”およびコーナー点Ｃの位置および速度等のパラメータを算出しメモリ３７に保存するように構成されている。

本実施形態では、この検出結果を表示警報装置４のモニタに表示するように構成されている。具体的には、図１１に示すように、撮像装置で撮像された元の画像（図３参照）の立体物に、立体物検出部３５で得られた“物体”および“側壁”をそれぞれ示す枠線を重ね合わせて表示するようになっている。表示警報装置４は、その他、例えば、計測された距離データや検出された立体物に関する各種パラメータを図形や文字で表示するように構成されていてもよい。

また、立体物検出部３５は、撮像装置２１ａ、２１ｂで撮像された画像に基づいて距離計測装置２から順次出力される距離画像から前記距離データ検出を行うと同時に、検出された立体物を時間的に追跡するように構成されている。その詳細については特開平１０−２８３４７７号公報に記載されているが、ここで、簡単にその要点を示す。

立体物検出部３５は、前記グループ化等を行おうとしている今回の距離画像について前記距離データ検出を終了した段階（図８参照）で、図１２に示すように、前回のグループ化で（すなわち、撮像装置２１ａ、２１ｂで撮像された１フレーム前の画像から形成された距離画像に基づくグループ化で）ラベルされた“物体”や“側壁”の位置および速度を利用して、それらの値から、その“物体”や“側壁”が今回検出されると推定される領域を設定し、その領域内にある今回検出されたすべての距離データを“物体”または“側壁”の候補としてグループ化するようになっている（以下、この処理を物体候補・側壁候補検出という。）。

また、立体物検出部３５は、前記コーナー点を有する立体物に関しては、前回検出されたコーナー点の位置と速度から今回検出されるべきコーナー点の位置を推定し、その位置を中心に距離データを探索して正確なコーナー点を検出するようになっている。そして、そのコーナー点が、例えば、前述した“物体２”と“側壁３”との境目としてのコーナー点であれば、この今回検出されたコーナー点を境目として距離データを“物体２”と推定される距離データと“側壁３”と推定される距離データとにグループ化して、物体と側壁の組み合わせとしての立体物の候補のグループとするように構成されている（以下、この処理を立体物候補検出という。）。

さらに、立体物検出部３５は、今回の距離データ検出で各区分毎に検出された距離データのうち、前記物体候補・側壁候補検出および立体物候補検出でグループ化されていない新たに視野に入ってきた残りの距離データについて、それらをグループ化して“物体”または“側壁”のラベル付けを行うとともに、既に前記物体候補・側壁候補検出および立体物候補検出で検出された“物体”や“側壁”と一体であると判断されるものについてはそれらと再結合し、また、コーナー点が認識されればコーナー点を算出するようになっている（以下、この処理を新規立体物検出という。）。

このように、立体物検出部３５は、前記の物体候補・側壁候補検出、立体物候補検出および新規立体物検出によって、すでに検出された立体物の位置および速度から今回検出される立体物の位置を推定してグループ化し、或いは、新規の立体物については新たに“物体”または“側壁”のラベル付けを行うことにより、検出された立体物を時間的に追跡するように構成されている。

次に、画像処理装置３の突出度合監視部３６（図２参照）は、前記立体物検出部３５における距離データ検出で得られた各区分毎の距離データに基づいて各区分の突出の度合を算出し、それに基づいて各立体物について突出の度合を算出して監視すべき立体物を選び出すように構成されている。

具体的には、突出度合監視部３６は、本実施形態では、図１３に示すように、各区分に対応する距離データ（図１３（Ｂ）参照）について、自区分の距離データおよび左右の所定の区分数（例えば、３個ずつ）の区分の距離データの平均値（例えば、７個分の距離データの平均値）を各区分についての平滑値として算出するように構成されている（図１３（Ｃ）参照）。なお、図１３（Ａ）は、図１１と同一の図であり、各区分の距離データ等と立体物（正確には“物体”および“側壁”のグループ）との対応を明確にするために縦線が付されている。

そして、突出度合監視部３６は、その平滑値を用いて下記の（９）式に基づいて各区分の突出度合を算出するように構成されている（図１３（Ｄ）参照）。
（区分の突出度合）＝（（平滑値）−（距離データ））／（平滑値） …（９）

さらに、突出度合監視部３６は、このようにして得られた各区分の突出度合を、立体物の“物体”または“側壁”のそれぞれのグループに所属する全区分について合計して、それぞれのグループ、すなわち、立体物について突出度合を算出するように構成されている。つまり、平滑化された各立体物の中から手前側に突出する立体物の突出度合を数値として算出するように構成されている。このようにして算出された立体物についての突出度合は“物体”または“側壁”の各グループのパラメータとしてメモリ３７に保存されるようになっている。

立体物の突出度合の算出においては、前記のように立体物に所属する全区分について各区分の突出度合を合計する代わりに、例えば、立体物に所属する各区分の突出度合の最大値をその立体物の突出度合として算出するように構成することも可能である。

本実施形態では、突出度合監視部３６は、このようにして算出された立体物の突出度合に応じて、その値が大きい順に所定の個数（例えば、３個）の立体物を選出し、監視すべき立体物としてメモリ３７に記憶させるように構成されている。

なお、突出度合監視部３６における監視すべき立体物の選出について、前述した構成のほかにも、例えば、前記立体物の突出度合が所定の閾値を越える立体物のみを選出するように構成したり、或いは、例えば、前記所定の閾値を０に設定し、立体物の突出度合が正の値をとるものを選出するように構成されていてもよい。

表示警報制御部３８（図２参照）は、前記突出度合監視部３６で監視すべき立体物が選出されると、図１１に示した“物体”および“側壁”をそれぞれ示す枠線のうち、その立体物に対応する“物体”および“側壁”の枠線を他の立体物とは異なる色（例えば赤色）で表示するように表示警報装置４に指示を出すようになっている。このように、選出された立体物を他の立体物と区別して表示する方法としては、この他にも、例えば、選出された立体物のみを枠線で囲うようにしたり、選出された立体物に対応する部分の画像を着色して表示したり、あるいは、選出された立体物を文字で指摘するように構成して、運転者の注意を喚起することも可能である。

また、表示警報制御部３８は、突出度合監視部３６で選出された立体物についてその位置や速度等のパラメータから自車両との衝突の危険性等を判断し、表示警報装置４に警報を発するように指示を出し、図示しないアクチュエータ類を制御して自車両を減速または停止させたり、あるいは、先行車両との車間距離を安全に保つように自車両の走行速度を調整する等の制御を行うように構成されている。詳細については、特許文献３および特許文献４に記載されている。

次に、本実施形態の立体物監視装置を用いた立体物監視方法について説明する。立体物監視方法は、距離計測処理、グループ化処理、突出度合算出処理および表示処理よりなるが、距離計測処理および表示処理については前述した立体物監視装置１の距離計測装置２および表示警報装置４の説明で述べたとおりであり、ここでは、グループ化処理および突出度合算出処理について述べる。

図１４は、本実施形態の立体物監視方法における処理の手順を示すフローチャートである。グループ化処理では、前述したように、距離計測処理で得られた距離画像を水平方向に区分し（図６参照）、各区分に含まれる距離画像上の各点（ｉ，ｊ，ｄｐ）を前記（１）式乃至（３）式に従って実空間上の点（ｘ，ｙ，ｚ）に変換し、それらの実空間上の点の中から道路表面より上側にある点を抽出して、各区分毎にその区分に含まれる点について距離に関するヒストグラムを作成して（図７参照）、その度数が最大値となる区間までの距離をその立体物までの距離データとして検出する（ステップＳ１）。

そして、今回得られた各区分毎の距離データ（図８参照）について、前回のグループ化でラベルされた“物体”や“側壁”の位置および速度の値から、その“物体”や“側壁”が今回検出されると推定される領域を設定し（図１２参照）、その領域内にある今回検出されたすべての距離データを“物体”または“側壁”の候補としてグループ化する（ステップＳ２）。

また、コーナー点Ｃ（図１０参照）を有する立体物に関しては、前回検出されたコーナー点の位置と速度から今回検出されるべきコーナー点の位置を推定して正確なコーナー点を検出し、そのコーナー点が、例えば、前述した“物体２”と“側壁３”との境目としてのコーナー点であれば、この今回検出されたコーナー点を境目として距離データを“物体２”と推定される距離データと“側壁３”と推定される距離データとにグループ化して、物体と側壁の組み合わせとしての立体物の候補のグループとする（ステップＳ３）。

さらに、今回の距離データ検出で各区分毎に検出された距離データのうち、前記処理でグループ化されていない残りの距離データについては、それらをグループ化して“物体”または“側壁”のラベル付けを行うとともに、既に検出された“物体”や“側壁”と一体であると判断されるものについてはそれらと再結合し、また、コーナー点が認識されればコーナー点を算出する（ステップＳ４）。以上のようにして、グループ化処理では、以前に検出された立体物の位置および速度から今回検出される立体物の位置を推定してグループ化し、或いは、新規の立体物については新たに“物体”または“側壁”のラベル付けを行うことにより、検出された立体物を時間的に追跡する。

次に、突出度合算出処理では、以上のようにして検出された立体物について突出度合を数値として算出する（ステップＳ５）。

立体物の突出度合の算出は、まず、各区分に対応する距離データ（図１３（Ｂ）参照）について、自区分の距離データおよび左右の所定の区分数の区分の距離データの平均値を各区分についての平滑値としてそれぞれ算出する（図１３（Ｃ）参照）。そして、前記（９）式に基づいて各区分の突出度合を算出し（図１３（Ｄ）参照）、このようにして得られた各区分の突出度合を、立体物の“物体”または“側壁”のそれぞれのグループに所属する全区分について合計して、立体物について突出度合を算出する。つまり、平滑化された各立体物の中から装置側（すなわち、手前側）に突出する立体物の突出度合を数値として算出する。

その際、立体物の突出度合を（平滑値）−（距離データ）として算出すると、近距離の立体物では突出度合が数ｍのオーダーで算出されるのに対し、遠距離の立体物では数十ｍのオーダーで算出されるため、近景での突出度合と遠景での突出度合を同じ重みで比較することが困難になる。本実施形態の前記（９）式のよう立体物の突出度合として（平滑値）−（距離データ）の値を平滑値で除することにより、近景と遠景とを同じ重みで比較することが可能となる。

突出度合算出処理では、さらに、装置側に突出した立体物の中から監視すべき立体物を選出する（ステップＳ６）。

監視すべき立体物の選出方法としては、算出された立体物の突出度合に応じて、その値が大きい順に所定の個数の立体物を選出し、あるいは突出度合が所定の閾値を越えた立体物を選出する。具体的には、検出されたすべての立体物（または“物体”および“側壁”）について、算出された突出度合を大きい順に並べたリストを作成する。そして、所定の個数の上位の立体物を選出し、あるいは所定の閾値を越えた立体物を選出するようにする。

例えば、突出度合が大きい上位３個の立体物を選出するように設定されている場合、図１３（Ｄ）のように立体物の突出度合が算出されると、“物体３”、“側壁５”および“側壁４”が選出される。この結果は、自車両の前方および側方の車両の走行状態が図１３（Ａ）（または図１１）のような状態である場合に、監視すべき立体物が、自車両の前方を走行しているオートバイと、右側車線を走行しているトラックおよびその後方の自動車であることに相当し、オートバイに対する追突と、トラックや自動車が自車両の走行車線に車線変更してくる場合の衝突に注意が払われていることを示している。

以上のように、本実施形態の立体物監視装置および立体物監視方法によれば、自車両前方の立体物のうち、周囲の立体物より装置側に突出している立体物が自車両に衝突や追突する可能性がある立体物であるとして、監視すべき立体物を、周囲の立体物より装置側に突出している立体物に絞り込むように構成されている。そして、その絞り込みには、自車両前方の各立体物までの距離データの平滑値を算出し、その平滑値と立体物までの距離データとの差（正確にはこれを平滑値で割ったもの）を算出するという方法が採用されており、自動的に監視すべき立体物が絞り込まれる。

このように、本実施形態の立体物監視装置および立体物監視方法では、簡単な計算で、的確に監視すべき立体物を絞り込むことが可能となる。また、このように監視すべき立体物を絞り込むことにより、自車両から遠く離れた立体物や道路わきの植え込みなど注意を払う必要のない立体物が自車両に衝突するか否かを算出し判定する必要がなくなるため、計算負荷が低減されるとともに、距離画像の処理時間が短縮される。そのため、警報を発するか否かを判断するために必要な一定フレーム数の画像の処理時間も短縮され、より素早く警報を発する等の対処が可能となる。

なお、平滑値の算出方法として、図１３に示したように今回検出された距離データのみに基づいて突出度合を算出する代わりに、時間的要素を加味するように構成することも可能である。

例えば、図１５に示すように、前々回検出された各区分の距離データ（（Ａ）参照）と、前回検出された各区分の距離データ（（Ｂ）参照）と、今回検出された各区分の距離データ（（Ｃ）参照）とを平均して各区分の距離データを求める（（Ｄ）参照）。そして、その時間平均された各区分の距離データを用いて各区分の平滑値を求め（（Ｅ）参照）、それを用いて今回距離データが検出された各区分の突出度合を算出する（（Ｆ）参照）。この場合、単純に平均値を求める代わりに時間的に重み付けされた平均値を用いてもよい。

このように構成すれば、例えば、図１５に示した“物体３”のように接近してくる立体物に対応する距離データの平均値をとると、今回検出されたその立体物に対応する距離データ（図１５（Ｃ）のＰ参照）よりも遠い位置にあるように算出される（図１５（Ｄ）のＱ参照）。そのため、平滑化により得られる平滑値（図１５（Ｅ）参照）がその立体物の部分では図１３（Ｃ）に示した場合より遠い位置に算出されるから、その立体物の突出度合が相対的に大きく算出される（図１５（Ｆ）および図１３（Ｄ）参照）。

また、上記のように、各区分の距離データの時間的な平均値または時間的に重み付けされた平均値を求めてから各区分の平滑値を算出する代わりに、以前に算出された平滑値（すなわち、前記の例で言えば、前々回、前回および今回それぞれ算出された各区分の平滑値）の時間的な平均値または時間的に重み付けされた平均値を算出して用いるように構成することも可能である。

このように、立体物の突出度合を時間的要素を加味して算出することにより、自車両に近づいてくる立体物に対する感度を向上させることができ、衝突・追突の監視という意味ではより安全性が向上された検出が可能となる。

また、本実施形態の画像処理装置３の立体物検出部３５では、物体候補・側壁候補検出等の処理を図６に示した区分のうち左側の区分から順次処理を行っていくように構成されているが、その代わりに、前回の処理で作成された突出度合を大きい順に並べた立体物のリストを参照して、より装置側に突出していた立体物を優先的に扱い、突出度合が大きい立体物から順番にグループ化等の処理を行うように構成することも可能である。

このように処理を行うことにより、本来追跡すべき突出度合が大きい立体物を、突出度合が小さい立体物と一緒にまとめてグループ化してしまうことを有効に防止することができ、より確実かつ的確に監視すべき立体物を絞り込むことが可能となる。

[第２の実施の形態]
図１６は、本発明の第２の実施形態の立体物監視装置の全体構成を示すブロック図であり、図１７は、図１６の立体物監視装置の回路ブロック図である。第１の実施形態と同様の構成の部分には第１の実施形態における符号と同じ符号を付している。

本実施形態の立体物監視装置１ａは、第１の実施形態の立体物監視装置１と同様に車両Ａに搭載されて使用されるものであるが、距離計測手段としての距離計測装置２におけるステレオ撮像装置２１（ＣＣＤカメラ）の代わりにレーザ投射受光装置２４を備え、レーザビームの走査によって立体物を検出するように構成されている。

具体的には、レーザ投射受光装置２４は、レーザビームを投射し、レーザビームが立体物に当たって反射してくる光を受光して、その投射から受光までの所要時間を測定して立体物までの距離を測定するように構成されている。また、図１８に示すように、レーザ投射受光装置２４はレーザビームを左右方向に走査して自車両Ａの前方の走査範囲内の立体物を検出するようになっている。

このレーザ投射受光装置２４による測定により、前記第１の実施形態の図８に示した距離データおよび図１３（Ｂ）に示した距離分布を直接得ることができる。これらの距離データおよび距離分布に基づいて第１の実施形態と同様に構成された画像処理装置３における処理が行われるようになっている。

このように、距離計測手段としてレーザ投射受光装置２４を用いることにより、立体物までの距離データをより容易に得ることができ、処理時間をより短縮することが可能となる。

なお、レーザビームを投射・受光する代わりに、電波を発信・受信して立体物までの距離データ等を得るように構成することも可能である。

第１の実施形態の立体物監視装置の全体構成を示すブロック図である。 図１の立体物監視装置の回路ブロック図である。 撮像装置で撮像された１対の画像のうちの一方を表す図である。 距離画像を説明する図である。 実空間における座標軸のとり方を説明する図である。 画像の区分のしかたを説明する図である。 距離に関するヒストグラムを作成するための区間を説明する図である。 検出された実空間上の距離データを説明する図である。 距離データのグループ化を説明する図である。 グループに対する“物体”および“側壁”のラベル付けを説明する図である。 元の画像に“物体”および“側壁”を示す枠線を重ね合わせて表示した状態を表す図である。 前回の検出結果に基づく今回検出された距離データのグループ化を説明する図である。 立体物の突出度合を算出する手順を説明する図である。 本実施形態の立体物監視方法における処理の手順を示すフローチャートである。 図１３の立体物の突出度合の算出手順の変形例を説明する図である。 第２の実施形態の立体物監視装置の全体構成を示すブロック図である。 図１６の立体物監視装置の回路ブロック図である。 レーザビームを投射して立体物を検出する状態を説明する図である。

符号の説明

１ 立体物監視装置
２ 距離計測装置（距離計測手段）
２１ ステレオ撮像装置
２４ レーザ投射受光装置
３ 画像処理装置（グループ化手段、突出度合算出手段）
４ 表示警報装置（表示手段）

Claims (12)

1. 立体物までの距離を計測する距離計測手段と、
   前記距離計測手段により得られた前記立体物までの距離の分布から前記立体物までの距離データを求め、前記距離データを複数のグループに分け、各グループ毎に前記立体物の位置および速度を算出するグループ化手段と、
   前記立体物のパラメータとして、前記立体物が周囲の立体物に対して相対的に前記距離計測手段側に突出している度合を、前記立体物までの前記距離データに基づいて、数値として算出する突出度合算出手段と
   を備え、
   前記突出度合算出手段は、前記立体物の突出度合の数値に基づいて、立体物の中から監視すべき立体物を選出するように構成されていることを特徴とする立体物監視装置。
2. 前記突出度合算出手段は、前記距離データに基づき、前記距離データがどの立体物に所属するかを判断して前記立体物の突出度合を算出するように構成されていることを特徴とする請求項１に記載の立体物監視装置。
3. 前記突出度合算出手段は、前記距離計測手段の視野を水平方向に複数の区分に分割し、各区分に対応する前記距離データについて近傍の区分の距離データとの平滑値を算出し、前記平滑値と前記距離データとの差分に基づいて当該区分の突出度合を算出し、立体物毎に当該立体物に所属する区分の突出度合の合計に基づいて立体物の突出度合を算出するように構成されていることを特徴とする請求項２に記載の立体物監視装置。
4. 前記突出度合算出手段は、前記各区分の平滑値として、各区分に対応する距離データの時間的な平均値または時間的に重み付けされた平均値を用いて算出された平滑値を用いることを特徴とする請求項３に記載の立体物監視装置。
5. 前記突出度合算出手段は、前記各区分の平滑値として、以前に算出された各区分の平滑値の時間的な平均値または時間的に重み付けされた平均値を用いることを特徴とする請求項３に記載の立体物監視装置。
6. 前記突出度合算出手段は、算出した前記立体物の突出度合の大きい順に所定の個数の立体物のみを監視すべき立体物として選出するように構成されていることを特徴とする請求項１から請求項５のいずれか一項に記載の立体物監視装置。
7. 前記突出度合算出手段は、算出した前記立体物の突出度合が所定の閾値を越える立体物のみを監視すべき立体物として選出するように構成されていることを特徴とする請求項１から請求項５のいずれか一項に記載の立体物監視装置。
8. 前記グループ化手段は、検出される立体物を時間的に追跡するように構成されていることを特徴とする請求項１から請求項７のいずれか一項に記載の立体物監視装置。
9. 前記グループ化手段は、前記突出度合算出手段において算出された各立体物の突出度合の算出結果に基づいて、グループ化の順番を決定するように構成されていることを特徴とする請求項１から請求項８のいずれか一項に記載の立体物監視装置。
10. 前記距離計測手段は、ステレオ撮像装置で撮像した１対の画像の相関を求め、同一の立体物に対する視差から三角測量の原理によりその立体物までの距離を算出する基となる対応する位置のずれ量を求めるように構成されていることを特徴とする請求項１から請求項９のいずれか一項に記載の立体物監視装置。
11. 撮像された画像、計測された距離データ、または検出された立体物に関する各種パラメータを図形または文字で表示する表示手段を備えることを特徴とする請求項１から請求項１０のいずれか一項に記載の立体物監視装置。
12. 前記突出度合算出手段で選出された立体物を他の立体物と区別して表示する表示手段を備えたことを特徴とする請求項１から請求項１１のいずれか一項に記載の立体物監視装置。

Images