JP3267105B2

JP3267105B2 - 物体認識装置

Info

Publication number: JP3267105B2
Application number: JP16200395A
Authority: JP
Inventors: 博富永
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1995-06-28
Filing date: 1995-06-28
Publication date: 2002-03-18
Anticipated expiration: 2017-03-18
Also published as: JPH0916782A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体認識装置に係り、
特に、自動車において先行車両の認識に用いる装置とし
て好適な物体認識装置に関する。

【０００２】

【従来の技術】従来より、画像センサの撮像データに基
づいて物体の認識を行う装置が知られている。かかる物
体認識装置では、撮像データ内から縦方向エッジ、及び
横方向エッジを検出し、得られたエッジ形状を基に物体
の認識を行う手法が一般に用いられている。撮像データ
内の縦方向エッジ、及び横方向エッジは、得られた撮像
データの輝度を画素単位で比較し、隣接する画素間に所
定値を超える輝度差が存在するか否かにより検出され
る。

【０００３】具体的には、画像センサの各画素における
輝度を横方向に隣接する画素同士で比較し、所定値を超
える輝度差が存在する場合には、それらの画素が縦方向
のエッジ点として認識される。そして、縦方向のエッジ
点が縦方向に連続して検出されれば、それらの集合が縦
方向エッジとして認識される。同様に、画像センサの各
画素における輝度を縦方向に隣接する画素同士で比較
し、所定値を超える輝度差が存在する場合には、それら
の画素が横方向のエッジ点として認識され、更に、横方
向のエッジ点が横方向に連続して検出されれば、それら
の集合が横方向エッジとして認識される。

【０００４】ところで、上記の手法を用いて物体の認識
を行う場合、対象物の輪郭が明確な直線状のエッジとし
て得られず、不連続なエッジとして検出される場合があ
る。このように対象物の輪郭が不連続なエッジとして検
出された場合、対象物の輪郭を表すエッジと、対象物の
輪郭以外の部分に対応して検出されるエッジとの区別が
困難となり、正確な物体認識を行い得ない事態が生ず
る。

【０００５】かかる問題に着目した物体認識装置として
は、特開昭６２−１２６４９９号公報に開示される如
く、エッジ点が検出された場合、エッジ点として検出さ
れた画素の周囲に隣接する数画素、例えば隣接する４画
素又は８画素をエッジ領域として認識することで、得ら
れたエッジを膨張させる装置が知られている。かかる装
置によれば、対象物の輪郭が不連続的なエッジ点として
得られる場合でも、それらのエッジ点がそれぞれ膨張さ
れるため連続的なエッジ領域を得ることができる。従っ
て、上記の物体認識装置によれば、エッジ点から直接的
に物体の認識を行う場合に比して、高い物体認識精度を
得ることができる。

【０００６】

【発明が解決しようとする課題】しかしながら、撮像デ
ータに基づいてエッジ点を検出した場合、縦方向エッジ
が横方向に近接して複数検出される場合がある。また、
同様に、横方向エッジが縦方向に近接して複数検出され
る場合がある。かかる状況下で、各エッジ点についてエ
ッジを膨張させる処理を施すと、縦方向エッジ領域、及
び横方向エッジ領域が不当に太い領域となる場合があ
る。

【０００７】撮像データ中で縦方向エッジ領域、及び横
方向エッジ領域を検出し、それらのエッジ領域に基づい
て物体の認識する場合、物体の輪郭を精度良く認識する
ためには、その輪郭に相当するエッジ領域は細いことが
望ましい。この点、不必要に太いエッジ領域が設定され
る可能性がある上記従来の物体認識装置は、物体認識精
度を常に良好に維持することができないという問題を有
するものであった。

【０００８】本発明は、上述の点に鑑みてなされたもの
であり、撮像データ内に検出されるエッジを、所定の膨
張幅内で膨張させることにより上記の課題を解決する物
体認識装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記の目的は、画像セン
サを用いて物体の認識を行う物体認識装置において、前
記画像センサの撮像領域を、所定の画素数を含む小領域
単位で格子状に区分する領域区分手段と、撮像データ中
の縦エッジ点、及び横エッジ点を検出するエッジ点検出
手段と、前記縦エッジ点を含む小領域を縦エッジ領域
と、前記横エッジ点を含む小領域を横エッジ領域とする
エッジ領域設定手段と、縦方向に連続する縦エッジ領域
群と、横方向に連続する横エッジ領域群とが交わる領域
を基に、前記物体の角点を特定する角点特定手段と、を
備える物体認識装置により達成される。

【００１０】

【作用】本発明において、画像センサは、認識の対象た
る物体を含む画像を撮像する。エッジ点検出手段は、画
像センサによって取り込まれた撮像データ内から縦エッ
ジ点、及び横エッジ点を検出する。撮像データ内に認識
の対象たる物体が撮像されている場合、ほぼその物体の
輪郭に沿って、複数の縦エッジ点、及び複数の横エッジ
点が検出される。

【００１１】領域区分手段は、画像センサの撮像領域を
格子状に区分する。格子状に区分された各小領域内に縦
エッジ点が存在する場合、エッジ領域設定手段は、その
小領域を縦エッジ領域とする。また、格子状に区分され
た各小領域内に横エッジ点が存在する場合、エッジ領域
設定手段は、その小領域を横エッジ領域とする。縦エッ
ジ領域、及び横エッジ領域は、各小領域内に複数のエッ
ジ点が存在しても常に小領域の格子幅となる。従って、
縦エッジ点が近接して複数検出される部位、及び横エッ
ジ点が近接して複数検出される部位においても、エッジ
領域の幅が不当に拡がることはない。

【００１２】角点特定手段は、縦方向に連続する縦エッ
ジ領域を縦エッジ領域群として認識し、また、横方向に
連続する横エッジ領域を横エッジ領域群として認識し、
更に縦エッジ領域群と横エッジ領域群とが交わる領域に
基づいて物体の角点を特定する。撮像データ内に、認識
の対象たる物体が撮像されている場合、物体の輪郭に対
応して、縦エッジ領域は縦方向に、また横エッジ領域は
横方向にそれぞれ連続して検出される。従って、角点特
定手段が認識する縦エッジ領域群および横エッジ領域群
は、撮像の対象たる物体の輪郭に相当し、それらの交点
は物体の角部に相当する。

【００１３】

【実施例】図１は、本発明の一実施例である物体認識装
置のブロック構成図を示す。本実施例の物体認識装置
は、自動車において先行車の認識を行うことを目的とし
て構成された装置である。

【００１４】本実施例の物体認識装置は、車両前方を監
視領域とするレーダ１０、及びＣＣＤカメラ１２を備え
ている。レーダ１０は、車両前方に存在する物体との距
離を測定する装置であり、その出力信号はＡ／Ｄコンバ
ータ１４を介して、ディジタル・シグナル・プロセッサ
（ＤＳＰ）１６に通じるバスライン１８に供給されてい
る。

【００１５】ＣＣＤカメラ１２は、車両前方を撮像する
カメラであり、先行車を含む画像を撮像データとして取
り込む。ＣＣＤカメラ１２の出力信号は、Ａ／Ｄコンバ
ータ２０を介して入力用ビデオＲＡＭ２２に供給されて
いる。入力用ビデオＲＡＭ２２は、バスライン１８に接
続されており、ＣＣＤカメラ１２によって取り込まれた
撮像データを記憶すると共に、ＤＳＰ１６の指令に従っ
て、撮像データをバスライン上に提供する。

【００１６】バスライン１８には、上述したＡ／Ｄコン
バータ１４、入力用ビデオＲＡＭ２２の他に、メインＲ
ＡＭ２４、ＲＯＭ２６、出力用ビデオＲＡＭ２８、及び
データＲＡＭ３０が接続されている。メインＲＡＭ２４
は、ＤＳＰ１６が入力用ビデオＲＡＭ２２から取り込ん
だ画像を処理した後の画像データを記憶するためのメモ
リである。本実施例においては、処理の過程で複数の画
像データを記憶する必要があることから、メインＲＡＭ
２４には、所定枚数の画像データを記憶するためのメモ
リ容量が付与されている。ＲＯＭ２６は、ＤＳＰ１６で
実行すべきプログラムを記憶するためのメモリである。
本実施例の物体認識装置は、ＲＯＭ２６内に記憶されて
いるプログラムに従ってＤＳＰ１６が実行する処理の内
容に特徴を有している。尚、その処理内容については、
後に詳説する。

【００１７】出力用ビデオＲＡＭ２８は、先行車の有無
を判断するために最終的に得られた画像を記憶するため
のメモリである。出力用ビデオＲＡＭ２８には、Ｄ／Ａ
コンバータ３２を介してビデオディプレイ３４が接続さ
れている。ビデオディスプレイ３４は、車両の乗員に対
して各種の表示を行うべく車室内に設けられたディスプ
レイである。ＤＳＰ１６は、ＣＣＤカメラ１２で取り込
んだ撮像データに種々の処理を施して先行車の有無を判
断するための最終画像を形成した後、その画像データを
出力用ビデオＲＡＭ２８に記憶させ、更にその画像デー
タをビデオディプレイ２４を介して車両の乗員に表示す
る処理を行う。

【００１８】データＲＡＭ３０は、先行車の有無を判断
するために最終的に得られた画像から検出できる種々の
データ、例えば先行車の有無に関するデータ、先行車の
大きさに関するデータ等を記憶するためのメモリであ
る。データＲＡＭ１６は、自動ブレーキ装置、警報装置
等を含む車両制御装置３６に接続されている。車両制御
装置３６は、データＲＡＭ１６内に記憶されるデータを
用いて、自車の走行環境を検出し、その状態に応じて所
定の車両制御を実行する。

【００１９】図２は、ＣＣＤカメラ１２から取り込まれ
た撮像データの一例を示す。図２に示す撮像データ中に
は、車両の前方を走行する先行車４０、緩やかな左カー
ブを描く路面４２、路面上に描かれた路面白線４４、路
面４２の右側に延在するガードレール４６、先行車４０
と並走する大型車両４８等が含まれている。撮像データ
内に存在する種々の物体は、その物体の色、表面状態、
物体とＣＣＤカメラ１２との角度等に応じて異なる輝度
で撮像される。従って、撮像データ中の隣り合う画素同
士で大きく輝度の異なる点を検出すると、撮像データ中
に存在する種々の物体の輪郭を抽出することができる。

【００２０】図３は、上記図２に示す撮像データを画面
横方向にスキャニングして、横方向に隣接する画素間で
所定値を超える大きな輝度差が存在する画素をエッジ点
として抽出した画像データを示す。図３に示す如く、か
かる手法でエッジ点を検出した場合、撮像データ中に存
在する物体の縦方向に延在するエッジがエッジ点として
検出される。以下、図３中に示される如く、物体の縦方
向のエッジを表すエッジ点を縦エッジ点と、また縦エッ
ジ点を表示する画面を縦エッジ画面と称す。

【００２１】また、図４は、上記図２に示す撮像データ
を画面縦方向にスキャニングして、縦方向に隣接する画
素間で所定値を超える大きな輝度差が存在する画素をエ
ッジ点として抽出した画像データを示す。図４に示す如
く、かかる手法でエッジ点を検出した場合、撮像データ
中に存在する物体の横方向に延在するエッジがエッジ点
として検出される。以下、図４中に示される如く、物体
の横方向のエッジを表すエッジ点を横エッジ点と、また
横エッジ点を表示する画面を横エッジ画面と称す。

【００２２】背面視による車両の輪郭には、縦方向に延
びる直線と、横方向に延びる直線とが多分に含まれてい
る。従って、図２に示す如く、自車の前方を先行車４０
が走行している場合は、図３に示す縦エッジ画面中に
は、複数の縦エッジ点によって、先行車４０の両端に相
当する位置それぞれに、縦方向に延在する直線（以下、
縦エッジ直線と称す）４０Ｖが検出されると共に、図４
に示す横エッジ画面中に、複数の横エッジ点によって、
先行車４０の車幅方向に延在する複数の直線（以下、横
エッジ直線と称す）４０Ｈが検出される。一方、自車の
前方に先行車４０が存在しない場合は、縦エッジ直線４
０Ｖおよび横エッジ直線４０Ｈが、自車の前方に検出さ
れることはない。

【００２３】従って、ＣＣＤカメラ１２から取り込んだ
撮像データを用いて、縦エッジ画面及び横エッジ画面を
形成し、それらの画面中の適当な位置に、適当な数の縦
エッジ直線４０Ｖ及び横エッジ直線４０Ｈが検出されて
いるか否かを判断することで、自車の前方に先行車４０
が存在するか否かを判断することは可能である。

【００２４】しかし、先行車４０の縦エッジ直線４０
Ｖ、及び横エッジ直線４０Ｈは、常に理想的な状態、す
なわち縦方向に連続する直線、及び横方向に連続する直
線として検出し得るものではなく、車両の走行環境によ
っては、不連続な直線として検出される場合がある。車
両の前方には、先行車４０の他に種々の物体が存在し、
縦エッジ画面および横エッジ画面中には、それらの物体
の輪郭を表すエッジ直線も検出される。従って、縦エッ
ジ直線４０Ｖ、横エッジ直線４０Ｈが、不連続となる
と、それらが先行車４０の輪郭を表しているのか、他の
物体の輪郭を表しているのかを判別することが必ずしも
容易ではない。このため、縦エッジ画面の画面データ、
および横エッジ画面の画面データから直接的に先行車４
０の有無を判断すると、良好な検出精度が維持できない
場合が生じ得る。

【００２５】これに対して、図３及び図４に示す如き縦
エッジ画面、及び横エッジ画面を形成した後、それらの
画面中に検出される縦エッジ点、及び横エッジ点を膨張
させた画像データを形成すれば、縦エッジ直線４０Ｖ、
及び横エッジ直線４０Ｈの不連続点を連続させた新たな
画像データを得ることができる。従って、かかる画像デ
ータを基に先行車４０の有無を判断することとすれば、
常に良好な検出精度を維持することが可能である。

【００２６】しかしながら、全ての縦エッジ点、及び横
エッジ点を均一に膨張させることとすると、例えば縦エ
ッジ点が横方向に複数点在して検出されている場合、又
は横エッジ点が縦方向に複数点在して検出されている場
合には、新たな画像データ中で先行車４０の輪郭を表す
領域の幅が不必要に拡大される事態を生ずる。この場
合、新たな画像データを基に先行車４０の大きさを正確
に把握することが困難となり、車両制御装置３６におい
て必要とされるデータの検出精度が良好に維持できない
という問題が生ずる。

【００２７】これに対して、本実施例においては、図５
に示す如くＣＣＤカメラ１２の撮像領域を格子状に区分
して、各小領域１２-n単位で縦エッジ点及び横エッジ点
の膨張処理を行うこととしている。図５に示される各小
領域１２-nは、その内部に所定の画素数が確保されるよ
うに設定されている。このように区分された各小領域１
２-nは、その内部に縦エッジ点が存在する場合には、撮
像データ中に存在する物体の縦エッジを表す領域とし
て、また、その内部に横エッジ点が存在する場合には、
撮像データ中に存在する物体の横エッジを表す領域とし
て把握される。

【００２８】従って、縦エッジ点を検出した結果、例え
ば、図５に示す如く小領域１２-kの右端部分の画素、小
領域１２-k+1の左端部分の画素、及び小領域１２-k+2の
左右端部の２つの画素が縦エッジとして検出された場合
には、縦方向に隣接する３つの小領域１２-k〜１２-k+2
が縦エッジ領域として把握されることになる。

【００２９】この際、小領域１２-k内に検出される縦エ
ッジ点と小領域１２-k+1内に検出される縦エッジ点と
が、横方向にオフセットされているにも関わらず、それ
ら２つの縦エッジ点に起因する縦エッジ領域にはオフセ
ットが発生していない。つまり、本実施例の手法によれ
ば、先行車４０の縦エッジ及び横エッジが僅かな曲率を
有している場合に、画像データ上では、直線的な縦エッ
ジ領域群および横エッジ領域群が得られることになる。
また、上記の例では、小領域１２-k+2内に横方向にオフ
セットした複数の縦エッジ点が検出されているにも関わ
らず、縦エッジ領域の幅が拡大されていない。つまり、
本実施例の手法によれば、隣接してエッジ点が検出され
る場合においても、エッジの膨張幅が小領域１２-nの格
子幅に規制され、エッジ領域幅の不当な拡大が防止され
ることになる。

【００３０】図６は、上記図３に示す縦エッジ画面に上
述した膨張処理を施すことで得られる縦エッジ領域画面
を示す。また、図７は、上記図４に示す横エッジ画面に
上述した膨張処理を施すことで得られる横エッジ領域画
面を示す。図６及び図７に示す如く、縦エッジ領域画面
中には先行車４０の縦エッジに相当する直線状の縦エッ
ジ領域４０Ｖｗが、先行車４０の横エッジに相当する直
線状の横エッジ領域４０Ｈｗが、それぞれ連続的に、か
つシャープに形成されている。従って、かかる縦エッジ
領域画面、及び横エッジ領域画面を基に先行車４０の有
無を判断し、また、先行車の大きさ等を検出することと
すれば、常に良好な判断精度、及び検出精度を維持する
ことができる。

【００３１】以下、図８乃至図１８を参照して、本実施
例の物体認識装置が、上記の手法により物体認識を行う
にあたって実行する処理の一例について説明する。図８
は、ＣＣＤカメラ１２から取り込んだ撮像データを用い
て物体認識を行うにあたってＤＳＰ１６が実行するメイ
ンルーチンのフローチャートを示す。また、図９乃至図
１１は、それぞれＤＳＰ１６が実行するサブルーチンの
フローチャートを示す。本実施例の物体認識装置におい
ては、ＤＳＰ１６が、図８に示すメインルーチン、及び
図９乃至図１１に示すサブルーチンを実行することによ
り物体認識が行われる。

【００３２】図８に示すメインルーチンが起動すると、
先ずステップ１００において、ＣＣＤカメラ１２で取り
込んだ撮像データから、すなわち、入力用ビデオＲＡＭ
２２に記憶されている撮像データから斜め方向線分抽出
する処理が実行される。ＣＣＤカメラ１２の撮像画像中
には、通常、自車の走行車線を表す路上白線やガードレ
ール等が撮像されている。本ステップではこれらの輪郭
を抽出するため、撮像データ中から、画面右上がり方向
に傾斜する斜め方向線分と、画面右下がり方向に傾斜す
る斜め方向線分とを抽出する処理が行われる。

【００３３】ステップ１００の処理は、具体的には図９
に示すサブルーチンによって行われる。図９に示すルー
チンが起動されると、先ずステップ２００において、Ｃ
ＣＤカメラ１２が撮像した車両前方の画像が入力用ビデ
オＲＡＭ２２に読み込まれる。次に、ステップ２０２に
おいて、撮像データをスキャニングする領域、及び方向
が設定される。斜め方向線分の抽出は、ＣＣＤカメラ１
２の撮像領域全域をスキャニング領域として行われる。
また、スキャニング方向は、画面右上がり方向の線分を
抽出する場合には画面右下がり方向に、一方、画面右下
がり方向の線分を抽出する場合には画面右上がり方向
に、それぞれ設定される。

【００３４】上記の如くスキャニングの領域及び方向を
設定したら、次にステップ２０４において、特定した領
域内に存在するエッジ点を抽出し、エッジ画像を作成す
る処理を行う。本実施例においては、ＣＣＤカメラ１２
の各画素の輝度を２５６段階に区別しており、スキャニ
ング方向に隣接する２つの画素間に所定値を超える輝度
差、例えば２００段階を超える輝度差が存在する場合
に、その画素をエッジ点として捕らえることとしてい
る。上記の処理が終了すると、右上がり線分の抽出処理
によっては、例えば図１２に示す如きエッジ画像が、ま
た、右下がり線分の抽出処理によっては、例えば図１３
に示す如きエッジ画像が、それぞれ作成される。このよ
うにして作成されたエッジ画像は、一時的にメインＲＡ
Ｍ２４に記憶される。

【００３５】次に、ステップ２０６では、エッジ画像を
小領域に分割する処理が行われる。小領域は、自車の前
方に存在する物体が先行車４０である場合に、その縦エ
ッジ及び横エッジが一列の小領域列内に収まるように、
前方に存在する物体と自車との距離に応じて設定され
る。具体的には、前方物体との距離が短い場合は小領域
の幅が大きく、前方物体との距離が長い場合は小領域の
幅が小さく設定される。尚、前方物体と自車との距離
は、レーダ１０の出力信号に基づいて計測される。

【００３６】エッジ画像を小領域に分割する処理が終了
すると、次にステップ２０８において、各小領域につい
て、その内部に存在する最大エッジ強度（隣接する画素
間の輝度差）が計算される。そして、続くステップ２１
０において、各小領域を、それぞれの最大エッジ強度で
埋めた小領域画像が作成される。

【００３７】上記の処理を終えたら、ステップ２１２へ
進み、小領域画像中から有効線分を抽出する処理を行
う。小領域画像中には、本来認識すべき物体の輪郭に対
応する領域の他に、種々の物体の輪郭等がノイズ的に重
畳されている。このため、本実施例においては、大きな
エッジ強度を有する小領域がスキャニング方向と垂直な
方向に所定数以上連続して検出されている場合にのみ、
それらの小領域群が、認識すべき物体の輪郭であると判
断し、それらの小領域群からなる線分を有効線分として
抽出することとしている。このため、ステップ２１２で
抽出される一連の小領域群は、明確に認識すべき物体の
輪郭を表していることになる。

【００３８】ステップ２１２の処理は、具体的には図１
０に示すサブルーチンに沿って実行される。図１０に示
すルーチンが起動すると、先ずステップ３００におい
て、スキャニング方向が設定される。本ステップでは、
上記ステップ２０２で設定されたキャニング方向と同一
の方向が、有効線分抽出のためのスキャニング方向とし
て設定される。

【００３９】ステップ３０２では、スキャニングの対象
である小領域が、既に基準値を超える小領域（以下、線
分構成小領域と称す）として認識されているか否かが判
別される。その結果、既に線分構成小領域として認識さ
れていると判別された場合には、ステップ３０４〜３１
２がジャンプされ、次いでステップ３１４の処理が実行
される。一方、その小領域は、未だ線分構成小領域とし
て認識されていないと判別された場合は、次にステップ
３０４の処理が実行される。

【００４０】ステップ３０４では、小領域内のエッジ強
度が基準値を超えているか否かが判別される。その結
果、小領域内のエッジ強度が基準値を超えていないと判
別される場合は、その小領域は線分構成少領域ではない
と判断して、ステップ３１４へ進む。一方、その小領域
内のエッジ強度が基準値を超えていると判別される場合
は、その領域が線分構成少領域ではあると判断してステ
ップ３１６へ進む。

【００４１】ステップ３１６では、エッジ強度の調査対
象が、基準値を超えるエッジ強度の存在が確認された小
領域から、ステップ３００で設定したスキャニング方向
に対して垂直な方向に隣接する小領域に変更される。次
いで、ステップ３１８では、新たに調査対象とされた小
領域内のエッジ強度が基準値を超えているか、即ち線分
構成小領域であるかが判別される。その結果、少領域内
のエッジ強度が基準値を超えている場合は、その領域も
線分構成小領域であると判断し、ステップ３０６へ戻
る。以後、繰り返しステップ３０６、３０８の処理が実
行される。一方、ステップ３０８で、新たに調査対象と
された小領域内のエッジ強度が基準値を超えていないと
判断された場合は、その小領域は線分構成小領域ではな
いと判断され、以後ステップ３１０の処理が実行され
る。従って、スキャニングの過程で、一つの線分構成小
領域が検出されると、スキャニング方向に対して垂直な
向きに線分構成小領域が連続している限りは、繰り返し
ステップ３０６，３０８の処理が実行され、線分構成小
領域が不連続となった時点で、ステップ３１０の処理が
実行されることになる。

【００４２】ステップ３１０では、上記の処理によって
検出された線分構成小領域の連続長さが、基準値を超え
ているか否かが判別される。線分構成小領域の連続長
は、それらの線分構成小領域が認識すべき対象物体の輪
郭である場合には比較的長く、一方、認識すべき対象物
体の輪郭でない場合には比較的短くなる。また、本ステ
ップ３１０で用いる基準値は、線分構成小領域が認識す
べき対象物体の輪郭である場合には、その連続長が基準
値に比して長くなるように、かつ、線分構成小領域が認
識すべき対象物体の輪郭でない場合には、その連続長が
基準値に比して短くなるように設定されている。従っ
て、連続長が基準値を超えている場合は、それらの線分
構成小領域は、認識すべき物体の輪郭であると判断でき
る。この場合、それらの線分構成小領域は有効線分とし
て把握され、以後、ステップ３１２においてその線分の
起点と長さが記録された後、ステップ３１４へ進行され
る。一方、ステップ３１０で連続長が基準値を満たない
と判断された場合は、それらの線分構成小領域は有効線
分とは把握されず、以後、直接ステップ３１４の処理が
実行される。

【００４３】ステップ３１４では、ＣＣＤカメラ１２の
全撮像領域についてスキャニングが終了したか否かが判
別される。その結果、未だ全ての領域についてスキャニ
ングされていないと判別される場合は、ステップ３１６
へ進み、エッジ強度の検出対象とする小領域を、スキャ
ニング方向に一つ変更した後、上記ステップ３０２へ戻
る。従って、以後、ステップ３１４において全ての領域
についてスキャニグが終了したと判別されるまで、上記
ステップ３０２以降の処理が繰り返し実行される。一
方、ステップ３１４で全ての領域についてスキャニング
が終了したと判断されると、その時点で本ルーチンの処
理が終了される。

【００４４】図１０に示すサブルーチンが終了すると、
図９に示すサブルーチンにおいて、ステップ２１４の処
理が実行される。ステップ２１４では、上記の如く抽出
された有効線分をメインＲＡＭ２４に記憶する処理が行
われる。上記図１０に示すサブルーチンによって、撮像
データ中に存在する画面右上がりの傾斜を有する斜め方
向線分、及び画面右下がりの傾斜を有する斜め方向の線
分が検出された場合は、例えば図１４に示す如く、自車
の走行レーンの境界線に相当する線分が有効線分として
抽出された画像が記憶されることになる。

【００４５】図９に示すサブルーチンは、上記ステップ
２１４の処理を終えた後、終了される。以後、上記図８
に示すメインルーチンの処理が再び開始される。図８に
示すメインルーチンでは、次にステップ１０２の処理が
実行される。ステップ１０２では、上述の如く抽出した
斜め方向線分を基に、すなわち、自車の境界線を基に、
先行車が存在すると予測される領域を特定する処理が行
われる。

【００４６】車両において検出すべき先行車の存在領域
は、自車の走行レーン上に限定される。このため、本ル
ーチンでは、上記の如く抽出された２本の斜め方向線分
の間を先行車の存在領域として限定する。このため、斜
め方向線分が、上記図１４の如く抽出される場合には、
図１５中にハッチングで示される領域が、先行車の存在
領域として特定されることになる。

【００４７】次に、ステップ１０４では、上記の如く特
定した領域内で、ＣＣＤカメラ１２の撮像データから縦
方向の線分を抽出する処理を行う。自車の前方に先行車
が存在すれば、撮像データ中には先行車の輪郭が撮像さ
れる。本ステップではその輪郭のうち、特に縦方向のエ
ッジを抽出する処理が行われる。本ステップの処理は、
具体的には上述した図９、及び図１０に示すサブルーチ
ンによって実行される。この場合、図９中ステップ２０
２では、メインＲＡＭ２４内に記憶されている画像デー
タ中に抽出された２本の斜め方向線分の間がスキャニン
グ領域として設定されると共に、同ステップ２０２、及
び図１０におけるステップ３００では、ＣＣＤカメラ１
２の撮像領域の左右方向がスキャニング方向として設定
される。

【００４８】かかる設定によれば、例えば図１５に示す
如き画像データが得られている場合には、図１６中に矢
線で示す如く、２本の斜め方向線分の間で、横方向に進
行するスキャニングが実行される。この際、撮像データ
中に横方向に隣接する画素間に大きな輝度差が存在する
と、その点がエッジ点として捕らえられる。従って、ス
キャニングされる領域内に先行車が存在していれば、先
行車の縦エッジが有効線分として検出されることにな
り、図９に示すステップ２１４では、図１７に示す如
く、車幅方向に適当な距離だけ離間した位置に２本の有
効線分が抽出されたエッジ画像データがメインＲＡＭ２
４に記録されることになる。

【００４９】縦方向線分の抽出が終了したら、図８に示
すメインルーチンがステップ１０６へ進行し、抽出され
た縦方向線分の中から、車両の縦エッジであると推定し
得る２本の縦方向線分の組を選択する処理が実行され
る。本ルーチンにおいては、２本の縦方向線分の起
点、及び終点が、画面データ上で大きく上下方向にオフ
セットしていないこと、及びそれら２本の縦方向線分
が車幅方向に適当な距離だけ離間していること、の２点
を満たす２本の縦方向線分の組が先行車の縦エッジ候補
として選択される。

【００５０】上記の処理が終了すると、次にステップ１
０８において、撮像データ内に存在する横方向の線分を
抽出する処理が実行される。自車の前方に先行車が存在
すれば、撮像データ中には先行車の横エッジが撮像され
る筈である。また、上記ステップ１０６で選択した２本
の縦方向線分の組が先行車の縦エッジであるとすれば、
撮像データ中に検出される横エッジは、それら２本の縦
方向線分間をつなぐように検出される筈である。このた
め、本ルーチンでは、ステップ１０６において選択され
た各縦エッジの組内を通過する横方向線分を抽出する処
理が行われる。

【００５１】本ステップの処理は、ステップ１００およ
び１０４の処理と同様に、上述した図９および図１０に
示すサブルーチンによって実行される。この場合、図９
中ステップ２０２では、選択された全ての縦方向線分を
含む適当な領域がスキャニング領域として設定されると
共に、同ステップ２０２、及び図１０におけるステップ
３００では、ＣＣＤカメラ１２の撮像領域の縦方向がス
キャニング方向として設定される。

【００５２】かかる設定によれば、ＣＣＤカメラ１２の
撮像データ中で上下方向に隣接する画素間に大きな輝度
差が存在すると、その点がエッジ点として捕らえられ
る。従って、スキャニングされる領域内に先行車が存在
していれば、先行車の横エッジが有効線分として検出さ
れることになり、図９に示すステップ２１４では、例え
ば図１８に示す如く、車幅方向に延在する複数の有効線
分を含むエッジ画像データが、メインＲＡＭ２４に記録
されることになる。

【００５３】上記の処理が終了すると、図８に示すメイ
ンルーチンはステップ１１０へ進行する。ステップ１１
０では、上記ステップ１０８の処理内でメインＲＡＭ２
４に記憶したエッジ画像データから、縦方向の有効線分
と横方向の有効線分との交点位置を抽出する処理が行わ
れる。

【００５４】上述の如く、縦方向の有効線分は先行車の
縦エッジであることを想定して抽出した線分である。ま
た、横方向の有効線分は先行車の横エッジであることを
想定して抽出した線分である。従って、それらの交点
は、背面視における車両の角部と考えることができる。

【００５５】一方、車両の背面視では、車両の最低地上
高付近の両端部２点、車両のルーフ位置における両端部
２点、トランクルーフ位置における両端部２点、及びバ
ンパ位置における両端部２点等が角部として検出され
る。従って、自車の前方に先行車が存在すれば、ステッ
プ１１０で少なくとも４つの交点が検出されると考えら
れる。また、先行車の角部は左右対象に検出されるた
め、検出された４つの交点からは長方形の形状が抽出で
きる筈である。

【００５６】従って、ステップ１１０で車両の角部とし
て抽出された交点が、４点未満である場合、及び４点以
上の交点が検出されたとしても、それらの交点から長方
形が抽出できない場合は、共に検出された交点が、先行
車の角部ではないと判断することができる。

【００５７】そこで、図８に示すメインルーチンでは、
ステップ１１０の処理の後、ステップ１１２へ進み、抽
出された各交点が先行車の角部であるか否かを、それら
交点の数および配置を基準として判断することとしてい
る。ステップ１１０の処理は、具体的には図１１に示す
サブルーチンによって実行される。

【００５８】図１１に示すルーチンが起動すると、先ず
ステップ４００において、上記ステップ１１０において
４点以上の交点が抽出されたか否かが判別される。その
結果、４点以上の交点が検出されていると判別される場
合は、ステップ４０２の処理が実行される。

【００５９】ステップ４０２では、抽出された交点から
長方形が抽出できるか否かが判別される。その結果、長
方形が抽出される場合は、ステップ１１０で抽出された
複数の交点が先行車の角部に相当すると判断して、ステ
ップ４０４へ進み、検出された物体が先行車であるとの
判断を下した後、本ルーチンを終了する。

【００６０】一方、上記ステップ４００において、抽出
された交点が４点未満であると判別された場合、又はス
テップ４０２において、交点から長方形が抽出できない
と判別された場合は、以後、ステップ４０６へ進み、検
出された物体は先行車ではないとの判断を下した後本ル
ーチンを終了する。このようにして、図１１に示すサブ
ルーチンが終了されると、その後、図８に示すメインル
ーチンが終了される。以後、所定時間毎に上述したステ
ップ１００以降の処理が繰り返し実行されることにな
る。

【００６１】上述の如く、本実施例の物体認識装置は、
ＣＣＤカメラ１２から取り込んだ撮像データからエッジ
点を抽出した後、そのエッジ点を格子上に区分した小領
域単位で膨張させることで得られたエッジ領域画像（上
記、図６、図７、図１４〜図１８に示す画像）を基に、
先行車の認識を行っている。このため、本実施例の物体
認識装置によれば、先行車の輪郭を明確に捕らえること
ができ、先行車の有無に関する判断精度、先行車の角点
の検出精度等を、常に良好に維持することができる。

【００６２】尚、上述した実施例においては、ＣＣＤカ
メラ１２が前記した画像センサに相当している。また、
ＤＳＰ１６が、上記ステップ２０６の処理を実行するこ
とにより前記した領域区分手段が、上記ステップ１０４
および１０８内でステップ２００〜２０４の処理を実行
することにより前記したエッジ点検出手段が、上記ステ
ップ１０４および１０８内でステップ２０８〜２１２の
処理を実行することにより前記したエッジ領域設定手段
が、また、ステップ１１０の処理を実行することにより
前記した角点特定手段が、それぞれ実現されている。

【００６３】ところで、上述した実施例においては、画
像センサの撮像領域を信号処理の過程で格子状の小領域
に区分することとしているが、本発明はこれに限定され
るものではなく、画像センサの撮像領域を、予めハード
ウェア上で小領域に区分することも可能である。

【００６４】

【発明の効果】上述の如く、本発明によれば、撮像デー
タ内に検出される縦エッジ点、及び横エッジ点を、小領
域の幅を限度として膨張させることができる。この場
合、認識の対称たる物体の輪郭に対応する縦エッジ点、
及び横エッジ点が離間して検出される状況下であって
も、物体の輪郭に対応して、連続的な縦エッジ領域群及
び横エッジ領域群を形成することができる。従って、そ
れら縦エッジ領域群及び横エッジ領域群に基づいて、高
精度に物体認識を行うことができる。

【００６５】更に、本発明によれば、縦エッジ点が近接
して複数検出される部位、及び横エッジ点が近接して複
数検出される部位においても、それらが同一の小領域内
に検出される限り、縦エッジ領域、横エッジ領域の幅が
拡大されることがない。従って、不必要に幅の広い縦エ
ッジ領域群、及び横エッジ領域群が形成されることがな
く、縦エッジ領域群と横エッジ領域群との交点から、精
度良く認識対称たる物体の角部を検出することができ
る。

【図面の簡単な説明】

【図１】本発明の一実施例である物体認識装置のブロッ
ク構成図である。

【図２】本実施例の物体認識装置が備えるＣＣＤカメラ
の撮像データの一例である。

【図３】ＣＣＤカメラの撮像データを基に認識対象物の
縦エッジを抽出した縦エッジ画面の一例である。

【図４】格子状に区分されることにより小領域単位に区
分されたＣＣＤカメラの撮像領域の一例である。

【図５】ＣＣＤカメラの撮像データを基に認識対象物の
横エッジを抽出した横エッジ画面の一例である。

【図６】縦エッジ画面内に含まれる縦エッジ点を小領域
単位で膨張させることで形成される縦エッジ領域画面の
一例である。

【図７】横エッジ画面内に含まれる横エッジ点を小領域
単位で膨張させることで形成される横エッジ領域画面の
一例である。

【図８】本実施例の物体認識装置において実行されるメ
インルーチンのフローチャートの一例である。

【図９】本実施例の物体認識装置において実行される第
１のサブルーチンのフローチャートの一例である。

【図１０】本実施例の物体認識装置において実行される
第２のサブルーチンのフローチャートの一例である。

【図１１】本実施例の物体認識装置において実行される
第３のサブルーチンのフローチャートの一例である。

【図１２】本実施例の物体認識装置が右上がり傾斜の斜
め方向線分を抽出する際に形成するエッジ点画面の一例
である。

【図１３】本実施例の物体認識装置が右下がり傾斜の斜
め方向線分を抽出する際に形成するエッジ点画面の一例
である。

【図１４】本実施例の物体認識装置が斜め方向線分を抽
出する際に形成するエッジ領域画面の一例である。

【図１５】本実施例の物体認識装置が縦方向線分を抽出
する際のスキャニング領域を表したエッジ領域画面であ
る。

【図１６】本実施例の物体認識装置が縦方向線分を抽出
する際のスキャニング方向を表したエッジ領域画面であ
る。

【図１７】本実施例の物体認識装置が縦方向線分を抽出
する際に形成するエッジ領域画面である。

【図１８】本実施例の物体認識装置が横方向線分を抽出
する際に形成するエッジ領域画面である。

【符号の説明】

１０レーダ１２ＣＣＤカメラ１２-n，１２-k，１２-k+1，１２-k+2 小領域１６ディジタルシグナルプロセッサ（ＤＳＰ）２２入力用ビデオＲＡＭ２４メインＲＡＭ３６車両制御装置４０先行車４０Ｖ縦エッジ直線４０Ｈ横エッジ直線４０Ｖｗ縦エッジ領域４０Ｈｗ横エッジ領域

Claims

(57)【特許請求の範囲】

【請求項１】画像センサを用いて物体の認識を行う物
体認識装置において、前記画像センサの撮像領域を、所定の画素数を含む小領
域単位で格子状に区分する領域区分手段と、撮像データ中の縦エッジ点、及び横エッジ点を検出する
エッジ点検出手段と、前記縦エッジ点を含む小領域を縦エッジ領域と、前記横
エッジ点を含む小領域を横エッジ領域とするエッジ領域
設定手段と、縦方向に連続する縦エッジ領域群と、横方向に連続する
横エッジ領域群とが交わる領域を基に、前記物体の角点
を特定する角点特定手段と、を備えることを特徴とする物体認識装置。