JP4165966B2

JP4165966B2 - 物体認識装置

Info

Publication number: JP4165966B2
Application number: JP20871399A
Authority: JP
Inventors: 博光湯原; 友好青木; 雅和坂; 守道西垣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-07-23
Filing date: 1999-07-23
Publication date: 2008-10-15
Anticipated expiration: 2019-07-23
Also published as: JP2001033238A

Description

【０００１】
【発明の属する技術分野】
この発明は、車両に搭載されたカメラによる撮像手段を用いて、車両外部の物体を認識する光学式の物体認識装置に関する。
【０００２】
【従来の技術】
画像の状態を検知する手法に関連するものとして、特開平８−１５４２０５号公報には、受光する光量が部分的にきわめて強くなり、モニター再生時に白い筋を引くいわゆるスミアを除去する撮像装置が記載されている。この撮像装置には、受光部の１ラインを遮光する遮光手段が備えられており、遮光した１ラインと同じ列に属する領域のＣＣＤ出力信号から、遮光した１ラインのＣＣＤ出力信号を減算することにより、スミアを除去する。
【０００３】
【発明が解決しようとする課題】
しかし、上記のようなスミア以外にも、電気的ノイズ、レンズ／受光素子の位置ずれ等により、撮像された画像が正常時の画像と異なるものになることがある。このような画像を物体認識の処理で使用すると、物体を誤認し、白線の位置を間違って認識したり、他車両との車間距離を誤って算出することとなり、物体認識の結果に基づく車両走行制御に影響を及ぼすことがある。
【０００４】
この発明は、これらの問題を解決しようとするものであり、撮像装置から得られた画像の有効性を判断し、より信頼性の高い物体認識を行うことができるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、車両外部の物体を認識する物体認識手段を有する物体認識装置において、受光部を有する少なくとも１つの撮像手段と、前記受光部の一部を遮光する遮光手段と、前記撮像手段により撮像された画像のうち前記遮光手段によって遮光された遮光領域に含まれる小領域の輝度値を抽出する輝度値抽出手段と、前記抽出された小領域の輝度値に基づいて、前記撮像手段により得られた画像の有効性を判断する画像判定手段とを備えるという構成をとる。
【０００６】
請求項１の発明によると、撮像された画像が有効かどうか判断され、その結果に基づいて物体認識の処理を行うので、物体認識の精度を高めることができる。
【０００７】
請求項２の発明は、請求項１の物体認識装置において、前記画像判定手段が、前記撮像手段により連続して撮像された複数の画像を使用して画像の有効性を判断するという構成をとる。
【０００８】
請求項２の発明によると、連続して複数回にわたって画像を検証してから画像の有効性を判断するので、精度の良い安定した物体認識を行うことができる。
【０００９】
請求項３の発明は、請求項１または請求項２の物体認識装置において、前記画像判定手段が、前記輝度値抽出手段により抽出された小領域の輝度値が所定値以上の小領域の数に基づいて画像の有効性を判断するという構成をとる。
【００１０】
請求項３の発明によると、ノイズや位置ずれによりエラーとして検出された小領域の数に基づいて画像の有効性を判断するので、さらに精度の良い安定した物体認識を行うことができる。
【００１１】
請求項４の発明は、請求項１から請求項３のいずれかに記載の物体認識装置において、前記受光部がレンズおよび受光素子を有し、前記遮光手段を、前記レンズと受光素子の間または前記レンズの対象物側に配置し、前記撮像手段により得られる画像の複数ラインが遮光されて撮像されるという構成をとる。
【００１２】
請求項４の発明によると、スミアだけでなく、電気的ノイズや撮像装置のレンズ／受光素子の位置ずれを容易に検出することができ、画像の有効性の判断をより正確に行うことができる。
【００１３】
【発明の実施の形態】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例の物体認識装置の全体的なブロック図である。図２は、この実施例で用いる三角計測法による距離の計測原理を説明する図である。まず図２を参照して１対の撮像装置を用いた距離の測定方法を説明する。
【００１４】
一対の撮像装置の一方を構成するイメージセンサ２１およびレンズ２３は、他方の撮像装置を構成するイメージセンサ２２およびレンズ２４と所定の間隔すなわち基線長Ｂだけ左右方向または上下方向に間隔をおいて配置されている。イメージセンサ２１および２２は、典型的には２次元のＣＣＤであり、２次元的に配列されたフォトセンサのアレイであってもよい。図２では簡単のため、２次元のイメージセンサの複数ラインのうち１ラインのみを示して説明する。
【００１５】
夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズ２３、２４の前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物２０を照射し、対象物２０から反射する赤外線をイメージセンサ２１、２２が感知するようにするのがよい。
【００１６】
イメージセンサ２１、２２は、それぞれレンズ２３、２４の焦点距離ｆに配置されている。レンズ２３、２４のある平面から距離ａにある対象物の像が、イメージセンサ２１ではレンズ２３の光軸からＸ１ずれた位置に形成され、イメージセンサ２２ではレンズ２４の光軸からＸ２だけずれた位置に形成されるとすると、レンズ２３、２４の面から対象物２０までの距離ａは、三角計測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求められる。
【００１７】
この実施例では、画像はデジタル化されるので、距離（Ｘ１＋Ｘ２）はディジタル的に算出される。イメージセンサ２１および２２で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すディジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（Ｘ１＋Ｘ２）を示す。観念的には、図２に示すようにイメージセンサ２１および２２から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（Ｘ１＋Ｘ２）である。
【００１８】
以下に述べるように、この発明の一実施例では、イメージセンサとして、２次元のＣＣＤまたは２次元のフォトセンサ・アレイを使用する。この場合、２つのイメージセンサから得られる２次元の画像を相対的にシフトさせて上述したのと同様の相関計算を行い、相関値が最小となるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当する。
【００１９】
次に、図１を参照してこの発明の一実施例の全体的構成を説明する。第１の撮像装置３は、図２のレンズ２３およびイメージセンサ２１からなる一方の撮像装置に対応し、第２の撮像装置３’は、図２のレンズ２４およびイメージセンサ２２からなる他方の撮像装置に対応する。この実施例では、撮像領域を複数のウィンドウＷ₁₁、Ｗ₁₂、・・・に分割し、ウィンドウごとに距離の計測を行うので、対象物全体の２次元の画像が必要になる。このため第１および第２の撮像装置３および３’を構成するイメージセンサは、２次元のＣＣＤアレイまたは２次元のフォトセンサ・アレイで実現される。
【００２０】
ここで図６を参照すると、図６の（ａ）は、撮像装置３または３’により自車両の前方を走行する他車両を撮像した画像の例を示し、図６の（ｂ）は、図６の（ａ）の画像を概念的に複数のウィンドウに分割したものを示す。図６の（ｂ）は、縦方向に行および横方向に列をとり、簡単のため１０行×１５列のウィンドウに分割して示す。それぞれのウィンドウには番号が付されており、たとえばＷ₁₂は、１行２列にあるウィンドウを示す。
【００２１】
撮像装置３および３’で撮像された対象物の画像はアナログ・デジタル変換器（Ａ／Ｄ変換器）４および４’でデジタルデータに変換され、画像メモリ５および５’にそれぞれ格納される。ウィンドウ切り出し部１３によって、ウィンドウＷ₁₁に対応する画像部分が画像メモリ５および５’からそれぞれ切り出されて相関計算部６に送られる。相関計算部６は、切り出された２つの画像を所定の単位ずつシフトさせて前述した相関計算を行い、相関値が最小になるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求めた（Ｘ１＋Ｘ２）の値を距離計算部７に送る。
【００２２】
距離計算部７は、前述したａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）の式を用いて、ウィンドウＷ₁₁にある対象物までの距離ａ₁₁を求める。こうして求められた距離ａ₁₁は、距離記憶部８に記憶される。同様の計算処理がそれぞれのウィンドウについて順次実行され、距離ａ₁₁、ａ₁₂、・・・が距離記憶部８に記憶される。
【００２３】
この距離の計算は、以下に述べる道路領域判定部３４および物体検出部３５が使用するのに必要なウィンドウについてのみ実行することもできる。以下、あるウィンドウについて計算された対象物までの距離を、そのウィンドウの計測距離という。
【００２４】
上の相関計算で用いる画像データは、撮像素子アレイの素子のピッチによって分解能が定まるので、フォトセンサ・アレイなど比較的ピッチの大きい受光素子を用いるときは、ピッチ間の補間計算を行って画像データの密度を高める処理を行い、こうして密度を高められた画像データについて相関計算を行うのが好ましい。
【００２５】
また、温度による撮像素子アレイの特性変化を補正するため、温度センサを撮像素子アレイ付近に配置し、温度センサから得られる温度情報に基づいて距離計算を補正するようにすることもできる。
【００２６】
次に、図１から図４を参照して、撮像した画像の有効性を判断するための、撮像装置の受光部に対する遮光について説明する。図１の遮光部４０は、典型的には第１の撮像装置３に取り付けることができ、または撮像装置３とは独立に形成してもよい。遮光部４０は、第１の撮像装置３に含まれるレンズ２３の一部またはイメージセンサ２１の受光素子の一部を遮蔽する。したがって、第１の撮像装置３により撮像される画像の一部が、遮光された状態で撮像される。
【００２７】
遮光部４０は、様々な方法で実現することができ、たとえばアルミニウム、銅、コバルト、タングステンなどのような遮光性を有する金属材料から形成される遮光板により実現することができる。または、黒色のマスクを透明なフィルムに形成した遮光フィルムにより実現してもよい。
【００２８】
遮光部４０は、イメージセンサに含まれる受光素子に直接遮光膜を形成することもできるけれども、図２の線２５に示すように、イメージセンサ２１の一部を遮光するようレンズ２３とイメージセンサ２１の間に配置するか、または線２６に示すように、レンズ２３の一部を遮光するようレンズ２４の対象物側に配置するのが好ましい。こうすることにより、撮像された画像に基づいてレンズまたはイメージセンサの受光素子の位置ずれを検出することができるからである。なお、図２に示される線２５および２６は、遮光部４０を配置する場所を概念的に示したものであり、遮光部４０の形状を示すものではない。
【００２９】
さらに、車両のピッチングやローリングなどの影響により余分な光量が撮像装置の受光部に入ってくるのを防ぐ「ひさし」として作用させるため、図３に示すように、遮光部４０をレンズの対象物側に配置し、レンズの上側を遮蔽するよう形成するのが好ましい。
【００３０】
この実施例では、遮光部４０は、撮像された画像の上部１ライン〜６０ラインの領域が遮光されて撮像されるよう、撮像装置３に形成される。図４の（ａ）は、第１の撮像装置３により撮像される画像領域を示し、この領域は、撮像装置３を構成する２次元のイメージセンサに対応する。２次元のイメージセンサは、たとえば水平方向に５１２個、垂直方向に４８０個の受光素子を備えているので、撮像される画像領域は５１２個×４８０個の画素を持つ。この実施例では、画像領域の上部１ラインから６０ラインの領域を、遮光されて撮像される領域すなわち遮光領域５１と定義し、６１ライン〜４８０ラインを物体認識の処理の対象となる物体認識領域５２と定義する。
【００３１】
遮光領域は、撮像された画像領域のうち、物体認識の処理に使用しない、すなわち車両前方の道路上にある物体が撮像される領域ではない場所に定義される。さらに、「ひさし」として余分な光量が受光素子に入るのをなるべく防止するため、図４の（ａ）のように、遮光領域５１を画像領域の上部に定義するのが好ましい。また、イメージセンサの複数ラインを遮光するのは、１ライン分だけの遮光では検出が困難な電気的ノイズをも容易に検出することができるようにするためである。
【００３２】
図４の（ｂ）は、こうして形成された遮光部４０を介して、撮像装置３により車両の前方を撮像した画像の例を示す。１ライン〜６０ラインの遮光領域５１は、遮光部４０により遮光されて撮像された部分であり、画素の輝度値がゼロまたはゼロに近い値を示すため、図４の（ｂ）に示すように暗く撮像される。また、物体認識領域５２には、前方を走る他の車両が撮像されている。
【００３３】
図４の（ｃ）は、部分的に受光した光量が強くなったり、接触不良、部品の故障、電源や信号ハーネスからの入力、電波などによる電気的影響により、撮像された画像領域にノイズが含まれる画像の例を示す。ここで、ノイズは白い四角で表されている。ノイズの発生は、一部の画素の輝度値が上昇させる。したがって、ノイズが遮光領域５１に影響すると、遮光領域５１に含まれる画素の一部の輝度値が上昇し、図４の（ｃ）の領域５３および５４に示すように、輝度値が上昇した画素が遮光領域５１に現れる。
【００３４】
図４の（ｄ）は、衝撃や温度変化などが原因で、レンズの位置ずれ、またはイメージセンサを構成する受光素子の位置ずれが発生した状況で撮像された画像の例を示す。図から明らかなように、遮光領域５１に対してレンズまたは受光素子の位置がずれているために、遮光領域５１と、輝度値がゼロまたはゼロに近い暗い部分の領域とがずれて撮像されている。したがって、遮光領域５１には、領域５５（斜線がかけられた部分）において輝度値が上昇した画素を含む。
【００３５】
上記のように、部分的に大きくなった光量や電気的な影響のため、およびレンズや受光素子の位置ずれのために遮光領域において輝度値が上昇した画素を、以下「エラー画素」と呼ぶことにする。
【００３６】
次に、遮光部４０を介して撮像された画像の遮光領域５１における画素の輝度値に基づいて、画像の有効性を判断する方法を説明する。この実施例では、輝度値を、２５６の階調（真黒を示す値「０」から真白を示す値「２５５」の間）を持つデジタルデータとして表す。
【００３７】
なお、この実施例では、画素ごとの輝度値に基づいて画像の有効性を判断するけれども、遮光領域を複数の小領域に分割して、小領域ごとの輝度値に基づいて画像の有効性を判断してもよい。この場合には、複数の画素が合わさって１つの小領域を構成することができ、小領域の輝度値は、小領域に含まれる画素の輝度値の平均を使用することができる。さらに、この小領域を、前述した距離の計測を行うのに使用するウィンドウと同じ大きさにすることもできる。
【００３８】
図１に戻り、撮像装置３から得られ、デジタルデータに変換された画像が画像メモリ５に記憶されると、遮光輝度抽出部４１は、画像メモリ５から遮光領域５１に含まれる画素の輝度値を抽出する。この実施例では、図４の（ａ）に示すように、１〜６０ラインに対応する30,720個の画素の輝度値を抽出する。
【００３９】
画像判定部４２は、遮光輝度抽出部４１により抽出された輝度値に基づいて、撮像された画像が有効かどうか判断する。前述したように、輝度値が上昇した画素が遮光領域５１に含まれる場合には、図４の（ｃ）のように撮像された画像の画素が部分的に光量がきわめて大きくなって、再生した画像にスミアを発生させたり、電気的ノイズが画像に及んでいることがあり、または図４の（ｄ）のようにレンズや受光素子の位置がずれていることがある。このような場合に、撮像された画像を物体認識の処理に使用すると、物体の誤認を行うことがあるので、画像の有効性を判断し、より信頼性の高い物体認識を行うことができるようにする。
【００４０】
最初に、画像判定部４２は、エラー画素検出部４３により、遮光領域５１に含まれる画素の輝度値に基づいて、ノイズまたは位置ずれによるエラー画素の検出を行う。エラー画素検出部４３は、遮光領域５１に含まれる画素の輝度値と予め決められた所定値とを比較し、画素の輝度値が所定値より大きければ、その画素をエラーとして検出する。図４の（ｃ）の例では、ノイズ領域５３および５４に含まれる画素がエラーとして検出され、図４の（ｄ）の例では、位置ずれ領域５５に含まれる画素がエラーとして検出される。次に、エラー画素検出部４３は、遮光領域５１でエラーとして検出された画素数の合計を求める。
【００４１】
処理を高速に行うため、画素の輝度値を抽出して所定値と比較する処理を並列に行うのが好ましい。たとえば、複数ラインの画素を抽出して、それぞれのラインの画素を並列に処理することができる。
【００４２】
画像判定部４２における無効画像候補抽出部４４は、エラー画素検出部４３によりエラーとして検出された画素数が所定値より大きければ、撮像された画像を無効画像候補として抽出する。エラー画素数が所定値より大きければ、撮像された画像にノイズが多数発生していたり、レンズや受光素子の位置ずれが大きい状況を示すので、撮像された画像を無効画像候補とする。エラー画素数が所定値より小さければ、エラー画素は、画素の輝度値に含まれる誤差によるものとみなすことができるので、撮像された画像を有効画像と判断する。このように、エラーとして検出された画素数に基づいて無効画像候補を抽出することにより、物体認識で誤認を起こす可能性の高い画像を抽出することができる。
【００４３】
他の実施例では、無効画像候補抽出部４４は、エラーとして検出された画素の輝度値を合計し、合計した輝度値が所定値より大きければ、撮像された画像を無効画像候補として抽出するようにしてもよい。または、無効画像候補抽出部４４は、遮光領域におけるすべての画素の輝度値の平均値を算出し、平均値がゼロまたはゼロ付近の値より大きい場合に、今回撮像された画像を無効画像候補として抽出するようにしてもよい。さらに、平均値の代わりに、遮光領域の画素のすべての輝度値の和を算出し、和が所定値より大きい場合に、無効画像候補とするようにしてもよい。
【００４４】
次に、画像判定部４２における最終判定部４５が、無効画像候補が連続して所定回数以上抽出された場合に、最終的に今回撮像された画像を無効と判定する。この実施例では、たとえば１００ミリ秒の周期で撮像装置３により画像が撮像されて画像の有効性が判断される。したがって、たとえば１０周期の間連続して無効画像候補が抽出された場合に、最終的に今回撮像された画像を無効と判定する。こうすることにより、たとえばレンズまたは受光素子の位置ずれのように、自動的には修復しない恒久的な故障による場合には、物体認識の処理を停止させて物体の誤認を防ぐことができる。また、瞬間的に光量が大きくなったり、瞬間的な電磁波の影響でノイズが現れたりするような瞬間的なエラーの場合には、無効画像と判定されないので、頻繁に起こりうる小さなエラーにより物体の認識処理が中止されるという弊害をなくすことができる。
【００４５】
最終判定部４５は、無効画像と判定した場合には、今回撮像された画像が無効であることを示すフェイル信号を出力する。出力されたフェイル信号を、たとえば図１の物体認識部１４に送ることができる。物体認識部１４は、フェイル信号を受け取って、その無効と判定された画像については物体認識の処理を行わないようにすることができ、またはすでに開始した物体認識の処理を中止することができる。
【００４６】
さらに、最終判定部４５は、フェイル信号を車両制御部１８に送ることもできる。車両制御部１６は、フェイル信号を受け取って、物体認識の結果に基づいた車両制御モードに入らないようにすることができる。さらに、最終判定部４５がフェイル信号を出力することにより、レーザーレーダーによるミリ波のみによる物体認識処理を行うようシステムを切り換えることもできる。
【００４７】
この実施例では、最終判定部４５は、無効画像と判定しなかった場合には、今回撮像された画像が有効と判断されたことを示すパス信号を出力する。この場合には、たとえば物体認識部１４は、このパス信号を受け取ってから物体認識の処理を開始するようにすることができ、車両制御部１８は、パス信号を受け取ってから車両制御モードに入るようにすることができる。しかし、最終判定部４５は、画像が有効と判断した場合には、いかなる信号も出力しないようにしてもよい。
【００４８】
より高速に物体認識の処理を行うため、上記に説明した対象物までの距離の計測と、画像の有効性を判断する処理とを並列に実行するのが好ましい。
【００４９】
他の実施例では、無効画像抽出部４４は、無効画像候補として抽出された画像の遮光領域におけるエラー画素の輝度値だけでなくエラー画素の画像における位置を同時に抽出し、最終判定部４５が、同じ位置においてエラー画素が複数回抽出された場合に無効画像と判定するようにしてもよい。このような場合には、レンズや受光素子の位置ずれのような恒久的な故障である可能性があるので、最終判定部４５は、フェイル信号の出力と同時にエラー画素の画像における位置を出力して、故障個所を何らかのモニターに表示することもできる。
【００５０】
この実施例では、１つの撮像装置３により撮像された画像に基づいて画像の有効性を判断するけれども、前述の距離の計測に使用した一対の撮像装置３および３’の両方について遮光を行い、撮像された２つの画像を使用して画像の有効性を判断してもよい。この場合には、撮像された２つの画像についてそれぞれ並行に画像の有効性の判断を行い、その結果に基づいて最終的な画像の有効性を判断することができ、または２つの画像の輝度値をたとえば加算して組み合わせ、その組み合わせた結果の輝度値に基づいて画像の有効性を判断することもできる。
【００５１】
図５は、遮光輝度抽出部４１および画像判定部４２により実行され、遮光領域５１に含まれる画素の輝度値に基づいて、撮像された画像が有効かどうか判定するフローチャートである。ステップ５０１の初期化では、エラー画素数をゼロにクリアする。エラー画素数とは、遮光領域に含まれ、エラー画素検出部４３によりエラーとして検出される画素数である。エラー画素数は、撮像された画像ごとに算出されるので、ステップ５０１で初期化する。
【００５２】
ステップ５０２に進み、遮光領域５１に含まれる画素の輝度値を抽出する。抽出された輝度値は、ステップ５０３で所定値Ｐ１（たとえば、Ｐ１＝１００とすることができる）と比較され、所定値Ｐ１より大きければ、ステップ５０４に進み、エラー画素数に１を加える。こうして、輝度値の比較処理を、遮光領域に含まれる画素について繰り返し、遮光領域に含まれる所定値より大きい輝度値を持つ画素のすべてをエラーとして検出する。ステップ５０５で、遮光領域に含まれるすべての画素について輝度値の比較処理が行われたならば、ステップ５０６に進む。
【００５３】
ステップ５０６では、ステップ５０４でカウントされた、今回撮像された画像の遮光領域においてエラーとして検出された画素数の合計が所定値Ｐ２（たとえば、Ｐ２＝２０とすることができる）より大きければ、今回撮像された画像を無効画像候補と判断し、ステップ５０７で無効画像候補数に１を加える。所定値Ｐ２以下ならば、今回撮像された画像を有効と判断し、ステップ５０８に進んで無効画像候補数をゼロにクリアする。無効画像候補数は、撮像された複数の画像に対して、連続して無効画像候補と判断された画像がいくつあるかを示すので、有効画像と判断されたときにゼロにクリアされる。有効画像と判断されたならば、ステップ５１１に進み、今回撮像された画像が有効と判定されたことを示すパス信号を出力する。
【００５４】
ステップ５０９では、無効画像候補数が所定数Ｐ３（たとえば、Ｐ３＝１０とすることができる）以上ならば、連続してＰ３回無効画像候補が抽出されたことを示すので、今回撮像された画像を最終的に無効画像と判定し、ステップ５１０に進む。無効画像候補数が所定数Ｐ３に満たなければ、このルーチンを抜ける。ステップ５１０では、今回撮像された画像が無効と判定されたことを示すフェイル信号を出力する。
【００５５】
次に、物体認識の方法を説明する。図１の物体認識部１４は、距離記憶部８に記憶されるそれぞれのウィンドウの距離および画像メモリ５から提供され、図４の（ａ）に示す物体認識領域５２に対応する画像データに基づいて物体の認識を行う。図７は、物体認識部１４の構成を示すブロック図である。この実施例における物体認識部１４は、画像から道路領域を判定し、道路領域でない物体を物体として判定する手法を用いる。
【００５６】
図１、図６および図７を参照して、画像における道路領域の判定を説明する。前述したように、図６の（ｂ）は、前述した図４の（ａ）の物体認識領域５２に対応し、この物体認識領域５２について道路領域の判定が行われる。図６の（ｂ）は、１０行×１５列のウィンドウに分割されているけれども、実際には画像領域は非常に細かく分割される。より精密に道路領域を判定するため、それぞれのウィンドウを１つの画素から構成することができる。または、複数の画素が合わさって１つのウィンドウを構成してもよい。それぞれのウィンドウは、上記述べた距離を計測するのに使用されるウィンドウと同じ大きさでもよく、異なる大きさでもよい。
【００５７】
撮像装置３から得られ、デジタルデータに変換された画像が画像メモリ５に記憶されると、図１のウィンドウ切り出し部１３は、画像メモリ５から、車両直前の画像領域に含まれる複数のウィンドウを切り出す。輝度抽出部３１は、切り出されたウィンドウから複数の輝度値を取得する。
【００５８】
車両直前の画像領域に含まれるウィンドウの輝度値を取得するのは、自車両直前の画像領域は道路である可能性が非常に高いからであり、複数の輝度値を取得するのは、路面上に文字／白線などの標識領域があっても、本来の道路の輝度値を取得できるようにするためである。入力画像のどのウィンドウを、自車両直前の画像領域に含まれる複数のウィンドウとして取得するかは、車両の大きさおよび撮像装置の車両内における位置などに応じて予め定められる。
【００５９】
次に、本来の道路の輝度値を抽出するため、取得した複数の輝度値から、路面上の標識を含むウィンドウの輝度値を取り除く。たとえば、画像の最下行のウィンドウに路面上の標識のウィンドウがいくつか含まれる場合、一般に路面上の標識の輝度は道路の輝度と非常に異なるので、この行のウィンドウの輝度値にはわずかなばらつきが生じる。したがって、この行のウィンドウの輝度値を平均し、平均値から所定値以上離れた値の輝度値を取り除くことができる。
【００６０】
または、路面上の標識の色は主に白または黄であり、道路の色と非常に異なるので、白または黄に対応する範囲の輝度値を取り除くようにしてもよい。さらに、前回入力された画像から抽出された基準輝度値に基づいて、今回入力された画像から取得した輝度値が本来の道路の輝度値かどうか推定するようにしてもよい。
【００６１】
路面上の標識を含むウィンドウの輝度値を取り除いた後、輝度抽出部３１は、残った輝度値に基づいて基準輝度値を抽出し、輝度記憶部３２に記憶する。たとえば、残った輝度値のうち１または複数の輝度値を選択して、基準輝度値として記憶することができる。または、複数の輝度値を平均した値を１つの基準輝度値として記憶することもできる。輝度値は、前述したように、２５６の階調（真黒「０」から真白「２５５」の間）を持つデジタルデータとして表される。
【００６２】
次に、ウィンドウ切り出し部１３は画像から他のウィンドウを切り出し、輝度抽出部３１は、そのウィンドウの輝度値を抽出する。輝度比較部３３は、抽出された輝度値と、輝度記憶部３２に格納された基準輝度値とを比較する。
【００６３】
それぞれのウィンドウが複数の画素から構成される場合には、それぞれの画素の輝度値の和の平均をとり、その平均値をウィンドウの輝度値として抽出することができる。
【００６４】
ここで、輝度値を抽出して比較する処理は、上記の距離を計算する処理と並列して実行するのが好ましく、さらにこれらの処理と並行して、前述した画像の有効性を判断するようにするのが好ましい。
【００６５】
道路領域判定部３４は、輝度比較部３３から受け取った比較結果に基づいて、道路領域の判定を行う。前述したように、この実施例では、物体認識部１４は、画像判定部４２から、撮像された画像が有効であることを示すパス信号を受け取ってから、処理を開始する。道路領域判定部３４は、受け取った比較結果が所定範囲内にあれば、ウィンドウを道路領域と判定する。これは、道路領域は輝度が似ており、前方を走行する車両などとは輝度が異なるからである。道路領域と判定したウィンドウの輝度値は、新たな輝度値として輝度記憶部３２に記憶される。
【００６６】
図６の（ｂ）を参照して、輝度値に基づいた道路領域の判定の例を説明する。車両直前の画像領域を含むウィンドウＷ_A7およびＷ_A9（斜線で塗りつぶされたウィンドウ）がウィンドウ切り出し部１３により切り出され、輝度抽出部３１は、それぞれのウィンドウの輝度値Ｌ１およびＬ２を抽出し、基準輝度値として輝度記憶部３２に記憶する。次に、ウィンドウＷ_A7に隣接するウィンドウＷ_A6が切り出され、輝度抽出部３１はウィンドウＷ_A6の輝度値を抽出する。輝度比較部３３は、抽出した輝度値と基準輝度値Ｌ１とを比較する。道路領域判定部３４は、比較した結果が所定範囲内ならば（たとえば、基準輝度値に対して±３の範囲を所定範囲とすることができる）、ウィンドウＷ_A6を道路領域と判定し、ウィンドウＷ_A6の輝度値を、新たな基準輝度値Ｌ３として輝度記憶部３２に記憶する。
【００６７】
次に、ウィンドウＷ_A6に隣接するウィンドウＷ_A5が切り出され、輝度抽出部３１により、ウィンドウＷ_A5の輝度値が抽出される。輝度比較部３３は、抽出した輝度値と基準輝度値Ｌ３とを比較する。道路領域判定部３４は、比較した結果が所定範囲内ならば、ウィンドウＷ_A5を道路領域と判定し、ウィンドウＷ_A5の輝度値を、新たな基準輝度値Ｌ４として輝度記憶部３２に記憶する。このように、画像からウィンドウが順次切り出され、ウィンドウごとに輝度値を比較して道路領域を判定する。
【００６８】
ウィンドウ切り出し部１３により切り出されるウィンドウは、基準輝度値を持つウィンドウの近傍にあるのが好ましい。具体的には、基準輝度値がウィンドウＷ_A6の輝度値である場合、ウィンドウＷ_A6と同じ行に属するウィンドウまたは隣接する行に属するウィンドウを切り出して輝度値を比較するのが好ましい。比較する２つのウィンドウの計測距離の差が大きいと、同じ道路でも輝度値が実質的に異なることがあるからである。この実施例によると、画像内の道路の輝度が、自車両からの距離に応じて変化する場合でも、正確に道路領域を検出することができる。
【００６９】
上記の実施例のように、道路領域と判定された輝度値を新たな輝度値とせずに、車両直前の画像領域に含まれるウィンドウから最初に抽出された輝度値（上記の例では、Ｌ１およびＬ２）を一定の基準輝度値とし、これに対して画像のそれぞれのウィンドウの輝度値を比較して道路領域を判定することもできる。
【００７０】
さらに、上記の実施例では、１つの撮像装置３から得られた１つの画像に基づいて輝度値が抽出されるけれども、前述した距離計測に必要な２またはそれ以上の撮像装置から得られた２またはそれ以上の画像を用いて抽出してもよい。たとえば、第１の撮像装置３で得られた画像から基準輝度値Ｌ１を抽出し、第２の撮像装置３’で得られた画像から基準輝度値Ｌ２を抽出することができる。
【００７１】
輝度値を比較して道路領域を判定する処理は、何らかの並列処理をするのが好ましい。たとえば、ウィンドウＷ_A1〜Ｗ_A6およびＷ₉₁〜Ｗ₉₇の輝度値を基準輝度値Ｌ１と一括して比較し、次にウィンドウＷ₈₁〜Ｗ₈₇の輝度値を、たとえば新たな基準輝度値となったウィンドウＷ₉ _３の輝度値と一括して比較するというように、ウィンドウを行単位で処理することができる。または、高速に処理するため、基準輝度値Ｌ１を基点として画像の左半分のウィンドウを処理し、基準輝度値Ｌ２を基点として画像の右半分のウィンドウを処理し、両者を並列に処理するのがよい。
【００７２】
さらに、道路領域と判定された画像領域に囲まれた領域を、自動的に道路領域と判定することができる。これにより、たとえば道路領域と判定された領域に囲まれた領域が、道路とは異なる輝度を持つ標識領域でも、この標識領域を道路領域と判定することができる。道路領域で囲まれた領域がどのくらいの大きさならば道路領域と判定できるかは、どのくらいの大きさの物体を検出するかに依存して定められる。
【００７３】
こうして、輝度値に基づいて路面自体を検出するので、自車両がピッチングやローリングで傾いたり坂道やバンクを走行していても道路領域を判定することができ、判定された道路領域には他の車両や障害物がないと判断することができる。
【００７４】
ここで、ウィンドウの計測距離を使用して、道路上の標識領域を正確に認識することができる。道路領域判定部３４は、比較結果が所定範囲内にないと判断されたウィンドウの計測距離を距離記憶部８から取得し、この距離が道路までの距離かどうかを判断する。道路までの距離ならば、このウィンドウを道路上の標識領域と判定することができる。
【００７５】
ウィンドウの道路までの距離は、道路領域と判定された他のウィンドウの計測距離（すなわち、道路までの計測距離）から推定することができる。たとえば、他のウィンドウが属する行に含まれるすべてのウィンドウについて、道路までの距離は同じと推定することができる。さらに、道路と判定されたウィンドウの計測距離から、ウィンドウの行ごとに道路までの距離を推定することができる。したがって、道路領域判定部３４は、ウィンドウについて実際に計測された距離と、推定された道路までの距離とを比較して、ウィンドウの画像領域が道路上の標識領域かどうか判断することができる。
【００７６】
たとえば、図６の（ｂ）に示すように、ウィンドウＷ₉₅は路面上の文字を含む。道路領域判定部３４は、ウィンドウＷ₉₅についての比較結果を受け取り、比較結果が所定範囲内にないので、距離記憶部８からウィンドウＷ₉₅の計測距離を取得する。さらに、たとえばウィンドウＷ₉₅と同じ行に属し、道路領域と判定された他のウィンドウＷ₉₃の計測距離を距離記憶部８から取得する。２つの距離を比較した結果、実質的に同じ距離なので、ウィンドウＷ₉₅の画像領域を路面上の標識領域と判定する。このような判定を繰り返すことにより、図６の（ｂ）に示すような道路上の標識「６０」を認識することができる。
【００７７】
上記のように、計測距離を使用して道路上の標識領域を認識することができるので、たとえばスピードの出しすぎや車線変更などについて運転者の注意を喚起するよう車両を制御することもできる。
【００７８】
これまで説明した道路領域の判定は、物体認識領域５２の全領域について実行してもよく、またはその一部の領域についてのみ実行してもよい。たとえば、前回入力された画像に対して、自車両の走行とともに新たに画像として入力された画像領域についてのみ実行することができる。さらに、カーナビゲーションシステムの予め設定された道路モデルを併用し、道路領域を判定するようにしてもよい。このように、判定を行う画像領域を限定することで、より効率よく道路領域の判定を行うことができる。
【００７９】
道路領域が判定されたので、画像内のウィンドウは、道路領域のものと道路領域以外のものとに分類される。道路領域判定部３４は、道路領域と判定されたウィンドウから構成される道路領域を、必要に応じて画像の形で出力することができる。図６の（ｃ）はこの出力画像の例であり、検出された道路領域が塗りつぶされて表示されている。
【００８０】
物体検出部３５は、道路領域判定部３４で判定された道路領域に基づき、道路上にある物体を検出する。道路領域が判定されたので、道路領域の前方にあり、道路領域と判定されなかったウィンドウを抽出することにより、物体を検出することができる。
【００８１】
たとえば、図６の（ｃ）に示すように道路領域が判定されたので、道路領域を前方にたどり、道路領域と判定されなかったウィンドウＷ₅₇、Ｗ₅₈、Ｗ₅₉を抽出する。図６の（ｂ）に示すように、これらのウィンドウは前方を走行する他の車両を対象物として含んでいる。物体検出部３５は、これらのウィンドウの計測距離を距離記憶部８から取得する。取得した計測距離から、自車両から他車両までの距離を検出することができる。さらに、道路領域と判定されたウィンドウＷ₆₆〜Ｗ_6Aに対する物体領域のウィンドウＷ₅₇、Ｗ₅₈、Ｗ₅ _９の位置から、他車両が道路の中央にあると判断することもできる。こうして、物体検出部３５は、検出した物体までの距離に基づき前方を走行する他車両との車間距離を検出することができる。
【００８２】
さらに、物体検出部３５は、他車両との相対速度を、（今回距離−前回距離）／検出時間間隔、の計算式により計算することができる。検出時間間隔は、前回の計測と今回の計測との時間差で、この実施例では１００ミリ秒である。こうして物体検出部３５は、検出した物体について、車間距離、道路上の位置および相対速度などの情報を物体記憶部１５に記憶する。
【００８３】
車両制御部１６は、物体記憶部１５に記憶されている情報および自車速度検出装置１８、ヨーレート検出装置１７などの装置からの情報に基づいて、自車の前車追跡走行制御を行う、異常接近アラームを出力する、強制減速制御を行うなどの制御を行う。たとえば、物体検出部３５により算出され、物体記憶部１５に記憶された前方の他車両との車間距離に基づいて運転者に警告することができ、また道路前方に車両の走行を妨げる障害物がある場合には、アラームを鳴らして運転者に注意を喚起することができる。
【００８４】
上記説明した物体認識の方法とは別に、他の実施例では、たとえば物体認識の処理は１００ミリ秒で周期的に実行されるので、前回認識された物体の位置と該物体に対する相対速度に基づいて今回の物体の位置を推定し、推定した物体の位置に対して所定範囲内にあり、推定した物体と重なりをもつウィンドウを抽出して、今回撮像された画像における物体を認識することもできる。
【００８５】
さらに、他の実施例では、画像の有効性を、物体認識の処理の結果と合わせて判断することができる。たとえば、画像判定部４２は、遮光領域５１の画素の輝度値に基づいて画像を判定し、無効と判定した場合にフェイル信号を車両制御部１８に送る。一方、物体認識部１４は、たとえば１００ミリ秒の周期で複数回物体認識の処理を行い、認識した物体までの距離のばらつきが大きい場合や、白線の位置のばらつきが大きい場合に、フェイル信号を車両制御１８に出力する。車両制御部１８は、どちらかのフェイル信号を受け取った場合、または両方のフェイル信号を受け取った場合に、今回撮像された画像を使用した物体認識の結果に基づく車両制御を中止する。または、フェイル信号が何に基づくかということを、たとえば何らかのモニターに表示するようにすることもできる。
【００８６】
さらに、物体認識部１４が、物体認識領域５２における画素のエラーを検出するようにすることもできる。たとえば、物体認識部１４は、輝度抽出部３１により抽出された輝度値がゼロまたはゼロ付近のウィンドウ（または画素）を抽出する。複数回にわたって同じ場所に、輝度値がゼロまたはゼロ付近のウィンドウが抽出された場合には、物体認識部１４はフェイル信号を出力する。これは、ゼロまたはゼロ付近のウィンドウが抽出された領域に対応するレンズまたは受光素子の部分に何らかの異常が発生し、対応する領域が遮光されて撮像されたと判断することができるからである。車両制御部１８は、出力されたフェイル信号を受け取って、物体認識に基づく車両制御を中止したり、モニターに何らかの表示を行うようにすることができる。こうして、物体認識の処理と組み合わせて画像の有効性を判断することにより、物体認識の処理の精度をさらに高めることができる。
【００８７】
画像の有効性判断と物体認識の処理は、たとえば１００ミリ秒を周期に同じ周期で実行される。前述したように、画像判定部４２は、たとえば連続１０回無効画像候補として抽出された場合に画像を無効と判断してフェイル信号を出力する。この場合、今回撮像された画像だけでなく、その前の９回にわたって撮像された９枚の画像も無効である可能性が高く、無効画像の判定は信頼性の高いものである。したがって、車両制御部１８は、物体認識部１４による認識結果にのみ基づくのではなく、画像判定部４２によるフェイル信号の出力を受け取った後に、実際に車両制御を行うようにするのが好ましい。
【００８８】
図１に示した相関計算部６、距離計算部７、距離記憶部８、ウィンドウ切り出し部１３、遮光輝度抽出部４１、画像判定部４２、物体認識部１４、物体記憶部１５および車両制御部１６は、中央演算処理装置（ＣＰＵ）、制御プログラムおよび制御データを格納する読み出し専用メモリ、ＣＰＵの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ（ＲＡＭ）で構成することができる。距離記憶部８および物体記憶部１５は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じＲＡＭの一部分を使用して実現することができる。
【００８９】
また、この発明の物体判定装置をエンジンの電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵその他のＥＣＵとＬＡＮ接続して物体判定装置からの出力を車両の全体的な制御に利用することができる。
【００９０】
【発明の効果】
請求項１の発明によれば、撮像された画像が有効かどうか判断され、その結果に基づいて物体認識の処理を行うことができるので、物体認識の精度を高めることができる。
【００９１】
請求項２の発明によれば、連続して複数回にわたって画像を検証してから画像の有効性を判断するので、精度の良い安定した物体認識を行うことができる。
【００９２】
また請求項３の発明によれば、ノイズや位置ずれによりエラーとして検出されたウィンドウ数に基づいて画像の有効性を判断するので、さらに精度の良い安定した物体認識を行うことができる。
【００９３】
請求項４の発明によれば、スミアだけでなく、電気的ノイズや撮像装置のレンズ／受光素子の位置ずれを容易に検出することができ、画像の有効性の判断をより正確に行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施例の全体的な構成を示すブロック図。
【図２】三角計測法による距離の計測原理、および遮光部の配置を説明するための図。
【図３】レンズの撮像対象物側に遮光部を配置した図。
【図４】この発明による遮光手段を使用し、（ａ）撮像される画像領域、（ｂ）撮像された画像、（ｃ）画像にノイズがある場合の画像および（ｄ）位置ずれがある場合の画像の例を示す図。
【図５】撮像された画像の有効性を判断するフローチャート。
【図６】この発明による、（ａ）撮像された画像、（ｂ）距離および道路領域判定のためウィンドウに分割された画像、および（ｃ）出力された画像を示す図。
【図７】図１の物体認識部１４の詳細を示すブロック図。
【符号の説明】
３、３’ 撮像部
４０遮光部
４１遮光輝度抽出部
４２画像判定部
１４物体認識部
１６車両制御部
５１遮光領域
５２物体認識領域

Claims

車両外部の物体を認識する物体認識手段を有する物体認識装置において、
受光部を有する少なくとも１つの撮像手段と、
前記受光部の一部を遮光する遮光手段と、
前記撮像手段により撮像された画像のうち前記遮光手段によって遮光された遮光領域に含まれる小領域の輝度値を抽出する輝度値抽出手段と、
前記抽出された小領域の輝度値に基づいて、前記撮像手段により得られた画像が有効かどうかを判断する画像判定手段と、
前記画像判定手段によって、前記撮像された画像が有効と判断されなければ、該画像を無効画像候補と判断する無効画像候補判断手段と、
前記撮像手段によって連続して撮像された複数の画像について、連続して所定回数以上前記無効画像候補と判断されたならば、該撮像手段によって今回撮像された画像を無効と判断する無効判断手段と、を備え、
前記受光部はレンズおよび受光素子を有し、前記遮光領域が前記撮像された画像の上部に設定されるように、前記遮光手段は、該レンズの前記物体側の上方に設けられる、
物体認識装置。
前記画像判定手段が、前記輝度値抽出手段により抽出された小領域の輝度値が所定値以上の小領域の数に基づいて画像が有効かどうかを判断するようにした請求項１に記載の物体認識装置。