JP4321410B2 - 物体検出装置、および方法 - Google Patents

Description

本発明は、車両前方に存在する移動物体を検出する物体検出装置、および方法に関する。

あらかじめ設定した移動物体が通過する監視領域内の連続画像を固定カメラで撮像し、撮像した監視領域内に存在する移動物体を検出してその移動方向を算出する移動物体検出装置が特許文献１によって知られている。

特開平０８−１３６２１９号公報

しかしながら、従来の移動物体検出装置においては、あらかじめ設定した監視領域内を固定カメラで撮像した画像内に存在する移動物体を検出対象としているため、車両に搭載したカメラのようにカメラ自体が移動する場合には、正確に移動物体を検出することができないという問題が生じていた。

本発明による物体検出装置、および物体検出方法は、自車両前方の画像を撮像し、撮像した画像に対してエッジ抽出処理を行って、画像内に含まれる物体の輪郭を抽出したエッジ画像を生成し、時間的に連続した少なくとも２フレーム以上のエッジ画像における注目エッジの位置の時間変化に基づいて、前記注目エッジの移動方向、および移動速度をエッジの速度情報として算出し、算出したエッジの速度情報に基づいて、移動方向が自車両の進行先に向かっているエッジを含む画素を抽出し、算出したエッジの速度情報に基づいて、抽出した画素を、エッジの速度情報が同一である画素ごとにグルーピングし、グルーピングされた結果、同一のグループに属する画素を含む領域を設定し、設定した領域内に存在する物体を、自車両の推定進行先に向かって飛び出してくる移動物体として検出することを特徴とする。

本発明によれば、撮像した画像内の各画素の画像の速度情報を算出して、当該算出結果に基づいて移動物体を検出することとした。これによってカメラが固定されていない場合であっても、撮像した画像内に存在する移動物体を正確に検出することができる。

図１は、本実施の形態における物体検出装置を車両に搭載した場合の一実施の形態の構成例を示すブロック図である。物体検出装置１００は、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、車両の左右後輪付近に設置され、左右後輪のそれぞれの車輪回転速度を検出する車輪速センサ１０３と、運転者によるステアリングホイールの操舵角を検出する操舵角センサ１０４と、自車両の車速を検出する車速センサ１０５と、制御装置１０６と、画像を出力するモニタ１０７と、音声を出力するスピーカー１０８と、メモリ１０９とを備えている。

カメラ１０１は、例えばＣＣＤカメラが用いられ、図２にその設置例を示すように車室内上部前方に設置される。その光軸Ｚは車両前方正面方向に向き、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。カメラ１０１で撮像した連続画像は、画像メモリ１０２へ出力され、格納される。カメラ１０１で撮像した画像の具体例を図３に示す。カメラ１０１による撮像画像３ａは、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系（カメラ座標）によって表される。なお、図３においては、車両前方に存在する人、すなわち物体Ａと、壁、すなわち物体Ｂとが撮像画像内に含まれている。

制御装置１０６は、以下に詳細に説明するように、カメラ１０１で撮像した画像３ａを画像処理し、画像内に含まれる各物体の移動方向、および移動速度を算出して、画像内に含まれる移動物体を検出する。そして、自車両の推定進行先に向かって飛び出してくる移動物体が存在する場合には、モニタ１０７、およびスピーカー１０８を介して運転者に警告する。

制御装置１０６は、まず、カメラ１０１で撮像した画像を画像メモリ１０２から取り込み、この画像３ａに対してエッジ抽出処理を行い、撮像画像３ａ内に存在する物体の輪郭を抽出したエッジ画像を生成し、画像メモリ１０２に記憶する。そして、生成したエッジ画像（現在エッジ画像）と、直前、例えば直近の１０秒以内に撮像した画像に対してエッジ抽出処理を行って画像メモリ１０２に格納されていたエッジ画像（過去エッジ画像）の履歴とを比較する。具体的には、現在エッジ画像上のエッジが存在する任意の画素、例えば座標値が（ｘ，ｙ）である画素に対して、そのｘ軸方向の近傍画素として（ｘ−１，ｙ）、および（ｘ＋１，ｙ）を設定する。

そして、現在エッジ画像における任意の画素と、過去エッジ画像における当該任意の画素に対する近傍画素とを比較して、任意の画素に含まれるエッジの移動方向と移動距離を算出し、さらにその撮像時間の差、すなわち過去エッジ画像を撮像してから現在エッジ画像を撮像するまでの経過時間を算出する。算出したエッジの移動距離と経過時間とに基づいて、任意の画素に含まれるエッジの移動速度を算出する。

図４は、現在エッジ画像と過去エッジ画像とに基づいて、任意の画素に含まれるエッジの移動方向、および移動速度（以下、両者の組を「速度情報」）を算出する場合の具体例を示した図である。現在エッジ画像における物体Ａのエッジの一部を含む画素（ｘ１，ｙ１）に対して近傍画素（ｘ１−１，ｙ１）、および（ｘ１＋１，ｙ１）を設定する。そして近傍画素のいずれかにエッジを含む過去エッジ画像を抽出した結果、近傍画素（ｘ１−１，ｙ１）に過去エッジが存在していたとする。この場合、エッジの移動方向は左から右へ移動していると算出され、このときの移動距離と撮像時間の差とから移動速度が算出される。

また、現在エッジ画像における物体Ｂの輪郭を示すエッジの一部を含む画素（ｘ２、ｙ２）に対して設定した近傍画素（ｘ２−１，ｙ２）、および（ｘ２＋１，ｙ２）のいずれかにエッジを含む過去エッジ画像を抽出した結果、近傍画素（ｘ２＋１，ｙ２）に過去エッジが存在していたとする。この場合、エッジの移動方向は右から左へ移動していると算出され、このときの移動距離と撮像時間の差とから移動速度が算出される。

上述したエッジの速度情報の算出処理を、現在エッジ画像内に存在する全てのエッジを含む画素に対して実行し、エッジ抽出処理で抽出した全エッジの速度情報を算出する。なお、現在エッジ画像内のエッジを含まない画素に対しては、エッジ移動速度を０に設定する。そして、後述する図５に示すような、現在エッジ画像内の各画素で算出した速度情報を所定の階調値に変換した速度画像を生成する。

次に、車輪速センサ１０３、および操舵角センサ１０４から出力される各検出値に基づいて、自車両のヨーレートを算出する。算出した自車両のヨーレート、および車速センサ１０５で検出された自車両の車速に基づいて自車両の推定進路を演算し、自車両の推定経路の実空間上の座標位置を算出する。算出した実空間上の座標位置をカメラ１０１の焦点距離や取付高さなどのカメラパラメータを考慮してカメラ座標に変換し、図５に示すように、速度画像上における自車両の推定進路中心線を算出する。そして、速度画像における各画素を、各画素に含まれるエッジの移動方向が自車両の推定進路中心線に向かう方向である画素と、自車両の推定進路中心線から離れる方向である画素とに分類する。

分類した結果、エッジの移動方向が自車両の推定進路中心線に向かう方向である画素はそのまま残し、画素に含まれるエッジの移動方向が自車両の推定進路中心線から離れる方向である画素は、その画素に含まれるエッジの移動速度を０に変更して、速度画像を更新する。これによって、カメラ１０１で撮像した画像内に存在する物体のうち、自車両に接近してくる物体のエッジを含む画素のみを特定することができる。

次に、速度画像上において、移動物体を検出する領域を決定する。まず、図６に示すように速度画像上に短冊状の複数の領域６ａを設定して、各短冊領域６ａで速度画像を分割する。そして、各短冊領域６ａにおいて画像を下から上に走査し、１つの短冊領域６ａ内にエッジの移動速度が０でない画素、すなわち速度成分を持つ画素が複数存在すれば、最も下端に位置する画素の存在する位置をその短冊領域６ａ内における物体下端位置６ｂとして設定する。

また、各短冊領域６ａにおける物体下端位置６ｂから、検出対象の移動物体の高さに相当する速度画像内における位置を物体上端位置６ｃとして設定する。なお、検出対象の移動物体の高さは、物体下端位置６ｂから画像を上に走査して速度成分を持つ画素のうち最も上方にある画素の位置（上限位置）を算出し、物体下端位置６ｂから当該上限位置までの高さを、各移動物体ごとにあらかじめ設定した標準高さと比較して、最も近似する移動物体ごとの標準高さ、例えば歩行者であれば２ｍの高さを設定する。また、移動物体の高さに相当する速度画像内における位置は、物体下端位置６ｂの座標値と検出対象の移動物体の高さとに基づいて、カメラ１０１の焦点距離や取付高さなどのカメラパラメータを考慮して算出する。

そして、図７に示すように、各短冊領域６ａ内の物体下端位置６ｂから物体上端位置６ｃで囲まれる物体範囲７ａ内に存在する同一の速度情報を持つ画素、すなわちエッジの移動方向および移動速度が同じ画素の個数を計数し、計数結果が所定の閾値Ｔ１以上であれば、当該物体範囲７ａ内には移動物体が存在すると判断する。一方、計数結果が所定の閾値Ｔ１未満であれば、当該物体範囲７ａ内には移動物体は存在しないと判定し、その短冊領域６ａ内に設定した物体下端位置６ｂ、および物体上端位置６ｃを削除する。

速度画像上の移動物体が存在すると判断された全ての物体範囲７ａにおいて、１つの移動物体と判断できる物体範囲７ａをグルーピングして個々の移動物体を検出する。具体的には、図７に示すように、各短冊領域６ａにおいて、短冊領域６ａのｘ軸方向の中心点のｘ座標値と物体下端位置６ｂのｙ座標値とからなる代表座標値を算出し、隣り合う２つの短冊領域６ａの代表座標値を比較して、ｘ座標値の差、およびｙ座標値の差を算出する。そして、隣り合う２つの短冊領域６ａにおける代表座標値のｘ座標値の差の絶対値が所定の閾値Ｘｔ１以下で、ｙ座標値の差の絶対値が所定の閾値Ｙｔ１以下で、かつ隣り合う２つの短冊領域６ａが同一の速度情報を持つ場合には、隣り合う２つの短冊領域６ａにまたがって存在する移動物体は同一の移動物体であると判定する。

上述した処理を、全ての隣り合う２つの短冊領域６ａに対して実行し、同一の移動物体であると判定された各短冊領域６ａを図８の領域８ａに示すように結合する。当該結合して得られた移動物体領域の左上の座標値、右下の座標値、および速度情報を移動物体情報として、検出した各移動物体を識別する。なお、結合する短冊領域が存在しなければ、一つの短冊領域を移動物体領域として、移動物体情報を算出する。

上述した処理によって移動物体領域ごとに検出した各移動物体の物体種別の判定を行う。まず、図８に示すように、移動物体領域内で速度成分を持つ画素のｘ軸方向の度数分布、およびｙ軸方向の度数分布を算出する。速度成分を持つ画素のｘ軸方向の度数分布は、移動物体領域内に存在する移動物体の幅の度数分布を表しており、速度成分を持つ画素のｙ軸方向の度数分布は、移動物体領域内に存在する移動物体の高さの度数分布を表している。

算出したｙ軸方向の度数分布、すなわち高さ度数分布、およびｘ軸方向の度数分布、すなわち幅度数分布に基づいて、メモリ１０９にあらかじめ記憶されている判定基準に基づいて、移動物体領域内に存在する移動物体の種別を判定する。例えば、算出した高さ度数分布において、移動物体領域の上端もしくは下端に位置する度数が中央部に比べ低い状態にあり、幅度数分布において、物体の左端もしくは右端に位置する度数が中心部に比べ低い状態にある場合には、移動物体は歩行者であると判定する。

速度画像上に存在する全ての移動物体の種別を判定した後、各移動物体情報に検出した移動物体の種別を付加してメモリ１０９に格納する。このとき、メモリ１０９に、今回検出した移動物体の検出位置近傍に、近似した速度情報を持ち、かつ同一種別の移動物体の検出結果がすでに格納されている場合には、今回検出した当該移動物体はメモリ１０９に格納されている前回検出した移動物体の時間経過後の状態であり、同一の物体であると判定して、メモリ１０９内の当該前回検出結果を今回検出結果で更新する。これによって同一の移動物体を追従することが可能となる。一方、今回検出した移動物体の検出位置近傍に、近似した速度情報を持ち、かつ同一種別の移動物体の検出結果が格納されていない場合には、今回検出結果は新規に検出された移動物体であると判定して、メモリ１０９に格納する。

上述した処理によって、自車両前方に自車両の推定進路中心線に向かって速度成分を有する移動物体、すなわち自車両の推定進行先に向かって飛び出してくる移動物体を検出することができる。そして、自車両の推定進行先に向かって飛び出してくる移動物体が存在することが検出された場合には、モニタ１０７、およびスピーカー１０８を介して、判定した物体種別を明示して警告を運転者に提示する。

図９は、本実施の形態における物体検出装置１００の動作を示すフローチャートである。図９に示す処理は、不図示のイグニションスイッチがオンされると起動するプログラムとして制御装置１０６により実行される。ステップＳ１において，カメラ１０１で撮像された自車両前方の画像３ａを取得する。その後、ステップＳ２へ進み、画像３ａに対してエッジ抽出処理を行って、撮像画像３ａ内に存在する物体の輪郭を抽出した現在エッジ画像を生成し、ステップＳ３へ進む。ステップＳ３では、生成した現在エッジ画像と、過去エッジ画像とに基づいて、各画素に含まれるエッジの速度情報を算出し、算出した速度情報を所定の階調値に変換した速度画像を生成する。

その後、ステップＳ４へ進み、車輪速センサ１０３、および操舵角センサ１０４から出力される各検出値に基づいて算出した自車両のヨーレートと、車速センサ１０５で検出された自車両の車速とに基づいて曲率を求め、自車両の推定進路上の実空間上の座標位置を算出する。算出した実空間上の座標位置をカメラ１０１のカメラパラメータを考慮してカメラ座標に変換し、自車両の推定進路中心線を算出する。その後、ステップＳ５へ進み、各画素に含まれるエッジの移動方向が自車両の推定進路中心線に向かう方向である画素と、自車両の推定進路中心線から離れる方向である画素とに分類して、エッジの移動方向が自車両の推定進路中心線から離れる方向である画素は、その画素に含まれるエッジの移動速度を０とする。その後、ステップＳ６へ進む。

ステップＳ６では，速度画像を短冊状の小領域、すなわち短冊領域６ａに分割し，各短冊領域６ａ内における物体下端位置６ｂを設定して、ステップＳ７へ進む。ステップＳ７では、物体下端位置６ｂが設定された各短冊領域６ａに対して、物体上端位置６ｃを算出して設定する。その後、ステップＳ８へ進み、各短冊領域６ａ内の物体下端位置６ｂから物体上端位置６ｃで囲まれる物体範囲７ａ内に存在する移動物体を検出して、ステップＳ９へ進む。

ステップＳ９では、全ての物体範囲７ａにおいて、同一の速度情報を持つ隣り合う短冊領域６ａを結合して移動物体領域を設定し、各移動物体領域ごとに移動物体情報を算出する。その後、ステップＳ１０へ進み、各移動物体領域内の高さ度数分布、および幅度数分布を算出して、ステップＳ１１へ進む。ステップＳ１１では、算出した高さ度数分布、および幅度数分布に基づいて、移動物体領域内に存在する移動物体の種別を判定する。その後、ステップＳ１２へ進む。

ステップＳ１２では、各移動物体情報に検出した移動物体の種別を付加してメモリ１０９に格納する。このとき、メモリ１０９に、今回検出した移動物体の検出位置近傍に、近似した速度情報を持ち、かつ同一種別の移動物体の前回検出結果がすでに格納されている場合には、前回検出結果を今回検出結果で更新して、同一の移動物体を追従する。一方、今回検出した移動物体の検出位置近傍に、近似した速度情報を持ち、かつ同一種別の移動物体の検出結果が格納されていない場合には、今回検出結果は新規に検出された移動物体であると判定して、メモリ１０９に格納する。

その後、ステップＳ１３へ進み、上述した処理で検出した自車両の推定進行先に向かって飛び出してくる移動物体の存在を判定した物体種別を明示してモニタ１０７、およびスピーカー１０８を介して運転者に通知する。その後、ステップＳ１４へ進む。ステップＳ１４では、自車両のイグニションスイッチがオフされたか否かを判断して、オフされないと判断した場合には、ステップＳ１へ戻り、上述した処理を繰り返す。一方、イグニションスイッチがオフされたと判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）カメラ１０１で撮像した画像内に存在する物体の移動情報を算出して、当該算出結果に基づいて自車両の推定進行先に向かって飛び出してくる移動物体を検出して運転者に警告することとした。これによって、自車両前方に存在する物体のうち、飛び出し物体のみを正確に検出することができ、運転者に対してあらかじめ危険を通知することが可能となる。

（２）カメラ１０１で撮像した画像に対してエッジ抽出処理を行い、現在エッジ画像と過去エッジ画像とを比較して、エッジの移動方向を算出し、さらにエッジの移動距離と経過時間とに基づいて、任意の画素に含まれるエッジの移動速度を算出することとした。これによって、画像内に含まれる移動物体の移動情報を精度高く算出することができる。

（３）隣り合う２つの短冊領域６ａにおける代表座標値のｘ座標値の差の絶対値が所定の閾値Ｘｔ１以下で、ｙ座標値の差の絶対値が所定の閾値Ｙｔ１以下で、かつ隣り合う２つの短冊領域６ａが同一の速度情報を持つ場合には、隣り合う２つの短冊領域６ａにまたがって存在する移動物体は同一の移動物体であると判定し、短冊領域６ａを結合して移動物体領域を設定することとした。これによって、速度画像内に存在する各移動物体を個別に検出することができる。

（４）各移動物体領域内の高さ度数分布、および幅度数分布を算出して、あらかじめ設定した判定基準と比較することによって、移動物体領域内に存在する移動物体の種別を判定することとした。これによって、各画素単位に移動物体を検出して設定した移動物体領域に対し、そこに含まれる移動物体の種別を正確に判定することができる。

（５）各移動物体情報に検出した移動物体の種別を付加してメモリ１０９に格納する際に、メモリ１０９内に、今回検出した移動物体の検出位置近傍に、近似した速度情報を持ち、かつ同一種別の移動物体の前回検出結果がすでに格納されている場合には、今回検出した当該移動物体はメモリ１０９に格納されている前回検出した移動物体の時間経過後の状態であり、同一の物体であると判定して、前回検出結果を今回検出結果で更新することとした。これによって、同一の移動物体を追従することが可能となる。

上述した実施の形態では、本発明による物体検出装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、制御装置１０６は速度情報算出手段、移動物体検出手段、画素抽出手段、グルーピング手段、領域設定手段、物体種別判定手段、および追従手段に相当する。モニタ１０７、およびスピーカー１０８は警告手段に、メモリ１０９は履歴格納手段に相当する。なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

物体検出装置を車両に搭載した場合の一実施の形態の構成例を示すブロック図である。 カメラ１０１の車両への設置例を示す図である。 カメラ１０１で撮像した画像の具体例を示す図である。 現在エッジ画像と過去エッジ画像とに基づいて、任意の画素に含まれるエッジの速度情報を算出する場合の具体例を示した図である。 速度画像上における自車両の推定進路中心線を示す図である。 速度画像上に短冊状の複数の領域６ａを設定した場合の具体例を示す図である。 隣り合う２つの短冊領域６ａの代表座標値を比較して、ｘ座標値の差、およびｙ座標値の差を算出する場合の具体例を示す図である。 移動物体領域内に存在する移動物体の高さ度数分布、および幅度数分布を算出する場合の具体例を示す図である。 本実施の形態における物体検出装置１００の動作を示すフローチャート図である。

符号の説明

１００ 物体検出装置
１０１ カメラ
１０２ 画像メモリ
１０３ 車輪速センサ
１０４ 操舵角センサ
１０５ 車速センサ
１０６ 制御装置
１０７ モニタ
１０８ スピーカー
１０９ メモリ

Claims (4)

1. 自車両前方の画像を撮像する撮像手段と、
   前記撮像手段で撮像した画像に対してエッジ抽出処理を行って、画像内に含まれる物体の輪郭を抽出したエッジ画像を生成し、時間的に連続した少なくとも２フレーム以上のエッジ画像における注目エッジの位置の時間変化に基づいて、前記注目エッジの移動方向、および移動速度をエッジの速度情報として算出する速度情報算出手段と、
   前記速度情報算出手段で算出された前記エッジの速度情報に基づいて、移動方向が自車両の進行先に向かっているエッジを含む画素を抽出する画素抽出手段と、
   前記速度情報算出手段で算出された前記エッジの速度情報に基づいて、前記画素抽出手段で抽出した画素を、エッジの速度情報が同一である画素ごとにグルーピングするグルーピング手段と、
   前記グルーピング手段でグルーピングされた結果、同一のグループに属する画素を含む領域を設定する領域設定手段と、
   前記領域設定手段で設定された領域内に存在する物体を、自車両の推定進行先に向かって飛び出してくる移動物体として検出する移動物体検出手段とを備えることを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記移動物体検出手段で検出された移動物体の種別を判定する物体種別判定手段をさらに備えることを特徴とする物体検出装置。
3. 請求項２に記載の物体検出装置において、
   前記移動物体検出手段によって検出された移動物体、前記速度情報算出手段によって算出されたエッジの速度情報、および前記物体種別判定手段によって判定された移動物体の種別を組としてその履歴を格納する履歴格納手段と、
   前記移動物体検出手段によって自車両の推定進行先に向かって飛び出してくる移動物体が検出された場合に、今回検出したエッジの速度情報、および種別とに基づいて、前記履歴格納手段に同一の移動物体の履歴が格納されているかを判定し、同一の移動物体の履歴が格納されている場合には、同一の移動物体の履歴情報を、今回検出した移動物体の情報で更新して、移動物体を追従する追従手段とをさらに備えることを特徴とする物体検出装置。
4. 自車両前方の画像を撮像し、
   撮像した画像に対してエッジ抽出処理を行って、画像内に含まれる物体の輪郭を抽出したエッジ画像を生成し、時間的に連続した少なくとも２フレーム以上のエッジ画像における注目エッジの位置の時間変化に基づいて、前記注目エッジの移動方向、および移動速度をエッジの速度情報として算出し、
   算出した前記エッジの速度情報に基づいて、移動方向が自車両の進行先に向かっているエッジを含む画素を抽出し、
   算出した前記エッジの速度情報に基づいて、抽出した画素を、エッジの速度情報が同一である画素ごとにグルーピングし、
   グルーピングされた結果、同一のグループに属する画素を含む領域を設定し、
   設定した領域内に存在する物体を、自車両の推定進行先に向かって飛び出してくる移動物体として検出することを特徴とする物体検出方法。

Images