JP4645292B2 - 車載物体検出装置、および物体検出方法 - Google Patents

Description

本発明は、車両に搭載され、カメラで撮像した画像を画像処理して、画像内に存在する物体を検出する車載物体検出装置、および物体検出方法に関する。

次のような異物検出装置が特許文献１によって知られている。この異物検出装置によれば、路面に向けて光を照射してその反射光を受光し、その受光結果を画像処理することによってモアレ像を得る。そして、このモアレ像におけるモアレ縞上の点について、三角測量によって距離を算出することによって、画像内において物体が存在する領域と背景が存在する領域とを分離して、凹形状の物体または凸形状の物体を検出する。

特開２００３−２４０５２５号公報

しかしながら、モアレ縞に基づいて物体が存在する領域と背景が存在する領域とを分離しているので、領域の分解能が低く、物体検出の精度が低いという問題が生じていた。

本発明は、水平方向に延在するライン光を、その照射角度を上下に変化させながら物体を検出する方向に向けて照射し、ライン光が照射された範囲の画像を複数フレーム撮像し、撮像した画像に基づいて、フレーム間での画像内におけるライン光の移動速度の変化を算出し、算出したフレーム間での画像内におけるライン光の移動速度の変化に基づいて、ライン光の移動速度の変化点を検出し、検出したライン光の移動速度の変化点に基づいて、画像内に存在する物体の位置および大きさを特定して物体を検出することを特徴とする。

本発明によれば、フレーム間での画像内におけるライン光の移動速度の変化点に基づいて画像内に存在する物体の位置および大きさを特定するようにした。これによって、高さを有する物体に照射されたライン光の移動速度は、平面に照射されたライン光の移動速度とは異なることを加味して、精度高く物体の位置および大きさを特定して物体を検出することができる。

図１は、本実施の形態における車載物体検出装置の一実施の形態の構成例を示すブロック図である。車載物体検出装置１００は、車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、ＣＰＵ、メモリ、およびその他周辺回路を含み、後述する各種処理を実行する制御装置１０３と、車両前方に光を照射する投光機１０４とを備えている。

投光機１０４は、車両前方に路面と平行な細長い１本の直線状の光（ライン光）を照射し、その照射角度を上下方向に変化させることができる。カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、自車両の走行中に極めて微小な一定時間Δｔ間隔、例えば１ｍｓ間隔で連続的に投光機１０４によるライン光の照射範囲を撮像し、各フレームごとに画像メモリ１０２に出力する。

制御装置１０３は、投光機１０４を制御して、照射角度を一定速度で下から上へ変化させながら、自車両前方の検出対象物体にライン光を照射させる。そして、このときの自車両前方の画像、すなわち投光機１０４によるライン光の照射範囲をカメラ１０１を制御して連続して撮像する。これによって、一定速度でライン光を下から上へ走査したときの車両前方の連続画像、すなわち微小時間間隔で撮像した複数フレームの画像を得ることができる。

このとき、図２に示すように、物体とカメラ１０１および投光機１０４との関係を横方向、すなわち側面方向から見た場合について考える。この場合には、自車両前方に対象物、例えば物体２ａが存在するとき、投光機１０４の照射角度を下から上へ変化させていくと、ライン光は路面を照射した後に、図２（ａ）に示すように時刻Ｔ１で物体２ａの下端位置２ｂに到達する。このときにカメラ１０１で撮像した画像、すなわち時刻Ｔ１における撮像画像は、図２（ｂ）に示すようになる。

このように時刻Ｔ１における撮像画像においては、物体２ａの下端位置２ｂは路面と接しているため、この時点では、カメラ１０１からライン光２ｂの照射位置までの距離は、物体の下端位置２ｂを照射している範囲と、路面を照射している範囲とで一致する。よって、図２（ｂ）に示すように、投光機１０４から照射したライン光が物体２ａの下端位置２ｂに到達した時点では、撮像画像内では、撮像ライン光は符号２ｃに示すように物体２ａと周囲の路面との境界位置でずれることなく、物体２ａの下端位置２ｂ上を通る直線として撮像される。

これに対して、時刻Ｔ１からさらに所定時間経過した時刻Ｔ２においては、図２（ｃ）に示すように、投光機１０４から照射されるライン光は上に移動するため、物体２ａが存在する範囲では物体２ａ上の点２ｄを照射するようになり、物体２ａの両側では、時刻Ｔ１よりも遠方の路面２ｅを照射するようになる。よって、このときにカメラ１０１で撮像した画像、すなわち時刻Ｔ２における撮像画像は、図２（ｄ）に示すようになる。

このように時刻Ｔ２における撮像画像においては、この時点では、カメラ１０１からライン光２ｂの照射位置までの距離は、物体２ａを照射している範囲と路面を照射している範囲とで異なり、物体２ａを照射している範囲の方が路面を照射している範囲よりも近くなる。よって、図２（ｄ）に示すように、ライン光が路面２ｅを照射している範囲においては、撮像画像内では、撮像ライン光は符号２ｆ−１に示すように撮像され、物体２ａ上の点２ｄを照射している範囲においては、符号２ｆ−２に示すように撮像される。

この図２（ｄ）に示すように、時刻Ｔ２において、撮像画像上で物体２ａ上の撮像ライン光２ｆ−２が、路面上の撮像ライン光２ｆ−１よりも低い位置に撮像されるようになるのは、ライン光が物体２ａ内を照射している間は、実空間上におけるカメラ１０１から物体２ａ上の点２ｄまでの距離と、路面２ｅまでの距離との違いによって、物体２ａ上の撮像ライン光２ｆ−２は、路面上の撮像ライン光２ｆ−１よりも画像上での移動速度は遅くなることによる。

このことを加味して撮像画像内における物体の縦方向の境界位置を特定するために、図２（ｂ）および（ｄ）に示すように各フレームの撮像画像内に観測ライン２ｇを設定する。この観測ライン２ｇは、撮像画像全体に設定され、所定の幅、例えば１画素の幅を有し、撮像画像の下端から上端までを監視できるように、撮像画像の下端から上端までの高さを有している。すなわち、撮像画像全体を所定の幅を有する複数の観測ライン２ｇで分割する。

そして、フレーム間での観測ライン２ｇ内のライン光の画像上における動きを監視して、移動速度を算出する。なお、各観測ライン２ｇ内におけるライン光の動きは、フレーム間で画像の差分を算出することによって、フレーム間で変化した部分、すなわちライン光の照射位置のみを抽出することによって観測することができる。そして、フレーム間におけるライン光の位置変化、すなわち画像上での縦方向の座標値の変化を、カメラ１０１のフレームレートで割ることによって、観測ライン２ｇ内のライン光の画像上における移動速度を算出することができる。

以下の説明においては、説明の簡略化のため、ライン光が観測ライン２ｇの下端から上端まで移動する間を１サイクルとし、任意の観測ライン２ｇにおける１サイクルのライン光の動きを監視して、当該観測ライン２ｇ内に存在する物体を検出する場合について説明する。したがって、次に説明する処理を撮像画像内に設定した全ての観測領域２ｇに対して実行することによって、撮像画像内全体から物体を検出することができる。さらに複数サイクルを継続して繰り返すことによって、常に最新の状況における物体を検出することができる。

本実施の形態では、図３（ａ）に示すように、投光機１０４の角度を変化させながら下から上へライン光を照射し、画像をカメラ１０１で連続して撮像して図３（ｂ）に示す撮像画像を得る。そして、このときに撮像される撮像画像内に設定した観察ライン２ｇの内、画像の横方向の中央近傍に設定した観察ライン２ｇ内に存在する物体を検出する例について説明する。

この場合に、例えば図３（ａ）に示すように、投光機１０４によって光が照射される範囲を、符号Ａ〜Ｄに示す４つの範囲に分類する。すなわち、物体２ａより手前の路面を照射する範囲Ａ、物体２ａの側面を照射する範囲Ｂ、物体２ａの上面を照射する範囲Ｃ、および物体２ａより奥の路面を照射する範囲Ｄとに分類する。

そして、各フレームにおける観測ライン２ｇ内での画像上のライン光の移動速度（画像速度）を算出する。これを１サイクル内の複数フレームに対して実行することによって、例えば図３（ｃ）に示すようなＡ〜Ｄの各範囲における観測ライン２ｇ内での画像上のライン光の移動速度３ａ、および観測ライン２ｇ内でのライン光のｙ座標値の変化３ｂを算出することができる。

この図３（ｃ）において、グラフ３ａより、上空から見て平面に相当する箇所をライン光が走査している範囲、すなわち範囲Ａ、Ｃ、およびＤにおいては、ライン光の移動速度は同一であるのに対して、路面に対して高さのある範囲、すなわち範囲Ｂにおいては、ライン光の移動速度は、範囲Ａ、Ｃ、およびＤよりも遅くなっていることがわかる。換言すると、範囲Ａと範囲Ｂの境界点３ｃでライン光の移動速度は不連続に減少し、範囲Ｂと範囲Ｃの境界点３ｄでライン光の移動速度は不連続に増加している。

このことを加味して、観測ライン３ｇ内でライン光の移動速度の変化点（減少点）３ｃから次の変化点（増加点）３ｄまでに間にライン光が移動した座標の範囲に、その座標範囲に相当する高さを有する物体が存在すると判定することができる。したがって、撮像画像全体に対して観測ライン２ｇを設定して、各観測ライン２ｇ内におけるライン光の移動速度の変化点を検出し、その変化点における座標値を特定することによって、撮像画像内における物体の縦方向の境界位置を特定し、撮像画像内における物体の高さを検出することができる。

次に、このように撮像画像内で検出した物体２ａについて、実空間上での物体２ａ上に照射されたライン光の照射点（観測点）の路面からの高さ、およびカメラ１０１から物体２ａ上の観測点までの距離を次のように算出する。

図４に示すように、路面からのカメラ１０１の設置高さをｈｃ、投光機１０４の設置高さをｈｌ、カメラ１０１から観測点までの距離をｄ、路面から観測点までの高さをｈｔ、投光機１０４が照射しているライン光の垂直方向の角度（投光方向）をθＩ、およびカメラ１０１から観測点の見える垂直方向の角度をθｃｙとすると、カメラ１０１から見た観測点と投光している観測点の関係は次式（１）および（２）によって表される。
ｔａｎθｃｙ＝(ｈｃ−ｈｔ)／ｄ ・・・（１）
ｔａｎθｌ＝(ｈｌ−ｈｔ)／ｄ ・・・（２）

式（１）および（２）より、ｄ、ｈｔは、次式（３）および（４）によって算出される。
ｈｔ＝(ｈｃ・ｔａｎθｌ−ｈｌ・ｔａｎθｃｙ)／(ｔａｎθｃｙ−ｔａｎθｌ) ・・・（３）
ｄ ＝(ｈｃ−ｈｌ)／(ｔａｎθｃｙ−ｔａｎθｌ) ・・・（４）

このように、カメラ１０１から観測点までの距離ｄ、および路面から観測点までの高さｈｔは、既知のカメラ設置高さｈｃおよび投光機高ｈｌと、現在の投光方向θlと、撮像画像内の座標地より算出可能なカメラ１０１から見える垂直方向の角度θｃｙとに基づいて算出することができる。よって、上述したライン光の移動速度の変化点における座標値に基づいて算出した、物体の上端位置を観測点として、その観測点までの高さｈｔを算出することによって、実空間上における物体の高さを算出することができる。

本実施の形態では、さらに図５に示すように、物体２ａ上の観測点の横位置ｘを算出する。なお、図５は上述した図２〜図４と異なり、物体２ａとカメラ１０１との位置関係を上方向から見た場合を模式的に表した図である。この図５に示す場合において、カメラ１０１から観測点の見える水平方向の角度をθｃｘとすると、物体２ａ上の観測点の横位置ｘは次式（５）によって表される。
ｔａｎθｃｘ＝ｘ／ｄ ・・・（５）

したがって、物体２ａ上の観測点の横位置ｘは、式（４）によって算出されるカメラ１０１から観測点までの距離ｄと、カメラ１０１から観測点の見える水平方向の角度θｃｘとに基づいて算出することができる。

以上説明した処理を、上述したように撮像画像内に設定した全ての観測ライン２ｇに対して実行することによって、撮像画像全体から物体を検出して、撮像画像内における全ての物体の高さと、実空間上におけるカメラ１０１から観測点までの距離をｄ、路面から観測点までの高さをｈｔ、および物体上の観測点の横位置ｘとを算出することができる。

そして、撮像画像上に複数設定した観測ライン２ｇのうち、ライン光の移動速度の変化が検出される境界位置に存在する観測ライン２ｇ内で算出された観測点の横位置ｘに基づいて、物体２ａの横方向の境界位置を特定することができ、実空間上における物体の幅を算出することが可能となる。

上述した処理によって算出した実空間上における物体の高さ、および物体の幅に基づいて、実空間上における物体の大きさを特定することができ、さらにカメラ１０１から観測点までの距離ｄ、および観測点の横位置ｘを算出することによって、実空間上における物体の位置を特定することができるため、撮像画像内に存在する物体を検出することができる。

図６は、本実施の形態における車載物体検出装置１００の処理を示すフローチャートである。図６に示す処理は、車両のイグニションスイッチがオンされることによって、車載物体検出装置１００の電源がオンされると起動するプログラムとして制御装置１０３により実行される。ステップＳ１０において、投光機１０４による車両前方へのライン光の走査を開始して、ステップＳ２０へ進む。ステップＳ２０ではカメラ１０１による車両前方画像の撮像を開始して、ステップＳ３０へ進む。

ステップＳ３０では、画像メモリ１０２から撮像画像の読み込みを開始して、ステップＳ４０へ進む。ステップＳ４０では、上述したように、撮像画像内に観測ライン２ｇを設定する。その後、ステップＳ５０へ進み、各観測ライン２ｇ内におけるライン光の動きを監視して、フレーム間におけるライン光の移動速度の変化を算出する。その後、ステップＳ６０へ進み、ライン光の移動速度の変化点における座標値を検出して、撮像画像上における物体２ａの境界位置を特定し、物体２ａの高さを算出する。その後、ステップＳ７０へ進む。

ステップＳ７０では、上述した式（３）および（４）により、カメラ１０１から観測点までの距離ｄ、および路面から観測点までの高さｈｔを算出して、ステップＳ８０へ進む。ステップＳ８０では、上述した式（５）により、物体２ａ上の観測点の横位置ｘを算出して、物体の幅を算出する。その後、ステップＳ９０へ進む。

ステップＳ９０では、自車両のイグニションスイッチがオフされたか否かを判断する。自車両のイグニションスイッチがオフされないと判断した場合には、ステップＳ４０へ戻って処理を繰り返す。これに対して、オフされたと判断した場合には、ステップＳ１００へ進む。ステップＳ１００では、投光機１０４によるライン光の走査、およびカメラ１０１による画像の撮像を終了して、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）撮像画像内を観測ライン２ｇで分割し、各観測ライン２ｇ内のライン光の移動速度の変化点を検出してその変化点の座標値を特定することによって、観測ライン２ｇ内における物体の上端位置と下端位置、すなわち縦方向の物体の境界位置を特定して、物体の高さを検出するようにした。これによって、上空から見て平面に相当する箇所をライン光が走査している範囲においては、ライン光の移動速度は同一の速度であるのに対して、路面に対して高さのある範囲においては、ライン光の移動速度はそれよりも遅くなっていることを加味して、精度高く画像内での物体の縦方向の境界位置を特定し、画像内での物体の高さを検出することができる。

（２）カメラ１０１から観測点までの距離ｄ、路面から観測点までの高さｈｔを、式（３）および（４）によって、既知のカメラ設置高さｈｃおよび投光機高ｈｌと、現在の投光方向θlと、撮像画像内の座標地より算出可能なカメラ１０１から見える垂直方向の角度θｃｙとに基づいて算出するようにした。これによって、カメラ１０１から観測点までの距離ｄ、路面から観測点までの高さｈｔを検出するためのセンサー等を別途設ける必要がないため、コスト的に有利となる。さらに、ライン光の移動速度の変化点の検出結果に基づいて特定した物体の上端位置までの高さｈｔを算出することによって、精度高く実空間上における物体の高さを算出することができる。

（３）物体２ａ上の観測点の横位置ｘを、式（４）によって算出されるカメラ１０１から観測点までの距離ｄと、カメラ１０１から観測点の見える水平方向の角度θｃｘとに基づいて算出するようにした。これによって、物体２ａ上の観測点の横位置ｘを検出するためのセンサー等を別途設ける必要がないため、コスト的に有利となる。さらに、撮像画像上に複数設定した観測ライン２ｇのうち、ライン光の移動速度の変化が検出される境界位置に存在する観測ライン２ｇ内における観測点の横位置ｘを算出することによって、実空間上における物体の横方向の存在位置、および幅を精度高く算出することができる。

（４）各観測ライン２ｇ内におけるライン光の動きを、フレーム間で画像の差分を算出することによって検出し、フレーム間におけるライン光の位置変化、すなわち画像上での縦方向の座標値の変化を、カメラ１０１のフレームレートで割ることによって、観測ライン２ｇ内のライン光の画像上における移動速度を算出するようにした。これによって、フレーム間でのライン光の動きを監視することによって、精度高く観測ライン２ｇ内のライン光の画像上における移動速度を算出することができる。

―変形例―
なお、上述した実施の形態の車載物体検出装置は、以下のように変形することもできる。
（１）上述した実施の形態では、投光機１０４から車両前方に路面と平行な細長い１本のライン光を照射する例について説明した。しかしこれに限定されず、投光機１０４から複数のライン光を照射するようにしてもよい。例えば、図７（ａ）に示すように、投光機１０４から２本のライン光７ａおよび７ｂを照射してもよい。

この場合には、カメラ１０１で撮像される撮像画像は図７（ｂ）に示すようになり、撮像画像内にはライン光７ａおよび７ｂが撮像されることから、上述した実施の形態と同様に、撮像画像に対して観測ライン２ｇを設定して、観測ライン２ｇ内のライン光７ａおよび７ｂのそれぞれについて移動速度を算出して、画像内における物体の高さを算出する。そして、観測ライン２ｇ内のライン光７ａおよび７ｂのそれぞれによってできる観測点に対して、上述した（３）〜（５）の式を適用することによって、それぞれの観測点までの距離ｄ、高さｈｔ、および横位置ｘを算出する。

これによって、ライン光を１サイクル走査する間に、複数のライン光に基づく観測を同時に行うことができるため、処理を高速化することができる。

（２）上述した実施の形態では、投光機１０４は下から上へ照射角度を変化させながら、ライン光を下から上へ走査する例について説明した。しかしこれに限定されず、上から下へ照射角度を変化させるようにしてもよい。

（３）上述した実施の形態では、投光機１０４で車両前方にライン光を照射し、カメラ１０１で車両前方を撮像して、車両前方に存在する物体を検出する例について説明した。しかしこれに限定されず、物体を検出するその他の方向に向けてライン光を照射してもよい。例えば、投光機１０４で車両後方にライン光を走査し、カメラ１０１で車両後方を撮像して、車両後方に存在する物体を検出するようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、制御装置１０３は速度算出手段、変化点検出手段、および物体検出手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。

本実施の形態における車載物体検出装置の一実施の形態の構成例を示すブロック図である。 物体が存在する場合の撮像画像内におけるライン光の動きを模式的に示した図である。 物体が存在する場合の画像内におけるライン光の移動速度の変化の具体例を示す図である。 物体上における観測点の高さ、および観測点までの距離を算出する場合の具体例を示す図である。 物体上における観測点の横位置を算出する場合の具体例を示す図である。 本実施の形態における車載物体検出装置１００の処理を示すフローチャート図である。 投光機１０４から複数ラインのライン光を照射した場合の具体例を示す図である。

符号の説明

１００ 車載物体検出装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ 投光機

Claims (6)

1. 水平方向に延在するライン光を、その照射角度を上下に変化させながら物体を検出する方向に向けて照射する投光手段と、
   前記投光手段によって前記ライン光が照射された範囲の画像を複数フレーム撮像する撮像手段と、
   前記撮像手段で撮像された画像に基づいて、フレーム間での画像内における前記ライン光の移動速度の変化を算出する速度算出手段と、
   前記速度算出手段で算出したフレーム間での画像内における前記ライン光の移動速度の変化に基づいて、前記ライン光の移動速度の変化点を検出する変化点検出手段と、
   前記変化点検出手段で検出した前記ライン光の移動速度の変化点に基づいて、画像内に存在する物体の位置および大きさを特定して物体を検出する物体検出手段とを備えることを特徴とする車載物体検出装置。
2. 請求項１に記載の車載物体検出装置において、
   前記物体検出手段は、前記変化点検出手段で検出した前記ライン光の移動速度の変化点の画像上の位置を、物体の縦方向の境界位置として検出することを特徴とする車載物体検出装置。
3. 請求項２に記載の車載物体検出装置において、
   前記物体検出手段は、検出した前記物体の縦方向の境界位置に基づいて、実空間上における物体の高さ、および前記撮像手段から物体までの距離を算出することを特徴とする車載物体検出装置。
4. 請求項３に記載の車載物体検出装置において、
   前記物体検出手段は、算出した前記物体までの距離に基づいて、実空間上における物体の横方向の位置、および物体の幅を算出することを特徴とする車載物体検出装置。
5. 請求項１〜４のいずれか一項に記載の車載物体検出装置において、
   前記投光手段は、前記ライン光の照射角度を下から上へ変化させることを特徴とする車載物体検出装置。
6. 水平方向に延在するライン光を、その照射角度を上下に変化させながら物体を検出する方向に向けて照射し、
   前記ライン光が照射された範囲の画像を複数フレーム撮像し、
   撮像した画像に基づいて、フレーム間での画像内における前記ライン光の移動速度の変化を算出し、
   算出したフレーム間での画像内における前記ライン光の移動速度の変化に基づいて、前記ライン光の移動速度の変化点を検出し、
   検出した前記ライン光の移動速度の変化点に基づいて、画像内に存在する物体の位置および大きさを特定して物体を検出することを特徴とする車載物体検出方法。

Images