JP7291505B2 - 車外環境検出装置 - Google Patents

Description

本開示は、自車両の周辺の車両を検出する車外環境検出装置に関する。

自動車等の車両には、自車両の周辺の車両を検出し、その検出結果に応じて、例えば自車両の走行を制御するものがある。例えば、特許文献１には、ステレオカメラを用いて自車両の周辺の車両を検出し、その車両の車両幅に基づいて、自車両の走行速度とその車両の走行速度との間の相対速度を算出する技術が開示されている。

特開２００８－１２３４６２号公報

自車両の周辺の車両を検出する処理においては、検出精度が高いことが望まれており、さらなる検出精度の向上が期待されている。

車両の検出精度を高めることができる車外環境検出装置を提供することが望ましい。

本開示の一実施の形態に係る車外環境検出装置は、距離画像生成部と、車両検出部と、探索処理部と、車両幅算出部と、予測部とを備えている。距離画像生成部は、それぞれが左画像および右画像を有し、互いに異なるタイミングで順に撮像された第１のステレオ画像、第２のステレオ画像、および第３のステレオ画像を含む複数のステレオ画像に基づいて第１の距離画像、第２の距離画像、および第３の距離画像を含む複数の距離画像をそれぞれ生成するように構成される。車両検出部は、複数の距離画像のそれぞれに基づいて対象車両を検出するように構成される。探索処理部は、複数のステレオ画像のそれぞれに含まれる左画像および右画像のそれぞれに基づいて対象車両を探索するとともに、その探索結果に基づいて左画像および右画像のうちの一方を選択画像として選択するように構成される。車両幅算出部は、複数の距離画像のそれぞれでの対象車両の画像幅を第１の車両画像幅として算出するとともに、複数のステレオ画像のそれぞれにおける選択画像での対象車両の画像幅を第２の車両画像幅として算出するように構成される。予測部は、第１の距離画像に基づいて算出された第１の車両画像幅、および第２のステレオ画像における選択画像に基づいて算出された第２の車両画像幅に基づいて、第３のステレオ画像に含まれる左画像および右画像における対象車両の位置を予測するように構成される。

本開示の一実施の形態に係る車外環境検出装置によれば、車両の検出精度を高めることができる。

本開示の一実施の形態に係る車外環境検出装置の一構成例を表すブロック図である。 図１に示した左カメラが生成する左画像の一例を表す画像図である。 図１に示した右カメラが生成する右画像の一例を表す画像図である。 図１に示した先行車両検出部の一動作例を模式的に表す画像図である。 図１に示した探索処理部の一動作例を模式的に表す画像図である。 図１に示した処理部２０の一動作例を表す説明図である。 図５に示した基準位置決定処理の一例を表すフローチャートである。 図１に示した左カメラが生成する左画像の他の例を表す画像図である。 図１に示した右カメラが生成する右画像の他の例を表す画像図である。 図１に示した先行車両検出部の他の動作例を模式的に表す画像図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る車外環境検出装置（車外環境検出装置１）の一構成例を表すものである。車外環境検出装置１は、ステレオカメラ１１と、処理部２０とを備えている。車外環境検出装置１は、自動車等の車両１０に搭載される。

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０のルームミラーの近傍において、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

図２Ａは、左画像ＰＬの一例を表すものであり、図２Ｂは、右画像ＰＲの一例を表すものである。この例では、車両１０が走行している道路における車両１０の前方に、他車両（先行車両９０）が走行している。左カメラ１１Ｌがこの先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒがこの先行車両９０を撮像することにより右画像ＰＲを生成する。その結果、左画像ＰＬおよび右画像ＰＲは互いに視差を有する。ステレオカメラ１１は、このような左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成するようになっている。

処理部２０（図１）は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、先行車両９０の走行情報を検出するように構成される。先行車両９０の走行情報は、例えば、車両１０を基準とした先行車両９０までの相対距離や、車両１０の走行速度と先行車両９０の走行速度との間の相対速度などの情報を含む。車両１０では、例えば、処理部２０が検出した先行車両９０の走行情報に基づいて、追従走行制御やステアリングのアシスト制御などの走行制御を行うようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、距離画像生成部２１と、先行車両検出部２２と、探索処理部２４と、車両幅算出部２５と、基準位置決定部２６と、走行情報検出部２７とを有している。

距離画像生成部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成するように構成される。距離画像ＰＺにおける各画素の画素値は、３次元の実空間における、各画素に対応する点までの距離を示すデプス値である。距離画像生成部２１は、生成した距離画像ＰＺを、先行車両検出部２２に供給するようになっている。

先行車両検出部２２は、距離画像ＰＺに基づいて先行車両９０を検出するように構成される。距離画像ＰＺにおいて、先行車両９０に対応する画像領域におけるデプス値は、それ以外の画像領域におけるデプス値よりも小さい。先行車両検出部２２は、距離画像ＰＺに含まれるこのようなデプス値を利用して、先行車両９０を検出するようになっている。

図３は、先行車両検出部２２による検出結果の一例を模式的に表すものである。先行車両検出部２２は、距離画像ＰＺに基づいて先行車両９０を検出する。そして、先行車両検出部２２は、領域Ｒ１で示したように、距離画像ＰＺにおける先行車両９０の位置を特定するようになっている。

探索処理部２４は、左画像ＰＬおよび右画像ＰＲのそれぞれに基づいて、機械学習の技術を用いて、先行車両９０を探索するように構成される。

図４は、探索処理部２４における処理の一例を模式的に表すものである。この図４では、探索処理部２４は、左画像ＰＬに基づいて、先行車両９０を探索している。探索処理部２４には、基準位置決定部２６から、探索処理を行う際の探索基準位置ＰＯＳについての情報が供給される。探索基準位置ＰＯＳは、左画像ＰＬおよび右画像ＰＲにおける、先行車両９０が検出されるであろう予測位置である。探索処理部２４は、この探索基準位置ＰＯＳを基準として、所定の大きさの処理対象領域Ｒ２を少しずつずらしながら順次設定することにより、先行車両９０を探索する。そして、探索処理部２４は、機械学習の技術を用いて、処理対象領域Ｒ２において先行車両９０が存在するかどうかを確認する。このようにして、探索処理部２４は、左画像ＰＬおよび右画像ＰＲのそれぞれにおける先行車両９０の位置を特定するようになっている。

そして、探索処理部２４は、先行車両９０を探索した結果に基づいて、機械学習の技術を用いて、先行車両９０の車両としての確からしさを評価することにより、左画像ＰＬおよび右画像ＰＲのうちの一方の画像を画像Ｐとして選択する機能をも有している。具体的には、探索処理部２４は、機械学習の技術を用いて、左画像ＰＬにおける特定された先行車両９０に対応する画像、および右画像ＰＲにおける特定された先行車両９０に対応する画像のそれぞれに基づいて、車両としての確からしさを評価することによりスコアをそれぞれ生成する。そして、探索処理部２４は、左画像ＰＬおよび右画像ＰＲのうちの、スコアが高い画像を画像Ｐとして選択する。そして、探索処理部２４は、画像Ｐについての探索結果を走行情報検出部２７に供給するようになっている。

車両幅算出部２５（図１）は、先行車両検出部２２による検出結果に基づいて、距離画像ＰＺにおける先行車両９０の画像幅（図３に示した車両画像幅Ｗ１）を算出するとともに、探索処理部２４による探索結果に基づいて、探索処理部２４により選択された画像Ｐにおける先行車両９０の画像幅（図４に示した車両画像幅Ｗ２）を算出するように構成される。

基準位置決定部２６は、先行車両検出部２２による検出結果、探索処理部２４による探索結果、および車両画像幅Ｗ１，Ｗ２に基づいて、次のフレームＦに係る探索処理において使用される探索基準位置ＰＯＳを決定するように構成される。

走行情報検出部２７は、先行車両検出部２２による検出結果および探索処理部２４による探索結果に基づいて、先行車両９０の走行情報を検出するように構成される。

具体的には、例えば、距離画像ＰＺの画像精度が高い場合には、走行情報検出部２７は、先行車両検出部２２による検出結果に基づいて、先行車両９０の走行情報を検出する。その際、走行情報検出部２７は、距離画像ＰＺに含まれる、先行車両９０に対応する画像領域におけるデプス値を利用して、先行車両９０の走行情報を検出する。

また、例えば、距離画像ＰＺの画像精度が低い場合には、走行情報検出部２７は、探索処理部２４による探索結果に基づいて、先行車両９０の走行情報を検出する。すなわち、例えば、雨粒などにより、左画像ＰＬまたは右画像ＰＲの一部が不鮮明になった場合には、距離画像ＰＺの画像精度が低くなり得る。よって、距離画像ＰＺの画像精度が低い場合には、走行情報検出部２７は、探索処理部２４による画像Ｐに基づく探索結果に基づいて、先行車両９０の走行情報を検出する。その際、走行情報検出部２７は、画像Ｐにおける先行車両９０の画像幅を算出し、その画像幅の大きさに基づいて、車両１０の走行速度と先行車両９０の走行速度との間の相対速度Ｖ、および先行車両９０までの相対距離Ｚを算出することにより、先行車両９０の走行情報を検出する。すなわち、例えば、車両１０と先行車両９０との間の距離が短い場合には、画像Ｐにおける先行車両９０の画像幅は大きくなり、車両１０と先行車両９０との間の距離が長い場合には、画像Ｐにおける先行車両９０の画像幅は小さくなるので、走行情報検出部２７は、このような画像Ｐにおける先行車両９０の画像サイズ（スケーリング）を利用して、先行車両９０の走行情報を検出することができる。

この構成により、車外環境検出装置１では、先行車両検出部２２が、一連のステレオ画像ＰＩＣに基づいて生成された一連の距離画像ＰＺに基づいて、継続的に先行車両９０を検出するとともに、探索処理部２４が、一連の左画像ＰＬおよび一連の右画像ＰＲに基づいて、継続的に先行車両９０を探索する。探索処理部２４は、現在のフレームＦの一つ前のフレームＦにおいて基準位置決定部２６により決定された探索基準位置ＰＯＳに基づいて、先行車両９０を探索する。そして、走行情報検出部２７は、先行車両検出部２２による検出結果および探索処理部２４による探索結果に基づいて、先行車両９０の走行情報を検出する。その際、車外環境検出装置１では、後述するように、例えば、雨粒などにより、左画像ＰＬまたは右画像ＰＲの一部が不鮮明になり、距離画像ＰＺの画像精度が低くなった場合に、左画像ＰＬおよび右画像ＰＲのうちの、先行車両９０の車両としての確からしさが高い画像（画像Ｐ）に基づいて、先行車両９０の走行情報を検出する。これにより、車外環境検出装置１では、先行車両９０の検出精度を高めることができるようになっている。

ここで、先行車両検出部２２は、本開示における「車両検出部」の一具体例に対応する。先行車両９０は、本開示における「対象車両」の一具体例に対応する。車両画像幅Ｗ１は、本開示における「第１の車両画像幅」の一具体例に対応する。車両画像幅Ｗ２は、本開示における「第２の車両画像幅」の一具体例に対応する。基準位置決定部２６は、本開示における「予測部」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の車外環境検出装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、車外環境検出装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。距離画像生成部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲに基づいて、距離画像ＰＺを生成する。先行車両検出部２２は、距離画像ＰＺに基づいて先行車両９０を検出する。探索処理部２４は、左画像ＰＬおよび右画像ＰＲのそれぞれに基づいて、探索基準位置ＰＯＳを基準として、機械学習の技術を用いて、先行車両９０を探索する。そして、探索処理部２４は、先行車両９０を探索した結果に基づいて、機械学習の技術を用いて、先行車両９０の車両としての確からしさを評価することにより、左画像ＰＬおよび右画像ＰＲのうちの一方の画像を画像Ｐとして選択する。車両幅算出部２５は、先行車両検出部２２による検出結果に基づいて、距離画像ＰＺにおける先行車両９０の画像幅（車両画像幅Ｗ１）を算出するとともに、探索処理部２４による探索結果に基づいて、探索処理部２４により選択された画像Ｐにおける先行車両９０の画像幅（車両画像幅Ｗ２）を算出する。基準位置決定部２６は、先行車両検出部２２による検出結果、探索処理部２４による探索結果、および車両画像幅Ｗ１，Ｗ２に基づいて、次のフレームＦに係る探索処理において使用される探索基準位置ＰＯＳを決定する。走行情報検出部２７は、先行車両検出部２２による検出結果および探索処理部２４による探索結果に基づいて、先行車両９０の走行情報を検出する。

（詳細動作）
図５は、車外環境検出装置１の一動作例を表すものである。距離画像生成部２１は距離画像生成処理１２１を行い、先行車両検出部２２は先行車両検出処理１２２を行い、探索処理部２４は探索処理１２４を行い、車両幅算出部２５は車両幅算出処理１２５を行い、基準位置決定部２６は基準位置決定処理１２６を行う。

ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成する。この図５には、フレームＦ（ｎ－１）に対応するステレオ画像ＰＩＣ、そのフレームＦ（ｎ－１）の次のフレームＦ（ｎ）に対応するステレオ画像ＰＩＣ、およびそのフレームＦ（ｎ）の次のフレームＦ（ｎ＋１）に対応するステレオ画像ＰＩＣを図示している。以下に、図５において太線で示した処理に着目して、動作を説明する。

例えば、距離画像生成部２１は、フレームＦ（ｎ）の一つ前のフレームＦ（ｎ－１）に対応するステレオ画像ＰＩＣに基づいて距離画像生成処理１２１（ｎ－１）を行うことにより距離画像ＰＺを生成する。先行車両検出部２２は、この距離画像ＰＺに基づいて先行車両検出処理１２２（ｎ－１）を行うことにより、先行車両９０を検出する。

探索処理部２４は、フレームＦ（ｎ）に対応するステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲのそれぞれに基づいて、探索基準位置ＰＯＳを基準として探索処理１２４（ｎ）を行うことにより、先行車両９０を探索する。この探索基準位置ＰＯＳは、フレームＦ（ｎ）の一つ前のフレームＦ（ｎ－１）に係る基準位置決定処理１２６（ｎ－１）において生成される。これにより、探索処理部２４は、左画像ＰＬおよび右画像ＰＲのそれぞれにおける先行車両９０の位置を特定する。そして、探索処理部２４は、左画像ＰＬにおける特定された先行車両９０に対応する画像、および右画像ＰＲにおける特定された先行車両９０に対応する画像のそれぞれに基づいて、車両としての確からしさを評価することにより、左画像ＰＬおよび右画像ＰＲのうちの一方の画像を画像Ｐとして選択する。

車両幅算出部２５は、車両幅算出処理１２５（ｎ）を行うことにより、車両画像幅Ｗ１，Ｗ２を算出する。具体的には、車両幅算出部２５は、先行車両検出部２２による先行車両検出処理１２２（ｎ－１）の結果に基づいて、距離画像ＰＺにおける先行車両９０の車両画像幅Ｗ１を算出するとともに、探索処理部２４による探索処理１２４（ｎ）の結果に基づいて、探索処理部２４により選択された画像Ｐにおける先行車両９０の車両画像幅Ｗ２を算出する。基準位置決定部２６は、車両画像幅Ｗ１，Ｗ２に基づいて、基準位置決定処理１２６（ｎ）を行うことにより、探索基準位置ＰＯＳを決定する。この探索基準位置ＰＯＳは、フレームＦ（ｎ）の次のフレームＦ（ｎ＋１）に係る探索処理１２４（ｎ＋１）において用いられる。

そして、図示していないが、走行情報検出部２７は、先行車両検出処理１２２（ｎ）の結果、および探索処理１２４（ｎ）の結果に基づいて、先行車両９０の走行情報を検出する。

車外環境検出装置１は、このような動作を継続して行うことにより、先行車両９０の走行情報を継続して検出する。

次に、基準位置決定部２６による基準位置決定処理１２６について、詳細に説明する。

図６は、図５に示した、現在のフレームＦ（ｎ）に係る基準位置決定処理１２６（ｎ）の一例を表すものである。

まず、基準位置決定部２６は、現在のフレームＦ（ｎ）において、探索処理１２４（ｎ）が成功しているかどうかを確認する（ステップＳ１０１）。具体的には、基準位置決定部２６は、左画像ＰＬおよび右画像ＰＲのうち、探索処理１２４（ｎ）により選択された画像Ｐについての探索処理が成功しているかどうかを確認する。探索処理部２４は、探索基準位置ＰＯＳを基準として、図４に示したように、処理対象領域Ｒ２を少しずつずらしながら順次設定することにより、先行車両９０を探索する。この探索処理は、例えば１フレーム分の時間内に終了する必要がある。この時間は、例えば、フレームレートが６０［ｆｐｓ］である場合には、１６．７［ｍｓｅｃ］（＝１／６０）であるので、探索処理部２４は、広い範囲にわたり先行車両９０を探索することが難しい。よって、例えば、画像Ｐにおける探索基準位置ＰＯＳが先行車両９０の位置から大きくずれている場合や、画像Ｐが不鮮明である場合には、探索処理が失敗することもあり得る。探索処理１２４（ｎ）が失敗している場合（ステップＳ１０１において“Ｎ”）には、ステップＳ１０５に進む。

ステップＳ１０１において、探索処理１２４（ｎ）が成功している場合（ステップＳ１０１において“Ｙ”）には、基準位置決定部２６は、車両幅算出処理１２５（ｎ）により算出された、一つ前のフレームＦ（ｎ－１）における距離画像ＰＺに基づく車両画像幅Ｗ１、および現在のフレームＦ（ｎ）における探索処理部２４により選択された画像Ｐに基づく車両画像幅Ｗ２に基づいて、車両１０の走行速度と先行車両９０の走行速度との間の相対速度Ｖを算出する（ステップＳ１０２）。具体的には、基準位置決定部２６は、例えば、先行車両９０の画像サイズ（スケーリング）を利用して、車両画像幅Ｗ１により、フレームＦ（ｎ－１）における相対距離Ｄ１を求めるとともに、車両画像幅Ｗ２により、フレームＦ（ｎ）における相対距離Ｄ２を求める。２つのフレームＦ（ｎ－１），Ｆ（ｎ）に係る撮像タイミングは、例えば、フレームレートが６０［ｆｐｓ］である場合には、１６．７［ｍｓｅｃ］（＝１／６０）だけずれている。よって、基準位置決定部２６は、これらの相対距離Ｄ１，Ｄ２の差とフレームレートとに基づいて、相対速度Ｖを算出することができる。

次に、基準位置決定部２６は、現在のフレームＦ（ｎ）における画像Ｐに基づく車両画像幅Ｗ２に基づいて、相対速度Ｖのとり得る値の最大値である最大相対速度Ｖmaxを算出する（ステップＳ１０３）。基準位置決定部２６は、予め準備された、車両画像幅Ｗ２と最大相対速度Ｖmaxとの関係を示す数式やルックアップテーブルを用いて、車両画像幅Ｗ２に基づいて、最大相対速度Ｖmaxを算出することができる。

次に、基準位置決定部２６は、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えているかどうか（｜Ｖ｜＞Ｖmax）を確認する（ステップＳ１０４）。基準位置決定部２６は、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えているかどうかを確認することにより、距離画像ＰＺに基づく処理の精度が低いかどうかを確認することができる。すなわち、例えば、雨粒などにより、左画像ＰＬまたは右画像ＰＲの一部が不鮮明になった場合には、距離画像ＰＺの画像精度が低下し、距離画像ＰＺに基づく処理の精度が低くなるおそれがある。この場合には、距離画像ＰＺにより算出された車両画像幅Ｗ１は、所望の値から大きくずれ得る。一方、このような場合でも、画像Ｐにより算出された車両画像幅Ｗ２は、所望の値から大きくずれにくい。なぜならば、探索処理部２４により、左画像ＰＬおよび右画像ＰＲのうち、車両としての確からしさが高い画像が画像Ｐとして選択され、車両幅算出部２５により、この画像Ｐに基づいて車両画像幅Ｗ２が算出されるからである。よって、基準位置決定部２６は、これらの車両画像幅Ｗ１，Ｗ２に基づいて算出した相対速度Ｖを評価することにより、距離画像ＰＺに基づく処理の精度が低いかどうかを確認することができる。具体的には、基準位置決定部２６は、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えている場合には、距離画像ＰＺに基づく処理の精度が低いと判断する。また、基準位置決定部２６は、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えていない場合には、距離画像ＰＺに基づく処理の精度は高いと判断する。

ステップＳ１０１において、探索処理１２４（ｎ）が失敗している場合（ステップＳ１０１において“Ｎ”）、またはステップＳ１０４において、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えていない場合（ステップＳ１０４において“Ｎ”）には、基準位置決定部２６は、先行車両検出処理１２２（ｎ）により検出された、距離画像ＰＺにおける先行車両９０の位置に基づいて、探索基準位置ＰＯＳを決定する（ステップＳ１０５）。

すなわち、探索処理１２４（ｎ）が失敗している場合（ステップＳ１０１において“Ｎ”）には、探索処理１２４（ｎ）により先行車両９０は検出されておらず、次のフレームＦ（ｎ＋１）に係る探索処理１２４（ｎ＋１）において用いる探索基準位置ＰＯＳを決定することができないので、基準位置決定部２６は、先行車両検出処理１２２（ｎ）により検出された、距離画像ＰＺにおける先行車両９０の位置に基づいて、探索基準位置ＰＯＳを決定する。また、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えていない場合（ステップＳ１０４において“Ｎ”）には、距離画像ＰＺに基づく処理の精度は高いので、基準位置決定部２６は、この距離画像ＰＺにおける先行車両９０の位置に基づいて、探索基準位置ＰＯＳを決定する。

また、ステップＳ１０４において、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えている場合（ステップＳ１０４において“Ｙ”）には、基準位置決定部２６は、探索処理１２４（ｎ）により検出された、画像Ｐにおける先行車両９０の位置に基づいて、探索基準位置ＰＯＳを決定する（ステップＳ１０６）。すなわち、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えている場合（ステップＳ１０４において“Ｙ”）には、距離画像ＰＺに基づく処理の精度は低いので、基準位置決定部２６は、先行車両検出処理１２２（ｎ）により検出された、距離画像ＰＺにおける先行車両９０の位置に基づいてではなく、探索処理１２４（ｎ）により検出された、画像Ｐにおける先行車両９０の位置に基づいて、探索基準位置ＰＯＳを決定する。

以上で、このフローは終了する。探索処理部２４は、このようにして決定された探索基準位置ＰＯＳに基づいて、次のフレームＦ（ｎ＋１）に係る探索処理１２４（ｎ＋１）を行う。

ここで、フレームＦ（ｎ－１）に係るステレオ画像ＰＩＣおよび距離画像ＰＺは、本開示における「第１のステレオ画像」および「第１の距離画像」の一具体例にそれぞれ対応する。フレームＦ（ｎ）に係るステレオ画像ＰＩＣおよび距離画像ＰＺは、本開示における「第２のステレオ画像」および「第２の距離画像」の一具体例にそれぞれ対応する。フレームＦ（ｎ＋１）に係るステレオ画像ＰＩＣおよび距離画像ＰＺは、本開示における「第３のステレオ画像」および「第３の距離画像」の一具体例にそれぞれ対応する。最大相対速度Ｖmaxは、本開示における「しきい速度」の一具体例に対応する。ステップＳ１０５に示した処理は、「第１の予測処理」の一具体例に対応する。ステップＳ１０６に示した処理は、「第２の予測処理」の一具体例に対応する。

このように、車外環境検出装置１では、距離画像ＰＺに基づいて先行車両９０を検出するとともに、画像Ｐに基づいて先行車両９０を検出するようにしたので、先行車両９０の検出精度を高めることができる。すなわち、仮に、例えば、雨粒などにより、左画像ＰＬまたは右画像ＰＲの一部が不鮮明になった場合には、距離画像ＰＺの画像精度が低くなり、その結果、距離画像ＰＺに基づく先行車両９０の検出精度が低くなるおそれがある。車外環境検出装置１では、距離画像ＰＺに基づいて先行車両９０を検出するとともに、画像Ｐに基づいて先行車両９０を検出するようにしたので、このように、左画像ＰＬまたは右画像ＰＲの一部が不鮮明になった場合でも、左画像ＰＬおよび右画像ＰＲのうちの鮮明な画像である画像Ｐに基づいて先行車両９０を検出することができるので、先行車両９０の検出精度を高めることができる。

また、車外環境検出装置１では、図６に示したように、車両画像幅Ｗ１，Ｗ２に基づいて、探索処理１２４における基準位置を示す探索基準位置ＰＯＳを決定することにより、左画像ＰＬおよび右画像ＰＲにおける先行車両９０の位置を予測するようにした。これにより、車外環境検出装置１では、先行車両９０の検出精度を高めることができる。

すなわち、仮に、基準位置決定部が、常に、先行車両検出処理１２２により検出された、距離画像ＰＺにおける先行車両９０の位置に基づいて探索基準位置ＰＯＳを決定する場合には、以下に説明するように、例えば、雨粒などにより、左画像ＰＬまたは右画像ＰＲの一部が不鮮明になった場合に、探索基準位置ＰＯＳが所望の位置からずれるおそれがある。

図７Ａは、左画像ＰＬの一例を表すものであり、図７Ｂは、右画像ＰＲの一例を表すものである。図８は、先行車両検出部２２による検出結果の一例を模式的に表すものである。

この例では、図７Ｂに示したように、雨粒により、右画像ＰＲにおける領域Ｒ３に対応する部分が不鮮明になっている。これにより、右画像ＰＲでは、先行車両９０の右半分が不鮮明になっている。距離画像生成部２１は、このような左画像ＰＬおよび右画像ＰＲに基づいて距離画像ＰＺを生成し、先行車両検出部２２は、この距離画像ＰＺに基づいて先行車両９０を検出しようとする。この例では、右画像ＰＲにおいて、先行車両９０の右半分が不鮮明であるので、距離画像ＰＺは、先行車両９０の右半分に対応する画像領域において、不正確なデプス値を有する。一方、距離画像ＰＺは、先行車両９０の左半分に対応する画像領域では、所望のデプス値を有している。その結果、この例では、先行車両検出部２２は、図８において領域Ｒ４に示したように、先行車両９０から左にずれた位置に先行車両９０が存在すると誤判断するおそれがある。よって、基準位置決定部が、この検出結果に基づいて探索基準位置ＰＯＳを決定し、探索処理部２４が、この探索基準位置ＰＯＳを基準として先行車両９０を探索した場合には、探索処理が失敗するおそれがある。

一方、車外環境検出装置１では、図６に示したように、車両画像幅Ｗ１，Ｗ２に基づいて、先行車両検出処理１２２により検出された、距離画像ＰＺにおける先行車両９０の位置に基づいて探索基準位置ＰＯＳを決定し、あるいは探索処理１２４により検出された、画像Ｐにおける先行車両９０の位置に基づいて探索基準位置ＰＯＳを決定するようにした。これにより、例えば、図７Ｂに示したように、雨粒により、右画像ＰＲの一部が不鮮明になった場合には、距離画像ＰＺは、先行車両９０の左半分に対応する画像領域において、所望のデプス値を有するので、例えば、車両画像幅Ｗ１が所望の幅とは異なる幅になる。これにより、車両画像幅Ｗ１と車両画像幅Ｗ２の差が大きく変動し得る。このような場合には、例えば、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えるので（ステップＳ１０４において“Ｙ”）、基準位置決定部２６は、画像Ｐにおける先行車両９０の位置に基づいて探索基準位置ＰＯＳを決定する。この画像Ｐは、左画像ＰＬおよび右画像ＰＲのうちの、車両としての確からしさが高い画像であり、この例では、一部が不鮮明な右画像ＰＲではなく、鮮明な左画像ＰＬである。よって、基準位置決定部２６は、左画像ＰＬに基づいて、精度良く探索基準位置ＰＯＳを決定することができる。そして、探索処理部２４が、この探索基準位置ＰＯＳを基準として先行車両９０を探索するので、探索処理が失敗するおそれを低減することができる。その結果、車外環境検出装置１では、先行車両９０の検出精度を高めることができる。

また、車外環境検出装置１では、例えば、左画像ＰＬおよび右画像ＰＲの両方が鮮明である場合には、距離画像ＰＺにおける先行車両９０の位置に基づいて探索基準位置ＰＯＳを決定する。これにより、車外環境検出装置１では、ステレオ画像ＰＩＣに基づく距離画像ＰＺを用いて精度良く得られた先行車両９０の位置に基づいて、画像Ｐにおける先行車両の位置を予測するので、先行車両９０の検出精度を高めることができる。

このように、車外環境検出装置１では、車両画像幅Ｗ１，Ｗ２に基づいて、先行車両検出処理１２２の結果または探索処理の結果に基づいて探索基準位置ＰＯＳを決定するようにしたので、状況に応じて、より正確な結果が得られるように、探索基準位置ＰＯＳを決定することができるので、先行車両９０の検出精度を高めることができる。

［効果］
以上のように本実施の形態では、車両画像幅Ｗ１，Ｗ２に基づいて、左画像および右画像における先行車両の位置を予測するようにしたので、例えば、左画像または右画像の一部が不鮮明である場合でも、適切に探索基準位置を決定することができるので、先行車両の検出精度を高めることができる。

本実施の形態では、車両画像幅Ｗ１，Ｗ２に基づいて、先行車両検出処理により検出された、距離画像ＰＺにおける先行車両の位置に基づいて探索基準位置を決定し、あるいは探索処理により検出された、画像Ｐにおける先行車両の位置に基づいて探索基準位置を決定することにより、左画像および右画像における先行車両の位置を予測するようにした。これにより、例えば、右画像の一部が不鮮明である場合には、探索処理により検出された、画像Ｐにおける先行車両の位置に基づいて探索基準位置を決定することができるので、先行車両の検出精度を高めることができる。

本実施の形態では、車両画像幅Ｗ１，Ｗ２に基づいて、先行車両検出処理の結果または探索処理の結果に基づいて探索基準位置を決定するようにしたので、状況に応じて、より正確な結果が得られるように探索基準位置を決定することができるので、先行車両の検出精度を高めることができる。

以上、いくつかの実施の形態および変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記実施の形態では、図６のステップＳ１０２～Ｓ１０４に示したように、車両画像幅Ｗ１，Ｗ２に基づいて相対速度Ｖを算出し、相対速度Ｖの絶対値が最大相対速度Ｖmaxを超えているかどうかを確認することにより、距離画像ＰＺに基づく処理の精度が低いかどうかを確認し、その確認結果に基づいて探索基準位置ＰＯＳを決定したが、これに限定されるものではない。これに代えて、車両画像幅Ｗ１，Ｗ２に基づいて、距離画像ＰＺに基づく処理の精度が低いかどうかを確認可能な、様々な手法を用いることができる。例えば、基準位置決定部２６は、車両画像幅Ｗ１および車両画像幅Ｗ２の差分を算出し、この差分に基づいて、距離画像ＰＺに基づく処理の精度が低いかどうかを確認するようにしてもよい。具体的には、基準位置決定部２６は、例えば、差分の絶対値が所定のしきい値を超えた場合に、距離画像ＰＺに基づく処理の精度が低いと判断し、探索処理１２４により検出された、画像Ｐにおける先行車両９０の位置に基づいて探索基準位置ＰＯＳを決定することができる。

例えば、上記実施の形態では、車両１０の前方を走行する先行車両９０を処理対象としたが、これに限定されるものではない。これに代えて、例えば、車両１０の後方を走行する車両を処理対象としてもよい。この場合には、ステレオカメラ１１は、車両１０の後方を撮像するように構成される。

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

１…車外環境検出装置、１０…車両、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０…処理部、２１…距離画像生成部、２２…先行車両検出部、２４…探索処理部、２５…車両幅算出部、２６…基準位置決定部、２７…走行情報検出部、９０…先行車両、１２１…距離画像生成処理、１２２…先行車両検出処理、１２４…探索処理、１２５…車両幅算出処理、１２６…基準位置決定処理、Ｆ…フレーム、Ｐ…画像、ＰＩＣ…ステレオ画像、ＰＬ…左画像、ＰＯＳ…探索基準位置、ＰＲ…右画像、ＰＺ…距離画像、Ｒ１，Ｒ３，Ｒ４…領域、Ｒ２…処理対象領域、Ｗ１，Ｗ２…車両画像幅。

Claims (8)

1. それぞれが左画像および右画像を有し、互いに異なるタイミングで順に撮像された第１のステレオ画像、第２のステレオ画像、および第３のステレオ画像を含む複数のステレオ画像に基づいて第１の距離画像、第２の距離画像、および第３の距離画像を含む複数の距離画像をそれぞれ生成する距離画像生成部と、
   前記複数の距離画像のそれぞれに基づいて対象車両を検出する車両検出部と、
   前記複数のステレオ画像のそれぞれに含まれる前記左画像および前記右画像のそれぞれに基づいて前記対象車両を探索するとともに、その探索結果に基づいて前記左画像および前記右画像のうちの一方を選択画像として選択する探索処理部と、
   前記複数の距離画像のそれぞれでの前記対象車両の画像幅を第１の車両画像幅として算出するとともに、前記複数のステレオ画像のそれぞれにおける前記選択画像での前記対象車両の画像幅を第２の車両画像幅として算出する車両幅算出部と、
   前記第１の距離画像に基づいて算出された前記第１の車両画像幅、および前記第２のステレオ画像における前記選択画像に基づいて算出された前記第２の車両画像幅に基づいて、前記第３のステレオ画像に含まれる前記左画像および前記右画像における前記対象車両の位置を予測する予測部と
   を備えた車外環境検出装置。
2. 前記探索処理部は、前記第３のステレオ画像に含まれる前記左画像および前記右画像に基づいて、前記予測部により予測された位置を基準として、前記対象車両を探索する
   請求項１に記載の車外環境検出装置。
3. 前記予測部は、前記第１の距離画像に基づいて算出された前記第１の車両画像幅、および前記第２のステレオ画像における前記選択画像に基づいて算出された前記第２の車両画像幅に基づいて、第１の予測処理または第２の予測処理を選択的に行い、
   前記第１の予測処理は、前記第１の距離画像に基づく前記車両検出部による検出結果に基づいて、前記対象車両の位置を予測する処理を含み、
   前記第２の予測処理は、前記第２のステレオ画像における前記選択画像に基づく前記探索処理部による探索結果に基づいて、前記対象車両の位置を予測する処理を含む
   請求項１または請求項２に記載の車外環境検出装置。
4. 前記予測部は、前記第１の距離画像に基づいて算出された前記第１の車両画像幅、および前記第２のステレオ画像における前記選択画像に基づいて算出された前記第２の車両画像幅に基づいて、前記車外環境検出装置が搭載された自車両の走行速度および前記対象車両の走行速度の間の相対速度を算出し、前記相対速度に基づいて、前記第１の予測処理または前記第２の予測処理を選択的に行う
   請求項３に記載の車外環境検出装置。
5. 前記予測部は、前記第２のステレオ画像における前記選択画像に基づいて算出された前記第２の車両画像幅に基づいてしきい速度を算出し、前記相対速度と前記しきい速度とを比較し、その比較結果に基づいて、前記第１の予測処理または前記第２の予測処理を選択的に行う
   請求項４に記載の車外環境検出装置。
6. 前記予測部は、前記相対速度の絶対値が前記しきい速度より遅い場合には、前記第１の予測処理を行う
   請求項５に記載の車外環境検出装置。
7. 前記予測部は、前記相対速度の絶対値が前記しきい速度より速い場合には、前記第２の予測処理を行う
   請求項５または請求項６に記載の車外環境検出装置。
8. 前記探索処理部は、前記左画像において探索された前記対象車両に対応する画像、および前記右画像において探索された前記対象車両に対応する画像のそれぞれに基づいて、車両としての確からしさを評価することにより、前記左画像および前記右画像のうちの一方を前記選択画像として選択する
   請求項１から請求項７のいずれか一項に記載の車外環境検出装置。

Images