JP5436056B2 - 障害物検出装置および障害物検出方法 - Google Patents

Description

本発明は、障害物検出装置および障害物検出方法に関し、特に、現フレームの画像と前フレームの画像とを比較してその差分から動きベクトルを検出し、当該動きベクトルに基づいて車両周囲にある障害物を検出する装置に用いて好適なものである。

従来、車両周囲の障害物を自動的に検出して、状況に応じて運転者に警告を発したり、制動を自動的にコントロールしたりする技術が提供されている。そのうちの障害物を検出する技術としては、車載カメラから得られる画像を利用するものが数多く存在する。その中には、現フレームの画像と前フレームの画像とを比較してその差分から動きベクトルを検出し、当該動きベクトルに基づいて、車両周囲にある障害物を検出する画像差分法（オプティカルフロー法）を利用した装置が存在する。

また、処理量が多くなるオプティカルフロー法を用いずに障害物（道路上の物体が平面物か立体物か）を検出する方法も提案されている（例えば、特許文献１参照）。さらに、障害物を検出する別の技術として、車載カメラから得られる画像を利用するのではなく、超音波センサやミリ波レーダなどの別センサを用いるものも存在する（例えば、特許文献２参照）。

特開平１０−２２２６７９号公報 特許第３３００３３４号公報

しかしながら、画像差分法などを利用した画像認識処理により障害物を検出する従来の技術では、車載カメラで撮影される画像の全面に壁が写っている場合、その画像内からエッジを検出できないため、壁を障害物として検出することができないという問題があった。なお、車載カメラに魚眼レンズを用いた場合、画像内には地面も写り込むため地面と壁とのエッジは検出される。しかし、そのエッジは地面（平面）と同じ高さにあるため、平面上に描かれた線であると認識されてしまい、障害物（立体物）として認識することはできない。

一方、超音波センサなどを用いれば、車両周囲に広がる壁であっても障害物として検出することが可能である。しかしながら、特許文献２のように車載カメラを搭載しながら別センサを更に設けることは、コスト増につながってしまうという問題があった。近年では車載カメラを搭載する車両が増えてきているため、車載カメラにより撮影される画像を利用して障害物を検出することが、コスト増を抑えるためには望まれる。

本発明は、このような問題を解決するために成されたものであり、車載カメラにより撮影された画像に対する認識処理だけで、車両周囲に広がる壁を障害物として検出できるようにすることを目的とする。

上記した課題を解決するために、本発明では、撮影領域の一部が互いに重複する重複領域を有するように設置された複数の撮像装置により撮影された車両周囲画像のそれぞれについて障害物の検出処理を行う。ここで、ある撮像装置で撮影された車両周囲画像から障害物が検出されなかった場合であっても、その撮影領域に隣接する撮影領域を有する他の撮像装置により撮影された他の車両周囲画像について、重複領域において障害物が検出されているときには、障害物が検出されなかった車両周囲画像の撮影領域でも障害物が存在するとみなすようにしている。

上記のように構成した本発明によれば、ある撮像装置で撮影された一の車両周囲画像の全面に壁が写っていて、その画像内からエッジを検出できないために壁を障害物として検出することができない場合であっても、隣接する撮影領域を有する他の撮像装置により撮影された他の車両周囲画像の重複領域には、その壁の一部が写っているため、その画像内から壁のエッジを検出して障害物として検出できている。本発明では、他の車両周囲画像について重複領域において障害物が検出されていれば、障害物を検出できなかった車両周囲画像の撮影領域でも障害物が存在するとみなされるので、当該撮影領域に広がる壁を障害物として検出することができる。これにより、超音波センサなどの別センサを用いることなく、撮像装置により撮影された画像に対する認識処理だけで、車両周囲に広がる壁も障害物として検出することができる。

本実施形態による障害物検出装置を適用した画像処理システムの構成例を示す図である。 本実施形態による車載カメラの配置および撮影領域の例を示す図である。 車両の周囲に壁が存在する具体的なシーンの一例を示す図である。 本実施形態による障害物検出装置を適用した画像処理システムの動作例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による障害物検出装置を適用した画像処理システムの構成例を示す図である。図１に示すように、本実施形態の画像処理システムは、車載カメラ（撮像装置）１、画像処理部２、表示装置３、制御部４および報知部５を備えて構成されている。車載カメラ１は、車両の前方を撮影するためのフロントカメラ１ａ、車両の左側方を撮影するための左サイドカメラ１ｂ、車両の右側方を撮影するための右サイドカメラ１ｃおよび車両の後方を撮影するためのリアカメラ１ｄにより構成されている。

図２は、各車載カメラ１ａ〜１ｄの配置および撮影領域の例を示す図である。図２において、フロントカメラ１ａは車両１００の前方に設置され、前方の撮影領域Ｈ１を撮影する。左サイドカメラ１ｂは車両１００の左側方に設置され、左方の撮影領域Ｈ２を撮影する。右サイドカメラ１ｃは車両１００の右側方に設置され、右方の撮影領域Ｈ３を撮影する。リアカメラ１ｄは車両１００の後方に設置され、後方の撮影領域Ｈ４を撮影する。

前方の撮影領域Ｈ１と左方の撮影領域Ｈ２とは一部の領域ＯＡ１において重なっている。前方の撮影領域Ｈ１と右方の撮影領域Ｈ３とは一部の領域ＯＡ２において重なっている。後方の撮影領域Ｈ４と左方の撮影領域Ｈ２とは一部の領域ＯＡ３において重なっている。また、後方の撮影領域Ｈ４と右方の撮影領域Ｈ３とは一部の領域ＯＡ４において重なっている。

画像処理部２は、その機能構成として、画像入力部２１、視点変換車両周囲画像生成部２２、マッピングテーブル記憶部２３、車両画像記憶部２４、障害物検出部２５および重複領域判定部２６を備えている。画像入力部２１は、複数の車載カメラ１ａ〜１ｄにより撮影された車両周囲画像をそれぞれ入力する。視点変換車両周囲画像生成部２２は、画像入力部２１により複数の車載カメラ１ａ〜１ｄから入力された車両周囲画像を視点変換処理することにより、車両上方の仮想視点から見た車両周囲画像（以下、視点変換車両周囲画像という）を生成する。

具体的に、視点変換車両周囲画像生成部２２はまず、マッピングテーブル記憶部２３に記憶されている変換情報に従って、車両１００の周囲を上方から見たときの背景画像を生成する。ここで、背景画像は、フロントカメラ１ａにより撮影された画像を視点変換して生成されたフロント車両周囲画像と、左サイドカメラ１ｂにより撮影された画像を視点変換して生成された左サイド車両周囲画像と、右サイドカメラ１ｃにより撮影された画像を視点変換して生成された右サイド車両周囲画像と、リアカメラ１ｄにより撮影された画像を視点変換して生成されたリア車両周囲画像とを合成することによって生成する。

マッピングテーブル記憶部２３は、各車載カメラ１ａ〜１ｄにより撮影された車両周囲画像の画素データと車両１００の周囲を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された車両周囲画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。車両画像記憶部２４は、車両１００を上方から見たときの形体を示す車両画像を記憶しており、視点変換車両周囲画像生成部２２により読み出される。視点変換車両周囲画像生成部２２は、上述した背景画像の略中央に車両画像を合成することにより、視点変換車両周囲画像を生成する。表示装置３は、視点変換車両周囲画像生成部２２により生成された視点変換車両周囲画像を表示する。

障害物検出部２５は、画像入力部２１により入力された複数の車両周囲画像のそれぞれについて、例えば公知の画像差分法（オプティカルフロー法）に従って、現フレームと前フレームとの比較により求められる動きベクトルに基づいて障害物を検出する。なお、本実施形態では、画像入力部２１により入力された４つの車両周囲画像を用いて視点変換車両周囲画像生成部２２により生成された４つの車両周囲画像（フロント車両周囲画像、左サイド車両周囲画像、右サイド車両周囲画像、リア車両周囲画像）を対象として、障害物の検出を行っている。

障害物検出部２５は、４つの車両周囲画像のうち何れかにおいて障害物を検出した場合、４つのうちどの撮影領域で障害物を検出したかを示す情報を制御部４に通知する。この通知を受けて制御部４は、当該通知により示された撮影領域の方向に障害物有りということを表す情報を内部メモリ（図示せず）に設定する。また、障害物検出部２５は、障害物を検出していない車両周囲画像がある場合には、４つのうちどの撮影領域で障害物が検出されていないかを示す情報を重複領域判定部２６に通知する。

この通知を受けて重複領域判定部２６は、障害物検出部２５により障害物が検出されなかった車両周囲画像の撮影領域に隣接する撮影領域を有する他の車両周囲画像について、障害物が検出されなかった車両周囲画像の撮影領域との重複領域において障害物検出部２５により障害物が検出されているか否かを判定する。例えば、右サイド車両周囲画像において障害物が検出されていない場合、重複領域判定部２６は、右方の撮影領域Ｈ３に隣接する前方および後方の撮影領域Ｈ１，Ｈ４を撮影したフロント車両周囲画像とリア車両周囲画像との２つを対象として、右サイド車両周囲画像の撮影領域Ｈ３との重複領域ＯＡ２，ＯＡ４において障害物検出部２５により障害物が検出されているか否かを判定する。そして、その判定結果を制御部４に通知する。

なお、右方の撮影領域Ｈ３を撮影した右サイド車両周囲画像において障害物が検出されないのは、右方の撮影領域Ｈ３に本当に障害物が存在しない場合か、右方の撮影領域Ｈ３に壁が存在しているものの右サイド車両周囲画像からエッジを検出できない場合のどちらかである。前者の場合、フロント車両周囲画像の重複領域ＯＡ２およびリア車両周囲画像の重複領域ＯＡ４の両方とも障害物は検出されていない。一方、後者の場合は、フロント車両周囲画像の重複領域ＯＡ２およびリア車両周囲画像の重複領域ＯＡ４において障害物が検出されており、そのことが重複領域判定部２６から制御部４に通知される。

制御部４は、重複領域において障害物が検出されていると重複領域判定部２６により判定された場合に、障害物が検出されなかった車両周囲画像の撮影領域でも障害物が存在するとみなし、当該撮影領域の方向に障害物有りということを表す情報を内部メモリ（図示せず）に設定する。上述の例で、重複領域ＯＡ２，ＯＡ４の少なくとも一方において障害物が検出されていると重複領域判定部２６により判定された場合に、制御部４は、障害物が検出されなかった右サイド車両周囲画像の撮影領域Ｈ３に障害物が存在するとみなす。

すなわち、右サイド車両周囲画像からは障害物が検出されないのにフロント車両周囲画像の重複領域ＯＡ２とリア車両周囲画像の重複領域ＯＡ４において障害物が検出されているのは、右方の撮影領域Ｈ３に壁が存在していて、その壁の一部がフロント／リア車両周囲画像の重複領域ＯＡ２，ＯＡ４に写っているからである。したがって、この場合に制御部４は、右方の撮影領域Ｈ３に壁が存在するとみなし、右方に障害物有りということを表す情報を内部メモリ（図示せず）に設定する。

なお、本実施形態では、障害物が検出されなかった撮影領域の両側に当たる２つの重複領域の少なくとも一方において障害物が検出されている場合に、障害物が検出されなかった撮影領域に壁が存在するとみなしている。これは、図３に例示するように、壁２００の終端位置と車両１００の終端位置（リアカメラ１ｄの設置位置）とが揃っていて、車両１００が右方の壁２００にかなり接近している場合には、右方の撮影領域Ｈ３と前方の撮影領域Ｈ１との重複領域ＯＡ２では壁２００が写っているが、右方の撮影領域Ｈ３と後方の撮影領域Ｈ４との重複領域ＯＡ４では壁２００が写っていないからである。このような場合でも右方に壁２００があるとみなすことができるようにするために、２つの重複領域ＯＡ２，ＯＡ４の両方において障害物が検出されていることを条件とはせずに、少なくとも一方において障害物が検出されていることを条件として、障害物が検出されなかった撮影領域に壁が存在するとみなしている。

報知部５は、制御部４の内部メモリに設定された情報に従って、どの方向に障害物があるかをユーザに報知する。例えば、報知部５は、どの方向に障害物があるかをスピーカから音声にて出力する。あるいは、障害物がある方向の車両周囲画像に警告用のマークを重ねて表示したり、壁の模擬画像を重ねて表示したりしてもよい。

次に、上記のように構成した本実施形態による画像処理システムの動作を説明する。図４は、本実施形態による画像処理システムの動作例を示すフローチャートである。この図４に示すフローチャートは、例えば画像処理システムの電源がオンとされたときに開始する。あるいは、車両のギアがバックギアに入れられたことを検知したときに開始するようにしても良い。

図４において、まず画像入力部２１は、複数の車載カメラ１ａ〜１ｄによって撮影された４方向の車両周囲領域の車両周囲画像をそれぞれ入力する（ステップＳ１）。次に、視点変換車両周囲画像生成部２２は、画像入力部２１により複数の車載カメラ１ａ〜１ｄから入力された車両周囲画像を視点変換処理することにより、４方向の車両周囲画像の中央に車両画像を配置した視点変換車両周囲画像を生成する（ステップＳ２）。

続いて、障害物検出部２５は、視点変換車両周囲画像生成部２２により生成された４つの車両周囲画像のそれぞれについて、動きベクトルに基づく障害物検出処理を実行する（ステップＳ３）。ここで、障害物検出部２５は、４つの車両周囲画像の１つを抽出し（ステップＳ４）、その抽出した車両周囲画像について障害物が検出されたか否かを判定する（ステップＳ５）。

障害物検出部２５は、障害物が検出されたと判断した場合、どの撮影領域で障害物を検出したかを示す情報を制御部４に通知する。この通知を受けて制御部４は、当該通知により示された撮影領域の方向に障害物有りということを表す情報を内部メモリに設定する（ステップＳ６）。その後、障害物検出部２５は、４つの車両周囲画像を全て抽出して障害物の検出判定を行ったか否かについて判定する（ステップＳ７）。ここで、未判定の車両周囲画像が残っている場合、処理はステップＳ４に戻り、次の車両周囲画像を抽出する。

上記ステップＳ５において、ステップＳ４にて抽出した車両周囲画像から障害物が検出されなかったと判断した場合、障害物検出部２５は、どの撮影領域で障害物が検出されていないかを示す情報を重複領域判定部２６に通知する。この通知を受けた重複領域判定部２６は、障害物が検出されなかった車両周囲画像の撮影領域とそれに隣接する他の車両周囲画像の撮影領域との重複領域において他の車両周囲画像から障害物が検出されているか否かを判定する（ステップＳ８）。

そして、重複領域において障害物が検出されていると重複領域判定部２６により判定された場合、制御部４はその旨の通知を重複領域判定部２６より受けて、障害物が検出されなかった車両周囲画像の撮影領域に障害物が存在するとみなし、当該撮影領域の方向に障害物有りということを表す情報を内部メモリに設定する（ステップＳ６）。一方、重複領域において障害物が検出されていないと重複領域判定部２６により判定された場合、処理はステップＳ７に進む。このステップＳ７において、４つの車両周囲画像を全て抽出して障害物の検出判定を行ったと障害物検出部２５にて判定した場合、報知部５は、制御部４の内部メモリに設定された情報に従って、どの方向に障害物があるかをユーザに報知する（ステップＳ９）。

以上詳しく説明したように、本実施形態では、ある撮影領域の車両周囲画像から障害物が検出されなかった場合であっても、その撮影領域に隣接する撮影領域の車両周囲画像において、重複領域において障害物が検出されているときには、障害物が検出されなかった車両周囲画像の撮影領域に障害物が存在するとみなすようにしている。このため、ある撮影領域の車両周囲画像の全面に壁が写っていて、その画像内からエッジを検出できないために壁を障害物として検出することができない場合であっても、隣接する撮影領域が撮影された他の車両周囲画像の重複領域での障害物の検出結果を補助的に用いて、ある撮影領域の車両周囲画像の全面に写っている壁を障害物として検出することができる。これにより、超音波センサなどの別センサを用いることなく、画像認識処理だけで車両周囲に広がる壁を障害物として検出することができる。

なお、上記実施形態では、視点変換車両周囲画像を生成する画像処理システムに本発明の障害物検出装置を適用した例について説明したが、本発明はこれに限定されない。例えば、視点変換車両周囲画像生成部２２、マッピングテーブル２３および車両画像記憶部２４を省略し、画像入力部２１により入力された複数の車両周囲画像のそれぞれに対して、障害物検出部２５および重複領域判定部２６による画像処理を行うようにしても良い。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 車載カメラ（撮像装置）
４ 制御部
２１ 画像入力部
２５ 障害物検出部
２６ 重複領域判定部

Claims (3)

1. 車両の異なる場所に設置されそれぞれが所定の撮影領域を撮影する複数の撮像装置であって、一の撮像装置が有する撮影領域の一部と他の撮像装置が有する撮影領域の一部とが重複するように設置された複数の撮像装置によって撮影された車両周囲画像をそれぞれ入力する画像入力部と、
   上記画像入力部により入力された複数の車両周囲画像のそれぞれについて、現フレームと前フレームとの比較により求められる動きベクトルに基づいて障害物を検出する障害物検出部と、
   上記障害物検出部により上記障害物が検出されなかった車両周囲画像の撮影領域に隣接する撮影領域の車両周囲画像について、上記障害物が検出されなかった車両周囲画像の撮影領域との重複領域において上記障害物検出部により上記障害物が検出されているか否かを判定する重複領域判定部と、
   上記重複領域において上記障害物が検出されていると上記重複領域判定部により判定された場合に、上記障害物が検出されなかった車両周囲画像の撮影領域でも上記障害物が存在するとみなし、障害物有りを表す情報を設定する制御部とを備えたことを特徴とする障害物検出装置。
2. 上記重複領域判定部は、上記障害物検出部により上記障害物が検出されなかった車両周囲画像の撮影領域の両側に隣接する撮影領域の２つの車両周囲画像のそれぞれについて、上記障害物が検出されなかった車両周囲画像の撮影領域との重複領域において上記障害物検出部により上記障害物が検出されているか否かを判定し、
   上記制御部は、上記２つの車両周囲画像の少なくとも一方について、上記重複領域において上記障害物が検出されていると上記重複領域判定部により判定された場合に、上記障害物有りを表す情報を設定することを特徴とする請求項１に記載の障害物検出装置。
3. 車両の異なる場所に設置されそれぞれが所定の撮影領域を撮影する複数の撮像装置であって、一の撮像装置が有する撮影領域の一部と他の撮像装置が有する撮影領域の一部とが重複するように設置された複数の撮像装置によって撮影された車両周囲画像をそれぞれ入力する第１のステップと、
   上記第１のステップで入力された複数の車両周囲画像のそれぞれについて、現フレームと前フレームとの比較により求められる動きベクトルに基づいて障害物を検出する第２のステップと、
   上記第２のステップで上記障害物が検出されなかった車両周囲画像の撮影領域に隣接する撮影領域の車両周囲画像について、上記障害物が検出されなかった車両周囲画像の撮影領域との重複領域において上記障害物が検出されているか否かを判定する第３のステップと、
   上記第３のステップで上記重複領域において上記障害物が検出されていると判定された場合に、上記障害物が検出されなかった車両周囲画像の撮影領域でも上記障害物が存在するとみなし、障害物有りを表す情報を設定する第４のステップとを有することを特徴とする障害物検出方法。