JPWO2020213111A1 - 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法 - Google Patents

Abstract

ＥＣＵ（２）は、車両（７）に搭載された複数のカメラ（１）により撮影された複数の画像に基づいて、車両（７）と車両周辺とを含む俯瞰画像を生成する。合成手法選択部（２３）は、複数のカメラ（１）の撮影領域の重複部分に存在する物体（８）と車両（７）との距離が閾値以内であり、且つ物体（８）が車両（７）の進行方向に存在する場合に、第１の合成手法を選択する。第１の合成手法では、重複部分をそれぞれ２組の路面画像と物体画像とに分割し、２組のうちの一方では物体画像であり他方では路面画像である領域については、物体画像のα値を１、路面画像のα値を０としてアルファブレンディングにより合成して俯瞰画像を生成する。

Description

本願は、車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法に関するものである。

車両周辺画像生成装置を備えた車両周辺表示システムにおいては、複数の車載カメラによって車両周辺を撮影した画像を合成し、車両と車両周辺とを含む俯瞰画像を生成することが行われている。運転者は、表示装置に表示された俯瞰画像によって、車両周辺に存在する人または物体等を認識する。例えば特許文献１には、複数の入力画像に含まれる同一の撮像領域について、それぞれの入力画像の画素情報を一定の規則に従って交互に採用し、合成画像を出力することが開示されている。

複数の画像を合成して俯瞰画像を生成する際に、２つのカメラの撮影領域の境界部分は、画像が重複している。従来の合成手法では、この重複部分に対し、それぞれの画像の合成の割合（以下、α値という）を０＜α＜１に設定していた。このように、２つの画像をある一定のα値によって合成する技法を、アルファブレンディングという。アルファブレンディングにおいて、例えばα値を０．５に設定した場合、２つの画像の重複部分の画素の色をそれぞれ５０％ずつ混ぜ合わせた色となり、平均的な画像が合成される。

特開２００３−１６９３２３号公報

従来の車両周辺画像生成装置において俯瞰画像を合成する際には、アルファブレンディングによって２つの画像の重複部分を透過させて合成していたが、その際、画像に物体が存在するか否かに関わらずα値が設定されていた。このため、俯瞰画像において各カメラの撮影領域の重複部分に存在する物体の一部がぼやけて不明瞭な画像になるという問題があった。また、アルファブレンディングにおいて、重複部分に対して互いの撮影中心からの距離に比例した重み付けを行っても、物体がぼやけることがあった。

本願は、上記のような課題を解決するための技術を開示するものであり、複数の撮影装置の撮影領域の重複部分に存在する物体がぼやけず、明瞭な俯瞰画像を生成することが可能な車両周辺画像生成装置を得ることを目的とする。また、撮影領域の重複部分に存在する物体を明瞭に表示することが可能な車両周辺表示システム及び車両周辺表示方法を得ることを目的とする。

本願に開示される車両周辺画像生成装置は、車両に搭載された複数の撮影装置により撮影された複数の画像に基づいて、車両と車両周辺とを含む俯瞰画像を生成する車両周辺画像生成装置であって、車両周辺の物体を検出するセンサにより取得された物体情報に基づいて、物体と車両との距離が閾値以内であるか否かを判定する物体距離判定部と、複数の画像をそれぞれ俯瞰画像用の画像に変換する画像変換部と、複数の撮影装置の撮影領域の重複部分に物体が存在する場合に、俯瞰画像用の画像の重複部分をそれぞれ路面画像と物体画像とに分割する画像分割部と、画像変換部で得られた俯瞰画像用の画像と画像分割部でそれぞれ得られた路面画像と物体画像との全部または一部を合成して俯瞰画像を生成する画像合成部と、を含むものである。

本願に開示される車両周辺表示システムは、車両に搭載され車両周辺を撮影する複数の撮影装置と、車両周辺の物体を検出するセンサと、撮影装置により撮影された複数の画像に基づいて車両と車両周辺とを含む俯瞰画像を生成する車両周辺画像生成装置と、車両周辺画像生成装置により生成された俯瞰画像を表示する表示部とを備えた車両周辺表示システムであって、車両周辺画像生成装置は、センサにより取得された物体情報に基づいて物体と車両との距離が閾値以内であるか否かを判定する物体距離判定部と、複数の画像をそれぞれ俯瞰画像用の画像に変換する画像変換部と、複数の撮影装置の撮影領域の重複部分に物体が存在する場合に、俯瞰画像用の画像の重複部分をそれぞれ路面画像と物体画像とに分割する画像分割部と、画像変換部で得られた俯瞰画像用の画像と画像分割部でそれぞれ得られた路面画像と物体画像との全部または一部を合成して俯瞰画像を生成する画像合成部と、を含むものである。

本願に開示される車両周辺表示方法は、車両と車両周辺とを含む俯瞰画像を生成し表示する車両周辺表示方法であって、車両周辺を撮影した複数の画像の画像情報、車両周辺の物体の位置情報を含む物体情報、車両の進行方向及び速度を含む車両進行情報を取得する情報取得ステップと、情報取得ステップで取得された複数の画像をそれぞれ俯瞰画像用の画像に変換する画像変換ステップと、複数の画像の重複部分に物体が存在し、且つ物体と車両との距離が閾値以内である場合に、重複部分の路面色を検出する路面色検出ステップと、路面色検出ステップで検出された路面色に基づいて、俯瞰画像用の画像の重複部分をそれぞれ路面画像と物体画像とに分割する画像分割ステップと、画像変換ステップで得られた俯瞰画像用の画像と画像分割ステップでそれぞれ得られた路面画像と物体画像との全部または一部を合成して俯瞰画像を生成する画像合成ステップと、画像合成ステップで生成された俯瞰画像を表示する表示ステップと、を含むものである。

本願に開示される車両周辺画像生成装置によれば、複数のカメラの撮影領域の重複部分に物体が存在する場合に、重複部分をそれぞれ路面画像と物体画像とに分割し、俯瞰画像用の画像と路面画像と物体画像とを合成して俯瞰画像を生成するようにしたので、重複部分に存在する物体がぼやけず、明瞭な俯瞰画像を生成することが可能である。

本願に開示される車両周辺表示システムによれば、複数のカメラの撮影領域の重複部分に物体が存在する場合に、重複部分をそれぞれ路面画像と物体画像とに分割し、俯瞰画像用の画像と路面画像と物体画像とを合成して俯瞰画像を生成するようにしたので、重複部分に存在する物体がぼやけず、明瞭な俯瞰画像を表示することが可能である。

本願に開示される車両周辺表示方法によれば、複数の画像の重複部分に物体が存在し、且つ物体と車両との距離が閾値以内である場合に、重複部分をそれぞれ路面画像と物体画像とに分割し、俯瞰画像用の画像と路面画像と物体画像とを合成して俯瞰画像を生成するようにしたので、重複部分に存在する物体がぼやけず、明瞭な俯瞰画像を表示することが可能である。
本願の上記以外の目的、特徴、観点及び効果は、図面を参照する以下の詳細な説明から、さらに明らかになるであろう。

実施の形態１における車両周辺表示システムの構成を示すブロック図である。 実施の形態１における車両周辺画像生成装置の構成を示すブロック図である。 実施の形態１における車両周辺画像生成装置のハードウエア構成例を示す図である。 実施の形態１における車両周辺画像生成装置による画像合成手法を説明する図である。 実施の形態１における車両周辺画像生成装置による画像合成手法を説明する図である。 実施の形態１における車両周辺表示システムの表示部に表示された俯瞰画像の例を示す図である。 比較例における車両周辺表示システムの表示部に表示された俯瞰画像の例を示す図である。 実施の形態１における車両周辺表示システムによる処理の流れを説明する図である。 実施の形態２における車両周辺画像生成装置による画像合成手法の選択方法を説明する図である。 実施の形態２における車両周辺画像生成装置による画像合成手法の選択方法を説明する図である。 実施の形態２における車両周辺表示システムによる処理の流れを説明する図である。

実施の形態１．
以下に、実施の形態１による車両周辺画像生成装置及び車両周辺表示システムについて、図面に基づいて説明する。図1は、実施の形態１における車両周辺表示システムの構成を示すブロック図、図２は、実施の形態１における車両周辺画像生成装置の構成を示すブロック図、図３は、車両周辺画像生成装置のハードウエア構成例を示す図、図４及び図５は、車両周辺画像生成装置による画像合成手法を説明する図である。なお、図中、同一、相当部分には同一符号を付している。

図１に示すように、車両周辺表示システムは、車両周辺を撮影する撮影装置である複数のカメラ１、車両周辺画像生成装置であるＥＣＵ２（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、車両進行情報検出部３、車両周辺の物体を検出するセンサ４、物体情報検出部５、及び表示部６を備えている。

カメラ１は、例えば図４に示すように、車両７の前後左右に取り付けられ、車両７の前方、後方、及び左右を撮影する。各々のカメラ１による撮影領域は、重複部分を有している。図４に示す例では、車両後方のカメラ１による撮影領域１０Ｂと、車両右側のカメラ１による撮影領域１０Ｒは、車両７の右後方に重複部分１０ＢＲを有している。４つのカメラ１を備えている場合、４つの重複部分が存在する。

ＥＣＵ２は、カメラ１により撮影された車両周辺の複数の画像に基づいて、車両７と車両周辺とを含む俯瞰画像を生成する。ＥＣＵ２の機能については後に詳細に説明する。車両進行情報検出部３は、車両７の進行方向及び速度を含む車両進行情報を車両７から取得する。具体的には、現在のハンドル舵角、速度、ギア情報等の車両情報をエンジンコントロールユニットから取得し、これらの車両情報に基づいて車両７の進行方向及び速度を検出する。

センサ４は、車両７に取り付けられ、車両周辺の物体８を検出し物体情報を取得する。例えば図４に示すように、センサ４はカメラ１とカメラ１の中間に設けられ、センサ４による検出範囲が２つのカメラ１の撮影領域の重複部分を含むように設定される。センサ４の種類は特に限定されるものではなく、ミリ波レーダ、または超音波センサであるソナー、またはカメラ等が用いられる。

物体情報検出部５は、センサ４により検出された物体８の位置情報を含む物体情報を取得し、この位置情報に基づいて物体８と車両７との距離を検出する。なお、物体情報検出部５の機能を備えたセンサを用いてもよい。表示部６は、ＥＣＵ２により生成された、車両７と車両周辺とを含む俯瞰画像を表示する。表示部６は、一般的なディスプレイであり、運転者が視認し易いように車内に設置されている。

ＥＣＵ２は、図２に示すように、フレーム同期部２１、物体距離判定部２２、合成手法選択部２３、画像変換部２４、路面色検出部２５、画像分割部２６、及び画像合成部２７を含んでいる。以下に、それぞれの機能について説明する。

フレーム同期部２１は、カメラ１から取得した画像情報、物体情報検出部５から取得した物体情報、及び車両７の進行方向及び速度を含む車両進行情報を同期する。車両進行情報は、車両進行情報検出部３によって検出される。フレーム同期は信号同期方式の一つであり、予め決められたフレーム同期パターンによって同期を取るものである。物体距離判定部２２、合成手法選択部２３、及び画像変換部２４は、フレーム同期部２１によって同期された情報を用いてそれぞれ処理を行う。

物体距離判定部２２は、物体情報検出部５から取得した物体情報に基づいて、物体８と車両７との距離が閾値以内であるか否かを判定する。表示部６に表示された俯瞰画像に物体８が表示されるか否かは、物体８の位置と車両７との距離によって決まる。このため、物体距離判定部２２で用いられる閾値は、図４に示す俯瞰画像における車両７の端部から表示部６の画面端６Ａ（図４中、一点鎖線で示す）までの距離に基づいて設定される。

合成手法選択部２３は、フレーム同期された画像情報、物体情報、及び車両進行情報に基づいて、画像合成部２７における俯瞰画像の合成手法を選択する。実施の形態１では、２つのカメラ１の撮影領域の重複部分に物体８が存在し、且つ物体８と車両７との距離が閾値以内の場合、第１の合成手法を選択する。一方、重複部分に物体８が存在しない場合、または物体８と車両７との距離が閾値よりも大きい場合には、第２の合成手法を選択する。第１の合成手法と第２の合成手法については後に詳細に説明する。

画像変換部２４は、カメラ１により撮影された複数の画像の画像情報をフレーム同期部２１から取得し、それぞれ俯瞰画像用の画像に変換する。合成手法選択部２３が第１の合成手法を選択した場合、画像変換部２４で得られた俯瞰画像用の画像は、路面色検出部２５と画像合成部２７とに送られる。また、合成手法選択部２３が第２の合成手法を選択した場合、画像変換部２４で得られた俯瞰画像用の画像は、画像合成部２７のみに送られる。

路面色検出部２５は、画像変換部２４で生成された俯瞰画像用の画像における重複部分の路面色を検出する。具体的には、合成手法選択部２３が第１の合成手法を選択すると、路面色検出部２５は、重複部分を有する２つの俯瞰画像用の画像からそれぞれ重複部分を切り取り、切り取った画像の路面色を検出する。

路面色の検出方法としては、カメラ１で取得された画像情報から路面の映っている画像部分（例えば車両７の周囲数ピクセル）の色情報を検出し、これを路面色の色情報とする方法がある。あるいは、物体情報検出部５から物体の位置情報を取得し、この位置情報に基づいて物体がない部分の色情報を取得し、これを路面色の色情報とする方法もある。

画像分割部２６は、複数のカメラ１の撮影領域の重複部分に物体８が存在する場合に、俯瞰画像用の画像の重複部分をそれぞれ路面画像と物体画像とに分割する。合成手法選択部２３が第１の合成手法を選択すると、画像分割部２６は、路面色検出部２５で検出された路面色の色情報に基づいて、俯瞰画像用の画像の重複部分をそれぞれ路面画像と物体画像とに分割する。すなわち、画像分割部２６では、１つの重複部分に対し２組の路面画像と物体画像が得られる。

画像分割部２６による画像の分割方法としては、例えば、俯瞰画像用の画像における重複部分から路面色の色情報と一致する画素を探し、物体部分と路面部分とを区別する。物体部分の画素を物体画像として切り取った後、その部分を路面色の色情報と一致する画素で埋めることにより、路面画像を生成する。

なお、実施の形態１では、画像分割部２６は、路面色の色情報に基づいて、画像の重複部分を路面画像と物体画像とに分割するようにしたが、画像の分割方法はこれに限定されるものではない。例えば別の方法として、物体情報検出部５で取得された物体８の位置情報に基づいて、重複部分における物体部分の座標を計算し、路面画像と物体画像とに分割する方法を用いてもよい。

画像合成部２７は、画像変換部２４で得られた俯瞰画像用の画像と画像分割部２６でそれぞれ得られた路面画像と物体画像との全部または一部を合成して俯瞰画像を生成する。画像合成部２７は、第１の合成手法と第２の合成手法のいずれかによって俯瞰画像を生成する。

第１の合成手法では、画像変換部２４で得られた俯瞰画像用の画像と画像分割部２６でそれぞれ得られた路面画像と物体画像とを合成して俯瞰画像を生成する。第１の合成手法が選択された場合は、撮影領域の重複部分に物体８が存在しているため、重複部分については画像分割部２６で得られた２組の路面画像と物体画像とを合成し、その他の部分については画像変換部２４で得られた俯瞰画像用の画像を合成する。また、第２の手法では、画像変換部２４で得られた俯瞰画像用の画像のみを合成して俯瞰画像を生成する。

なお、ＥＣＵ２は、マイクロコンピュータ等を備えた電子回路であり、図３に示すように、プロセッサ１００と記憶装置１０１から構成される。記憶装置１０１は、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。

プロセッサ１００は、記憶装置１０１から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１００にプログラムが入力される。また、プロセッサ１００は、演算結果等のデータを記憶装置１０１の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

また、車両進行情報検出部３及び物体情報検出部５も同様に、車両周辺表示システムが搭載するプロセッサと記憶装置から構成される（図示省略）。車両進行情報検出部３及び物体情報検出部５の機能を記述したプログラムが、プロセッサにより実行される。

次に、ＥＣＵ２による俯瞰画像の合成手法について、図４及び図５を用いて詳細に説明する。図４では、車両後方のカメラ１による撮影領域１０Ｂと、車両右側のカメラ１による撮影領域１０Ｒの重複部分１０ＢＲに物体８が存在している。また、物体８は、表示部６の画面端６Ａよりも内側にあるため、物体距離判定部２２は、物体８と車両７との距離が閾値以内であると判定する。従って、合成手法選択部２３は、第１の合成手法を選択する。

第１の合成手法が選択されると、画像変換部２４は、各カメラ１において撮影された画像から、物体８が検出された区画１１の画像を切り取り、俯瞰画像用の画像に変換する。あるいは、各カメラ１において撮影された画像を俯瞰画像用の画像に変換した後、物体８が検出された区画１１の画像を切り取ってもよい。その結果、図５に示すように、車両後方のカメラ１により撮影された区画１１の俯瞰画像１１ａと、車両右側のカメラ１により撮影された区画１１の俯瞰画像１１ｂがそれぞれ得られる。これらの俯瞰画像１１ａ、１１ｂは、いずれも物体８と路面１２を含んでいる。

続いて、路面色検出部２５は、俯瞰画像１１ａ、１１ｂにおける路面色の色情報を検出する。画像分割部２６は、路面色検出部２５で検出された路面色に基づいて、俯瞰画像１１ａ、１１ｂから物体８を抜き出し、俯瞰画像１１ａ、１１ｂを、路面１２を含む路面画像と物体８を含む物体画像とに、それぞれ分割する。画像合成部２７は、これら２組の路面画像と物体画像を用いて、アルファブレンディングにより画像の合成を行う。

第１の合成手法では、図５に示すように、俯瞰画像１１ａ、１１ｂを４つの領域に分けて合成を行う。第１の領域は、俯瞰画像１１ａ、１１ｂの両方で路面画像である領域である。第１の領域については、それぞれα値を０．５に設定する。第２の領域は、俯瞰画像１１ａでは物体画像であり、俯瞰画像１１ｂでは路面画像である領域である。第２の領域については、物体画像のα値を１に、路面画像のα値を０に設定する。

第３の領域は、俯瞰画像１１ａでは路面画像であり、俯瞰画像１１ｂでは物体画像である領域である。第３の領域については、物体画像のα値を１に、路面画像のα値を０に設定する。第４の領域は、俯瞰画像１１ａ、１１ｂの両方で物体画像である領域である。第４の領域については、それぞれα値を０．５に設定する。なお、第１の領域と第４の領域については、α値の設定はこれに限定されるものではない。

このように、第１の合成手法では、重複部分の路面画像と物体画像とを合成する際、２組のうちの一方では物体画像であり他方では路面画像である領域については、物体画像のα値を１に、路面画像のα値を０に設定する。それぞれα値を付与した４つの領域の路面画像と物体画像を合成し、図５に示す俯瞰画像１１ｃを生成する。下式（１）は、α値を用いたアルファブレンディングの一般式である。式（１）において、Ｃｇは路面画像の色情報、Ｃｏは物体画像の色情報、Ａはα値、Ｃｒは合成後の色情報である。

Ｃｒ＝Ｃｇ×（１−Ａ）＋Ｃｏ×Ａ （１）

一般的なアルファブレンディングでは、式（１）におけるＡのα値は、０から１の間で設定され、それぞれの画像の色を透過させて両方の画像の色を混ぜ合わせる。例えばα値を０．５に設定すると、両方の画像の色が同程度混ぜ合わされた画像になる。これに対し、実施の形態１によるＥＣＵ２では、図５に示す第２の領域と第３の領域において物体画像のα値を１と設定し、物体画像の色を透過させずに合成している。

図６は、実施の形態１における車両周辺表示システムの表示部に表示された俯瞰画像の例である。俯瞰画像１３ａは、重複部分の画像を２組の路面画像と物体画像とに分割し、２組のうちの一方では物体画像であり他方では路面画像である領域については、物体画像のα値を１に、路面画像のα値を０に設定して合成されたものである。表示部６に表示された俯瞰画像１３ａには、車両７の前方に棒状の物体９がぼやけることなく鮮明に映っている。

一方、図７は、比較例における車両周辺表示システムの表示部に表示された俯瞰画像の例である。この比較例では、重複部分の画像を路面画像と物体画像とに分割することなく、２つのカメラ１による俯瞰画像用の画像を、それぞれα値を０．５に設定して合成している。このため、２つの俯瞰画像用の画像の物体部分の色はそれぞれ５０％透過され、俯瞰画像１３ｂに映っている棒状の物体９は、ぼやけている。

次に、実施の形態１における車両周辺表示システムによる処理の流れについて、図８のフローチャートを用いて説明する。まず、ステップＳ１において、車両周辺を撮影した複数の画像の画像情報、車両周辺の物体の位置情報を含む物体情報、及び車両の進行方向及び速度を含む車両進行情報を取得する（情報取得ステップ）。続いて、ステップＳ２において、ステップＳ１で取得した情報をフレーム同期させる（フレーム同期ステップ）。

ステップＳ３では、ステップＳ１で取得されステップＳ２でフレーム同期された情報に基づいて、俯瞰画像の合成手法を選択する（合成手法選択ステップ）。まず、ステップＳ３−１では、車両周辺を撮影した複数の画像において、撮影領域の重複部分に物体が存在するか否かを判定する。重複部分に物体が存在する場合（ＹＥＳ）、ステップＳ３−２で車両と物体との距離を取得する。次に、ステップＳ３−３において、物体と車両との距離が閾値以内か否かを判定する。物体と車両との距離が閾値以内の場合（ＹＥＳ）、ステップＳ３−５で第１の合成手法を選択する。

一方、ステップＳ３−１において、重複部分に物体が存在しない場合（ＮＯ）、またはステップＳ３−３において、物体と車両との距離が閾値よりも大きい場合（ＮＯ）は、ステップＳ３−６で第２の合成手法を選択する。

ステップＳ３−５で第１の合成手法を選択すると、ステップＳ４において、撮影した複数の画像をそれぞれ俯瞰画像用の画像に変換する（画像変換ステップ）。次に、ステップＳ５において、俯瞰画像用の画像における重複部分の路面色を検出する（路面色検出ステップ）。さらに、ステップＳ６で、路面色検出ステップ（Ｓ５）で検出された路面色に基づいて、俯瞰画像用の画像における重複部分をそれぞれ路面画像と物体画像とに分割する（画像分割ステップ）。

続いて、ステップＳ７において、画像分割ステップ（Ｓ６）で得られた重複部分の画像、すなわち２組の物体画像と路面画像とを用い、２組のうちの一方では物体画像であり他方では路面画像である領域については、物体画像のα値を１、路面画像のα値を０として合成し、重複部分の俯瞰画像を生成する。次に、ステップＳ８において、画像変換ステップ（Ｓ４）で得られたその他の部分の俯瞰画像用の画像を合成し、車両と車両周辺を含む俯瞰画像を生成する（画像合成ステップ）。

一方、ステップＳ３−６で第２の合成手法を選択すると、ステップＳ９において、撮影した複数の画像をそれぞれ俯瞰画像用の画像に変換する（画像変換ステップ）。続いて、ステップＳ１０において、画像変換ステップ（Ｓ９）で得られた俯瞰画像用の画像を合成し、車両と車両周辺を含む俯瞰画像を生成する（画像合成ステップ）。最後に、ステップＳ１１において、画像合成ステップ（Ｓ７、Ｓ８、Ｓ１０）で生成された俯瞰画像を表示する（表示ステップ）。

以上のように、実施の形態１におけるＥＣＵ２によれば、複数のカメラ１の撮影領域の重複部分に物体８が存在する場合に、重複部分をそれぞれ路面画像と物体画像とに分割し、物体画像のα値を１、路面画像のα値を０としてアルファブレンディングにより合成して俯瞰画像を生成するようにしたので、重複部分に存在する物体８がぼやけず、明瞭な俯瞰画像を生成することが可能である。また、実施の形態１におけるＥＣＵ２を備えた車両周辺表示システムによれば、重複部分に存在する物体８がぼやけず、明瞭な俯瞰画像を表示することが可能である。

また、実施の形態１における車両周辺表示方法によれば、複数の画像の重複部分に物体８が存在し、且つ物体８と車両７との距離が閾値以内である場合に、俯瞰画像用の画像の重複部分の路面色を検出し、この路面色に基づいて重複部分をそれぞれ路面画像と物体画像とに分割し、俯瞰画像用の画像と路面画像と物体画像とを合成して俯瞰画像を生成するようにしたので、重複部分に存在する物体８がぼやけず、明瞭な俯瞰画像を表示することが可能である。

実施の形態２．
実施の形態２における車両周辺画像生成装置及び車両周辺表示システムの構成は、上記実施の形態１と同様であるので図１及び図２を流用し、ここでは相違点のみを説明する。図９及び図１０は、実施の形態２における車両周辺画像生成装置による画像合成手法の選択方法を説明する図である。図９及び図１０において、矢印Ａは車両７の進行方向を示している。

図９では、車両前方のカメラ１による撮影領域１０Ｆと、車両右側のカメラ１による撮影領域１０Ｒとの重複部分１０ＦＲの区画１１に物体８が存在する。また、図１０では、車両後方のカメラ１による撮影領域１０Ｂと、車両右側のカメラ１による撮影領域１０Ｒとの重複部分１０ＢＲの区画１１に物体８が存在する。

いずれの場合も、物体８は表示部６の画面端６Ａよりも内側にあり、物体８と車両との距離は閾値以内であるが、物体８の位置と車両７の進行方向との関係が異なっている。すなわち、図９では、物体８が車両７の進行方向の側に存在しており、車両７が物体８に接触する可能性が高い。一方、図１０では、物体８が車両７の進行方向の反対側に存在しており、車両７が物体８に接触することはほとんどない。

実施の形態２による合成手法選択部２３は、重複部分に物体８が存在し、且つ物体８と車両７との距離が閾値以内であり、且つ物体８が車両７の進行方向に存在する場合に、俯瞰画像用の画像と路面画像と物体画像とを用いる第１の合成手法を選択する。一方、重複部分に物体８が存在しない場合、または物体８と車両７との距離が閾値よりも大きい場合、または物体８が車両７の進行方向に存在しない場合に、俯瞰画像用の画像を用いる第２の合成手法を選択する。

上記実施の形態１では、図１０のように、物体８が車両７の進行方向の反対側に存在する場合でも第１の合成手法を選択するため、ＥＣＵ２の計算負荷が高くなる。実施の形態２では、物体８が車両７の進行方向の反対側に存在する場合には、第２の合成手法を選択するため、生成された俯瞰画像において物体８がぼやける。ただし、進行方向の反対側に存在する物体８は、接触の可能性が低いため、それほど鮮明である必要はない。

図１１は、実施の形態２における車両周辺表示システムによる処理の流れを説明するフローチャートである。図１１と、上記実施の形態１で説明した図８のフローチャートとの違いは、合成手法選択ステップ（Ｓ３）にステップＳ３−４が加えられている点のみである。すなわち、ステップＳ１−Ｓ２、及びＳ４−Ｓ１１については、図８のフローチャートと同じであるため、説明を省略する。

実施の形態２における合成手法選択ステップ（Ｓ３）では、ステップＳ３−１において、撮影領域の重複部分に物体が存在する場合（ＹＥＳ）、ステップＳ３−２で車両と物体との距離を取得する。次に、ステップＳ３−３において、物体と車両との距離が閾値以内の場合（ＹＥＳ）、ステップＳ３−４において、車両の進行方向に物体が存在するか否かを判定する。車両の進行方向に物体が存在する場合（ＹＥＳ）、ステップＳ３−５で第１の合成手法を選択する。

一方、ステップＳ３−１において、重複部分に物体が存在しない場合（ＮＯ）、またはステップＳ３−３において物体と車両との距離が閾値よりも大きい場合（ＮＯ）、またはステップＳ３−４において車両の進行方向に物体が存在しない場合（ＮＯ）には、ステップＳ３−６で第２の合成手法を選択する。

実施の形態２によれば、上記実施の形態１と同様の効果に加え、物体８が車両７の進行方向に存在すると判断した場合のみ第１の合成手法を選択するようにしたので、ＥＣＵ２の計算負荷が軽減される。

本開示は、様々な例示的な実施の形態が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１ カメラ、２ ＥＣＵ、３ 車両進行情報検出部、４ センサ、５ 物体情報検出部、６ 表示部、６Ａ 画面端、７ 車両、８、９ 物体、１０Ｂ、１０Ｆ、１０Ｒ 撮影領域、１０ＢＲ、１０ＦＲ 重複部分、１１ 区画、１１ａ、１１ｂ、１１ｃ、１３ａ、１３ｂ 俯瞰画像、１２ 路面、２１ フレーム同期部、２２ 物体距離判定部、２３ 合成手法選択部、２４ 画像変換部、２５ 路面色検出部、２６ 画像分割部、２７ 画像合成部

Claims (16)

1. 車両に搭載された複数の撮影装置により撮影された複数の画像に基づいて、車両と車両周辺とを含む俯瞰画像を生成する車両周辺画像生成装置であって、
   前記車両周辺の物体を検出するセンサにより取得された物体情報に基づいて、前記物体と前記車両との距離が閾値以内であるか否かを判定する物体距離判定部と、
   前記複数の画像をそれぞれ俯瞰画像用の画像に変換する画像変換部と、
   前記複数の撮影装置の撮影領域の重複部分に前記物体が存在する場合に、前記俯瞰画像用の画像の前記重複部分をそれぞれ路面画像と物体画像とに分割する画像分割部と、
   前記画像変換部で得られた前記俯瞰画像用の画像と前記画像分割部でそれぞれ得られた前記路面画像と前記物体画像との全部または一部を合成して前記俯瞰画像を生成する画像合成部と、を含むことを特徴とする車両周辺画像生成装置。
2. 前記撮影装置から取得した画像情報、前記センサから取得した物体情報、及び前記車両の進行方向及び速度を含む車両進行情報を同期させるフレーム同期部を含むことを特徴とする請求項１記載の車両周辺画像生成装置。
3. 前記フレーム同期部で同期された画像情報、物体情報、及び車両進行情報に基づいて、前記画像合成部における前記俯瞰画像の合成手法を選択する合成手法選択部を含むことを特徴とする請求項２記載の車両周辺画像生成装置。
4. 前記合成手法選択部は、前記重複部分に前記物体が存在し、且つ前記物体と前記車両との距離が前記閾値以内である場合に、前記俯瞰画像用の画像と前記路面画像と前記物体画像とを用いる第１の合成手法を選択し、前記重複部分に前記物体が存在しない場合、または前記物体と前記車両との距離が前記閾値よりも大きい場合に、前記俯瞰画像用の画像を用いる第２の合成手法を選択することを特徴とする請求項３記載の車両周辺画像生成装置。
5. 前記合成手法選択部は、前記物体が前記車両の進行方向に存在する場合に、前記第１の合成手法を選択し、前記物体が前記車両の進行方向に存在しない場合に、前記第２の合成手法を選択することを特徴とする請求項４記載の車両周辺画像生成装置。
6. 前記重複部分の路面色を検出する路面色検出部を含み、
   前記画像分割部は、前記路面色検出部で検出された前記路面色に基づいて、前記重複部分を前記路面画像と前記物体画像とに分割することを特徴とする請求項１から請求項５のいずれか一項に記載の車両周辺画像生成装置。
7. 前記画像合成部は、アルファブレンディングにより画像の合成を行うものであり、前記重複部分に前記物体が存在する場合に、前記画像分割部で得られた２組の前記路面画像と前記物体画像とを用い、前記２組のうちの一方では前記物体画像であり他方では前記路面画像である領域については、前記物体画像のα値を１に、前記路面画像のα値を０に設定することを特徴とする請求項１から請求項６のいずれか一項に記載の車両周辺画像生成装置。
8. 前記物体距離判定部で用いられる前記閾値は、前記俯瞰画像における前記車両の端部から前記俯瞰画像が表示される表示部の画面端までの距離に基づいて設定されることを特徴とする請求項１から請求項７のいずれか一項に記載の車両周辺画像生成装置。
9. 車両に搭載され車両周辺を撮影する複数の撮影装置と、前記車両周辺の物体を検出するセンサと、前記撮影装置により撮影された複数の画像に基づいて車両と前記車両周辺とを含む俯瞰画像を生成する車両周辺画像生成装置と、前記車両周辺画像生成装置により生成された前記俯瞰画像を表示する表示部とを備えた車両周辺表示システムであって、
   前記車両周辺画像生成装置は、
   前記センサにより取得された物体情報に基づいて、前記物体と前記車両との距離が閾値以内であるか否かを判定する物体距離判定部と、
   前記複数の画像をそれぞれ俯瞰画像用の画像に変換する画像変換部と、
   前記複数の撮影装置の撮影領域の重複部分に前記物体が存在する場合に、前記俯瞰画像用の画像の前記重複部分をそれぞれ路面画像と物体画像とに分割する画像分割部と、
   前記画像変換部で得られた前記俯瞰画像用の画像と前記画像分割部でそれぞれ得られた前記路面画像と前記物体画像との全部または一部を合成して前記俯瞰画像を生成する画像合成部と、を含むことを特徴とする車両周辺表示システム。
10. 前記車両の進行方向及び速度を含む車両進行情報を前記車両から取得する車両進行情報検出部を備えたことを特徴とする請求項９記載の車両周辺表示システム。
11. 前記センサは、ミリ波レーダ、またはソナー、またはカメラであり、前記センサによる検出範囲は前記重複部分を含むことを特徴とする請求項９または請求項１０記載の車両周辺表示システム。
12. 車両と車両周辺とを含む俯瞰画像を生成し表示する車両周辺表示方法であって、
    車両周辺を撮影した複数の画像の画像情報、前記車両周辺の物体の位置情報を含む物体情報、車両の進行方向及び速度を含む車両進行情報を取得する情報取得ステップと、
    前記情報取得ステップで取得された前記複数の画像をそれぞれ俯瞰画像用の画像に変換する画像変換ステップと、
    前記複数の画像の重複部分に前記物体が存在し、且つ前記物体と前記車両との距離が閾値以内である場合に、前記重複部分の路面色を検出する路面色検出ステップと、
    前記路面色検出ステップで検出された路面色に基づいて、前記俯瞰画像用の画像の前記重複部分をそれぞれ路面画像と物体画像とに分割する画像分割ステップと、
    前記画像変換ステップで得られた前記俯瞰画像用の画像と前記画像分割ステップでそれぞれ得られた前記路面画像と前記物体画像との全部または一部を合成して前記俯瞰画像を生成する画像合成ステップと、
    前記画像合成ステップで生成された前記俯瞰画像を表示する表示ステップと、を含むことを特徴とする車両周辺表示方法。
13. 前記情報取得ステップで取得された情報に基づいて、前記画像合成ステップにおける前記俯瞰画像の合成手法を選択する合成手法選択ステップを含むことを特徴とする請求項１２記載の車両周辺表示方法。
14. 前記合成手法選択ステップは、前記重複部分に前記物体が存在し、且つ前記物体と前記車両との距離が前記閾値以内であり、且つ前記物体が前記車両の進行方向に存在する場合に、前記俯瞰画像用の画像と前記路面画像と前記物体画像とを用いる第１の合成手法を選択することを特徴とする請求項１３記載の車両周辺表示方法。
15. 前記合成手法選択ステップは、前記重複部分に前記物体が存在しない場合、または前記物体と前記車両との距離が前記閾値よりも大きい場合、または前記物体が前記車両の進行方向に存在しない場合に、前記俯瞰画像用の画像を用いる第２の合成手法を選択することを特徴とする請求項１３または請求項１４に記載の車両周辺表示方法。
16. 前記画像合成ステップは、アルファブレンディングにより画像の合成を行うものであり、前記重複部分に前記物体が存在する場合に、前記画像分割ステップで得られた２組の前記路面画像と前記物体画像とを用い、前記２組のうちの一方では前記物体画像であり他方では前記路面画像である領域については、前記物体画像のα値を１に、前記路面画像のα値を０に設定することを特徴とする請求項１２から請求項１５のいずれか一項に記載の車両周辺表示方法。

Images