JP5861776B2

JP5861776B2 - 俯瞰画像表示装置

Info

Publication number: JP5861776B2
Application number: JP2014514280A
Authority: JP
Inventors: 俊徳江坂; 康平前島
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2012-05-08
Filing date: 2012-05-08
Publication date: 2016-02-16
Anticipated expiration: 2032-05-08
Also published as: US20150116494A1; EP2848475A1; WO2013168230A1; CN104271406A; JPWO2013168230A1; EP2848475A4

Description

本発明は、俯瞰画像表示装置に関する。

従来、車両周辺の撮影画像を視点変換し、車両周辺の状況を俯瞰して示す俯瞰画像を生成して表示する表示装置が知られている。ところで、俯瞰画像では、車両周辺の地表面から離れた空間上に存在する物標が実際よりも車両から遠くに存在しているように表示される場合がある。このため、例えば特開２００４−３５４３２６号公報には、測距センサにより物標の外縁を推定し、推定した外縁を俯瞰画像に重ねて表示することにより、物標との距離を認識し易くする技術が記載されている。

特開２００４−３５４３２６号公報

しかし、物標の外縁を重ねて表示しても、俯瞰画像上では物標が実際よりも車両から遠くに表示されたままであるので、物標との距離に関して運転者に違和感を与えてしまう場合がある。また、物標の外縁など物標の位置を推定するために測距センサなどが必要となるので、表示装置の構成が複雑となってしまう。

そこで、本発明は、測距センサなどを伴わない簡素な構成によって、物標との距離を認識し易い俯瞰画像を表示できる俯瞰画像表示装置を提供しようとするものである。

本発明に係る俯瞰画像表示装置は、車両に搭載されて車両周辺を撮像する撮像部と、撮像した車両周辺の撮影画像を視点変換し、さらに車両周辺に存在する物標の位置情報を用いずに予め定めた圧縮率で車両周辺の画像領域を車両の側へ圧縮して俯瞰画像を生成する画像生成部と、生成した俯瞰画像を表示する表示部とを備えて構成される。

本発明に係る俯瞰画像表示装置によれば、車両周辺に存在する物標の位置情報を用いずに予め定めた圧縮率で車両周辺の画像領域を車両の側へ圧縮して俯瞰画像が生成される。これにより、生成した俯瞰画像上では車両周辺に存在する物標と車両との位置関係がある程度正確に表示される。よって、測距センサなどを伴わない簡素な構成によって、物標との距離を認識し易い俯瞰画像を表示できる。

また、画像生成部は、地表面から離れた空間上に存在する物標の高さに応じて予め定めた圧縮率で車両周辺の画像領域を車両の側へ圧縮して俯瞰画像を生成してもよい。これにより、地表面から離れた空間上に存在する物標との距離を認識し易い俯瞰画像を表示できる。

また、俯瞰画像表示装置は、車両周辺に存在する物標との近接度を報知する報知部をさらに備え、表示部は、報知部が有効に作動中である場合に、生成した俯瞰画像を表示してもよい。これにより、俯瞰画像の表示中は、車両周辺に存在する物標との近接度が報知される。よって、俯瞰画像上で物標との距離を完全に正確に表示できなくても、近接度の報知を通じて物標との距離を運転者に認識させることができる。

また、画像生成部は、車両周辺の位置に応じて異なる圧縮率で車両周辺の画像領域を車両の側へ圧縮して俯瞰画像を生成してもよい。これにより、車両周辺に存在する物標を含む車両周辺の状況がより正確に表示される。

本発明によれば、測距センサなどを伴わない簡素な構成によって、物標との距離を認識し易い俯瞰画像を表示できる俯瞰画像表示装置を提供することができる。

本発明の実施形態に係る俯瞰画像表示装置の構成を示すブロック図である。俯瞰画像の表示に際して生じる問題を説明する図である。俯瞰画像表示装置の動作を示すフローチャートである。俯瞰画像の全体表示例と俯瞰画像の拡大表示例とを対比して示す図である。

以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

まず、図１から図２を参照して、本発明の実施形態に係る俯瞰画像表示装置１０の構成について説明する。図１は、本発明の実施形態に係る俯瞰画像表示装置１０の構成を示すブロック図である。図２は、俯瞰画像の表示に際して生じる問題を説明する図である。

俯瞰画像表示装置１０は、車両に搭載され、車両周辺に存在する物標との距離を認識し易い俯瞰画像を表示する装置である。図１に示すように、俯瞰画像表示装置１０は、カメラ１１ａ、１１ｂ…、ディスプレイ１２、近接センサ１３ａ、１３ｂ…、報知装置１４、ＥＣＵ（Electronic Control Unit）２０を備えている。カメラ１１ａ、１１ｂ…、ディスプレイ１２、近接センサ１３ａ、１３ｂ…、報知装置１４は、ＥＣＵ２０に接続されている。

なお、近接センサ１３ａ、１３ｂ…と報知装置１４は、物標との距離を認識し易い俯瞰画像を表示するために必須のものではなく、俯瞰画像の表示とともに物標との近接度を報知するために補助的に用いられるものである。

カメラ１１ａ、１１ｂ…は、車両に搭載されて車両周辺を撮像するように構成される撮像部として機能する。カメラ１１ａ、１１ｂ…は、例えば、車両の前面、後面、左右側面に配置されている。カメラ１１ａ、１１ｂ…は、車両の前方、後方、左右側方を撮像した撮影画像を不図示の画像メモリなどに供給する。

ディスプレイ１２は、生成した俯瞰画像を表示するように構成される表示部として機能する。俯瞰画像とは、車両上方の仮想視点から車両を含む車両周辺を見た画像である。ディスプレイ１２としては、例えば車載ナビゲーション装置のディスプレイが用いられるが、他の表示装置が用いられてもよい。ディスプレイ１２は、後述するようにＥＣＵ２０により生成された俯瞰画像を表示する。

近接センサ１３ａ、１３ｂ…は、車両周辺に存在する物標を検知するように構成される。近接センサ１３ａ、１３ｂ…としては、例えば超音波センサが用いられるが、近接検知用の他のセンサが用いられてもよい。近接センサ１３ａ、１３ｂ…は、例えば、車両のフロントバンパの左右コーナ、リヤバンパの左右コーナに配置されている。近接センサ１３ａ、１３ｂ…は、車両周辺に存在する物標、例えば近接センサ１３ａ、１３ｂ…から１ｍ程度までの距離に存在する物標を検知し、存在する物標との距離を検知し、検知結果をＥＣＵ２０に供給する。

報知装置１４は、車両周辺に存在する物標との近接度を報知するように構成される報知部として機能する。報知装置１４としては、スピーカ、ＬＥＤなどが用いられるが、ディスプレイ１２と併用してもよい。報知装置１４は、物標との距離が閾値未満になると、発光、音、振動などを用いて、物標との近接状況、近接度（距離など）を運転者に報知する。報知装置１４は、近接センサ１３ａ、１３ｂ…とともに近接警報システムまたはクリアランスソナーシステムとして機能する。

ＥＣＵ２０は、画像生成部２１、報知制御部２２、表示制御部２３を備えている。ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭを主体とし、ＣＰＵは、ＲＯＭなどからプログラムを読み出してＲＡＭ上で実行することにより、画像生成部２１、報知制御部２２、表示制御部２３の機能を実現する。なお、画像生成部２１、報知制御部２２、表示制御部２３の機能は、２つ以上のＥＣＵにより実現されてもよい。

画像生成部２１は、撮像した車両周辺の撮影画像を視点変換して得られる車両周辺の画像と、車両の画像とを重ねて俯瞰画像を生成するように構成される。画像生成部２１は、画像メモリなどから読み出される撮影画像に基づいて、表示制御部２３の制御下で俯瞰画像を生成し、ディスプレイ１２に出力する。

車両周辺の画像（車両周辺を示す画像）は、車両上方の仮想視点から車両周辺を見た画像であり、例えば車両の前方、後方、左右側方の撮影画像を視点変換して合成することにより生成される。車両の画像（車両を示す画像）は、車両上方の仮想視点から車両を見た画像であり、車両のイメージ画像、車両の輪郭画像として予め記憶されている。俯瞰画像は、車両周辺の画像と車両の画像とを重ねることにより、車両上方の仮想視点から車両を含む車両周辺を見た画像として生成される。

画像生成部２１は、（圧縮していない）通常の俯瞰画像または圧縮した俯瞰画像を生成する。通常の俯瞰画像とは、車両周辺の撮影画像を視点変換し、車両の画像と重ねた俯瞰画像である。一方、圧縮した俯瞰画像とは、車両周辺の撮影画像を視点変換し、さらに予め定めた圧縮率で車両周辺の画像領域を車両の側へ圧縮し、車両の画像と重ねた俯瞰画像である。

ここで、通常の俯瞰画像の生成には、例えばアドレスマップが用いられる。アドレスマップでは、撮影画像上の各画素の位置および車両の画像上の各画素の位置と、通常の俯瞰画像上の各画素の位置とが関連付けられている。そして、通常の俯瞰画像は、アドレスマップに基づいて、撮影画像と車両の画像から生成される。

ところで、通常の俯瞰画像では、例えば図２（ａ）に示すような状況において、車両周辺の地表面から離れた空間上に存在する物標が実際よりも車両から遠くに存在しているように表示されることがある。図２（ａ）に示す例では、車両の前面に配置されたカメラ１１により、前方車両のリヤバンパＡが斜め上方から捉えられている。この場合、図２（ｂ）に示す通常の俯瞰画像Ｉでは、リヤバンパＡがその直下の位置Ｂよりも前方の地表面の位置Ｃの前方に表示されてしまう。これにより、運転者が通常の俯瞰画像上で物標との距離を正確に認識できなくなることがあり、特に通常の俯瞰画像を拡大表示する場合、車両と物標との位置関係が明瞭に表示されるので、車両に近接する物標との距離が誤って認識され易くなる。

このため、画像生成部２１は、車両周辺に存在する物標の位置情報を用いずに予め定めた圧縮率で車両周辺の画像領域を車両の側へ圧縮して（または引き寄せて）俯瞰画像を生成する。つまり、圧縮した俯瞰画像は、近接センサ１３ａ、１３ｂ…などの検知装置による物標の検知結果を用いずに生成される。圧縮した俯瞰画像は、車両周辺の画像領域を車両の画像領域の側、例えば車両の画像領域の中心へ向けて一律に圧縮して生成される。

圧縮率は、運転者による認識の対象となる主要な物標、例えば他の車両のフロントバンパ、リヤバンパ、縁石などの高さ（地表面上の高さ）に応じて予め定められる。圧縮率は、例えば、所定の高さで車両の前方０．５ｍに位置する物標が、圧縮した俯瞰画像上で車両の前方０．５ｍに相当する位置に表示されるように予め定められる。

また、圧縮率は、車両周辺の位置に応じて異なるように定められてもよい。車両周辺の画像領域を、例えば車両の画像領域の中心へ向けて一律に圧縮すると、車両の斜め前方、斜め後方を示す画像領域が大きく湾曲してしまう。このため、圧縮率は、車両の斜め前方、斜め後方を示す画像領域が大きく湾曲しないように、車両周辺の位置に応じて異なるように定められる。

ここで、圧縮した俯瞰画像は、撮影画像から直接生成される。圧縮した俯瞰画像の生成には、例えば専用のアドレスマップが用いられる。専用のアドレスマップでは、撮影画像上の各画素の位置と、圧縮した俯瞰画像上の各画素の位置とが関連付けられている。両方の画像上の各画素の位置は、車両周辺の画像領域を予め定めた圧縮率、または車両周辺の位置に応じて異なるように定めた圧縮率で、車両の画像領域の側へ圧縮するように関連付けられている。そして、圧縮した俯瞰画像は、専用のアドレスマップに基づいて、撮影画像と車両の画像から生成される。

なお、圧縮した俯瞰画像は、車両周辺の一部を拡大して示すように拡大表示されてもよく、車両周辺の全体を示すように全体表示されてもよい。以下では、物標との距離を運転者に認識させるために、圧縮した俯瞰画像において車両周辺の一部を拡大表示する場合について説明する。

報知制御部２２は、車両周辺に存在する物標との近接度に応じて報知装置１４を作動させるように構成される。報知制御部２２は、近接センサ１３ａ、１３ｂ…から供給される検知結果が距離閾値未満になると、作動信号を報知装置１４に出力する。

表示制御部２３は、俯瞰画像の拡大表示条件を考慮して、俯瞰画像の表示の切替えを制御するように構成される。俯瞰画像の拡大表示条件としては、報知装置１４の作動状態、車両の速度、カメラ１１ａ、１１ｂ…の撮像状態が考慮される。表示制御部２３は、報知装置１４が有効に作動中であるか否かを判定する。報知装置１４の作動状態は、近接センサ１３ａ、１３ｂ…の作動状態と報知制御部２２の作動状態も考慮して判定される。また、表示制御部２３は、例えば車両の速度が速度閾値未満であるか否か、カメラ１１ａ、１１ｂ…が車両周辺を適切に撮像しているか否かなども判定する。

俯瞰画像の拡大表示条件を満たす場合、表示制御部２３は、俯瞰画像の拡大表示を許可する。表示制御部２３は、拡大表示条件の全てが満たされる状態で、運転者が拡大表示を指示した場合、俯瞰画像の拡大表示を許可する。一方、拡大表示条件の少なくとも一部が満たされない場合、表示制御部２３は、俯瞰画像の拡大表示を抑制する。

つぎに、図３から図４を参照して、俯瞰画像表示装置１０の動作について説明する。図３は、俯瞰画像表示装置１０の動作を示すフローチャートである。図４は、俯瞰画像の全体表示例と俯瞰画像の拡大表示例とを対比して示す図である。なお、図４では、車両の斜め前方を主に拡大表示する場合を示しているが、車両の前方、後方、左右側方、斜め後方などを主に拡大表示してもよい。

俯瞰画像表示装置１０は、図３に示す処理を処理周期で繰り返し実行する。なお、図３には示されていないが、俯瞰画像表示装置１０では、処理周期毎に車両周辺が撮像される。

図３に示すように、表示制御部２３は、俯瞰画像を全体表示中であるか否かを判定する（ステップＳ１１）。俯瞰画像を全体表示中であると判定した場合、表示制御部２３は、報知装置１４が有効に作動中であるか否かを判定する（Ｓ１２）。また、表示制御部２３は、Ｓ１２にて報知装置１４が有効に作動中であると判定した場合、他の拡大表示条件を満たすか否かを判定する（Ｓ１３）。また、表示制御部２３は、Ｓ１３にて他の拡大表示条件を満たすと判定した場合、拡大表示が指示されたか否かを判定する（Ｓ１４）。なお、拡大表示の指示は、例えば、ディスプレイ１２に表示されている俯瞰画像上の任意の位置に指などを接触させて指定することにより行われる。

そして、Ｓ１２にて報知装置１４が有効に作動中であると判定しなかった場合、またはＳ１３にて他の拡大表示条件を満たすと判定しなかった場合、またはＳ１４にて拡大表示が指示されたと判定しなかった場合、表示制御部２３は、処理周期中に撮影した車両周辺の撮影画像に基づいて、（圧縮していない）通常の俯瞰画像を画像生成部２１に生成させ（Ｓ１５）、ディスプレイ１２に全体表示させる（Ｓ１６）。

俯瞰画像の全体表示では、図４（ａ）に示すように、車両とともに車両周辺の全体が示されている。車両周辺の画像領域Ｉａには、路面に描かれた格子模様が示されている。全体表示では、車両周辺の画像領域Ｉａが車両の画像領域Ｉｂの側に圧縮されていない。このため、車両周辺の地表面から離れた空間上に物標が存在する場合、図２で説明したように、この物標が実際よりも車両から遠くに存在しているように表示される。なお、俯瞰画像の全体表示は、報知装置１４の作動状況に係らずに行われる。

図３の説明に戻って、Ｓ１２にて報知装置１４が有効に作動中であると判定し、Ｓ１３にて他の拡大表示条件を満たすと判定し、Ｓ１４にて拡大表示が指示されたと判定した場合、表示制御部２３は、処理周期中に撮像した車両周辺の撮影画像に基づいて、圧縮した俯瞰画像を画像生成部２１に生成させ（Ｓ２５）、ディスプレイ１２に拡大表示させる（Ｓ２６）。なお、拡大表示では、拡大表示の指示に際して指定された位置を基準として、圧縮した俯瞰画像上の対応する画像領域が拡大表示される。

俯瞰画像の拡大表示では、図４（ｂ）に示すように、車両とともに、例えば車両の前方、左前方、左側方が示されている。拡大表示では、車両周辺の画像領域Ｉａが予め定めた圧縮率で車両の画像領域Ｉｂの側へ圧縮されている。特に、図４（ｂ）に示す例では、車両周辺の画像領域Ｉａが車両の画像領域Ｉｂの側へ圧縮され、または引き寄せられている。このため、車両周辺の地表から離れた空間上に物標が存在する場合、この物標と車両との位置関係がある程度正確に表示される。

ここで、俯瞰画像の拡大表示は、報知装置１４が有効に作動している場合にのみ許可される。これは、拡大表示された俯瞰画像（圧縮した俯瞰画像）では、車両と物標との位置関係が明瞭に表示されるので、車両周辺に存在する物標との距離が誤って認識され易くなるためである。報知装置１４が有効に作動している場合にのみ拡大表示を許可することにより、圧縮した俯瞰画像上で物標との距離を完全に正確に表示できなくても、近接度の報知を通じて物標との距離を運転者に認識させることができる。

また、俯瞰画像の拡大表示では、車両周辺の画像領域Ｉａが車両周辺の位置に応じて異なる圧縮率で圧縮されている。車両周辺の位置に応じた圧縮率は、車両周辺の画像領域Ｉａに示された格子模様の湾曲状態から見てとることができる。

図４（ｂ）に示す例では、車両の前方を示す画像領域は、矢印Ｃ１で示すように、車両の後方向に向けてほぼ一様に圧縮されている。これにより、例えば、車両前方に存在する停止線などの位置・配置をある程度正確に表示できる。また、車両の左側方を示す画像領域は、矢印Ｃ２で示すように、車両の右方向に向けてほぼ一様に圧縮されている。これにより、例えば、車両側方に存在する誘導線、障害物の位置・配置をある程度正確に表示できる。また、車両の左前方を示す画像領域は、矢印Ｃ３で示すように、画像領域が大きく湾曲しないように圧縮されている。これにより、特に物標との距離が認識し難くなる、車両の斜め前方の状況をある程度正確に表示できる。

図３の説明に戻って、Ｓ１１にて俯瞰画像を全体表示中であると判定しなかった場合、表示制御部２３は、俯瞰画像を拡大表示中であるか否かを判定する（Ｓ２１）。俯瞰画像を拡大表示中であると判定した場合、表示制御部２３は、報知装置１４が有効に作動中であるか否かを判定する（Ｓ２２）。また、表示制御部２３は、Ｓ２２にて報知装置１４が有効に作動中であると判定した場合、他の拡大表示条件を満たすか否かを判定する（Ｓ２３）。また、表示制御部２３は、Ｓ２３にて他の拡大表示条件を満たすと判定した場合、全体表示が指示されたか否かを判定する（Ｓ２４）。なお、全体表示の指示は、例えば、ディスプレイ１２に表示されている所定のアイコンの位置に指などを接触させることにより行われる。

そして、Ｓ２２にて報知装置１４が有効に作動中であると判定し、Ｓ２３にて他の拡大表示条件を満たし、Ｓ２４にて全体表示が指示されたと判定しなかった場合、処理周期中に撮影した車両周辺の撮影画像に基づいて、圧縮した俯瞰画像を画像生成部２１に生成させ（Ｓ２５）、ディスプレイ１２に拡大表示させる（Ｓ２６）。

一方、Ｓ２２にて報知装置１４が有効に作動中であると判定しなかった場合、またはＳ２３にて他の拡大表示条件を満たすと判定しなかった場合、またはＳ２４にて全体表示が指示されたと判定した場合、表示制御部２３は、処理周期中に撮像した車両周辺の撮影画像に基づいて、（圧縮していない）通常の俯瞰画像を画像生成部２１に生成させ（Ｓ１５）、ディスプレイ１２に全体表示させる（Ｓ１６）。

以上説明したように、本発明の実施形態に係る俯瞰画像表示装置１０によれば、車両周辺に存在する物標の位置情報を用いずに予め定めた圧縮率で車両周辺の画像領域を車両の側へ圧縮して俯瞰画像が生成される。これにより、生成した俯瞰画像上では車両周辺に存在する物標と車両との位置関係がある程度正確に表示される。よって、測距センサなどを伴わない簡素な構成によって、物標との距離を認識し易い俯瞰画像を表示できる。

また、画像生成部２１は、地表面から離れた空間上に存在する物標の高さに応じて予め定めた圧縮率で車両周辺の画像領域を車両の側へ圧縮して俯瞰画像を生成してもよい。これにより、地表面から離れた空間上に存在する物標との距離を認識し易い俯瞰画像を表示できる。

また、俯瞰画像表示装置１０は、車両周辺に存在する物標との近接度を報知する報知装置１４をさらに備え、ディスプレイ１２は、報知装置１４が有効に作動中である場合に、生成した俯瞰画像を表示してもよい。これにより、俯瞰画像の表示中は、車両周辺に存在する物標との近接度が報知される。よって、俯瞰画像上で物標との距離を完全に正確に表示できなくても、近接度の報知を通じて物標との距離を運転者に認識させることができる。

また、画像生成部２１は、車両周辺の位置に応じて異なる圧縮率で車両周辺の画像領域を車両の側へ圧縮して俯瞰画像を生成してもよい。これにより、車両周辺に存在する物標を含む車両周辺の状況がより正確に表示される。

なお、前述した実施形態は、本発明に係る俯瞰画像表示装置１０の最良な実施形態を説明したものであり、本発明に係る俯瞰画像表示装置１０は、本実施形態に記載したものに限定されるものではない。本発明に係る俯瞰画像表示装置１０は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る俯瞰画像表示装置１０を変形し、または他のものに適用したものであってもよい。

また、本発明は、前述した方法に従って、車両周辺に存在する物標の位置情報を用いずに予め定めた圧縮率で車両周辺の画像領域を車両の側へ圧縮した俯瞰画像を表示するためのプログラム、または当該プログラムを記憶しているコンピュータ読取可能な記録媒体にも同様に適用することができる。

例えば、前述した実施形態では、圧縮した俯瞰画像を拡大表示する場合について説明したが、圧縮した俯瞰画像を全体表示してもよい。また、前述した実施形態では、車両の前面、後面、左右側面の撮影画像に基づいて、車両周辺の全体を示す俯瞰画像を生成する場合について説明した。しかし、俯瞰画像は、例えば車両の前面、後面、左側面、右側面のいずれかの撮影画像に基づいて、車両周辺の一部を示す画像として生成されてもよい。

１０…俯瞰画像表示装置、１１ａ、１１ｂ…カメラ、１２…ディスプレイ、１３ａ、１３ｂ…近接センサ、１４…報知装置、２０…ＥＣＵ、２１…画像生成部、２２…報知制御部、２３…表示制御部。

Claims

車両に搭載されて車両周辺を撮像する撮像部と、
撮像した前記車両周辺の撮影画像を視点変換し、さらに前記車両周辺に存在する物標の位置情報を用いずに予め定めた圧縮率で前記車両周辺の画像領域を前記車両の側へ圧縮して俯瞰画像を生成する画像生成部と、
生成した前記俯瞰画像を表示する表示部と、
を備える俯瞰画像表示装置。
前記画像生成部は、地表面から離れた空間上に存在する物標の高さに応じて予め定めた前記圧縮率で前記車両周辺の画像領域を前記車両の側へ圧縮して前記俯瞰画像を生成する、請求項１に記載の俯瞰画像表示装置。
前記車両周辺に存在する物標との近接度を報知する報知部をさらに備え、
前記表示部は、前記報知部が有効に作動中である場合に、生成した前記俯瞰画像を表示する、請求項１または２に記載の俯瞰画像表示装置。
前記画像生成部は、前記車両周辺の位置に応じて異なる圧縮率で前記車両周辺の画像領域を前記車両の側へ圧縮して俯瞰画像を生成する、請求項１〜３のいずれか一項に記載の俯瞰画像表示装置。