JP4889360B2 - 車載用画像表示装置 - Google Patents

Description

本発明は、車両に搭載された複数の撮像カメラにより撮像された車両周辺の画像を表示する車載用画像表示装置に関し、特に、ユーザが障害物を認識できるよう車両の全周辺を表示する技術に関する。

自動車への撮像カメラの搭載率の向上に伴い、画像合成を用いたアプリケーションが急拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、車両の走行時の安全性を向上させるものである。車両周辺の障害物を撮影し、表示するシステムは、複数の超広角の撮像カメラを用いて、撮像された画像データを合成し、自車周辺の３６０°を映し出す。これを視点変換し、車両を上部から見下した画像（以下、トップビュー画像という）を作成し、ディスプレイに表示している。しかしながら、視点変換された画像は、立体物が平面状に表示され、ユーザが障害物として認識することが難しい場合がある。このような問題を解決すべく、いくつかの提案がされている。

特許文献１は、車両に設置されたカメラにより撮影された画像を用い、車両を上方から見下ろすような仮想視点画像を合成する車両周辺監視装置において、車両近傍の撮像画像を歪みの少ない画像としてモニタに表示している。これにより、ユーザは、立体物を容易に認識することができ、障害物との衝突を回避することができる。

特開２００４−２１３０７

車両周辺にある障害物を表示するトップビュー画像は、車両周辺の地面を基準として作成される。ユーザは、このトップビュー画像を見ることで車両周辺にある障害物を認識することができる。しかしながら、地面上から離れているような障害物、例えば線路の踏み切りバーや地面から垂直に立つポール、あるいは天井や壁面に設置されている物体は、トップビュー画像には表示されなかったり、平面的に表示されてしまい、ユーザが障害物として認識できないことがある。その結果、車両周辺に障害物が存在しているにも関わらず、その障害物を画面上で認識できず、障害物に衝突してしまうという可能性があった。

本発明は、上記の課題を解決するために成されたものであり、車両周辺に存在する障害物等の物体をより正確に表示することができる車載用画像表示装置を提供することを目的とする。

本発明に係る車載用画像表示装置は、複数の撮像カメラを用いて全方向を撮像し、その画像データを画像処理することで、車両を真上方向の視点から見下ろすようなトップビュー画像と、車両側方から地面と水平に４つの方向（前方、左側方、右側方、後方）を見るようなフロントビュー画像、サイドビュー画像、バックビュー画像を表示する。車載用画像表示装置は、トップビュー画像に表示されない障害物をフロントビュー画像、サイドビュー画像、バックビュー画像を用いて表示する。これにより、ユーザは、車両周辺の障害物を容易に認識することができ、車両と障害物との衝突を回避できる。

本発明の車載用画像表示装置は、車両の周辺を撮像する複数の撮像カメラを含み、複数の撮像カメラにより撮像された画像データを出力する撮像手段と、撮像手段からの画像データについて第１の視点変換を行い、車両上方の視点から見下ろした第１の画像データを作成する第１の画像処理手段と、撮影手段からの画像データについて第２の視点変換を行い、車両側方の視点から見た第２の画像データを作成する第２の画像処理手段と、第１および第２の画像処理手段により作成された第１および第２の画像データを表示する表示手段とを備えている。

好ましくは、前記第１の画像処理手段は、撮像手段によって出力された画像データから第１の画像データに必要な画像データを抽出し、第２の画像処理手段は、第１の画像処理手段によって抽出されなかった画像データから第２の画像データに必要な画像データを抽出する。また、前記第２の画像データは、フロントビュー画像、サイドビュー画像およびバックビュー画像の少なくとも１つを含む。さらに、前記表示手段は、第１および第２の画像データを配置構成するための配置構成手段を含む。

好ましくは、前記配置構成手段は、配置構成を指示する入力に応答して第１および第２の画像データを配置させ、第１および第２の画像データを表示するとき、画像の向きおよび画像サイズを調整する。前記表示手段は、車両が一定速度以下になったとき、第２の画像データを表示する、または車両が後方に進行するとき、第２の画像データを表示する。

本発明に係る車載用画像表示装置によれば、車両を真上方向の視点から見下ろすような第１の画像データと、車両から地面と水平に各方向を見るような第２の画像データを表示することにより、ユーザは、第１の画像データに表示されない天井や壁面に設置された物体や、変形して表示される距離がつかめないような立体物でも、第２の画像データから認識ができるようになり、障害物等の物体の危険を迅速に察知し、物体との衝突等を回避することができる。

以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施例に係る車載用画像表示装置１００の構成を示すブロック図である。車載用画像表示装置１００は、ユーザが指示を入力する入力部１０２と、車両の速度やギアポジション等の車両の状態を出力する車両状態センサ１０４と、車載用画像表示プログラムを格納し、入力部１０２の指示に応答してプログラムを起動するマイクロコントローラ１０６と、マイクロコントローラ１０６の指示によりディスプレイ１１０に車両周辺の画像を表示する表示制御部１０８と、マイクロコントローラ１０６が車載用画像表示プログラムを起動すると、車両周辺を撮像する撮像カメラ１１２〜１１８と、撮像カメラ１１２〜１１８により撮像された画像データを受け取り、視点変換等の処理を行う画像処理部１２０を含んでいる。

撮像カメラ１１２〜１１８は、例えばＣＣＤ撮像素子と約１８０°の視野角を持つ魚眼レンズを含む光学系を含んで構成されている。撮像カメラ１１２は、図２に示すように、例えば車両前方のバンパーに取り付けられ、車両の前方を視野角θ１で撮像する。撮像カメラ１１４、１１６は、例えば車両のドアミラーなどに取り付けられ、そこから車両の側方を視野角θ２、θ３で撮像する。撮像カメラ１１８は、車両の後部バンパーナンバープレート付近などに取り付けられ、車両の後方を視野角θ４で撮像する。撮像カメラ１１２〜１１８の視野角θ１、θ２、θ３、θ４は、それぞれが隣接する視野角と端部がオーバーラップし、撮像カメラ１１２〜１１８により車両の全周辺を撮像できるようになっている。本実施例では、４つの撮像カメラを用いて車両の周辺を撮像するが、これに限らず、より多くの撮像カメラを用いて撮像してもよい。また、撮像カメラの取り付け位置は、必ずしもバンパー、ドアミラーに限るものではない。

画像処理部１２０は、撮像カメラ１１２〜１１８の画像信号を入力し、入力した画像信号をディジタル信号に変換するとともに、車両を真上方向の視点から見下ろすような画像（トップビュー画像）、車両側方から地面と水平に前方を見るような画像（フロントビュー画像）、車両側方から地面と水平に左側方、右側方を見るような画像（サイドビュー画像）、車両側方から地面と水平に後方を見るような画像（バックビュー画像）に視点変換をするための画像処理を行う。撮像カメラ１１２〜１１８によって撮像された画像データは、それぞれ重複した領域の画像データを含んでいるため、視点変換をするに際して、必要のない範囲の画像データはトリミングされる。視点変換のための画像処理は、ソフトウエアにより実行するものでも、ハードウエア回路により実行するものであってもよい。

マイクロコントローラ１０６は、例えばマイクロコンピュータにより構成され、車載用画像表示プログラムを格納するＲＯＭやＲＡＭ等を含んでいる。また、マイクロコントローラ１０６は、画像処理部１２０により画像処理された画像データを、どのようなレイアウトで表示するかを決定する。決定された配置構成に従い、表示制御部１０８は、画像データをディスプレイ１１０に表示する。マイクロコントローラ１０６は、例えば入力部１０２からの指示に応答して配置構成を決定することができる。図３は、マイクロコントローラ１０６が、配置構成をした例の一つである。マイクロコントローラ１０６は、エリア２００に画像処理部１２０が画像処理したトップビュー画像を配置する。トップビュー画像は、中心に自車が表示され、車両周辺にある障害物を認識できるようなっている。エリア２０２には、画像処理部１２０が画像処理した前方を表示するフロントビュー画像を配置する。エリア２０４には、画像処理部１２０が画像処理した左側方を表示するサイドビュー画像を配置する。エリア２０６には、画像処理部１２０が画像処理した右側方を表示するサイドビュー画像を配置する。エリア２０８には、画像処理部１２０が画像処理した後方を表示するバックビュー画像を配置する。つまり、フロントビュー画像、サイドビュー画像、バックビュー画像には、トップビュー画像に表示されないまたは表示され難い、天井や側壁等に設置されている地面から高さのある障害物が表示される。

表示制御部１０８は、マイクロコントローラ１０６により決定された配置構成に従い、車両周辺の示す各画像をディスプレイ１１０に表示する。これにより、ユーザはトップビュー画像、フロントビュー画像、サイドビュー画像、バックビュー画像を見ることができ、車両の全方向にある障害物を確認できる。

次に、本実施例の車載用画像表示装置１００における動作について図４のフローチャートを参照して説明する。先ず、車両が走行を開始したとき、またはユーザが入力部１０２から指示を与えたとき、マイクロコントローラ１０６に格納されている車載用画像表示プログラムが起動される（ステップＳ１０１）。マイクロコントローラ１０６は、この車載用画像表示プログラムの指示に従い、撮像カメラ１１２〜１１８、画像処理部１２０等を制御する。このとき、ユーザは入力部１０２を操作し、フロントビュー画像、サイドビュー画像、バックビュー画像を表示するための条件を設定できるようにしてもよい。

次に、撮像カメラ１１２〜１１８は、車両を中心として全方向である前方、左側方、右側方、後方を撮像する（ステップＳ１０２）。次に、画像処理部１２０は、撮像カメラ１１２〜１１８が撮像した画像データを画像処理し、トップビュー画像を作成する（ステップＳ１０３）。

トップビュー画像の作成方法について、図５を参照し説明する。図５は、撮像カメラ１１８が撮影する車両後方方向の撮像範囲を側面方向から表している図である。トップビュー画像を作成する範囲が、車両から３ｍまでの範囲の場合、撮像カメラ１１８は、車両から１．５ｍ離れた地面上の位置に光軸が合うように車両後方のバンパーナンバープレート付近で位置調整され、車両の前方を視野角θ４で撮像する。画像処理部１２０は、撮像カメラ１１８が撮像した画像データを視点変換し、次いであらかじめ設定されているトップビュー画像作成範囲Ｌの画像データのみを抽出する。画像処理部１２０は、撮像カメラ１１２〜１１６が撮像した画像データも同様に、画像データを視点変換し、トップビュー画像作成範囲Ｌの画像データのみを抽出し、これらの画像を合成することで、真上から見下ろすように視点変換されたトップビュー画像を作成する。つまり、トップビュー画像は、ハッチングで示された空間Ｓを表示するため、空間Ｓの外部にある障害物Ｗは、トップビュー画像では表示されない。

次に、表示制御部１０８は、マイクロコントローラ１０６によって作成した車両のトップビュー画像をディスプレイ１１０に表示する（ステップＳ１０４）。マイクロコントローラ１０６は、走行中に、車両状態センサ１０４の信号を監視し、車両の速度が所定速度以下であるか否かを判定する（ステップＳ１０５）。車両速度が所定速度を超える場合、ステップＳ１０２に戻り、トップビュー画像を常時表示する。

車両速度が所定速度以下であった場合、画像処理部１２０は、撮像カメラ１１２〜１１８が撮像した画像データを画像処理し、フロントビュー画像、サイドビュー画像、バックビュー画像を作成する（ステップＳ１０６）。代表的な例としてバックビュー画像の作成方法について図６を参照し説明する。図６は、撮像カメラ１１８が撮影する車両後方方向の撮像範囲を側面方向から表している図である。撮像カメラ１１８は、車両後方のバンパーナンバープレート付近に設置され、車両の前方を視野角θ４で撮像する。画像処理部１２０は、撮像カメラ１１８が撮像した画像データを視点変換し、あらかじめ設定されている地面からトランクの高さまでの画像作成範囲Ｈの画像データのみを抽出し、車両から地面と水平に車両後方を見るようなバックビュー画像を作成する。バックビュー画像は、図６においてハッチングで示された空間Ｔの画像データを表示するため、トップビュー画像では表示されない障害物Ｗが表示される。

画像処理部１２０は、撮像カメラ１１２〜１１６が撮像した画像データも同様に視点変換し、画像作成範囲Ｈの画像データのみを抽出し、フロントビュー画像、サイドビュー画像を作成する。このとき、画像作成範囲Ｈは、フロントビュー画像ならば、地面からボンネットの高さまでとし、サイドビュー画像ならば、地面から車両の高さまでとする。

次に、マイクロコントローラ１０６は、画像処理部１２０によって作成されたトップビュー画像、フロントビュー画像、サイドビュー画像、バックビュー画像を図３に示すような配置に構成する（ステップＳ１０７）。このとき、マイクロコントローラ１０６は、エリア２０４に配置されるサイドビュー画像が、左向きになるように画像を９０°回転させ配置させる。また、エリア２０６に配置されるサイドビュー画像が、右向きになるように画像を９０°回転させ配置させる。さらに、エリア２０８に配置されるバックビュー画像が、上向きまたは下向きになるように画像を配置させる。さらに、マイクロコントローラ１０６は、各エリア２００〜２０８の範囲内に各画像が表示できるように画像データの作成範囲Ｌ、Ｈに拡大または縮小し、各画像のサイズを調整する。

最後に、表示制御部１０８は、マイクロコントローラ１０６によって配置構成された車両周辺を示す各画像をディスプレイ１１０に表示する（ステップＳ１０８）。ディスプレイ１１０には、図３に示すように、車両を真上から見下すようなトップビュー画像および車両側方から地面と水平に各方向を見たフロントビュー画像、サイドビュー画像、バックビュー画像が表示される。これにより、トップビュー画像には表示されない物体や、認識することが難しかった立体物等の障害物であっても、ユーザはフロントビュー画像、サイドビュー画像、バックビュー画像を確認することにより障害物を認識できるようになる。

上記実施例では、車両の速度が所定速度以下になったときにフロントビュー画像、サイドビュー画像、バックビュー画像を表示するようにしたが、勿論、これに限定されるものではない。例えば車両状態センサ１０４よりユーザがギアポジションを「バック」にしたときにバックビュー画像を表示するようにしてもよい。

上記実施例では、マイクロコントローラ１０６は、各画像を図３に示すような配置構成にしたが、勿論、図３に示す配置構成に限定されるものではない。配置構成は、ユーザによって適宜変更可能にしたり、あるいは走行状態に応じて切替するようにしてもよい。例えば右後方に後退する場合、図７に示すように画面左側のエリア２００にトップビュー画像を配置し、画面右側上部のエリア２０８にバックビュー画像を配置し、画面右側下部のエリア２０６に右側方を表示するサイドビュー画像を配置するような配置構成であってもよい。

本発明に係る車載用画像表示装置は、ナビゲーション装置と併せて利用することも可能であり、例えば目的地に駐車場があるような場合には、駐車場に到着するときに車載用画像表示プログラムを起動してもよい。

以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明に係る車載用画像表示装置は、車両の走行中の安全運転支援システムや駐車支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。

本発明の実施例に係る車載用画像表示装置の構成を示すブロック図である。 車両に取り付けられた撮像カメラの配置を示す平面図である。 車両周辺画像の配置構成例を示す図である。 本実施例の車載用画像表示装置の動作を説明するフローチャートである。 トップビュー画像の作成方法を説明する図である。 バックビュー画像の作成方法を説明する図である。 車両周辺画像の他の配置構成例を示す図である。

符号の説明

１００：車載用画像表示装置 １０２：入力部
１０４：車両状態センサ １０６：マイクロコントローラ
１０８：表示制御部 １１０：ディスプレイ
１１２〜１１８：撮像カメラ １２０：画像処理部
２００：トップビュー画像エリア ２０２：フロントビュー画像エリア
２０４：サイドビュー画像エリア ２０６：サイドビュー画像エリア
２０８：バックビュー画像エリア

Claims (7)

1. 車両周辺の画像を表示する車載用画像表示装置であって、
   一定の視野角で車両の周辺を撮像する複数の撮像カメラを含み、複数の撮像カメラにより撮像された画像データを出力する撮像手段と、
   撮像手段からの画像データについて第１の視点変換を行い、車両上方の視点から見下ろした第１の画像データを作成する第１の画像処理手段と、
   撮影手段からの画像データについて第２の視点変換を行い、車両側方の視点から見た第２の画像データを作成する第２の画像処理手段と、
   第１および第２の画像処理手段により作成された第１および第２の画像データを表示する表示手段とを含み、
   前記第１の画像処理手段は、撮像手段によって出力された画像データから第１の画像データに必要な画像データを抽出し、当該抽出される画像データは、撮像手段によって撮像された前記一定の視野角の画像データのうち車両から地面方向に距離Ｌだけ離れた地点までの空間Ｓで示されるものであり、
   第２の画像処理手段は、第１の画像処理手段によって抽出されなかった画像データから第２の画像データに必要な画像データを抽出し、当該抽出される画像データは、車両から地面方向に距離Ｌだけ離れかつ地面から一定の高さまでの空間Ｔで示されるものであり、
   前記第２の画像データは、フロントビュー画像、サイドビュー画像およびバックビュー画像を含み、
   フロントビュー画像、サイドビュー画像およびバックビュー画像についての前記空間Ｔを規定する高さは、予め設定されるものであり、かつサイドビュー画像とフロントビュー画像またはバックビュー画像における前記空間Ｔを規定する高さは異なる、車載用画像表示装置。
2. フロントビュー画像についての前記空間Ｔを規定する高さは、地面からボンネットまでであり、サイドビュー画像についての前記空間Ｔを規定する高さは、地面から車両までであり、バックビュー画像についての前記空間Ｔを規定する高さは、地面からトランクまでである、請求項１に記載の車載用画像表示装置。
3. 前記表示手段は、第１および第２の画像データを配置構成するための配置構成手段を含む、請求項１または２に記載の車載用画像表示装置。
4. 前記配置構成手段は、配置構成を指示する入力に応答して第１および第２の画像データを配置させる、請求項３に記載の車載用画像表示装置。
5. 前記配置構成手段は、第１および第２の画像データを表示するとき、画像の向きおよび画像サイズを調整する、請求項３または４に記載の車載用画像表示装置。
6. 前記表示手段は、車両が一定速度以下になったとき、第２の画像データを表示する、請求項１ないし５いずれかひとつに記載の車載用画像表示装置。
7. 前記表示手段は、車両が後方に進行するとき、第２の画像データを表示する、請求項１ないし６いずれかひとつに記載の車載用画像表示装置。

Images