JP5159070B2

JP5159070B2 - 車両周辺画像表示装置及び表示方法

Info

Publication number: JP5159070B2
Application number: JP2006234963A
Authority: JP
Inventors: 光一阿部
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2006-08-31
Filing date: 2006-08-31
Publication date: 2013-03-06
Anticipated expiration: 2026-08-31
Also published as: US8553081B2; US20080055407A1; JP2008056080A

Description

本発明は車両周辺画像表示装置及び表示方法に係わり、特に、車両周辺画像をカメラで取り込んで車両画像と共に表示する車両周辺画像表示装置及び表示方法関する。

車両に取り付けられたカメラで車両後方や車両周辺の映像を撮影して車載のモニターに表示し、これにより車庫入れや駐車等に際して運転手を支援するシステムが研究され、実用化されている。かかる支援システムとしてトップビューシステムが知られている(特許文献1参照)。このトップビューシステムは、図１０（A），（B)に示すように、車両周囲を撮影する複数のカメラ６a〜６eを車両１に装着し、画像合成処理部７が各カメラ６a〜６eから取り込んだ画像を用いて、図１０（C）に示す車両上方所定の位置（仮想視点）８から所定の方向を眺めた風景の合成画像を作成してモニター９に表示し、これにより駐車、車庫入れなどを支援する。

ところで、現在のトップビュー表示では距離感を掴みやすくするために表示スケールを画面全体で一定にしている（等距離表示）。すなわち、車両画像の縮尺と同一縮尺で車両周辺画像を表示している（図１１（A）参照）。しかし、かかる表示方法では、車両画像１ａの縮尺率が大きいと車両周辺の表示範囲が狭くなり、車両周辺の情況を把握しにくくなる。そこで、図１１（B）に示すように１画面に映す周辺範囲を広げると画像全体が小さくなってしまい見づらくなる。結局、現状では、図１１（A）に示すように車両周囲２m程度までを表示できるような縮尺で車両および周辺画像を表示している。しかし、かかる表示方法では、画面に映っている物体との距離感は掴みやすいが、画面外の物体を認識できない問題がある。
このため、図１２に示すようにトップビュー表示TVEWと共に子画面表示例えばバックビュー表示BVEWを同時に行なうものがある。しかし、スクリーンを２つに分割して表示するものであるため、画像を拡大して表示する場合と同様に車両近傍の周辺画像が見づらくなる。
また、単純に表示範囲を広げると等距離表示であるため、遠くの画像は少ない画像を引き伸ばして表示することになり車両近傍に比べて、ボケが目立つ問題が生じる。
特許３３００３３４号

以上から本発明の目的は、車両近傍の周辺画像を見やすくでき、しかも、表示範囲を広げることができるようにすることである。
本発明の別の目的は表示範囲を広げてもボケが生じないようにすることである。

本発明の第１は、車両周辺画像をカメラで取り込んで車両上方所定の位置より眺めた車両周辺画像を車両画像と共にトップビュー表示する車両周辺画像表示方法であり、少なくとも車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを４つの魚眼カメラのそれぞれで撮影して対応するフレームメモリに記憶し、画面を構成する画素毎に、該画素と所定カメラのフレームメモリにおけるアドレスとの対応をトップビュー表示が可能となるように保存するテーブルを設け、車両から設定距離範囲内の周辺画像を車両画像の縮尺と同一縮尺でトップビュー表示するよう、かつ、前記設定距離より外側の周辺画像を車両からの距離が大きくなるにつれて段階的に縮尺率が大きくなるように切り換えてトップビュー表示するよう、該テーブルに前記対応関係を保存し、該テーブルの対応関係を用いて前記各フレームメモリにおける画素データを画面に対応するフレームメモリにマッピングして周辺画像を合成し、該画面に対応するフレームメモリより周辺画像を読み出してモニターにトップビュー表示する。
本発明の第２は、車両周辺画像をカメラで取り込んで車両上方所定の位置より眺めた車両周辺画像を車両画像と共にモニターにトップビュー表示する車両周辺画像表示装置であり、少なくとも車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを撮影する魚眼カメラ、各魚眼カメラで撮影した周辺画像を記憶するカメラ対応のフレームメモリ、車両から設定距離範囲内の周辺画像を車両画像の縮尺と同一縮尺でトップビュー表示するよう、かつ、前記設定距離より外側の周辺画像を車両からの距離が大きくなるにつれて段階的に縮尺率が大きくなるように切り換えてトップビュー表示するよう、画面を構成する画素毎に、画素と所定カメラのフレームメモリにおけるアドレスとの対応を保存するテーブル、該テーブルの対応関係を用いて前記各フレームメモリにおける画素データを画面に対応するフレームメモリにマッピングするマッピング部、前記画面対応のフレームメモリより周辺画像を読み出してモニターにトップビュー表示する表示部備えている。

本発明によれば、車両から設定距離範囲内の周辺画像を車両画像の縮尺と同一縮尺で表示し、前記設定距離より外側の周辺画像を車両画像の縮尺より縮尺率が大きい縮尺で表示するようにしたから、車両近傍の周辺画像を見やすくでき、しかも、表示範囲を広げることができる。また、表示範囲を広げてもボケを防止できる。
また、本発明によれば、車両状態に連動して、たとえば、車速が設定速度以下になったとき、あるいは、ギアがバック位置にシフトしたとき、あるいは、ナビゲーション装置から指示があったとき、縮尺可変で周辺画像を表示するようにしたから、適時に周辺画像を表示して運転者の運転支援をすることができる。
また、車両状態に連動して車両画像の縮尺と同一の縮尺で、あるいは、縮尺可変で周辺画像を表示するようにしたから、車両状態に適した態様でトップビュー表示ができる。

（A）本発明の原理
図１は本発明の原理説明図であり、図１（A）は車両周辺画像SRLを車両画像CIMの縮尺と同一の縮尺1/Sで表示した表示例、図１（B）は車両から設定距離範囲内の周辺画像を車両画像CIMの縮尺と同一縮尺1/Sで表示し、前記設定距離より外側の周辺画像を車両画像の縮尺1/Sより縮尺率が大きい縮尺で表示する表示例である。
すなわち、図1（C）の枠Aより内側の周辺画像は車両画像CIMと同一縮尺1/Sで表示し、枠A〜Bでは縮尺1/Sより大きい縮尺率例えば(8/10)×1/Sで表示し、枠B〜Cではさらに大きい縮尺率、例えば（6/10）×1/Sで表示し、枠Cの外側では最大の縮尺率、例えば（4/10）×1/Sで表示する。この結果、図１（B）に示すように縮尺可変で周辺画像を表示すれば、図１（A）の縮尺一定の周囲画像に比べてより広範囲の周辺画像を表示できることが分る。

図２は車両周辺画像取得方法の説明図であり、車両１１の前部、左右側部及び後部にそれぞれカメラ１２Ａ，１２Ｂ，１２Ｃ，１２Ｄを取り付け、車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景を撮影する。各カメラ１２Ａ〜１２Ｄはそれぞれ魚眼レンズにより前方１８５⁰の範囲にわたって風景を撮影することができ、カメラ１２ＡはラインＦＦより前方の風景を撮影し、カメラ１２ＢはラインＬＬより左側の車両左側風景を撮影し、カメラ１２ＣはラインＢＢより後方の車両後方風景を撮影し、カメラ１２ＤはラインＲＲより右側の車両右側風景を撮影する。
図２（Ｂ）に示すようにカメラ１２Ｂで車両左側の矩形の格子模様を撮影すると図２（Ｃ）に示すように魚眼で見た図形（魚眼図形という）になる。矩形図形１３と魚眼図形１４において同一番号を付した領域は対応しており、矩形図形１３における領域１〜６は魚眼図形１４では領域１〜６になる。したがって、矩形図形１３の領域１〜６の画像を記憶すべきフレームメモリ位置に、該領域に対応する魚眼図形領域１〜６の画像を記憶して読み出せば、魚眼カメラ１２Bで撮影した画像を矩形図形に変換してモニターに表示することが可能になる。

図３は魚眼図形１４の画像を構成する画素データをフレームメモリ１５にマッピングする説明図であり、フレームメモリ１５は幅2.5ｍの矩形図形を記憶する記憶領域を備えているものとする。魚眼図形１４の画素位置と矩形図形１３の画素位置の対応関係（図２参照）に従って、2.5ｍ幅の魚眼図形１４の各画素データをフレームメモリ１３にマッピングする。そして、フレームメモリ１５から画像を読み出して表示すれば矩形図形の格子模様を表示できる。
以上は、魚眼図形１４の画素データを間引くことなくフレームメモリ１５にマッピングした場合であるが、車両ボディーからの距離が設定距離より外側の魚眼図形のマッピング比率を可変にすることにより、すなわち、画素データを間引くことにより広範囲の車両周辺画像をフレームメモリ１５に保存できるようになる。

図４は車両ボディーから離れる程、魚眼図形の間引き率（マッピング比率）を可変にした場合の説明図であり、車両ボディーから４ｍ幅の魚眼図形１４を2.5ｍ幅の矩形図形を記憶するフレームメモリ１５にマッピンする場合である。なお、マッピング比率は魚眼図形の画素データ数と実際にフレームメモにマッピングした画素数の比である。
マッピング方法は、例えば、
（1）車両ボディーから０．５ｍの範囲Aの魚眼図形は幅方向に間引くことなく全画素データをマッピング比率１:１でフレームメモリ１５のメモリ領域Ａにマッピングし、
（2）車両ボディーから０．５ｍ〜１．５ｍの範囲Ｂの魚眼図形は幅方向に２割の画素データを間引いてマッピング比率１０：８でフレームメモリ１５のメモリ領域Ｂにマッピングし、
（3）車両ボディーから１．５ｍ〜２．５ｍの範囲Ｃの魚眼図形は幅方向に４割の画素データを間引いてマッピング比率１０：６でフレームメモリ１５のメモリ領域Ｃにマッピングし、
（4）車両ボディーから２．５ｍ〜４．０ｍの範囲Ｄの魚眼図形は幅方向に６割の画素データを間引いてマッピング比率１０：４でフレームメモリ１５のメモリ領域Ｄにマッピングする。
以上のようにマッピング比率を変えることにより、2.5ｍ幅の矩形図形を記憶する容量を有するフレームメモリ１５に、４ｍ幅の魚眼図形１４を記憶することができる。なお、フレームメモリ１５のメモリ領域Aは０．５m幅の矩形図形を記憶する領域、メモリ領域Bは０．８m幅の矩形図形を記憶する領域、メモリ領域C、Dはそれぞれ０．６m幅の矩形図形を記憶する領域である。

図４のマッピング比率を可変にしたマッピング法は、縮尺可変で表示されるように魚眼図形（周辺画像）をフレームメモリにマッピングしたことと同等である。すなわち、図４のマッピング法は、車両ボディーから０．５ｍの範囲の魚眼図形を車両画像の縮尺1/Sと同一縮尺となるようにマッピングし、０．５ｍより外側の周辺画像をそれぞれ車両画像の縮尺１/Sより縮尺率が大きい縮尺（8/10）×1/S、（6/10）×1/S、（4/10）×1/Sで表示されるようにマッピングしたのと同等である。
以上では、魚眼カメラ１２Ｂで撮影した魚眼図形１４をフレームメモリ１５にマッピング比率可変で、すなわち、縮尺率可変でマッピングする例を説明したが、他の魚眼カメラ１２Ａ，１２Ｃ，１２Ｄで撮影した魚眼図形をフレームメモリにマッピングする場合も同様である。
図５は各魚眼カメラ１２Ａ〜１２Ｄで撮影した魚眼図形１４Ａ〜１４Ｄを画面対応のフレームメモリ１５にマッピングする場合の説明図である。魚眼図形１４Ａ〜１４Ｄは画面フレームメモリ１５の対応する領域１５Ａ〜１５Ｄにそれぞれマッピングされ、また、予め撮影されて保存されている車両画像１６はフレームメモリ１５の中央部にマッピングされ、これによりフレームメモリ１５に１画面の画像が生成される。なお、魚眼図形１４Ａ,１４Ｃは垂直方向において画素が間引かれ、魚眼図形１４Ｂ、１４Ｄは水平方向に画素が間引かれてフレームメモリ１５にマッピングされる。
実際には、後述するようにマッピングテーブルを設け、該マッピングテーブルに予め車両から設定距離、たとえば０．５ｍ以内の周辺画像を車両画像の縮尺と同一縮尺で表示し、前記設定距離より外側の周辺画像を車両画像の縮尺より縮尺率が大きい縮尺で表示するようにマッピングデータが記憶されており、該マッピングデータに基づいて各魚眼図形はフレームメモリにマッピングされる。

（Ｂ）第１実施例
図６は第１実施例の車両周辺画像表示装置の構成図である。
車両１１の前部、左右側部及び後部にカメラ１２Ａ，１２Ｂ，１２Ｃ，１２Ｄを取り付け（図２参照）、車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景をそれぞれ撮影し、カメラ対応のフレームメモリ２１Ａ〜２１Ｄに記憶する。各カメラ１２Ａ〜１２Ｄはそれぞれ魚眼レンズにより前方１８５⁰の範囲にわたって風景を撮影することができる。画像読出し部２２Ａ〜２２Ｄはそれぞれ指示されたフレームメモリのアドレスより画像データを読み出して出力する。
マッピングメモリ２３は、フレームメモリ２１Ａ〜２１Ｄに記憶されている魚眼図形１４Ａ〜１４Ｄ（図５参照）を画面対応のフレームメモリ１５にマッピングするためのテーブルＭＴＢを保存する。マッピングテーブルＭＴＢは図４で説明したようにマッピング比率可変で魚眼図形の画素データがフレームメモリ１５にマッピングされるように作成されている。

図７はマッピングテーブルＭＴＢの説明図である。
マッピングテーブルＭＴＢは、画面対応フレームメモリ15のＮ×Ｍの各記憶位置にマッピングする魚眼図形の画素データが記憶されているカメラ対応フレームメモリのアドレスを特定する。たとえば、画面対応フレームメモリ１５の記憶位置Ｐ１にカメラ対応フレームメモリ２１ＡのアドレスＡ（x0,y0）に保存されている魚眼図形をマッピングするものとすれば、マッピングテーブルＭＴＢは記憶位置Ｐ１とアドレスＡ(x₀,y₀)の対応を記憶する。同様に、フレームメモリ１５の画素位置Ｐ２〜Ｐ４にカメラ対応フレームメモリ２１Ｂ〜２１ＤのアドレスＢ（x1,y1）、Ｃ（x2,y2）、Ｄ（x3,y3）に保存されている魚眼図形をそれぞれマッピングするものとすれば、マッピングテーブルＭＴＢは記憶位置Ｐ２〜Ｐ４とアドレスＢ（x0,y0）、Ｃ（x0,y0）、Ｄ（x0,y0）の対応を記憶する。
マッピングテーブルＭＴＢは車両からの距離範囲毎のマッピング比率を考慮して自動的に作成することが可能であるが、合成画像を見ながら思考錯誤的に作成することができる。

マッピング部２４はマッピングテーブルＭＴＢをラスタース方向にスキャンし、順番に画素毎に、カメラ対応フレームメモリとそのアドレスを読み出し、該フレームメモリの該アドレスから画像データを読み出して画面対応フレームメモリ１５に書き込む。全画素について上記の書き込み処理が完了すれば、画面対応フレームメモリ１５に周辺画像データがマッピングされたことになる。すなわち、車両から設定距離以内の周辺画像を車両画像の縮尺と同一縮尺で表示し、かつ、設定距離より外側の周辺画像を車両画像の縮尺より縮尺率が大きい縮尺で表示するための周辺画像データが画面対応フレームメモリ１５に書き込まれる。
車両画像保持部２５は予め車両画像を保存しているから、画像合成部２６は該車両画像と画面対応のフレームメモリ１５の周辺画像を合成してモニター２７に表示する。
以上、第１実施例によれば、車両から設定距離範囲内の周辺画像を車両画像の縮尺と同一縮尺で表示し、前記設定距離より外側の周辺画像を車両画像の縮尺より縮尺率が大きい縮尺で表示できる。この結果、車両近傍の周辺画像を見やすくでき、しかも、表示範囲を広げることができる。また、表示範囲を広げてもボケを防止することができる。

図８は車両周辺画像を車両状態に連動して表示制御する場合の第１実施例の変形例であり、図６の構成と同一部分には同一符号を付している。異なる点は周辺画像表示制御部３１を設けている点である。周辺画像表示制御部３１は、ギアシフト位置検出部３２、車速検出部３３、ナビゲーション装置３４にそれぞれ接続され、ギアシフト位置、車速、ナビゲーション指示信号を受信できるようになっている。
(1)ギアシフト位置がバック位置になったとき（車庫入れ、駐車、その他）、あるいは、(2)車速が設定速度以下の低速になったとき（停車／駐車時、混雑走行時、右左折時など）、あるいは、(3)ナビゲーション装置からの指示があったとき（交差点進入時、駐車場進入時など）、周辺画像表示制御部３１はマッピング部２４及び画像合成部２６を制御してモニター２７に車両周辺画像を表示する。ナビゲーション装置３４は、車両位置に基づいて車両が交差点進入したこと、あるいは駐車場に進入したこと、その他周辺画像を表示した方が安全な場所に進入したことを検知して、周辺画像表示制御部３１に周辺画像表示を指示する。

（Ｃ）第２実施例
第１実施例は１種類の縮尺可変の車両周辺画像を表示する場合であるが、２種類以上の車両周辺画像を表示できるようにし、車両状態に応じて表示する周辺画像を切り替えるようにすれば便利な場合がある。たとえば、車庫入れや駐車場での駐車時において、最初は広範囲の周辺画像を表示し、車両テール部が周辺障害物（他車、建造物、植木など）に接近したとき距離感を掴みやすくするために従来と同様の縮尺固定の車両周辺画像を表示する。
図９は第２実施例の車両周辺画像表示装置の構成図であり、図６の構成と同一部分には同一符号を付している。異なる点は、
（1）マッピングメモリ２３に縮尺可変の広範囲の車両周辺画像(第１車両周辺画像)を表示するためのマッピングテーブルＭＴＢに加えて、車両画像と同一縮尺で車両周辺画像(第２車両周辺画像)を表示するためのマッピングテーブルＭＴＢ′を保存する点、
（2）車両状態に基づいていずれの車両周辺画像を表示するか決定する車両周辺画像決定部４１を設けている点、
（3）決定された車両周辺画像に応じたマッピングテーブル情報をマッピング部２４に入力するマッピングテーブル選択部４２を設けている点、
(4)車両状態を検出する車両状態検出部４３を設けている点である。

車両状態検出部４３はギアシフト位置情報、周辺障害物接近情報を車両周辺画像決定部４１に入力する。車両周辺画像決定部４１はバック時、車両テール部が周辺障害物より設定距離以上離れていれば第１車両周辺画像を表示するよう決定し、車両テール部が周辺障害物より設定距離以内に接近すれば第２車両周辺画像を表示するよう決定する。マッピングテーブル選択部４２は決定された車両周辺画像に応じたマッピングテーブル情報をマッピング部２４に入力する、この結果、バック時に車両テール部が周辺障害物より設定距離以上離れていれば、モニター２７に第１車両周辺画像が表示されるから、運転者は広範囲の周辺情況を把握して運転ができる。また、車両テール部が周辺障害物に接近すれば、モニター２７に第１車両周辺画像が表示されるから、運転者は障害物までの距離を正しく把握してバック運転ができる。
以上ではバック時に表示する周辺画像を切り替えた場合であるが、かかる場合に限らず車両状態に基づいて周辺画像を切り替えて表示する情況があり、そのような情況において第２実施例は効果的である。

本発明の原理説明図である。車両周辺画像取得方法の説明図である。魚眼図形の画像を構成する画素データをフレームメモリにマッピングする説明図である。車両ボディーから離れる程、魚眼図形の間引き率（マッピング比率）を可変にした場合の説明図である。各魚眼カメラで撮影した魚眼図形を画面対応のフレームメモリにマッピングする場合の説明図である。第１実施例の車両周辺画像表示装置の構成図である。マッピングテーブルＭＴＢの説明図である。車両周辺画像を車両状態に連動して表示制御する場合の第１実施例の変形例である。第２実施例の車両周辺画像表示装置の構成図である。従来のトップビューシステムの説明図である。車両画像の縮尺と同一縮尺で車両周辺画像を表示する従来の表示例である。トップビュー表示と共にバックビュー表示を同時に行なう表示例である。

符号の説明

１２Ａ，１２Ｂ，１２Ｃ，１２Ｄカメラ
１５画面対応フレームメモリ
２１Ａ〜２１Ｄカメラ対応フレームメモリ
２２Ａ〜２２Ｄ画像読出し部
２３マッピングメモリ
ＭＴＢマッピングテーブル
２４マッピング部
２５車両画像保持部
２６画像合成部
２７モニター

Claims

車両周辺画像をカメラで取り込んで車両上方所定の位置より眺めた車両周辺画像を車両画像と共にトップビュー表示する車両周辺画像表示方法において、
少なくとも車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを４つの魚眼カメラのそれぞれで撮影して対応するフレームメモリに記憶し、
画面を構成する画素毎に、該画素と所定カメラのフレームメモリにおけるアドレスとの対応をトップビュー表示が可能となるように保存するテーブルを設け、
車両から設定距離範囲内の周辺画像を車両画像の縮尺と同一縮尺でトップビュー表示するよう、かつ、前記設定距離より外側の周辺画像を車両からの距離が大きくなるにつれて段階的に縮尺率が大きくなるように切り換えてトップビュー表示するよう、該テーブルに前記対応関係を保存し、
該テーブルの対応関係を用いて前記各フレームメモリにおける画素データを画面に対応するフレームメモリにマッピングして周辺画像を合成し、
該画面に対応するフレームメモリより周辺画像を読み出してモニターにトップビュー表示する、
ことを特徴とする車両周辺画像表示方法。
車両周辺画像をカメラで取り込んで車両上方所定の位置より眺めた車両周辺画像を車両画像と共にモニターにトップビュー表示する車両周辺画像表示装置において、
少なくとも車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを撮影する魚眼カメラ、
各魚眼カメラで撮影した周辺画像を記憶するカメラ対応のフレームメモリ、
車両から設定距離範囲内の周辺画像を車両画像の縮尺と同一縮尺でトップビュー表示するよう、かつ、前記設定距離より外側の周辺画像を車両からの距離が大きくなるにつれて段階的に縮尺率が大きくなるように切り換えてトップビュー表示するよう、画面を構成する画素毎に、画素と所定カメラのフレームメモリにおけるアドレスとの対応を保存するテーブル、
該テーブルの対応関係を用いて前記各フレームメモリにおける画素データを画面に対応するフレームメモリにマッピングするマッピング部、
前記画面対応のフレームメモリより周辺画像を読み出してモニターにトップビュー表示する表示部、
を備えたことを特徴とする車両周辺画像表示装置。