JP5143596B2 - 車両用画像表示装置 - Google Patents

Description

本発明は、車両周辺に取り付けられたカメラからのカメラ画像を、車室内に取り付けられたモニタに表示する車両用画像表示装置に関する。

従来、車両後方監視装置としては、ＣＣＤカメラで得られた歪み画像の正常画像に対する歪み値を補正値として予め補正テーブルに記憶し、次に、ＣＣＤカメラが車両の後方を撮像すると、補正テーブルに記憶された補正値を参照してＣＣＤカメラで得られた歪み画像を補正し、車載モニタに表示するものが知られている（例えば、特許文献１参照）。

また、従来の車載モニタとしては、モニタ表示画面の左右方向の設定位置を首振り機能により所定位置へ変更可能とし、モニタ表示画面の上下方向の設定位置をチルト機能により所定位置へ変更可能とするものが知られている（例えば、特許文献２参照）。
特開平１０−２７１４９０号公報 特開２００１−３０８４９号公報

しかしながら、引用文献１に記載された車両後方監視装置にあっては、車載モニタにＣＣＤカメラからの車両後方映像の歪みを抑えるものの、ＣＣＤカメラからの車両後方映像を車載モニタにそのまま表示するものである。このため、運転者が固定型の車載モニタの画面を見た場合、例えば、右ハンドル車の場合は、画面に向かって右側斜め方向からの運転者視点画像となり、運転者視点の延長上に存在する点から放射状に線を引いて投影したように車両後方映像にパースがついて見える。そして、車両後方映像にパースがついて見えることにより、例えば、車両後方側の等距離位置に存在するものが、運転者視点画像では、あたかも車幅方向に遠近感があるように見える。このため、自車両の位置確認、とりわけ垂直・水平の位置間隔が掴みがたい、という問題があった。

ちなみに、固定型の車載モニタは、バックビューモニタとしての用途に限らず、ナビモニタやテレビモニタ等としても使われるため、運転者に限らず乗員の誰からも見えるように、インストルメントパネルの中央部位置に、モニタ画面を車両後方に向けて設置されている。このため、運転者視点からは、右ハンドル車でも左ハンドル車でも斜め方向からモニタ画面を見ることになる。

また、引用文献２に記載された車載モニタは、首振り機能やチルト機能を持つことで、例えば、モニタ画面を運転者に向けて設置した場合、運転者から見た画像が、正面視点画像となり、適切な自車両の位置確認が行える。しかし、手動による首振り機能やチルト機能を持たせた場合、用途によりモニタ画面の位置を変更する操作を要するし、車載モニタのモニタ画面が運転者視点に対し斜め方向の設定のままとすると、上記のようにパースが付いて見える。また、自動制御による首振り機能やチルト機能を持たせた場合、首振り機構やチルト機構や首振りモータやチルトモータ等を新たに付加する必要があり、設置スペースが大幅に拡大するし、コストアップとなるし、用途や状況を認識して複雑な制御を行う必要がある。

本発明は、上記問題に着目してなされたもので、設置スペース的にもコスト的にも有利なシステムとしながら、モニタの画面がどの方向に向いていても運転者視点から見た画像を正面視点画像とし、適切な自車両の位置確認を行うことができる車両用画像表示装置を提供することを目的とする。

上記目的を達成するため、本発明では、車両周辺に取り付けられ、車両周辺を撮像するカメラと、
車室内に取り付けられ、カメラ画像を表示するモニタと、
前記カメラにより撮像された映像をカメラ画像の画素データに変換し、該カメラ画像の画素データに基づいて、前記モニタへ出力するモニタ画像の画素データを生成するモニタ画像生成コントローラと、
を備えた車両用画像表示装置において、
前記モニタ画像生成コントローラは、前記カメラ画像の画素データに対し、運転者視点から見た画像が正面視点画像となるように座標変換を行い、前記モニタへ出力するモニタ画像の画素データを生成することを特徴とする。
ここで、「正面視点画像」とは、モニタ画面に対して正面視点位置からモニタ表示画像を見た場合に得られる画像をいう。

よって、本発明の車両用画像表示装置にあっては、モニタ画像生成コントローラにおいて、カメラ画像の画素データに対し、運転者視点から見た画像が正面視点画像となるように座標変換が行われ、モニタへ出力するモニタ画像の画素データが生成される。
このように、カメラ画像の画素データに対して座標変換を行う画像処理手法を採用したことにより、車載モニタに首振り機能やチルト機能を持たせるようなメカ手法を採用する場合に比べ、設置スペース的にもコスト的にも有利なシステムとなる。
そして、モニタの画面がどの方向に向いていても運転者視点から見た画像が正面視点画像とされるため、運転者がモニタの画面を見て認識する車両周辺画像に、遠近感を与えるようなパースがついて見えることがない。
この結果、設置スペース的にもコスト的にも有利なシステムとしながら、モニタの画面がどの方向に向いていても運転者視点から見た画像を正面視点画像とし、適切な自車両の位置確認を行うことができる。

以下、本発明の車両用画像表示装置を実現する最良の形態を、図面に示す実施例１に基づいて説明する。

まず、構成を説明する。
図１は、実施例１の車両用画像表示装置が適用されたワンボックス車（車両の一例）を示す全体斜視図である。

実施例１の車両用画像表示装置は、図１に示すように、リアカメラ１（カメラ）と、モニタ２と、リアカメラコントロールユニット３（モニタ画像生成コントローラ）と、タッチパネル４（パース角度調整操作手段）と、インヒビタースイッチ５と、舵角センサ６と、を備えている。

前記リアカメラ１は、車両周辺に取り付けられ、車両周辺を撮像するカメラの一例であり、車両後部の上側位置に設けられ、車両後方映像を撮像する。
このリアカメラ１は、図１に示すように、バックドア１０のルーフスポイラー１１内に埋め込み状態で取り付けられ、車両の後方映像を、モニタ２の表示画面に表示するようにしている。このリアカメラ１としては、例えば、夜間でも画像が鮮明で視認性が良く、物体の認識がしやすい、赤外線カラーカメラ等が採用され、撮像素子としてCCDやCMOS等が用いられる。

前記モニタ２は、車室内に取り付けられ、リアカメラ画像を表示するもので、図１に示すように、車室内前方のインスツルメントパネル１２の中央部位置に固定状態で取り付けられ、リアカメラ１からの車両後方映像を、ルームミラーで後方を見た場合に合わせるため、左右反転させた鏡像にて車両の後方映像を表示する。このモニタ２としては、例えば、液晶ディスプレイや有機ELディスプレイ等が用いられる。

前記リアカメラコントロールユニット３は、インスツルメントパネル１２の内部位置等に設置され、リアカメラ１により撮像された映像をカメラ画像の画素データに変換し、カメラ画像の画素データに対し、運転者視点から見た画像が正面視点画像となるように座標変換を行い、モニタ２へ出力するモニタ画像の画素データを生成する。

前記タッチパネル４は、前記モニタ２の表示画面を覆うように設定され、指が触れた位置を検知して画面上でのパース位置を指定し、リアカメラコントロールユニット３に指示を与える。

前記インヒビタースイッチ５は、自動変速機のセレクトレバーがどのレンジ位置（例えば、Ｄ，Ｎ，Ｒ，Ｐ等）にあるかを検出するスイッチである。実施例１では、インヒビタースイッチ５からのリバース信号（後退情報）に基づき、モニタ２の表示画面に表示される画像を、それまでの画像（例えば、サイドビュー画像）から、リアカメラ１からの車両後方画像（リアビュー画像）へ自動的に切り換える方式を採用している。

前記舵角センサ６は、ステアリングホイールの回転角度であるステアリング舵角を検出するセンサである。実施例１では、モニタ２に表示する車両後方画像に重畳する重畳データとして、検出されるステアリング舵角に応じて自車両の予想進路線を生成するようにしている。

図２は、実施例１の車両用画像表示装置の画像表示制御系システムを示す制御ブロック図である。

前記モニタ２は、図２に示すように、タッチパネル４を用いてパース角度調整操作を行う時のユーザーインターフェイスとして、「タッチ！」という文字による文字表示パターン21と、楕円形の位置表示パターン22と、終了ボタン23を画面に重畳表示している。そして、パース角度調整操作時、文字表示パターン21と位置表示パターン22を操作指針としてパース位置を指で押して指定すると、タッチパネル４からパース角度調整操作信号を出力し、終了ボタン23の位置を指で押すと、タッチパネル４からパース角度調整終了信号を出力する。

前記リアカメラコントロールユニット３は、図２に示すように、カメラ画像保持部31（カメラ画像保持手段）と、マップメモリ32（マップ記憶手段）と、画像変形処理部33（画像変形処理手段）と、ＣＰＵ34（パース角度調整処理手段、重畳データ生成手段）と、重畳メモリ35（重畳データ記憶手段）と、重畳処理部36（重畳処理手段）と、モニタ画像保持部37（モニタ画像保持手段）と、を備えている。

前記カメラ画像保持部31は、リアカメラ１により撮像された映像をカメラ画像の画素データとして保持する。具体的には、リアカメラ１から順に出力される画素データを取り込み、それを再構築し、カメラ画像の画素データとして保持する。

前記マップメモリ32は、斜め方向の運転者視点からモニタ２を見た場合に正面視点画像となるように、画素データの座標点を変換する座標点変換マップをマップデータとして記憶しておく。

前記画像変形処理部33は、マップメモリ32からマップデータを取得し、座標点変換マップを用いてカメラ画像の画素データの座標点をモニタ２の画素データの座標点に変換する座標点変換を行い、座標変換後の各座標点に、カメラ画像保持部31に保持されているカメラ画像の画素データを当て嵌め、モニタ画像の画素データを生成する。
そして、この画像変形処理部33では、モニタ画像の画素データを生成する際、カメラ画像の画素データの無い座標点が存在する場合、画素データの無い座標点に対応する周辺のカメラ画像の画素データを取得し、取得した周辺画素データを用いて画素データの補間処理を行い、画素データの無いモニタ画像の座標点に補間画素データを当て嵌める。

前記ＣＰＵ34は、タッチパネル４からパース角度調整操作信号を入力すると、既存の座標点変換マップのパース角度δyを調整した新たな座標点変換マップを生成し、この新たな座標点変換マップをマップデータとしてマップメモリ32に書き込む。
そして、このＣＰＵ34では、後退走行による駐車時のカメラ画像に重畳表示する重畳データとして、半透明表示による距離目安線Ｄを生成すると共に、舵角センサ６からの舵角情報に基づいて予想進路線Ｃを生成する（図１２参照）。また、パース角度調整操作時にカメラ画像に重畳表示する重畳データとして、文字表示パターン21と位置表示パターン22と終了ボタン23を生成する（図１３参照）。

前記重畳メモリ35は、ＣＰＵ34にて生成された重畳データを入力すると共に記憶し、画像変形処理部33から取得される画素データの座標点情報に基づき、各座標点に対応する重畳画素データを出力する。

前記重畳処理部36は、画像変形処理部33から画素データを取得すると共に、重畳メモリ35から座標点対応の重畳画素データを取得し、座標点毎に順次、画素データと重畳画素データを重畳処理し、出力用の画素データを生成する。

前記モニタ画像保持部37は、重畳処理部36から座標点毎に順次入力される出力用の画素データを保持し、モニタ２へ出力するモニタ画像の画素データを生成する。

図３は、実施例１のリアカメラコントロールユニット３の画像変形処理部33にて実行される画像変形処理の流れを示すフローチャートである。図４は、図３に示す画像変形処理にて用いられる座標系をあらわし、(a)は座標点変換前の座標系を示し、(b)は座標点変換後の座標系を示す。以下、図３に示すフローチャートの各ステップについて説明する。

ステップＳ301では、マップメモリ32からマップデータを取得し、マップデータの座標点変換マップを用い、カメラ画像の画素データからモニタ画像の画素データを生成し、ステップＳ302へ移行する。
ここで、座標点変換マップは、カメラ画像の画素データの座標点を決める図４(a)に示す変換前の座標系に対し、図４(b)に示すように、運転者に近い側の端部の上下位置にそれぞれパース角度δy,δyを持つ変換後の座標系マップである。そして、この図４(b)に示す座標点変換マップを用いた場合には、下記の(式１)で示される座標点変換に従い、モニタ２の画素データでの対応座標点が計算される。

そして、座標変換後の各座標点に、カメラ画像保持部31に保持されているカメラ画像の画素データを当て嵌めることで、モニタ画像の画素データを生成する。

ステップＳ302では、ステップＳ301でのマップデータの取得に続き、モニタ画像の画素データを生成する際、カメラ画像の画素データの無い座標点が存在する場合、画素データの無い座標点に対応する周辺のカメラ画像の画素データを取得し、ステップＳ303へ移行する。

ステップＳ303では、ステップＳ302での対応周辺画素データの取得に続き、取得した周辺画素データを用いて画素データの画素補間処理を行い、ステップＳ304へ移行する。

ステップＳ304では、ステップＳ303での画素補間処理に続き、画素データの無いモニタ画像の座標点に補間画素データを当て嵌め、全ての座標点に対応して画素データを持たせ、これをモニタ２への画素データとして出力し、ステップＳ301へ戻る。

図５は、実施例１のリアカメラコントロールユニット３の重畳処理部36にて実行される画素データに重畳画素データを重ね合わせる重畳処理の流れを示すフローチャートであり、以下、各ステップについて説明する。この処理は、設定処理周期により繰り返し実行される。

ステップＳ501では、画像変形処理部33から画素データを取得し、ステップＳ502へ移行する。

ステップＳ502では、ステップＳ501での画素データの取得に続き、重畳メモリ35から座標点対応の重畳画素データを取得し、ステップＳ503へ移行する。

ステップＳ503では、ステップＳ502での座標点に対応する重畳画素データの取得に続き、座標点毎に順次、画素データと重畳画素データを重畳処理し、ステップＳ504へ移行する。

ステップＳ504では、ステップＳ503での画素データと重畳画素データの重畳処理に続き、重畳処理結果による各座標点に対応する画素データを出力し、終了へ移行する。

図６は、実施例１のリアカメラコントロールユニット３のＣＰＵ34にて実行されるパース角度δyの調整処理の流れを示すフローチャートであり、以下、各ステップについて説明する。

ステップＳ601では、文字表示パターン21と位置表示パターン22を操作指針とし、調整したいパース位置を指で押すことにより、タッチパネル４から出力されるパース角度調整操作信号に基づき、パース指定位置情報を取得し、ステップＳ602へ移行する。

ステップＳ602では、ステップＳ601でのタッチパネル４からのパース指定位置情報の取得に続き、終了ボタン23の表示位置を指で押すことにより、タッチパネル４から出力されるパース角度調整終了信号の有無を判断し、Yes（終了信号有）の場合は終了に移行し、No（終了信号無）の場合はステップＳ603へ移行する。

ステップＳ603では、ステップＳ602でのパース角度調整継続中（終了信号無）であるとの判断に続き、モニタ２の画面に重畳表示しているユーザーインターフェイスのデザインをパース角度調整に合わせて変更表示し、ステップＳ604へ移行する。

ステップＳ604では、ステップＳ603でのユーザーインターフェイスの変更表示に続き、パース指定位置情報によりパース角度δyを求め、求めたパース角度δyに合わせて座標点変換マップの変形マップを生成し、重畳メモリ35に生成した変形マップを書き込み、ステップＳ601へ戻る。

次に、作用を説明する。
まず、「車載ナビモニタへカメラ映像を表示する際の課題」の説明を行い、続いて、実施例１の車両用画像表示装置における作用を、「画像変形処理作用」、「重畳処理作用」、「パース角度調整処理作用」に分けて説明する。

［車載ナビモニタへカメラ映像を表示する際の課題］
図７は、ナビ搭載型車両で車載ナビモニタやインストルメントパネル等を運転者視点により見た状態を示す斜視図である。図８は、ナビ搭載型車両で駐車時に車載ナビモニタの画面に表示されるリアカメラ映像例を示すモニタ画像図である。図９は、ナビ搭載型車両で車載ナビモニタの画面に図８に示すリアカメラ映像例を表示した場合の運転者視点でのリアカメラ映像を示すモニタ画像図である。

最近の車両は、標準でナビゲーションシステムを搭載するようになっており、同時にリアカメラを搭載するのが一般的になってきている。このようなナビ搭載型車両でインストルメントパネルに取り付けられた長方形画面を持つ車載ナビモニタを運転者視点により見ると、図７に示すように、長方形画面が台形画面に変形して見える。

そして、ナビ搭載型車両で駐車時に車載ナビモニタの画面に、図８に示すようなリアカメラ映像を表示した場合、車載ナビモニタの画面を右側の運転者視点から見ると、図９に示すように、表示されたリアカメラ映像の左側映像部分が遠くにあり、リアカメラ映像の右側映像部分が近くにあるというように、パースがついて見える。

この理由は、車載ナビモニタは、多くの場合、インストルメントパネルに固定状態で取り付けられている。また、通常の車載ナビモニタは、乗員の誰からも見えるように、モニタ画面が車両後方を向いて設定されている。したがって、運転者視点からは、右斜め方向からモニタ画面を見ることになり、表示されたリアカメラ映像にパースがついて見えることになる。

そして、表示されたリアカメラ映像にパースがつくと、運転者の遠近感覚を低下させてしまい、自車両の位置間隔、とりわけ垂直・水平の間隔が掴み難くなる。このことは、例えば、バックビューモニタシステムを搭載した車両での駐車時、図９に示すようなリアカメラ映像をたよりにステアリング操作等を行っている運転者にとっては、適切な自車両の位置確認ができず、期待する駐車支援機能が実現されていないことを意味する。

［画像変形処理作用］
図１０は、実施例１の車両用画像表示装置を搭載した車両で駐車時にモニタの画面に表示されるリアカメラ映像例を示すモニタ画像図である。図１１は、実施例１の車両用画像表示装置を搭載した車両でモニタの画面に図１０に示すリアカメラ映像例を表示した場合の運転者視点でのリアカメラ映像例を示すモニタ画像図である。

リアカメラ１からのカメラ画像を、パース角度δyをつけたモニタ画像に画像変形する処理は、リアカメラコントロールユニット３の画像変形処理部33により行われる。すなわち、画像変形処理部33では、マップメモリ32からマップデータを取得し、座標点変換マップを用いてカメラ画像の画素データの座標点をモニタ２の画素データの座標点に変換する座標点変換を行い、座標変換後の各座標点に、カメラ画像保持部31に保持されているカメラ画像の画素データを当て嵌め、モニタ画像の画素データを生成することで行われる。

このとき、取得されたカメラ画像の画素データよりも高い解像度の画素データが必要になることが頻発するが、カメラ画像の画素データには限りがあるため、そのままでは得られない。そのため、図３のフローチャートに示すように、モニタ画像の画素データを生成する際、カメラ画像の画素データの無い座標点が存在する場合、画素データの無い座標点に対応する周辺のカメラ画像の画素データを取得し、取得した周辺画素データを用いて画素データの補間処理を行う。ここで、補間処理には、一般的に線形補間法や３次補間法等がある。

したがって、リアカメラコントロールユニット３の画像変形処理部33から重畳処理部36に出力される画素データは、画素データの無いモニタ画像の座標点に補間画素データを当て嵌めることで、全ての座標点に画素データを持つものとなる。

そして、リアカメラコントロールユニット３の画像変形処理部33から出力される画素データによる画像を、モニタ２に表示すると、図１０に示すように、駐車場でのリアカメラ映像の右側映像部分が遠くにあり、リアカメラ映像の左側映像部分が近くにあるというように、図９に示す映像とは逆のパースを付与したモニタ表示となる。

このため、右斜め方向からの運転者視点により、モニタ２に表示された図１０に示す駐車場のリアカメラ映像を見ると、右斜め方向からの運転者視点によりリアカメラ映像につくパースが、予めモニタ表示段階にて付与されている逆のパースにより相殺され、図１１に示すように、運転者があたかも正面からモニタ２に表示されているリアカメラ映像を見ているような効果を与えることができる。

［重畳処理作用］
図１２は、実施例１の車両用画像表示装置を搭載した車両でモニタの画面に駐車時のリアカメラ映像に重畳して表示する重畳データ例を示すモニタ画像図である。

モニタ２の画面に駐車時のリアカメラ映像に重畳データを重畳する際には、重畳処理部36において、図５に示すフローチャートにしたがって、画像変形処理部33から画素データが取得される（ステップＳ501）と共に、重畳メモリ35から座標点対応の重畳画素データが取得され（ステップＳ502）、座標点毎に順次、画素データと重畳画素データが重畳処理され（ステップＳ503）、生成された出力用の画素データがモニタ画像保持部37に出力される（ステップＳ504）。

例えば、パースを付与した駐車場のカメラ映像に、パースがつかない正面視点による駐車支援情報を重畳すると、カメラ映像として映し出されるものの位置と、駐車支援情報の位置関係がずれてしまう。一例として、駐車支援情報として距離目安線等を用いた場合には、自車両と縁石までの距離間隔が正確に認識することができなくなるし、運転者に違和感をあたえる。

これに対し、実施例１では、リアカメラコントロールユニット３のモニタ画像保持部37から出力される画像をモニタ表示すると、パースを付与した駐車場映像に、斜め視点からのパースを付与した重畳データが重畳されることになる。つまり、重畳データとして、例えば、図１２に示すように、半透明表示により生成された距離目安線Ｄと、舵角センサ７からの舵角情報に基づいて生成された予想進路線Ｃを用いると、駐車場の白線等を示すリアカメラ映像の適切な位置に、半透明表示の距離目安線Ｄと予想進路線Ｃが重畳表示されることになる。

したがって、右斜め方向からの運転者視点によりモニタ２の画面を見ると、運転者があたかも正面からモニタ２に表示されている映像を見ているように、駐車場の状況を示すリアカメラ映像の適切な位置に、駐車支援情報としての距離目安線Ｄおよび予想進路線Ｃが重畳された違和感のない画像を、正面視点画像として捉えることができる。

［パース角度調整処理作用］
図１３は、実施例１の車両用画像表示装置を搭載した車両で駐車時にパース角度を調整するときにモニタの画面に表示するユーザーインターフェイス例を示すモニタ画像図である。

モニタ２に表示される画像のパース角度δyを調整する際は、ＣＰＵ34において、図６に示すフローチャートにしたがって、タッチパネル４から入力されるパース角度調整操作信号に基づき、パース指定位置情報が取得され（ステップＳ601）、パース角度調整終了信号が出力されるまで（ステップＳ602）、ユーザーインターフェイスのデザインが変更表示される（ステップＳ603）。そして、既存の座標点変換マップのパース角度δyを調整した新たな座標点変換マップが生成されると共に、この新たな座標点変換マップがマップデータとしてマップメモリ32に書き込まれる（ステップＳ604）。

ここで、パース角度δyを調整するときのユーザーインターフェイスは、例えば、図１３に示すように、「タッチ！」という文字による文字表示パターン21と、楕円形の位置表示パターン22を、モニタ２の画面右上位置に重畳表示し、モニタ２の画面右下位置に終了ボタン23を重畳表示するデザインとされる。

例えば、運転者の座席シートの車両前後方向位置を標準位置に設定した場合、この座席シートの着座した斜め方向の運転者視点からモニタ２の画面を見ると、あたかも正面視点による画像として見ることができるパース角度δyに初期設定されているとする。この場合、運転者の体格が小さくて座席シートを車両前方に動かして着座する場合、運転者視点の斜め方向の角度がより大きくなり、初期設定のパース角度δyでは、運転者視点からの映像に僅かにパースがついてしまうことになる。なお、運転者の体格が大きくて座席シートを車両後方に動かして着座する場合も同様に、初期設定のパース角度δyでは、運転者視点からの映像に僅かにパースがついてしまうことになる。

これに対し、実施例１では、上記のように、タッチパネル４に対する調整操作により、モニタ２に表示される画像のパース角度δyを調整可能である。このため、運転者視点の方向が変更されたような場合、パース角度δyの調整操作により、運転者視点からモニタ２の画面を見ると、あたかも正面視点による画像として見ることができるパース角度δyに補正することができる。加えて、パース角度δyの調整操作は、タッチパネル４に対しておこなうものであるため、調整操作が簡単であり、かつ、モニタ画面を見ながら応答良く精度の高いパース角度δyの調整操作を行うことができる。

次に、効果を説明する。
実施例１の車両用画像表示装置にあっては、下記に列挙する効果を得ることができる。

(1) 車両周辺に取り付けられ、車両周辺を撮像するカメラ（リアカメラ１）と、車室内に取り付けられ、カメラ画像を表示するモニタ２と、前記カメラ（リアカメラ１）により撮像された映像をカメラ画像の画素データに変換し、該カメラ画像の画素データに基づいて、前記モニタ２へ出力するモニタ画像の画素データを生成するモニタ画像生成コントローラ（リアカメラコントロールユニット３）と、を備えた車両用画像表示装置において、前記モニタ画像生成コントローラ（リアカメラコントロールユニット３）は、前記カメラ画像の画素データに対し、運転者視点から見た画像が正面視点画像となるように座標変換を行い、前記モニタ２へ出力するモニタ画像の画素データを生成する。このため、設置スペース的にもコスト的にも有利なシステムとしながら、モニタ２の画面がどの方向に向いていても運転者視点から見た画像を正面視点画像とし、適切な自車両の位置確認を行うことができる。

(2) 前記モニタ画像生成コントローラ（リアカメラコントロールユニット３）は、前記カメラ（リアカメラ１）により撮像された映像をカメラ画像の画素データとして保持するカメラ画像保持部31と、斜め方向の運転者視点から前記モニタ２を見た場合に正面視点画像となるように、画素データの座標点を変換する座標点変換マップをマップデータとして記憶しておくマップメモリ32と、前記マップメモリ32からマップデータを取得し、座標点変換マップを用いてカメラ画像の画素データの座標点をモニタ２の画素データの座標点に変換する座標点変換を行い、座標変換後の各座標点に、前記カメラ画像保持部31に保持されているカメラ画像の画素データを当て嵌め、モニタ画像の画素データを生成する画像変形処理部33と、を有する。このため、モニタ２が車室内前方の中央部位置に配置され、運転席がモニタ２を挟んで右側位置、あるいは、左側位置に配置されている車両において、斜め方向の運転者視点からモニタ２を見た場合、正面視点画像となるカメラ画像を得ることができる。

(3) 前記画像変形処理部33は、モニタ画像の画素データを生成する際、カメラ画像の画素データの無い座標点が存在する場合、画素データの無い座標点に対応する周辺のカメラ画像の画素データを取得し、取得した周辺画素データを用いて画素データの補間処理を行い、画素データの無いモニタ画像の座標点に補間画素データを当て嵌める。このため、カメラ画像の画素データからモニタ画像の画素データを生成するに際し、高い解像度によるモニタ画像とする画素データを生成することができる。

(4) 運転者による調整操作によりモニタ表示画像のパース角度を調整操作するパース角度調整操作手段（タッチパネル４）を設け、前記モニタ画像生成コントローラ（リアカメラコントロールユニット３）は、パース角度調整操作信号を入力すると、既存の座標点変換マップのパース角度を調整した新たな座標点変換マップを生成するパース角度調整処理手段（ＣＰＵ34）を有する。このため、運転者視点の方向変更等により適正なパース角度δyからずれが生じた場合、パース角度δyの調整操作により、運転者視点からモニタ２の画面を見ると、あたかも正面視点による画像として見ることができるパース角度δyに補正することができる。

(5) 前記パース角度調整操作手段は、前記モニタ２の画面に設定され、指が触れた位置を検知して画面上でのパース位置を指定し、前記パース角度調整処理手段（ＣＰＵ34）に指示を与えるタッチパネル４である。このため、調整操作が簡単であり、かつ、モニタ画面を見ながら応答良く精度の高いパース角度δyの調整操作を行うことができる。

(6) 前記モニタ画像生成コントローラ（リアカメラコントロールユニット３）は、前記モニタ２の画面上で、カメラ画像に重畳表示する重畳データを生成する重畳データ生成手段（ＣＰＵ34）と、前記重畳データを入力すると共に記憶し、前記画像変形処理部33から取得される画素データの座標点情報に基づき、各座標点に対応する重畳画素データを出力する重畳メモリ35（重畳データ記憶手段）と、前記画像変形処理部33から画素データを取得すると共に、前記重畳メモリ35（重畳データ記憶手段）から座標点対応の重畳画素データを取得し、座標点毎に順次、画素データと重畳画素データを重畳処理し、出力用画素データを生成する重畳処理部36と、前記重畳処理部36から座標点毎に順次入力される出力用画素データを保持し、前記モニタ２へ出力するモニタ画像の画素データを生成するモニタ画像保持部37と、を有する。このため、運転者視点によりモニタ２の画面を見ると、カメラ映像の適切な位置に重畳データが重畳された違和感のない画像を、正面視点画像として捉えることができる。

(7) 前記カメラは、車両後部の上側位置に設けられ、車両後方映像を撮像するリアカメラ１であり、前記モニタ２は、車室内前方のインスツルメントパネル１２の中央部位置に固定状態で取り付けられ、前記リアカメラ１からの車両後方映像を左右反転させた鏡像にて表示する固定型のモニタ２である。このため、固定型のモニタ２を用いながら、斜め方向の運転者視点からモニタ２を見た場合、正面視点画像によるリアカメラ１からカメラ画像が得られることにより、適切な自車両の位置確認を行える高い駐車支援機能によるバックビューモニタシステムを実現することができる。

以上、本発明の車両用画像表示装置を実施例１に基づき説明してきたが、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例１では、車載のカメラとして、リアカメラ１を用いる例を示した。しかし、車載のカメラとしては、リアカメラ１以外に、サイドブラインドカメラやフロントカメラ等であっても良い。さらに、例えば、アラウンドビューモニタシステムのように、合成した俯瞰画像をモニタに表示するために設置される複数の車載カメラであっても良い。

実施例１では、モニタとして、車室内のインスツルメントパネル１２の中央部に設置される固定型のモニタ２を用いる例を示した。しかし、車室内の天井位置やコーナー位置等に設置されるモニタであっても良い。また、固定型のモニタではなく、可動型のモニタであっても良い。

実施例１では、モニタ表示画像のパース角度を調整操作するパース角度調整操作手段としてタッチパネル４を用いる例を示した。しかし、モニタの周囲部分に設けたパース角度調整スイッチを用いるようにしても良い。

実施例１では、リアカメラを搭載したワンボックス車へ本発明の車両用画像表示装置を適用する例を示した。しかし、ワンボックス車に限らず、乗用車等、車両周辺を撮像するカメラを備えた様々の車両に本発明の車両用画像表示装置を適用することができる。

実施例１の車両用画像表示装置が適用されたワンボックス車（車両の一例）を示す全体斜視図である。 実施例１の車両用画像表示装置の画像表示制御系システムを示す制御ブロック図である。 実施例１のリアカメラコントロールユニット３の画像変形処理部33にて実行される画像変形処理の流れを示すフローチャートである。 図３に示す画像変形処理にて用いられる座標系をあらわし、(a)は座標点変換前の座標系を示し、(b)は座標点変換後の座標系を示す。 実施例１のリアカメラコントロールユニット３の重畳処理部36にて実行される画素データに重畳画素データを重ね合わせる重畳処理の流れを示すフローチャートである。 実施例１のリアカメラコントロールユニット３のＣＰＵ34にて実行されるパース角度δyの調整処理の流れを示すフローチャートである。 ナビ搭載型車両で車載ナビモニタやインストルメントパネル等を運転者視点により見た状態を示す斜視図である。 ナビ搭載型車両で車載ナビモニタの画面に駐車時に表示されるリアカメラ映像例を示すモニタ画像図である。 ナビ搭載型車両で車載ナビモニタの画面に図８に示すリアカメラ映像例を表示した場合の運転者視点でのリアカメラ映像を示すモニタ画像図である。 実施例１の車両用画像表示装置を搭載した車両で駐車時にモニタの画面に表示されるリアカメラ映像例を示すモニタ画像図である。 実施例１の車両用画像表示装置を搭載した車両でモニタの画面に図１０に示すリアカメラ映像例を表示した場合の運転者視点でのリアカメラ映像例を示すモニタ画像図である。 実施例１の車両用画像表示装置を搭載した車両でモニタの画面に駐車時のリアカメラ映像に重畳して表示する重畳データ例を示すモニタ画像図である。 実施例１の車両用画像表示装置を搭載した車両でパース角度を駐車時に調整するときにモニタの画面に表示するユーザーインターフェイス例を示すモニタ画像図である。

符号の説明

１ リアカメラ（カメラ）
２ モニタ
21 文字表示パターン
22 位置表示パターン
23 終了ボタン
３ リアカメラコントロールユニット（モニタ画像生成コントローラ）
31 カメラ画像保持部（カメラ画像保持手段）
32 マップメモリ（マップ記憶手段）
33 画像変形処理部（画像変形処理手段）
34 ＣＰＵ（パース角度調整処理手段、重畳データ生成手段）
35 重畳メモリ（重畳データ記憶手段）
36 重畳処理部（重畳処理手段）
37 モニタ画像保持部（モニタ画像保持手段）
４ タッチパネル
５ インヒビタースイッチ
６ 舵角センサ
１０ バックドア
１１ ルーフスポイラー
１２ インストルメントパネル
δy パース角度

Claims (5)

1. 車両に取り付けられ、車両周辺を撮像するカメラと、
   車室内に取り付けられたモニタと、
   前記カメラにより撮像されたカメラ画像の画素データに基づいて、前記モニタへ出力するモニタ画像の画素データを生成するモニタ画像生成コントローラと、
   を備えた車両用画像表示装置において、
   モニタ画像のパース角度を調整する調整操作を入力するパース角度調整操作手段を設け、
   前記モニタ画像生成コントローラは、
   前記カメラにより撮像された映像をカメラ画像の画素データとして保持するカメラ画像保持手段と、
   斜め方向の運転者視点から前記モニタを見た場合に正面視点画像となるように、画素データの座標点を変換する座標点変換マップをマップデータとして記憶しておくマップ記憶手段と、
   前記マップ記憶手段からマップデータを取得し、座標点変換マップを用いてカメラ画像の画素データの座標点をモニタの画素データの座標点に変換する座標点変換を行い、座標変換後の各座標点に、前記カメラ画像保持手段に保持されているカメラ画像の画素データを当て嵌め、モニタ画像の画素データを生成する画像変形処理手段と、
   前記パース角度調整操作手段に調整操作が入力されると、既存の座標点変換マップのパース角度を調整した新たな座標点変換マップを生成するパース角度調整処理手段を有し、
   前記カメラ画像の画素データに対し、運転者視点から見た画像が正面視点画像となるように前記座標点変換マップを用いて座標変換を行い、前記モニタへ出力するモニタ画像の画素データを生成することを特徴とする車両用画像表示装置。
2. 請求項１に記載された車両用画像表示装置において、
   前記画像変形処理手段は、モニタ画像の画素データを生成する際、カメラ画像の画素データの無い座標点が存在する場合、画素データの無い座標点に対応する周辺のカメラ画像の画素データを取得し、取得した周辺画素データを用いて画素データの補間処理を行い、
   画素データの無いモニタ画像の座標点に補間画素データを当て嵌めることを特徴とする車両用画像表示装置。
3. 請求項１又は２に記載された車両用画像表示装置において、
   前記パース角度調整操作手段は、前記モニタの画面に設定され、指が触れた位置を検知して画面上でのパース位置を指定し、前記パース角度調整処理手段に指示を与えるタッチパネルであることを特徴とする車両用画像表示装置。
4. 請求項１乃至請求項３の何れか１項に記載された車両用画像表示装置において、
   前記モニタ画像生成コントローラは、
   前記モニタの画面上で、カメラ画像に重畳表示する重畳データを生成する重畳データ生成手段と、
   前記重畳データを入力すると共に記憶し、前記画像変形処理手段から取得される画素データの座標点情報に基づき、各座標点に対応する重畳画素データを出力する重畳データ記憶手段と、
   前記画像変形処理手段から画素データを取得すると共に、前記重畳データ記憶手段から座標点対応の重畳画素データを取得し、座標点毎に順次、画素データと重畳画素データを重畳処理し、出力用画素データを生成する重畳処理手段と、
   前記重畳処理手段から座標点毎に順次入力される出力用画素データを保持し、前記モニタへ出力するモニタ画像の画素データを生成するモニタ画像保持手段と、
   を有することを特徴とする車両用画像表示装置。
5. 請求項１乃至請求項４の何れか１項に記載された車両用画像表示装置において、
   前記カメラは、車両後部の上側位置に設けられ、車両後方映像を撮像するリアカメラであり、
   前記モニタは、車室内前方のインスツルメントパネルの中央部位置に固定状態で取り付けられ、前記リアカメラからの車両後方映像を左右反転させた鏡像にて表示する固定型のモニタであることを特徴とする車両用画像表示装置。

Images