JP4645452B2 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP4645452B2
JP4645452B2 JP2006002863A JP2006002863A JP4645452B2 JP 4645452 B2 JP4645452 B2 JP 4645452B2 JP 2006002863 A JP2006002863 A JP 2006002863A JP 2006002863 A JP2006002863 A JP 2006002863A JP 4645452 B2 JP4645452 B2 JP 4645452B2
Authority
JP
Japan
Prior art keywords
image
unit
driver
information
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006002863A
Other languages
English (en)
Other versions
JP2007182189A (ja
Inventor
光俊 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2006002863A priority Critical patent/JP4645452B2/ja
Priority to US11/642,710 priority patent/US7629946B2/en
Publication of JP2007182189A publication Critical patent/JP2007182189A/ja
Application granted granted Critical
Publication of JP4645452B2 publication Critical patent/JP4645452B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、車両の前方に運転者に視認させるための情報を表示することにより、運転者に情報を提供する車両用表示装置に関する。
近年、ナビゲーションシステムをはじめ各種情報を視覚的に表示するシステムを搭載する車両が増加しており、その表示画面として、一般的に、車室内のコンソールボックス等に配置した液晶ディスプレイが用いられている。
しかし、このような配置の表示画面では、表示画面に表示された各種情報を、車両の走行中に運転者が視認しようとした場合、運転者は、車室外前方の道路や標識等から、車室内の表示画面へと視線を移動させなければならず、車両前方に対する注意が低下するという問題があった。
これに対して、表示された情報を視認する際における運転者の視線の移動を低減するために、各種情報を表す画像を車両のフロントガラスに投影し、その画像が虚像として車両の乗員に視認されるように表示するシステム、いわゆるヘッドアップディスプレイ(HUD)システムが提案されている(例えば、特許文献1等参照)。
特開2003−4462号公報
しかしながら、上記提案のシステムのように、車両のフロントガラスに画像を投影すると、運転者が実際に見ている景色と、投影された画像とが重なるために、運転者が投影された画像を視認することが困難な場合があり、情報を認識できないことがあった。また、外部から入射される光の影響を受けやすいために、例えば、地図や道路案内等の詳細な情報を表す画像を投影しても、運転者が投影された画像を十分に認識することはできず、このような情報を運転者に提供することは困難であった。
本発明は、こうした問題に鑑みなされたもので、運転者に視線を移動させることなく、鮮明な画像により確実に情報を視認させることが可能な車両用表示装置を提供することを目的とする。
かかる目的を達成するためになされた本発明の車両用表示装置においては、運転者の前方視界を妨げる位置に非透光性の反射部材が配置されており、第1撮像手段が、車両前方の景色を撮像し、画像生成手段が、第1撮像手段により撮像された画像に基づいて、運転者の前方視界のうち反射部材に遮断された領域の景色からなる表示画像を生成し、投影手段が、画像生成手段により生成された表示画像を、反射部材に投影する。また、情報取得手段が、運転者に視認させるための情報を取得すると、情報合成手段は、この情報を表す画像を表示画像に合成する。
このように、本発明の車両用表示装置においては、運転者に視認させるための情報が取得されると、反射部材が遮断する前方の景色からなる表示画像と、運転者に視認させるための情報とが合成され、運転者の前方の視界内に配置された縁なしのミラー等の非透光性の反射部材に投影されるので、運転者は反射部材に投影された鮮明な画像にて、反射部材により遮断された景色と、情報とを確認することができる。よって、本発明の車両用表示装置によれば、運転者に視線を移動させることなく、鮮明な画像により確実に情報を視認させることが可能である。
一方、運転者に視認させるための情報が無い場合には、反射部材により遮断される前方の景色からなる表示画像が反射部材に投影されるので、運転者は、視界を遮られることなく、運転することができる。また、表示画像の画質を調整することにより、運転者が前方の景色をフロントガラス越しに直接見るよりも視認しやすく、前方の景色を反射部材に投影することも可能である。
さらに、請求項1に記載の車両用表示装置は、外部から画像の変形指令が入力されると、画像変形手段が、その変形指令に従い画像生成手段により生成される表示画像の歪みを調整することにより反射部材に投影される画像を変形し、画像変形手段により変形された画像を表示しているときに、外部から画像変形の確定指令が入力されると、調整量格納手段が、表示画像の歪みの調整量を記憶手段に格納し、画像生成手段が、表示画像を生成するときに、記憶手段に記憶された調整量に基づいて表示画像を生成する。
このようにすると、例えば、運転者が反射部材に投影された画像を見ながら、投影された画像と、実際に前方に見える景色とが連続するように、投影された画像を変形することができ、一旦画像を変形した後は、変形した際に格納された歪みの調整量に基づいて表示画像が生成され、反射部材に投影されるので、運転者の前方視界を、反射部材が配置されていない場合の前方視界と等しくすることができ、確実に運転者の視界を確保することが可能となる。
一方、請求項2に記載の車両用表示装置は、外部から反射部材への画像の投影領域の選択指令が入力されると、マーク重畳手段が、画像生成手段により生成される表示画像上に投影領域を設定するためのマークを重畳し、マーク重畳手段が表示画像上にマークを重畳しているときに、外部からマークの移動指令が入力されると、マーク移動手段が、入力された移動指令に従い表示画像上に重畳されたマークの位置を移動させ、マーク重畳手段が表示画像上にマークを重畳しているときに、外部から投影領域の確定指令が入力されると、投影領域格納手段が、表示画像上のマークの位置から反射部材への画像の投影領域を特定し、投影領域外の画素を黒画素にすると共に、投影領域外の画素情報を記憶手段に格納し、投影手段が、表示画像を投影するときに、表示画像を構成する画素のうち、記憶手段に画素情報が記憶された画素を黒画素にして、反射部材に投影するように構成してもよい。
このようにすると、運転者が、投影領域の選択指令を入力すると、反射部材に投影された画像上に投影領域を設定するためのマークが表示されるので、例えば、反射部材の外形の位置にマークを移動させ、外形を確定する指令を入力すると、指定した外形より外側の部分の画素が黒画素に変更されて表示画像が投影される。よって、表示画像の投影領域を反射部材に合わせることができ、表示画像が反射部材からはみ出してフロントガラス等に映り込み、運転者の視野を妨げることを防止できる。
ところで、反射部材は運転者の前方視界を妨げる位置に配置されており、反射部材に画像が正常に投影されない場合には、運転者の前方視界が遮断され、運転に影響を及ぼすおそれがある。そこで、反射部材は、運転者の前方視界を妨げない退避位置に移動できるように設置されることが望ましい。そしてこの場合、反射部材は、手動で退避位置に移動できるように構成してもよいが、請求項に記載のように、車両用表示装置の異常を検出する異常検出手段と、反射部材を運転者の前方視界を妨げる使用位置と運転者の前方視界を妨げない退避位置との間で移動させる駆動手段と、を設け、異常検出手段により異常が検出されると、異常時制御手段が、駆動手段を介して反射部材を退避位置に移動させるようにしてもよい。このようにすれば、車両用表示装置の異常が検出されると、反射部材が運転者の前方視界を妨げない退避位置に自動で移動するので、車両用表示装置に異常が発生した場合にも運転者の視界を確保することができ、安全性が確保される。
また、反射部材に投影される画像はより画質が高いものが望ましいが、例えば、夜間等で車両の周辺が暗い場合に可視光の波長領域で車両前方の景色を撮像すると、撮像された画像には、実際には何も存在しない部分に、点状のノイズがランダムに多数発生してしまう。そこで、請求項に記載のように、可視光の波長領域で車両前方の景色を撮像する第1撮像手段に加え、第1撮像手段が撮像する領域と同一の領域を、赤外線の波長領域で撮像する第2撮像手段と、車両周辺の光量を検出する光量検知手段とを設け、光量検知手段により検知された車両周辺の光量が予め定められたしきい値よりも小さい場合には、画像補正手段が、第2撮像手段により撮像された赤外線画像に基づいて第1撮像手段により撮像された画像からノイズを除去し、画像生成手段が、そのノイズ除去後の画像に基づいて表示画像を生成するように構成してもよい。
このようにすると、光量がしきい値より小さい場合に、光量の大小に関わらず物体の輪郭を抽出可能な赤外線画像に基づいて、第1撮像手段により撮像された画像からノイズが除去され、ノイズ除去された画像から表示画像が生成されるので、車両の周辺が暗い場合でも、画質の高い表示画像を反射部材に投影することができる。
そして、特に請求項に記載の車両用表示装置には、請求項に記載のように、第1撮像手段と、第2撮像手段との焦点距離を一致させる焦点制御手段を設けるとよい。つまり、このようにすると、第1撮像手段と第2撮像手段との焦点距離が常に一致し、各撮像手段により同じ領域の画像が撮像されるので、より正確にノイズの除去をすることが可能となり、常に画質の高い表示画像を反射部材に投影することができる。
以下に、本発明の実施形態を図面と共に説明する。
図1は、本発明が適用された車両用表示装置1の全体構成を表すブロック図であり、図2は、反射板32の車両100内での配置例を表す説明図であり、図3は、表示装置30の駆動部34の構成を表す説明図である。
本実施形態の車両用表示装置1は、図1に示すように、画像を投影させるための反射板32を備える表示装置30と、車両100の前方の景色を撮像するための撮像装置40と、撮像装置40により撮像された画像に基づいて、反射板32に投影するための画像を生成すると共に、車両用表示装置1の各装置を制御する画像処理装置10と、運転者等の車両100の使用者が各種指令や情報を入力するための操作装置50と、1画面分の画素情報を記憶可能なフレームメモリを複数備えるメモリ装置60と、車両100周辺の明るさを検知する外光センサ70と、を備えており、図2に示すように、車両100の運転席に着座した運転者の前方視界内に配置された反射板32に、反射板32に遮断された領域の景色を投影すると共に、交通案内や警告等の運転者に視認させるための情報がある場合には、反射板32に遮断された領域の景色と、情報とを合成した画像を反射板32に投影することで、このような情報を運転者に視認させるための装置である。
表示装置30は、ダッシュボード上に配置された非透光性の反射板32と、ダッシュボード内に配置され、反射板32を運転者が運転中に視点を移動させることなく視認可能な使用位置(つまり、ミラーの反射面が運転者の視線方向と略垂直に交差する位置:図2(a)参照)と、運転者の視界を遮らない退避位置(つまり、ミラーの反射面がダッシュボードと略平行になる位置:図2(b)参照)との間で移動させる駆動部34と、液晶ディスプレイ(LCD)からなり、反射板32に画像を投影するための投影部36と、から構成されている。
反射板32は、縁の無い矩形のミラーからなり、周囲4辺のうちの1辺に沿うように回転軸が設けられている。そして、この回転軸が、軸方向が運転者の視線方向と略垂直に交差する向きにダッシュボードの上面に配置されることにより、反射板32は、この回転軸周りに回動可能にダッシュボード上に設置される。
駆動部34はモータからなり、図3に示すように、反射板32に設けられた回転軸の端部にギアを介して連結され、後述する画像処理装置10の制御部20からの制御信号を受けて、使用位置と退避位置との間で、反射板32を回動させる。
投影部36は、液晶ディスプレイ(LCD)からなり、図2に示すように、ディスプレイに表示した画像が反射板32に投影される位置に配置されている。また、ディスプレイの表面には、上方または斜め方向等からの外光の差し込みにより表示した画像が反射板32に正常に投影されなくなるのを防止するために、反射板32以外の方向の光を遮断するための偏光フィルタが装備されている。さらに、投影部36には、ディスプレイのバックライトが正常に動作しているか否かを検出するための光センサ(例えばCDS)が設けられている。そして、このような投影部36は、画像処理装置10から画像が入力されると、入力された画像をディスプレイに表示する。
撮像装置40は、2次元のカラー撮像素子を備える可視光カメラ42と、2次元の赤外撮像素子を備える赤外線カメラ44と、各カメラの焦点を制御するための焦点制御部46と、から構成されており、各カメラは、反射板32が退避位置にあるときの運転者の前方視界の領域(つまり、車両前方の景色)を撮像可能な位置に設置されている。
そして、撮像装置40は、各カメラにて車両100前方の景色を撮像し、可視光カメラ42により撮像された車両前方の景色からなるカラー画像(以下、前方画像ともいう)、及び、赤外線カメラ44により撮像された、前方画像と同じ領域の画像(以下、赤外線画像ともいう)を、画像処理装置10に入力する。
また、画像処理装置10には、入力された前方画像と赤外線画像とを比較することで撮像装置40の各カメラの焦点距離の誤差を算出し、算出した誤差を撮像装置40に入力する誤差算出部23が設けられており、この誤差算出部23から撮像装置40に焦点距離の誤差が入力されると、焦点制御部46は、各カメラの焦点距離が一致するように制御を行う(本発明の焦点制御手段に相当する)。
操作装置50は、例えば、各種操作ボタンを備えたリモコン、または、タッチパネルとして機能する液晶ディスプレイ等により構成されており、運転者等は、操作装置50を介して、画像処理装置10に各種指令を入力することが可能である。
画像処理装置10は、前方画像からノイズを除去するための前方画像補正部11と、前方画像を調整量に基づいて変形する前方画像変形部13と、外部からの入力に基づいて運転者に視認させるための各種情報を表す画像(以下、付加画像ともいう)を生成する付加画像生成部15と、前方画像と付加画像とを合成する画像合成部17と、入力された画像の画質を調整量に基づいて調整する画質調整部19と、入力された画像の一部を黒画素に変更することにより画像の反射板32への投影領域を調整するブランキング生成部21と、入力された前方画像及び赤外線画像に基づいて、撮像装置40の各カメラの焦点距離の誤差を算出する誤差算出部23と、外部装置から供給される情報を選択して取得するための外部入力I/F部24と、外光センサ70にて検出された値から、車両100周辺の明るさを量子化する外光量検知部25と、操作装置50を介して入力された各種指令を検知する操作量検知部27と、CPU、RAM、ROM等からなるマイクロコンピュータにより構成され、上記各部を制御するための制御部20と、上記調整量等の設定値が記憶された不揮発性のメモリ等からなる記憶部22と、を備えている。
また、画像処理装置10は図示しないクロック生成部を備えており、上記各部には同一のクロック信号が供給されている。そして、制御部20からの起動指令を受けると、上記各部は動作を開始し、その後は、クロック信号にて動作タイミングが設定される。
前方画像補正部11は、赤外線画像を用いて、前方画像に発生したノイズの除去を行うものであり、つまり、暗い状態でカラー撮像素子にて画像を撮像すると、画像上に点状のノイズがランダムに発生してしまうため、このノイズを除去するものである。
前方画像補正部11は、図4に示すように、ノイズ除去部111と、エッジ抽出部112と、スイッチ113と、エッジ判定部114とから構成されている。なお、図4は、前方画像補正部11の詳細を表すブロック図である。
ノイズ除去部111は、画素値を平均化することによりノイズを除去するフィルタ(例えばLPF)により構成されており、可視光カメラ42から1画素単位で入力される前方画像からノイズの除去を行う。
エッジ抽出部112は、輪郭強調を行うためのフィルタ(例えばHPF)により構成されており、赤外線カメラ44から1画素単位で入力される赤外線画像の輪郭強調を行う。
スイッチ113は、エッジ判定部114からの指令により、ノイズ除去部111からの入力と、可視光カメラ42からの入力を切り換えるためのスイッチである。
エッジ判定部114は、エッジ抽出部112にて輪郭強調された赤外線画像を構成する各画素の画素値が、予め設定されたしきい値より大きいか否かにより、各画素が、物体の輪郭を示す輪郭画素であるか、または、輪郭画素以外の画素(例えば、物体の表面等の一様な面を形成する画素)であるかを順次判定する。そして、入力された画素が輪郭画素である場合には、スイッチ113をA点に切り換え、可視光カメラ42から入力された画素をそのまま前方画像変形部13へ出力させる。
一方、入力された画素が輪郭画素でない場合には、スイッチ113をB点に切り換え、ノイズ除去部111による処理後の画素(つまり、画素値が平均化されることにより、ランダムに発生した点状のノイズが除去された画素)を出力させる。
つまり、物体の輪郭部分の画素については、フィルタ処理を行っていない画素が出力され、その他の部分の画素は、フィルタ処理を行った画素が出力されるので、出力される前方画像は、ランダムに発生した点状のノイズが除去され、しかも、輪郭は、はっきりした画像となる。また、エッジ判定部114の動作は、制御部20に制御されており、エッジ判定部14の停止中は、スイッチ113は、常にA点側に接続され、可視光カメラ42から入力された画素が、そのまま前方画像変形部13に出力される。
また、可視光カメラ42から出力された前方画像と、エッジ抽出部112から出力された赤外線画像は、誤差算出部23にも出力される。
前方画像変形部13は、反射板32に投影された画像により示される景色と、運転者がフロントガラス越しに直接見ている前方の景色とを連続させるために、予め設定された調整量に基づいて、前方画像の歪みを調整する(図7参照)。
詳述すると、前方画像変形部13は、前方画像補正部11から出力された前方画像を取得し、メモリ装置60のフレームメモリに一旦格納する。そして、このフレームメモリに記憶された前方画像を読み出しつつ前方画像の歪みを調整し、画像合成部17に出力する。ここで、前方画像変形部13は、レジスタを備えており、レジスタに設定された調整量、つまり、水平方向及び垂直方向の1走査ライン毎に設定された拡縮率及び中心位置に基づいて前方画像の歪みを調整する。なお、レジスタに設定された値は、後述する操作装置入力処理により、運転者が反射板32を見ながら操作装置50を操作することで、各運転者毎に設定される。
付加画像生成部15は、外部入力I/F24から出力された情報を取得し、取得した情報に基づいて、前方画像に合成するための付加画像を生成する。例えば、車両100の進行方向等の交通案内情報を取得した場合には、前方画像上の所定の位置に進行方向等の交通案内を表示するための付加画像を生成する。なお、画像合成部17に画像を出力する際には、付加画像を構成する各画素のうち、情報が示された画素に、情報を表す画素であることを示す制御情報を付加して出力する。
また、後述する操作装置入力処理により、制御部20から、マーク画像の生成指令が入力されると、マーク画像(本実施形態では4つの十字マークが任意の位置に配置された画像)を生成し、マーク画像の変更指令が入力されると、入力に従い、生成するマーク画像の十字マークの位置を変更し、マーク画像の消去指令が入力されるまで、マーク画像の生成を継続する。
画像合成部17は、付加画像生成部15から出力された付加画像と、前方画像変形部13から出力された前方画像とを合成して画質調整部19に出力する。
つまり、画像合成部17は、前方画像変形部13から入力された前方画像の画素、または、付加画像生成部15から入力された付加画像の画素の何れかを、画素毎に選択可能なマルチプレクサの機能を備えており、前方画像変形部13及び付加画像生成部15から画像を取得し、取得した付加画像を構成する画素に、制御情報が付加されている場合には、その画素を出力し、制御情報が付加されていない場合、つまり、背景画素である場合には、前方画像を構成する画素を出力する。なお、前方画像変形部13からの入力しか無い場合には、入力された前方画像を、そのまま画質調整部19に出力する。
画質調整部19は、画像合成部17から出力された画像を取得し、画像の輪郭強調、色、コントラスト、明るさ等の各種画質補正を行い、ブランキング生成部21に出力する。なお、画質調整部19は、レジスタを備えており、このレジスタに予め設定された調整量に基づいて、画質を調整する。
そして、レジスタに設定された調整量は、後述する操作装置入力処理により、運転者が反射板32を見ながら操作装置50を操作することで、各運転者毎に設定された値である。なお、調整量は、反射板32に投影される画像を、より視認性の高い画像に補正するために、後述する画像生成処理により、外光センサ70にて検知された車両100周辺の明るさに応じて設定された値であってもよい。
ブランキング生成部21は、画像が反射板32に投影される際に、画像が反射板32からはみ出してフロントガラス等に映り込むことを防止するために、入力された画像を構成する画素のうち、投影領域外の画素を黒画素に変更する。
つまり、ブランキング生成部21は、画質調整部19から出力された画像を取得し、予め設定された画素情報、つまり、投影領域より外側に位置する画素の座標に基づいて、図8(d)に示すように、投影領域より外側の画素を黒画素に変更し、処理後の画像を投影部36に出力する。なお、ブランキング生成部21は、レジスタを備えており、レジスタに設定された画素の座標に基づいて、処理を行う。ここで、レジスタに設定された画素の座標は、後述する操作装置入力処理により、運転者が反射板32を見ながら操作装置50を操作することで、各運転者毎に設定される。
誤差算出部23は、ノイズ除去部111から出力された前方画像及び、輪郭強調された赤外線画像を取得し、前方画像をフィルタ(例えばHPF等)により輪郭強調し、赤外線画像の前方画像からのずれを、輪郭を形成する輪郭画素のずれにより検出する。そして、検出した輪郭画素のずれから、撮像装置40の各カメラの焦点距離の誤差を算出し、算出した焦点距離の誤差を撮像装置40に出力する。
外部入力I/F部24は、制御部20からの指令に基づいて外部装置を選択し、外部装置から供給される情報を取得する。なお、本実施形態における外部装置は、車両100の進行方向等の交通案内、車両100の現在位置を示す自車位置情報、走行する道路の状況を示す道路情報、車速情報等の各種情報を供給可能なカーナビゲーション装置、車両の運転状態を表す各種情報を供給可能な車両制御装置等の装置とする。
以下、画像処理装置10の制御部20にて実行される画像生成処理の手順を、図5を用いて説明する。図5は、画像生成処理を表すフローチャートである。なお、画像生成処理は、車両100が起動し、車両用表示装置1が起動されることにより開始される処理である。
処理が開始されると、まず、S210にて、駆動部34に制御信号を送信して反射板32を退避位置から使用位置に回転させ、続くS220にて、記憶部22に記憶された各種設定値を読み取り、S230にて、読み取った各種設定値を、前方画像変形部13、画質調整部19、ブランキング生成部21のレジスタに夫々設定する。
次に、S240にて、画像処理装置10の各部を起動させ、続くS250にて、外光量検知部23にて量子化された外光量が、予め設定されたしきい値よりも小さいか否かを判断し、外光量がしきい値よりも小さい場合には(S250:YES)、S260に移行して、前方画像補正部11のエッジ判定部114に動作指令を送信する。一方、S250にて、外光量がしきい値以上であった場合には(S250:NO)、S270に移行して、前方画像補正部11のエッジ判定部114に停止指令を送信する。なお、しきい値としては、可視光カメラ42により正常な画像が撮像できる最低の外光量が設定されており、外光量がしきい値以上である場合には、ノイズを除去する必要がないために、エッジ判定部114を停止させ、可視光カメラ42の画像をそのまま、前方画像変形部13に出力させる。
そして、S280にて、誤差算出部23にて算出された誤差が、予め設定されたしきい値より大きいか否かを判断し、誤差がしきい値よりも大きい場合には(S280:YES)、撮像装置40に異常が発生していると判断して、S330に移行する。これは、撮像装置40が正常に動作している場合には、可視光カメラ42及び赤外線カメラ44の焦点距離は常に制御され、誤差は一定の値以下になるはずであることから、誤差が一定の値、つまり、予め設定されたしきい値より大きい場合に、撮像装置40、つまり、車両用表示装置1の異常を検出するものである。
一方、S280にて、誤差がしきい値以下である場合には(S280:NO)、車両用表示装置1に異常は発生していないとして、S290に移行する。そして、S290では、車両100が走行中であるか否かを、例えば車速センサにて検知された車速により判断し、車両100が走行中である場合には(S290:YES)、S300に移行し、一方、車両100が走行中でない場合には(S290:NO)、S310に移行する。
そして、S300では、投影部36の、液晶ディスプレイの画素のうちの数個の画素(例えば4隅の画素)の全てが、一定時間以上変化していないか否かを判断し、例えば4隅の画素全てが一定時間以上変化していない場合には(S300:YES)、投影部36、つまり、表示装置30に異常が発生していると判断して、S330に移行する。これは、車両100が走行中であれば、撮像装置40にて撮像される前方の景色は常時変化しているはずであり、車両用表示装置1が正常に動作していれば、必ず、投影部36に表示される画素は変化することに基づくものである。
一方、S300にて、4隅の画素のいずれかが変化した場合には(S300:NO)、続くS310にて、投影部36に設けられた光センサの抵抗値が、予め設定されたしきい値より大きいか否かを判断し、抵抗値がしきい値より大きい場合には(S310:YES)、液晶ディスプレイのバックライトが正常に動作していない、つまり、表示装置30に異常が発生していると判断して、S330に移行する。
一方、S310にて、抵抗値がしきい値以下である場合には(S310:NO)、続くS320では、車両用表示装置1の動作を終了するか否かを、外部の制御装置からの指令等により判断し、車両用表示装置1の動作を終了すると判断すると(S320:YES)、S330に移行する。そして、S330では、駆動部34に制御信号を送信して反射板32を使用位置から退避位置に回転させ、当該処理を終了する。
一方、S320にて、車両用表示装置1の動作を終了しないと判断した場合には(S380:NO)、S250に移行して、S250からの処理を繰り返し実行する。
次に、本実施形態の画像処理装置10の制御部20が実行する操作装置入力処理の手順を、図6を用いて説明する。図6は、操作装置入力処理を表すフローチャートである。なお、操作装置入力処理は、操作装置50を介して入力された外部からの指令を、操作量検知部27が検知することにより開始される。
処理が開始されると、制御部20は、まず、S410にて、検知された指令が画像の変形指令か否かを判断し、画像の変形指令が検知された場合には(S410:YES)、S420にて、付加画像生成部15に、マーク画像の生成指令を送信することにより、投影部36に表示された画像の任意の位置に、4つの十字マーク(図7(c)中A点)を個別に選択可能に表示させる。なお、この時点では、図7(a)及び図7(c)の左側の図に示すように、反射板32に投影された画像と、運転者がフロントガラス越しに直接見ている景色とは連続していない。
次に、S430では、操作装置50を介して、4つの十字マークのうちの1つが選択され、選択された十字マークの初期位置設定指令が入力されたか否かを判断し、初期位置設定指令が入力された場合には(S430:YES)、S440にて、選択された十字マークの移動指令が入力されたか否かを判断し、移動指令が入力された場合には(S440:YES)、S450に移行し、付加画像生成部15にマーク画像の重畳位置の変更指令を送信することにより、十字マークを入力された指令に従って移動させると共に、移動後の十字マークの位置(つまり、十字マークの初期位置)を読み取り、S460に移行する。一方、S440にて、移動指令が入力されない場合には(S440:NO)、S460に移行する。また、S430にて、初期位置設定指令が入力されない場合には(S430:NO)、S470に移行する。なお、初期位置が設定されない場合は、S420にて十字マークを表示させた位置が初期位置となる。
そして、S460では、初期位置設定の終了指令が入力されたか否かを判断し、終了指令が入力された場合には(S460:YES)、S470に移行し、終了指令が入力されない場合には(S460:NO)、S440からの処理を繰り返し実行する。
次にS470では、4つの十字マークのうちの1つが選択され、選択された十字マークの移動指令が入力されたか否かを判断し、十字マークの移動指令が入力された場合には(S470:YES)、S480にて、付加画像生成部15にマーク画像の重畳位置の変更指令を送信することにより、十字マークを入力された指令に従って移動させると共に、この十字マークの初期位置からの移動量から、画像の水平方向及び垂直方向の1走査ライン毎に拡縮率及び中心位置とからなる調整量を算出し、算出した調整量を前方画像変形部13のレジスタに設定する。
すなわち、運転者が、操作装置50を介して十字マークを移動させて初期位置(図7(c)中B点)を設定し、次に、この初期位置として設定した点(図7(c)中B点)が本来見えて欲しい位置、つまり、反射板32に投影された画像上の物体(図7(c)中D部)と、運転者がフロントガラス越しに直接見ている物体(図7(c)中E部)とが連続して表示される位置(例えば、図7(c)中C点)に、操作装置50を介して十字マークを移動させると、制御部20が移動量から調整量を算出して、前方画像変形部13に設定する。このため、この調整量により調整された前方画像から生成された画像が投影部36に表示されるので、図7(b)及び図7(c)の右側の図のように、画像上の物体(図7(c)中D部)と、運転者がフロントガラス越しに直接見ている物体(図7(c)中E部)とが連続した画像が、反射板32に投影される。
一方、S470にて、十字マークの移動指令が入力されない場合には(S470:NO)、S490に移行する。そして、S490では、変形終了指令が入力されたか否かを判断し、変形終了指令が入力された場合には(S490:YES)、S500に移行して、付加画像生成部15にマーク画像の消去指令を送信することにより、十字マークを消去すると共に、調整量を記憶部22に格納し、S510に移行する。一方、S490にて、変形終了指令が入力されない場合には(S490:NO)、S430に移行して、S430からの処理を繰り返し実行する。また、S410にて、画像変形指令が検知されない場合には(S410:NO)、S510に移行する。
なお、図7(a)は、反射板32に変形前の画像が投影された場合の運転者の視界を表す説明図であり、図7(b)は、反射板32に変形後の画像が投影された場合の運転者の視界を表す説明図であり、なお、図7(c)は、画像変形指令が入力された際に反射板32に投影される画像を表す説明図である。
次に、S510では、操作量検知部27にて、画像の投影領域の選択指令が検知されたか否かを判断し、選択指令が検知された場合には(S510:YES)、S520に移行して、付加画像生成部15に、マーク画像の生成指令を送信することにより、図8(c)の左側の図のように、投影部36に表示された画像の任意の位置に、4つの十字マークを表示させる。なお、この状態では、図8(a)に示すように、投影領域が反射板32をはみ出している。
そして、S530にて、運転者が、操作装置50を介して、十字マークの移動指令を入力したか否かを判断し、移動指令が入力された場合には(S530:YES)、S540に移行し、付加画像生成部15にマーク画像の重畳位置の変更指令を送信することにより、十字マークを指令に従って移動させ、S550に移行する。一方、S530にて、移動指令が入力されない場合には(S530:NO)、S550に移行する。
そして、S550にて、十字マークの移動終了指令が入力されたか否かを判断し、移動終了指令が入力された場合には(S550:YES)、S560にて、移動後の十字マークの位置から、図8(d)に示すような投影領域を特定し、投影領域外の画素の座標を、ブランキング生成部21のレジスタに設定し、S570に移行する。
すなわち、運転者が、4つの十字マークの夫々を、操作装置50を介して、図8(c)の右側の図のように、反射板32の四隅に移動させ、移動終了指令を入力すると、制御部20が投影領域を特定して投影領域外の画素の座標をブランキング生成部21に設定する。そして、ブランキング生成部21が、設定された座標の画素を黒画素に変更して、投影部36に出力するので、図8(d)の右側の図のように、投影部36に表示される画像は、投影領域外の部分が黒くなり、図8(b)に示すように、画像の投影領域が反射板32と一致する。
一方、S550にて移動終了指令が入力されない場合には(S550:NO)、S570に移行する。そして、S570では、領域選択の終了指令が入力されたか否かを判断し、領域選択の終了指令が入力された場合には(S570:YES)、S580に移行して付加画像生成部15にマーク画像の消去指令を送信することにより、十字マークを消去すると共に、投影領域外の座標を記憶部22に格納し、S590に移行する。一方、S570にて、領域選択の終了指令が入力されない場合には(S570:NO)、S530に移行して、S530からの処理を繰り返し実行する。また、S510にて、投影領域の選択指令が検知されない場合には(S510:NO)、S590に移行する。
なお、図8(a)は、反射板32に投影領域調整前の画像が投影された場合の運転者の視界を表す説明図であり、図8(b)は、反射板32に投影領域調整後の画像が投影された場合の運転者の視界を表す説明図であり、図8(c)は、投影領域選択指令が入力された際に反射板32に投影される画像を表す説明図であり、図8(d)は、投影領域選択指令が入力された際に投影部36に表示される投影領域調整前後の画像を表す説明図である。
次に、S590にて、操作量検知部27にて、画質調整指令が検知されたか否かを判断し、調整指令が検知された場合には(S590:YES)、S600に移行して、入力された調整量を読み取る。そして、S610では、確定指令が入力されたか否かを判断し、確定指令が入力された場合には(S610:YES)、続くS620にて、調整量を画質調整部19のレジスタに設定し、S630に移行する。一方、S610にて、確定指令が入力されない場合には(S610:NO)、S630に移行する。
つまり、運転者が、操作装置50を介して、画質を調整すると、調整量が画質調整部19に設定され、この調整量に基づいて画像が調整されて、投影部36に表示されるので、画質が調整された画像が反射板32に投影される。
そして、S630では、画質調整の終了指令が入力されたか否かを判断し、画質調整の終了指令が入力された場合には(S630:YES)、続くS640にて、調整量を記憶部22に格納し、S650に移行する。一方、S630にて、画質調整の終了指令が入力されていない場合には(S630:NO)、S600に移行し、S600からの処理を繰り返し実行する。また、S590にて、画質調整指令が入力されていない場合には(S590:NO)、S650に移行する。
次に、S650では、操作量検知部27にて、情報を取得する外部装置の変更指令が検知されたか否かを判断し、外部装置の変更指令が入力された場合には(S650:YES)、続くS660にて、外部入力I/F24に指令を送信することにより、情報を取得する外部装置を切り換え、S670に移行する。一方、S650にて、外部装置の変更指令が検知されない場合には(S650:NO)、S670に移行する。
そして、S670では、操作量検知部27にて、車両用表示装置1の停止指令が検知されたか否かを判断し、停止指令が検知された場合には(S670:YES)、図5のS330に移行して、反射板32を退避位置に移動させる。一方、停止指令が検知されない場合には(S670:NO)、当該処理を終了する。
以上説明したように、本実施形態の車両用表示装置1においては、運転者の前方視界を妨げる位置に非透光性の反射板32が配置されており、可視光カメラ42が車両前方の景色を撮像し、画像処理装置10が、可視光カメラ42により撮像された前方画像から運転者の前方視界のうち反射部材に遮断された領域の景色からなる画像を生成し、生成した画像を投影部36に出力することにより、反射板32に投影させる。また、運転者に視認させるための情報が外部装置から入力された場合には、画像処理装置10は、外部装置からの情報を取得して、この情報を表す付加画像を生成し、生成した付加画像を前方画像と合成して、投影部36に出力することにより、反射板32に投影させる。
このように、本実施形態の車両用表示装置1においては、運転者に視認させるための情報が外部装置から入力された場合には、反射板32が遮断する前方の景色からなる前方画像と、運転者に視認させるための情報からなる付加画像とが合成されて、運転者の前方の視界内に配置されたミラー等の非透光性の反射板32に投影されるので、運転者は反射板32に投影された明確な画像にて、反射板32により遮断された景色と、情報とを確認することができる。このため、本実施形態の車両用表示装置1によれば、運転者は視線を移動させることなく、鮮明な画像により確実に情報を視認することが可能である。
そして、本実施形態においては、情報を表す付加画像と前方画像とが、各画像を構成する画素のうちの何れか一方を順次選択することにより予め合成されているので、前方の景色と、情報とが共に明確な画像が、反射板32に投影される。よって、フロントガラス等の透光性部材に情報を投影させた場合のように、運転者の視界内で、前方の景色と情報とが重なることがないので、運転者は、投影された情報を、より明確に視認することが可能である。
一方、運転者に視認させるための情報が外部装置から入力されない場合には、反射板32が遮断する前方の景色からなる画像が反射板32に投影されるので、運転者は、視界を遮られることなく、運転することができる。また、反射板32に投影される画像は、運転者により、色、コントラスト、明るさ等の各種画質補正が行えるように構成されているので、運転者は、画質を好みに応じて予め設定しておくことにより、フロントガラス越しに直接見る景色よりも明確な景色を、反射板32に投影された画像にて確認することも可能である。
一方、画像処理装置10は、車両用表示装置1の異常を検出可能に構成されており、反射板32を運転者の前方視界を妨げる使用位置と運転者の前方視界を妨げない退避位置との間で移動させる駆動部34を備えている。そして、車両用表示装置1の異常を検出すると、駆動部34を介して反射板32を退避位置に移動させるので、車両用表示装置1に異常が発生した場合にも、運転者の視界を妨げることがなく、安全性が確保される。
また、可視光の波長領域で車両前方の景色を撮像する可視光カメラ42に加え、可視光カメラ42が撮像する領域と同一の領域を、赤外線の波長領域で撮像する赤外線カメラ44と、車両周辺の光量を検出する外光センサ70を備え、制御部20が、外光センサ70により検知された車両周辺の外光量が、予め定められたしきい値より大きいか否かを判断する。そして、外光量がしきい値よりも小さいと判断した場合には、前方画像補正部11において、赤外線カメラ44により撮像した赤外線画像に基づいて、可視光カメラ42により撮像された前方画像からノイズが除去される。
よって、本実施形態の車両用表示装置1によれば、車両周辺が暗い場合には、可視光カメラ42にて撮像された前方画像からノイズが除去され、ノイズ除去された前方画像から反射板32に投影される画像が生成されるので、暗い場合でも、画質の高い画像を反射板32に投影することができる。また、撮像装置40の焦点制御部46が、画像処理装置10から入力された誤差に基づいて、可視光カメラ42と、赤外線カメラ44との焦点距離を一致させるように制御するので、可視光カメラ42と、赤外線カメラ44との焦点距離が常に一致し、常に同じ領域の画像が撮像されるので、より正確にノイズの除去をすることができる。
また、操作装置50を介して画像の変形指令が入力されると、画像処理装置10は、入力された指令に従い、前方画像の歪みを調整することにより、反射板32に投影される画像を変形し、変形した画像を表示しているときに、操作装置50を介して画像変形の終了指令が入力されると、画像処理装置10は、前方画像の歪みの調整量を記憶部22に格納する。そして、画像処理装置10が、反射板32に投影するための画像を生成する際には、前方画像変形部13にて、記憶部22に記憶された調整量に基づいて前方画像を調整し、調整した前方画像に基づいて、画像を生成する。
よって、本実施形態の車両用表示装置1によれば、運転者が反射板32に投影された画像を見ながら、投影された画像と、実際に前方に見える景色とが連続するように、投影された画像を変形することができる。そして、一旦画像を変形した後は、変形した際に格納された歪みの調整量に基づいて画像が生成されて反射板32に投影されるので、運転者の前方視界を、反射板32が配置されていない場合の前方視界と等しくすることができ、確実に運転者の視界を確保することができる。
さらに、操作装置50を介して反射板32への画像の投影領域の選択指令が入力されると、画像処理装置10は、反射板32に投影される画像上に投影領域を設定するための十字マークを表示させ、十字マークが表示されているときに、操作装置50を介してマークの移動指令が入力されると、入力された移動指令に従い十字マークの位置を移動させ、十字マークが表示されているときに、操作装置50を介してマークの移動終了指令が入力されると、十字マークの位置から反射板32への画像の投影領域を特定し、投影領域外の画素を黒画素にすると共に、投影領域外の画素の座標を記憶部22に格納する。そして、ブランキング生成部21では、画質調整部19から出力された画像を構成する画素のうち、記憶部22に記憶された座標の画素を黒画素にして、投影部36に出力する。
よって、本実施形態の車両用表示装置1によれば、運転者が、投影領域の選択指令を入力し、表示されたマークを反射板32の外形の位置に移動させ、外形を確定する指令を入力すると、指定した外形より外側の部分の画素が黒画素に変更されて投影部36に表示されるので、反射板32に投影された画像の投影領域は反射板32と一致し、画像が反射板32からはみ出してフロントガラス等に映り込み、運転者の視野を妨げることを防止できる。
なお、本実施形態において、記憶部22は本発明の記憶手段に相当し、反射板32は本発明の反射部材に相当し、駆動部34は本発明の駆動手段に相当し、可視光カメラ42は本発明の第1撮像手段に相当し、赤外線カメラ44は本発明の第2撮像手段に相当し、外光センサ70は本発明の光量検知手段に相当し、前方画像変形部13及びS220、230の処理は、本発明の画像生成手段に相当し、ブランキング生成部21、投影部36及びS220、S230の処理は、本発明の投影手段に相当し、外部入力I/F部24は、本発明の情報取得手段に相当し、画像合成部17は、本発明の情報合成手段に相当し、S280からS310の処理は本発明の異常検知手段に相当し、S330の処理は異常時制御手段に相当し、前方画像補正部11及びS250からS270の処理は、本発明の画像補正手段に相当し、S410からS480の処理は、本発明の画像変形手段に相当し、S490、S500の処理は、本発明の調整量格納手段に相当し、S510、S520の処理は本発明のマーク重畳手段に相当し、S530、S540の処理は本発明のマーク移動手段に相当し、S550からS580の処理は、本発明の投影領域格納手段に相当する。
以上、本発明の一実施形態について説明したが、本発明は種々の形態を採り得ることは言うまでもない。
上記実施形態においては、カーナビゲーション装置、車両制御装置等の外部装置から供給される進路案内、車速等の情報を取得して、この情報を表す付加画像を生成したが、付加画像としては種々の例が考えられる。
例えば、撮像装置40にて撮像された前方画像を加工して、加工した前方画像を付加画像として前方画像の一部に合成するようにしてもよい。例えば、遠方(例えば、数100m先程度)の状況を撮像し、この画像を拡大して、前方画像の一部に合成するようにしてもよく、このようにすると、運転者が実際に見えない遠方の景色を反射板32にて確認することができるので便利である。
そして、この場合、撮像装置40にて撮像された前方画像が、付加画像生成部15に入力されるようにし、付加画像生成部15にて、前方画像の所定範囲を拡大することにより付加画像を生成するように構成すればよい。
また、撮像装置40に撮像された画像から移動物体を検出し、移動物体の画像上の位置情報を出力する装置を設け、付加画像生成部15では、出力された移動物体の画像上の位置情報に基づいて、移動物体をマーキングするためのマーキング画像を生成するようにしてもよい。このようにすると、検出された移動物体上にマーキングが付加された画像が投影されるので、運転者に注意を促すことができる。
さらに、撮像された画像から道路上のペイント、道路標識等を検出するための装置を設け、検出した道路ペイント等の位置情報が付加画像生成部15に入力されるように構成し、付加画像生成部15では、道路ペイント等の位置情報に基づいて、道路ペイント等をマーキングするためのマーキング画像を生成するようにしてもよい。このようにすると、例えば、雨天や夜間等で視界が悪く、道路ペイントや道路標識を視認しにくい場合にも、運転者は、反射板32に投影された画像により、これらの道路ペイント等を視認することができるので、都合がよい。
一方、反射板32には、反射板32により遮断される前方の景色からなる画像が通常は投影されているが、運転者の要求により、以下のように、前方の景色からなる画像以外の画像を投影できるようにしてもよい。
例えば、カーナビゲーション装置の情報に基づいて交差点を検出し、交差点が検出された場合には、撮像装置40にて撮像された前方画像から、カーナビゲーション装置の情報に基づいて検出された交差点付近の画像を抽出して拡大し、一方、カーナビゲーション装置から取得した進路案内情報に基づいて、拡大された交差点の実映像に合うように、例えば進路を示す矢印等の付加画像を生成し、この付加画像と拡大された交差点の実映像とを合成して、投影するようにしてもよい。
また、例えば、運転者の要求により、遠方(例えば、数100m先程度)の状況を撮像し、この画像を拡大して、一時的に反射板32全体に投影するようにしてもよい。このようにすると、運転者は、例えば、直接認識することができない遠方の看板や道路標示等を反射板32にて確認することができる。
一方、上記実施形態においては、本発明の反射部材をミラー等の反射板32にて構成したが、反射部材は、フロントガラスに一体に設けられた光透過率を調整可能な調光膜により構成してもよい。そして、この場合には、車両用表示装置1を使用している間は、調光膜の光透過率を0にすることにより鮮明な画像が調光膜に投影され、車両用表示装置1に異常が発生し、正常な画像を投影できない場合には、光透過率を1にして、運転者の視界を妨げないようにすればよい。また、上記実施形態においては、本発明の投影手段を、液晶ディスプレイからなる投影部36にて構成したが、画像を投影する映像投射器を用いてもよく、映像投射器とミラーを組み合わせて構成してもよい。
そして、上記実施形態においては、反射部材は、長方形の反射板32がダッシュボードの中央部に配置されているが、反射部材の大きさ及び形状は、安全性が損なわれない範囲で、任意の大きさ及び形状に構成することが可能である。
本実施形態の車両用表示装置1の構成を表すブロック図である。 反射板の車両内での配置例を示す説明図である。 反射装置の駆動部の概略を表す説明図である。 前方画像補正部の詳細な構成を表すブロック図である。 本実施形態の画像生成処理を表すフローチャートである。 本実施形態の操作装置入力処理を表すフローチャートである。 画像を変形する際に反射板に投影される画像を表す説明図である。 投影領域を選択する際に反射板に投影される画像を表す説明図である。
符号の説明
1…車両用表示装置、10…画像処理装置、11…ノイズ除去部、13…前方画像変形部、15…付加画像生成部、17…画像合成部、19…画質調整部、20…制御部、21…ブランキング生成部、22…記憶部、23…誤差算出部、24…外部入力I/F部、25…外光量検知部、27…操作量検知部、30…表示装置、32…反射板、34…駆動部、36…投影部、40…撮像装置、42…可視光カメラ、44…赤外線カメラ、46…焦点制御部、50…操作装置、60…メモリ装置、70…外光センサ、100…車両、111…ノイズ除去部、112…エッジ抽出部、113…スイッチ、114…エッジ判定部

Claims (5)

  1. 運転者の前方視界を妨げる位置に配置された非透光性の反射部材と、
    車両前方の景色を撮像する第1撮像手段と、
    該第1撮像手段により撮像された画像に基づいて、前記運転者の前方視界のうち前記反射部材に遮断された領域の景色からなる表示画像を生成する画像生成手段と、
    該画像生成手段により生成された表示画像を、前記反射部材に投影する投影手段と、
    運転者に視認させるための情報を取得する情報取得手段と、
    該情報取得手段により情報が取得されると、該情報を表す画像を前記表示画像に合成する情報合成手段と、
    外部から画像の変形指令が入力されると、入力された指令に従い、前記画像生成手段により生成される表示画像の歪みを調整することにより前記反射部材に投影される画像を変形させる画像変形手段と、
    該画像変形手段により変形された画像を表示しているときに、外部から画像変形の確定指令が入力されると、前記表示画像の歪みの調整量を記憶手段に格納する調整量格納手段と、
    を備え、
    前記画像生成手段は、前記表示画像を生成するときに、前記記憶手段に記憶された調整量に基づいて前記表示画像を生成することを特徴とする車両用表示装置。
  2. 運転者の前方視界を妨げる位置に配置された非透光性の反射部材と、
    車両前方の景色を撮像する第1撮像手段と、
    該第1撮像手段により撮像された画像に基づいて、前記運転者の前方視界のうち前記反射部材に遮断された領域の景色からなる表示画像を生成する画像生成手段と、
    該画像生成手段により生成された表示画像を、前記反射部材に投影する投影手段と、
    運転者に視認させるための情報を取得する情報取得手段と、
    該情報取得手段により情報が取得されると、該情報を表す画像を前記表示画像に合成する情報合成手段と、
    外部から前記反射部材への画像の投影領域の選択指令が入力されると、前記画像生成手段により生成される表示画像上に投影領域を設定するためのマークを重畳するマーク重畳手段と、
    該マーク重畳手段が前記表示画像上にマークを重畳しているときに、外部からマークの移動指令が入力されると、入力された移動指令に従い前記表示画像上に重畳されたマークの位置を移動するマーク移動手段と、
    前記マーク重畳手段が前記表示画像上にマークを重畳しているときに、外部から前記投影領域の確定指令が入力されると、前記表示画像上のマークの位置から前記反射部材への画像の投影領域を特定し、投影領域外の画素を黒画素にすると共に、該投影領域外の画素情報を前記記憶手段に格納する投影領域格納手段と、
    を備え、
    前記投影手段は、前記表示画像を投影するときに、該表示画像を構成する画素のうち、前記記憶手段に前記画素情報が記憶された画素を黒画素にして、前記反射部材に投影することを特徴とする車両用表示装置。
  3. 当該車両用表示装置の異常を検出する異常検出手段と、
    前記反射部材を、前記運転者の前方視界を妨げる使用位置と、前記運転者の前方視界を妨げない退避位置との間で移動させる駆動手段と、
    前記異常検出手段により異常が検出されると、前記駆動手段を介して前記反射部材を前記退避位置に移動させる異常時制御手段と、
    を備えたことを特徴とする請求項1または請求項2に記載の車両用表示装置。
  4. 前記第1撮像手段は、可視光の波長領域で前記車両前方の景色を撮像するものであり、
    前記第1撮像手段が撮像する領域と同一の領域を、赤外線の波長領域で撮像する第2撮像手段と、
    前記車両周辺の光量を検出する光量検知手段と、
    前記光量検知手段により検知された車両周辺の光量が、予め定められたしきい値より小さい場合に、前記第2撮像手段により撮像された赤外線画像に基づいて、前記第1撮像手段により撮像された画像からノイズを除去する画像補正手段と、
    を備え、
    前記画像生成手段は、前記画像補正手段によりノイズが除去された画像に基づいて、表示画像を生成することを特徴とする請求項1ないし請求項3の何れか1項に記載の車両用表示装置。
  5. 前記第1撮像手段と、前記第2撮像手段との焦点距離を一致させるための焦点制御手段を備えることを特徴とする請求項4に記載の車両用表示装置。
JP2006002863A 2006-01-10 2006-01-10 車両用表示装置 Expired - Fee Related JP4645452B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006002863A JP4645452B2 (ja) 2006-01-10 2006-01-10 車両用表示装置
US11/642,710 US7629946B2 (en) 2006-01-10 2006-12-21 Display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006002863A JP4645452B2 (ja) 2006-01-10 2006-01-10 車両用表示装置

Publications (2)

Publication Number Publication Date
JP2007182189A JP2007182189A (ja) 2007-07-19
JP4645452B2 true JP4645452B2 (ja) 2011-03-09

Family

ID=38232277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006002863A Expired - Fee Related JP4645452B2 (ja) 2006-01-10 2006-01-10 車両用表示装置

Country Status (2)

Country Link
US (1) US7629946B2 (ja)
JP (1) JP4645452B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
KR101312895B1 (ko) * 2007-08-27 2013-09-30 재단법인서울대학교산학협력재단 파노라마 사진 촬영 방법
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
US9615147B2 (en) * 2010-05-17 2017-04-04 Flir Systems, Inc. Multisensory meter system
EP2577379A2 (en) 2010-05-26 2013-04-10 Johnson Controls GmbH Display, in particular head-up-display of a vehicle
DE102010034853A1 (de) * 2010-08-18 2012-02-23 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Kraftfahrzeug mit Digitalprojektoren
US8412413B1 (en) * 2011-12-21 2013-04-02 Delphi Technologies, Inc. Vehicle windshield display with obstruction detection
US20140036075A1 (en) * 2012-07-31 2014-02-06 Delphi Technologies, Inc. Windshield display system
US9323137B1 (en) 2012-09-12 2016-04-26 Patrick Secord Vehicular illuminating system and display device for use during cleansing
JP2015041969A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像取得装置及び画像取得方法、並びに情報配信システム。
US10026151B2 (en) * 2013-09-27 2018-07-17 Nxp Usa, Inc. Head-up display warping controller
KR101503285B1 (ko) 2013-12-18 2015-03-17 전자부품연구원 휴대 단말을 이용한 운전 편의 시스템 및 그의 운전 지원 방법
JP6401925B2 (ja) * 2014-03-25 2018-10-10 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
US20170357099A1 (en) * 2014-11-05 2017-12-14 Apple Inc. Overlay Display
CN104760541B (zh) * 2015-04-20 2023-07-25 洪莲 一种实现非透明驾驶的汽车
KR102274501B1 (ko) * 2015-05-28 2021-07-08 현대자동차주식회사 후방 카메라의 영상 보상 장치 및 그 방법
US20170036599A1 (en) * 2015-08-06 2017-02-09 Ford Global Technologies, Llc Vehicle display and mirror
DE102017202155A1 (de) * 2017-02-10 2018-08-16 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
KR20230119899A (ko) * 2022-02-08 2023-08-16 현대모비스 주식회사 외부 커뮤니케이션 표시 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215393A (ja) * 1998-11-17 2000-08-04 Sony Corp 情報表示装置
JP2001125554A (ja) * 1999-10-25 2001-05-11 Matsushita Electric Ind Co Ltd 可動型ディスプレイ動作制御方法及び装置
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
JP2004356962A (ja) * 2003-05-29 2004-12-16 Denso Corp 車両用映像表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2213019B (en) * 1980-08-19 1989-10-25 Elliott Brothers London Ltd Head-up display systems
US4804836A (en) * 1988-01-25 1989-02-14 Yazaki Corporation Optical apparatus having moving means for protecting an optical element for use in automatic vehicle
JP3462227B2 (ja) * 1992-11-13 2003-11-05 矢崎総業株式会社 車両用表示装置
JPH09304101A (ja) 1996-05-14 1997-11-28 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2002362184A (ja) * 2001-06-11 2002-12-18 Honda Motor Co Ltd 車両用表示装置
JP2003004462A (ja) 2001-06-19 2003-01-08 Toppan Printing Co Ltd ナビゲーションシステム
JP3785461B2 (ja) 2003-01-17 2006-06-14 国土交通省国土技術政策総合研究所長 ヘッドアップディスプレイ方式
JP2004363758A (ja) * 2003-06-03 2004-12-24 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
JP2005182306A (ja) * 2003-12-17 2005-07-07 Denso Corp 車両用表示装置
US20060103590A1 (en) * 2004-10-21 2006-05-18 Avner Divon Augmented display system and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215393A (ja) * 1998-11-17 2000-08-04 Sony Corp 情報表示装置
JP2001125554A (ja) * 1999-10-25 2001-05-11 Matsushita Electric Ind Co Ltd 可動型ディスプレイ動作制御方法及び装置
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
JP2004356962A (ja) * 2003-05-29 2004-12-16 Denso Corp 車両用映像表示装置

Also Published As

Publication number Publication date
US7629946B2 (en) 2009-12-08
JP2007182189A (ja) 2007-07-19
US20070159317A1 (en) 2007-07-12

Similar Documents

Publication Publication Date Title
JP4645452B2 (ja) 車両用表示装置
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP4935571B2 (ja) 運転支援装置
JP5087051B2 (ja) 画像生成装置及び画像表示システム
JP6221942B2 (ja) ヘッドアップディスプレイ装置
US8441536B2 (en) Vehicle periphery displaying apparatus
CN107848417B (zh) 车辆用显示装置
JP5723106B2 (ja) 車両用ディスプレイ装置及び車両用ディスプレイ方法
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
WO2015178355A1 (ja) 表示装置
JP2008239148A (ja) 車両用表示装置及び車両表示システム並びに車両
JP2005184225A (ja) 車両用表示装置
JP6232691B2 (ja) 車両用表示制御装置、車両用表示装置及び車両用表示制御方法
CN110816408A (zh) 显示装置、显示控制方法及存储介质
JP2008279875A (ja) 駐車支援装置
JP2005136561A (ja) 車両周辺画像表示装置
JP4927514B2 (ja) 運転支援装置
JP2010006129A (ja) 車両後方情報表示装置および車両後方情報表示方法
JP2008285105A (ja) 情報表示装置
JP6318772B2 (ja) 虚像表示装置
KR102005551B1 (ko) 주차 보조 시스템
JP2015085879A (ja) 車両用表示装置
JP2008195229A (ja) 車両周辺監視装置
KR102671221B1 (ko) 화상 처리 장치, 카메라 시스템 및 화상 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4645452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees