JP6380410B2 - 画像表示制御装置および画像表示システム - Google Patents

画像表示制御装置および画像表示システム Download PDF

Info

Publication number
JP6380410B2
JP6380410B2 JP2015556702A JP2015556702A JP6380410B2 JP 6380410 B2 JP6380410 B2 JP 6380410B2 JP 2015556702 A JP2015556702 A JP 2015556702A JP 2015556702 A JP2015556702 A JP 2015556702A JP 6380410 B2 JP6380410 B2 JP 6380410B2
Authority
JP
Japan
Prior art keywords
image
vehicle
vehicle body
unit
line drawing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015556702A
Other languages
English (en)
Other versions
JPWO2015104860A1 (ja
Inventor
淳邦 橋本
淳邦 橋本
浩一郎 本多
浩一郎 本多
華苗 北村
華苗 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Publication of JPWO2015104860A1 publication Critical patent/JPWO2015104860A1/ja
Application granted granted Critical
Publication of JP6380410B2 publication Critical patent/JP6380410B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明の実施形態は、画像表示制御装置および画像表示システムに関する。
従来、車内からの視線でピラーが透けた画像を作成して表示する車両の画像処理装置が知られている。
特開2003−196645号公報
この種の装置では、例えば車外との位置関係をより認識しやすい新しい表示形態が得られれば、有意義である。
実施形態の画像表示制御装置は、車体に設けられた撮像部で撮像された画像に基づいて車両の後方および側方を示す鏡像を作成する鏡像作成部と、上記鏡像作成部によって作成された上記鏡像と車体の少なくとも下部を認識できる線画とを重畳する画像重畳部と、上記画像重畳部によって上記鏡像と上記線画とが重畳された画像が表示されるよう表示装置を制御する表示制御部と、を備え、上記線画には、車体の下部に対応した格子状に描かれた領域が含まれる。よって、本実施形態によれば、例えば、乗員は、車体の下部の平面的な大きさや、形状、部位等を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画は、少なくとも車体後部の側部かつ下部を認識できる線画である。よって、例えば、乗員は、車体の後側の角部に対する車室外の物体等との相対的な位置を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体の下部の車幅方向の端部を示す第一の部分と、車体の下部の車両前後方向の後端部を示す第二の部分と、が含まれる。よって、例えば、乗員は、車体の下部の車幅方向の端部ならびに車両前後方向の後端部を基準として、車体と車室外の物体等との相対的な位置を認識できる。
また、上記画像表示制御装置では、例えば、上記線画には、車体の側部の車両前後方向の後端部を示す第三の部分が含まれる。よって、例えば、乗員は、車体の側部かつ後部の角部を基準として、車体と車室外の物体との相対的な位置や物体の大きさ等を認識できる。
また、上記画像表示制御装置では、例えば、上記線画には、面密度が異なる複数の線が含まれる。よって、例えば、乗員は、面密度が低い線の部分では、車室外の物体等が見やすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体の側部または後部で車両上下方向に延びた線が含まれる。よって、例えば、乗員は、車体の側部や、後部、角部等を、上下方向に延びた線によって認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体後方に向かうほど幅および間隔のうちいずれか一方が狭くなる表示要素が含まれる。よって、例えば、乗員は、車体の奥行き(車両前後方向の位置)を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体の下部の中心を示す表示要素が含まれる。よって、例えば、乗員は、車体の中心を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体の下部に対応した枠状に描かれた領域が含まれる。よって、例えば、乗員は、車体の下部の平面的な大きさや、形状、部位等を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画は、立体的なフレーム状である。よって、例えば、乗員は、車体構成要素を基準として、車体と車室外の物体等との相対的な位置や物体の大きさ等を認識しやすい。
また、上記画像表示制御装置では、例えば、上記表示制御部は、車両状態に応じて、上記鏡像と上記線画とが重畳された画像の表示範囲を調整する。よって、例えば、乗員は、車両の周囲や進行する方向の車外の状況をより認識しやすい。
また、上記画像表示制御装置では、例えば、上記表示制御部は、車両状態に応じて、上記線画の表示態様を決定する。よって、例えば、乗員は、車両の周囲や進行する方向の車外の状況をより認識しやすい。
また、実施形態の画像表示制御システムは、例えば、車体に設けられた車両の後方を撮像する第一の撮像部と、車体に設けられた車両の側方を撮像する第二の撮像部と、表示装置と、画像表示制御装置と、を備え、上記画像表示制御装置は、上記第一の撮像部および上記第二の撮像部で撮像された画像に基づいて車両の後方および側方を示す鏡像を作成する鏡像作成部と、上記鏡像と車体の少なくとも下部を認識できる線画とを重畳する画像重畳部と、上記画像重畳部によって上記鏡像と上記線画とが重畳された画像が表示されるよう上記表示装置を制御する表示制御部と、を有し、上記線画には、車体の下部に対応した格子状に描かれた領域が含まれる。よって、本実施形態によれば、例えば、乗員は、車体の下部の平面的な大きさや、形状、部位等を認識しやすい。
図1は、実施形態の画像表示システムの一例の概略構成図である。 図2は、実施形態の画像表示システムの表示装置で表示される画像(出力画像)の一例を示す図である。 図3は、実施形態の画像表示システムの撮像部による撮像範囲の一例の平面図である。 図4は、実施形態の画像表示システムの撮像部による撮像範囲の一例の側面図である。 図5は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の平面図である。 図6は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の側面図である。 図7は、実施形態の画像表示システムで得られる車外画像の全域と表示範囲との一例が示された説明図である。 図8は、実施形態の画像表示システムで得られる車外画像のうち表示範囲の一例が示された図である。 図9は、実施形態の画像表示システムの表示装置で表示される線画の一例が示された図である。 図10は、実施形態の画像表示システムに含まれる制御部の機能ブロック図の一例である。 図11は、実施形態の画像表示システムの処理手順の一例が示されたフローチャートである。 図12は、実施形態の画像表示システムの表示装置で表示される画像(出力画像)の一例であって、車線変更される前の状態での図である。 図13は、実施形態の画像表示システムの表示装置で表示される画像(出力画像)の一例であって、車線変更されている状態での図である。 図14は、実施形態の画像表示システムの表示装置で表示される画像(出力画像)の一例であって、車線変更されている状態で車外に物体が検出された場合の図である。 図15は、駐車時における車両の位置と当該位置での実施形態の画像表示システムの表示装置で表示される画像(出力画像)の一例とが示された概念図であって、駐車が開始される前の状態での図である。 図16は、駐車時における車両の位置と当該位置での実施形態の画像表示システムの表示装置で表示される画像(出力画像)の一例とが示された概念図であって、車両が駐車目標位置に到達する前の状態での図である。 図17は、駐車時における車両の位置と当該位置での実施形態の画像表示システムの表示装置で表示される画像(出力画像)の一例とが示された概念図であって、図16よりも車両が駐車目標位置に近付いた状態での図である。 図18は、実施形態の画像表示システムの表示装置で表示される線画の別の一例が示された図である。 図19は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。 図20は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。 図21は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。 図22は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。 図23は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。
以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および結果(効果)は、あくまで一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果(派生的な効果も含む)のうち少なくとも一つを得ることが可能である。
また、以下に開示される複数の実施形態には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。
<実施形態>
車両1に装備される画像表示システム100は、図1に示されるように、表示部10a(表示装置)に表示される画像を制御するECU11(electronic control unit、表示制御部、画像表示制御装置)を備えている。表示部10aは、例えば、車室内の前部(かつ上部)に設けられた後方視認用のルームミラー(バックミラー、図示されず)に替えて設けられる。表示部10aには、車室内の前部かつ上部に設けられたルームミラーに映る鏡像に似せた画像が表示される。乗員は、表示部10aをルームミラーとして、あるいはルームミラーの代わりに用いることができる。
ルームミラーが設けられている車両1の場合、表示部10a(筐体10)は、例えば、ルームミラーの鏡面を覆うように取付具やアタッチメント等によってルームミラーに装着されうる。表示部10aには、車外(車室外)に設けられた撮像部12で撮像された画像とは左右逆の画像が表示される。表示部10aは、例えば、LCD(liquid crystal display)や、OELD(organic electro-luminescent display)、プロジェクタ装置等として構成されうる。ECU11は、表示部10aの筐体10内に収容されてもよいし、表示部10aとは別の場所に設けられた筐体内に収容されてもよい。なお、表示部10aの表面側(後側)には、ハーフミラー(図示されず)が設けられてもよい。この場合、画像表示システム100が使用されず、表示部10aに画像が表示されない状態で、当該ハーフミラーがルームミラーとして用いられうる。また、筐体10には、室内画像を撮像する撮像部12I(図3〜6参照)が設けられてもよい。なお、室内画像を撮像する撮像部12Iは、必須ではない。室内画像が用いられる場合には、予め取得され記憶部(例えば、SSD11d等、図1参照)に記憶された室内画像が用いられてもよい。
表示部10aの画像(出力画像Im)には、例えば、図2に示されるように、車外画像Imo(実線)と車体画像Imi(破線)とが含まれる。車外画像Imoは、車外の複数の撮像部12によって取得された画像から生成されうる。撮像部12は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部12は、所定のフレームレートで画像データ(動画データ、フレームデータ)を出力することができる。図3〜6に示されるように、撮像部12には、車体(車両1)の後方(車室外の後部)を撮像する撮像部12R(第一の撮像部)と、車体の側部(車室外の側部)を撮像する撮像部12S(第二の撮像部)と、が含まれうる。撮像部12R,12Sは、それぞれ、車体の後方および側方を撮像してもよい。撮像部12は、広角レンズ(魚眼レンズ)であってもよい。ECU11は、複数の撮像部12で取得された画像を公知の技術で合成して(結合して、繋ぎ合わせて)一連の車外画像Imo(パノラマ画像、図7参照)を得ることができる。本実施形態では、例えば、表示部10aで比較的広い範囲での各位置について車外画像Imoを表示することができるよう、車外の複数の撮像部12によって、車両1の後方かつ側方の比較的広い範囲が撮像される。そして、広い範囲の一部(図8参照)が、合成画像(出力画像Im)に用いられる。図3,4の例では、車外の撮像部12は、車両1(車体)の両側部(例えば、左右のドアミラー)のそれぞれに設けられるとともに、車両1の後端部1bに設けられる。また、図5,6の例では、車外の撮像部12は、車両1の後端部1bの両側部(例えば、車両1の後方側の角部の比較的上方)のそれぞれに設けられるとともに、車両1の後端部1bに設けられる。また、複数の撮像部12のそれぞれの撮像範囲を上下に異ならせることができる。なお、車外画像Imoが一つの撮像部12が撮像した画像またはその一部に基づく画像であってもよいことは、勿論である。また、図2等では、図面中で車外画像Imoと区別するため、便宜上、車体画像Imiが破線で示されている。実際の車体画像Imiは、破線には限定されない。
車体画像Imiには、図2,9に例示されるように、車体の構造を示す立体的なフレーム状に描かれた輪郭線Lo(表示要素)が含まれる。輪郭線Loによって示される構造(車体構成要素)は、例えば、車体の角部、縁部、窓、ピラー、ドア、床、天井、トリム、車輪、車軸、ディファレンシャルギヤ等である。車体画像Imiは、乗員(運転者)が車体(車両1)の位置や形状を大まかに認識できるものであればよく、必ずしも車体形状そのものでなくてもよい。車体画像Imiは、模式化されたものであってもよい。
表示部10aに、車外画像Imoとともに車体画像Imiが表示されることで、乗員は、車体(車両1)と車外の物体B(図2,14参照)との相対的な位置(距離や方向等)や、物体Bの大きさ等を認識しやすい。さらに、車体画像Imiには、図2,9に示されるように、車体(車両1)の車幅方向の端部を示す部分Pw、車体の後端部を示す部分Pr、ならびに車体の下部を示す部分Pbが、含まれる。さらに、車体画像Imiには、車体の下部の車幅方向の端部を示す部分Pbw(第一の部分)や、車体の下部の車両前後方向の後端部を示す部分Pbr(第二の部分)、車体の側部の車両前後方向の後端部を示す部分Psr(第三の部分)等が、含まれる。それぞれの特徴により、乗員(運転者)は、車外画像Imoに画像が含まれる物体Bと車体との距離や、方向、物体Bの大きさ等を、認識しやすい。また、車体画像Imiは、車体の少なくとも下部が平面的(二次元的)に認識できるよう作成されている。よって、乗員は、例えば、車体の平面的な大きさや、形状、部位等を認識しやすい。また、乗員は、例えば、車体画像Imiを基準として、車室外の物体Bとの水平方向の位置関係等を認識しやすい。また、乗員は、例えば、車室外の物体Bの高さを認識しやすい。
車体画像Imiは、図2,9に示されるように、線画(線図)である。線画に含まれる線(表示要素)は、種々の表示態様を有することができる。表示態様としては、例えば、種類、面密度、幅(太さ)、濃度、透過度、色、模様等がある。種類には、例えば、実線や、破線、一点鎖線、二点鎖線、折れ線、ギザギザ線、波線等がある。面密度は、画面(画像)の単位面積あたりの密度である。例えば、同じ太さの場合、実線の面密度が破線の面密度よりも大きい。また、線画には、局所的に表示態様の異なる複数の線が含まれうる。また、線画には、部分的に、点や、記号、文字、図形等も含まれうる。これらの線画(線図)の表示態様は、車両状態(例えば、走行状態、操作状態)によって調整(変更)されうる。
車体画像Imiは、不揮発性の記憶部(例えば、SSD11d等、図1参照)に予め記憶されている。記憶部には、複数の車種毎の車体画像Imiが記憶されうる。この場合、合成画像には、例えば車両1の車種や使用者の嗜好等に応じて選択された車体画像Imiが用いられる。また、ECU11は、キャリブレーション等の設定作業における操作入力部10bにおける入力指示(操作)等に基づいて、車体画像Imiを変形することができる。具体的には、例えば、車体画像Imiは、上側に向かうほど左右に引き延ばされたり、上下に引き延ばされたり、上下左右の位置を変更されたり、というように、変形されたり、位置が変更されたりする。この場合、変更された車体画像Imiが記憶部に記憶され、合成画像には、当該変更された車体画像Imiが用いられる。
ECU11は、図13,14に示されるように、車体画像Imiの透過度α(合成比率)を変更することができる。図13には濃い車体画像Imiを含む合成画像(出力画像Im)が示され、図14には図13よりも薄い車体画像Imiを含む合成画像(出力画像Im)が示されている。比較的簡単な例では、車外画像Imoと車体画像Imiとが互いに位置合わせされた状態での各点について、車体画像Imiの輝度がx1、車外画像Imoの輝度がx2、透過度がα(0≦α≦1)である場合に、当該各点での重ね合わせた合成画像の輝度xは、x=(1−α)×x1+α×x2であることができる。なお、透過度αは、任意の値に設定することができる。
ECU11は、合成画像(出力画像Im,車外画像Imo)の表示範囲Adを変更することができる。例えば、図7に示されるように、ECU11は、撮像部12から取得された比較的広い範囲の車外画像Imoから、その表示範囲Adを決定(移動)することができる。
また、ECU11は、車両1の状況に応じて、表示範囲Adを変更することができる。ECU11は、表示範囲Adを変更するトリガ(信号、データ)として、各種のセンサの検出結果を用いることができる。具体的には、例えば、ECU11は、図1に示される非接触計測装置13や、舵角センサ14(前輪用)、後輪操舵システム15の舵角センサ15a、GPS16(global positioning system)、車輪速センサ17、ブレーキシステム18のブレーキセンサ18a、アクセルセンサ19、前輪操舵システム20のトルクセンサ20a、シフトセンサ21、方向指示器22等から取得した検出結果や、信号、データ、操作入力部24b(モニタ装置24)等の指示信号(制御信号、切替信号、操作信号、入力信号、データ)、物体検出部111(図10参照)の検出結果、車両位置取得部113(図10参照)によって取得された車両1の位置等、に応じて、透過度αや表示範囲Adを変更することができる。図1に示されるように、画像表示システム100に含まれる電気部品(すなわち、非接触計測装置13や、舵角センサ14、舵角センサ15a、GPS16、車輪速センサ17、ブレーキセンサ18a、アクセルセンサ19、トルクセンサ20a、シフトセンサ21、方向指示器22、操作入力部24b等)は、例えば、車内ネットワーク23(例えばCAN(controller area network))を介して電気的に接続されうる。なお、各電気部品は、CAN以外を介して電気的に接続されてもよい。
非接触計測装置13(測距部、物体検出装置)は、例えば、超音波や電波を発射してその反射波を捉えるソナー(ソナーセンサ、超音波探知器)やレーダ等である。ECU11は、非接触計測装置13の検出結果により、車両1の周囲に位置された物体B(障害物、図2,14参照)の有無や距離を測定することができる。すなわち、非接触計測装置13は、物体検出部の一例である。
舵角センサ14は、操舵部(例えばステアリングホイール、図示されず)の操舵量(回動角度)を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ15aは、後輪2R(図4参照)の操舵量(回動角度)を検出するセンサであり、例えば、ホール素子などを用いて構成される。
車輪速センサ17は、車輪2(図4参照、前輪2Fまたは後輪2R)の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ECU11は、車輪速センサ17から取得したデータに基づいて車両1の移動量などを演算することができる。車輪速センサ17は、ブレーキシステム18に設けられる場合もある。
ブレーキシステム18は、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ(図示されず)を介して、車輪2(車両1)に制動力を与える。ブレーキセンサ18aは、ブレーキペダルの操作量を検出するセンサである。
アクセルセンサ19は、アクセルペダルの操作量を検出するセンサである。トルクセンサ20aは、運転者が操舵部に与えるトルクを検出する。シフトセンサ21は、例えば、変速操作部の可動部(レバーや、アーム、ボタン等、図示されず)の位置を検出するセンサ(スイッチ)であり、変位センサなどを用いて構成される。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定(変更)することができる。方向指示器22は、方向指示用のライトの点灯(点滅)を指示する信号を出力する。
また、表示部10aは、透明な操作入力部10b(例えば、タッチパネル等)で覆われている。乗員等は、操作入力部10bを介して表示部10aの表示画面に表示される映像(画像)を視認することができる。また、乗員等は、表示部10aの表示画面に表示される映像(画像)に対応した位置にて手指等で操作入力部10bを触れたり押したり動かしたりして操作することで、画像表示システム100における種々の操作入力(指示入力)を実行することができる。
また、車内には、表示部10aとは別の表示部24aや、音声出力装置24cが設けられている。表示部24aは、例えば、LCDや、OELD等である。音声出力装置24cは、例えば、スピーカである。さらに、表示部24aは、透明な操作入力部24b(例えば、タッチパネル等)で覆われている。乗員等は、操作入力部24bを介して表示部24aの表示画面に表示される映像(画像)を視認することができる。また、乗員等は、表示部24aの表示画面に表示される映像(画像)に対応した位置にて手指等で操作入力部24bを触れたり押したり動かしたりして操作することで、操作入力(指示入力)を実行することができる。そして、これら表示部24aや、操作入力部24b、音声出力装置24c等は、ダッシュボードの車幅方向(左右方向)の中央部に位置されたモニタ装置24に設けられている。モニタ装置24は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部(図示されず)を有することができる。モニタ装置24は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、モニタ装置24の表示部24aに、表示部10aと同様の画像を表示させることができる。
ECU11は、例えば、CPU11a(central processing unit)や、ROM11b(read only memory)、RAM11c(random access memory)、SSD11d(solid state drive、フラッシュメモリ)、表示制御部11e、音声制御部11f等を有している。CPU11aは、各種演算を実行することができる。CPU11aは、ROM11bやSSD11d等の不揮発性の記憶装置に記憶された(インストールされた)プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM11cは、CPU11aでの演算で用いられる各種のデータを一時的に記憶する。また、SSD11dは、書き換え可能な不揮発性の記憶部であり、ECU11の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部11eは、ECU11での演算処理のうち、主として、撮像部12で得られた画像データを用いた画像処理や、表示部10a,24aで表示される画像データの画像処理(例えば合成等)等を実行する。また、音声制御部11fは、ECU11での演算処理のうち、主として、音声出力装置24cで出力される音声データの処理を実行する。なお、CPU11aや、ROM11b、RAM11c等は、同一パッケージ内に集積されることができる。また、ECU11は、CPU11aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD11dに替えてHDD(hard disk drive)が設けられてもよいし、SSD11dやHDDは、ECU11とは別に設けられてもよい。
また、本実施形態では、例えば、表示部10aには、ECU11の画像処理によって、ルームミラーの鏡像(写像)に対応した(似せた、適合した、マッチした、位置合わせされた)出力画像Imが表示される。この場合、車外画像Imo(複数が合成された画像も含む)からルームミラーの写像に対応した出力画像Imへの座標変換を行う関数(変換式や、変換行列等)や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり(撮像によるキャリブレーションを行ったり)、幾何学的な演算を行ったりすることによって、得ることができる。また、車体画像Imiの合成位置(出力位置)や、大きさ、形状等も、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり(撮像によるキャリブレーションを行ったり)、幾何学的な演算を行ったりすることによって、得ることができる。
また、本実施形態では、例えば、ECU11は、ハードウエアとソフトウエア(プログラム)との協働によって、画像表示制御装置の少なくとも一部として機能(動作)する。すなわち、本実施形態では、例えば、図10に示されるように、ECU11は、表示制御部11e(図1参照)ならびに音声制御部11f(図1参照)の他、車外画像作成部110や、物体検出部111、画像作成部112、車両位置取得部113、表示態様変更部114、表示範囲決定部115、追加画像作成部116等として機能(動作)する。なお、プログラムには、例えば、図10に示される各ブロックに対応したモジュールが含まれうる。また、画像処理は、表示制御部11eの他、CPU11aでも実行されうる。車外画像作成部110は、鏡像作成部の一例であり、画像作成部112は、画像重畳部の一例である。
車外画像作成部110は、例えば、車外の撮像部12で撮像された複数(本実施形態では、例えば三つ)の画像を、それらの境界部分を重なり合わせる(合成する)ことで繋ぎ、一連の車外画像Imo(パノラマ画像)を作成する。この際、車外画像作成部110は、撮像部12で撮像された画像または合成された画像を座標変換等することで、乗員(使用者、運転者)の視線によるルームミラーの鏡像(写像)に似せた車外画像Imoを作成する。なお、位置合わせに関しては、撮像部12から得られた車外画像Imoの座標は、予め取得された実験結果等を元に、車体画像Imiと対応する座標に変換される。また、車外画像Imoにおける物体Bの画像Imbの大きさ等については、非接触計測装置13による物体Bまでの距離の測定結果を用いて補正することができる。なお、車外画像Imoは、視認する乗員(運転者)にとって違和感が少ない(無い)ものであれば良く、ルームミラーが設けられた場合の鏡像と完全に位置合わせされている必要は無い。
物体検出部111は、例えば、車外画像Imo(例えば、車外画像作成部110で作成された車外画像Imo)を画像処理することにより、車外の物体B(車両や、人等)を検出する。物体Bの検出に際しては、パターンマッチング等が用いられうる。また、物体検出部111は、非接触計測装置13から得られたデータから、車外の物体Bを検出することができるし、車外画像Imoを画像処理した結果と非接触計測装置13から得られたデータとから、車外の物体Bを検出することができる。また、物体検出部111は、車外画像Imoを画像処理した結果あるいは非接触計測装置13から得られたデータから、車両1から物体Bまでの距離を取得することもできる。
画像作成部112は、車体画像Imiと車外画像Imoとが重ね合わせられた合成画像を含む出力画像Imを、少なくとも表示部10aで表示される表示範囲Adについて作成する。なお、画像作成部112は、さらに、車室内を撮像する撮像部12I(図3〜6等参照)に基づく室内画像(画像、車体画像)を合成してもよい。この場合、例えば、画像処理により窓の部分がくり抜かれた室内画像が、透過画像として重畳されうる。
車両位置取得部113は、例えば、GPS16からのデータや、非接触計測装置13の検出結果、車輪速センサ17によって検出された車輪速、舵角センサ14,15aによって検出された舵角、撮像部12が取得した車外画像Imoの画像処理結果等から、車両1の位置を取得することができる。
表示態様変更部114は、例えば、非接触計測装置13や、舵角センサ14,15a、GPS16、車輪速センサ17、ブレーキセンサ18a、アクセルセンサ19、トルクセンサ20a、シフトセンサ21、方向指示器22等から取得した検出結果や、信号、データ、操作入力部24b等の指示信号、物体検出部111の検出結果、車両位置取得部113によって取得された車両1の位置等の車両状態を示す情報に応じて、車体画像Imiおよび車外画像Imoのうち少なくとも一方の表示態様を変更することができる。表示態様変更部114は、例えば、車体画像Imiの透過率αや、明るさ(輝度)、色等を変更することができる。また、合成画像に室内画像が含まれる場合、表示態様変更部114は、室内画像の透過度等を変更することができる。
表示範囲決定部115は、例えば、非接触計測装置13や、舵角センサ14,15a、GPS16、車輪速センサ17、ブレーキセンサ18a、アクセルセンサ19、トルクセンサ20a、シフトセンサ21、方向指示器22等から取得した検出結果や、信号、データ、操作入力部24b等の指示信号、物体検出部111の検出結果、車両位置取得部113によって取得された車両1の位置等に応じて、表示範囲Adを変更することができる。
追加画像作成部116は、例えば、出力画像Imに、追加画像Ima(例えば、物体検出部111によって検出された物体の強調表示(例えば、枠等)や、車線や駐車枠等の線の表示(例えば、線等)など、人工的な画像)を追加することができる。
本実施形態にかかる画像表示システム100は、例えば、図11に示されるような手順で処理を実行することができる。まず、ECU11は、非接触計測装置13や、舵角センサ14,15a、GPS16、車輪速センサ17、ブレーキセンサ18a、アクセルセンサ19、トルクセンサ20a、シフトセンサ21、方向指示器22等から取得した検出結果や、信号、データ、操作入力部24b等の指示信号、物体検出部111の検出結果、車両位置取得部113によって取得された車両1の位置等を取得して、それぞれの参照値と比較して、表示範囲Adを変更する条件を満たすか否かを判断する(S1)。表示範囲Adを変更する条件が満たされる場合、ECU11は、表示範囲決定部115として機能し、表示範囲Adを当該条件に応じた位置や広さに変更する(S2)。次に、ECU11は、非接触計測装置13や、舵角センサ14,15a、GPS16、車輪速センサ17、ブレーキセンサ18a、アクセルセンサ19、トルクセンサ20a、シフトセンサ21、方向指示器22等から取得した検出結果や、信号、データ、操作入力部24b等の指示信号、物体検出部111の検出結果等の車両状態を示す情報を取得して、それぞれの参照値と比較して、表示態様を変更する条件を満たすか否かを判断する(S3)。表示態様を変更する条件が満たされる場合、ECU11は、表示態様変更部114として機能し、当該条件に応じた表示態様に変更する(S4)。なお、S4の例については、後述する。そして、ECU11は、車外画像作成部110や、物体検出部111等として機能するとともに、画像作成部112として機能し、設定(変更)された表示態様ならびに表示範囲Adに対応する出力画像Imを作成する(S5)。なお、S5では、追加画像を含む出力画像Imを作成することができる。そして、表示制御部11eは、作成された出力画像Imが表示されるよう、表示部10aを制御する(S6)。
本実施形態では、車体画像Imiには、図2,9に示されるように、車体(車両1)の下部(床部、下端部)に対応した、複数の車両前後方向に沿った(対応した)線Ll、複数の車幅方向に沿った(対応した)線Lw、車幅方向の特定位置(例えば中央部)を通る車両前後方向に沿った(対応した)線Lcl、および車両前後方向の特定位置(例えば後側ピラーまたは後輪の位置)を通る車幅方向に沿った(対応した)線Lswが含まれている。また、線Llと線Lwとは、枠状あるいは格子状(グリッド状)に配置され、車体の下部に対応した表示領域Abが形成されている。また、線Lcl,Lswの表示態様は、他の線Ll,Lwの表示態様とは異なる。具体的には、線Lcl,Lswの幅(太さ)が線Ll,Lwの幅より大きく、線Lcl,Lswの輝度が線Ll,Lwの輝度より高い。また、車体画像Imiには、車体の側端部(側部)または後端部(後部)に、車両上下方向に沿った(対応した)線Lv(部分Psr)が含まれている。また、車体画像Imiには、車両後方に向かうほど間隔が狭くなる複数の表示要素(図9の例では複数の線Ll,Lw)が含まれている。それぞれの特徴により、乗員(運転者)は、例えば、車体の床の位置を認識しやすい。また、乗員は、例えば、車体の車両前後方向の位置や、車体の車幅方向の位置を認識しやすい。また、乗員は、例えば、車体の下部に対応した高さで車両前後方向の位置や車幅方向の位置を認識できるため、他の高さ位置に線Lcl,Lswが設けられた場合に比べて、物体Bの車両前後方向または車幅方向の位置をより精度良く認識しやすい。また、乗員は、例えば、車体の車両上下方向の位置を認識しやすい。よって、乗員は、例えば、物体Bとの相対的な位置や、物体Bの大きさ等をより精度良くあるいはより容易に認識しやすい。線Ll,Lw,Lcl,Lsw,Lvは、表示要素の一例である。表示領域Abは、領域の一例である。また、線Ll,Lw,Lcl,Lsw,Lvや表示領域Abは、スケールの一例である。なお、線Lvは、鉛直方向に延びている必要は無く、鉛直方向に対して傾斜していてもよい。また、複数の線(例えば線Lv等)が、他の線(例えば線Ll,Lw等)に沿って目盛りのように間隔をあけて配置されてもよい。
図12,13には、例えば、車両1が左側のレーンに車線変更を行う場合の出力画像Im(表示部10aで表示される画像)が示されている。図12では、車両1は直進状態にあるが、この状態では、出力画像Imは、表示範囲Adが狭く、後方にほぼ真っ直ぐ向いており、車体画像Imiの透過度αは0(ゼロ)である。表示態様変更部114および表示範囲決定部115は、車両1の車線変更動作時に各部で得られる検出結果や、信号、データ等を車両状態を示す情報として取得し、それらが予め設定された条件を満たす場合に、透過度αならびに表示範囲Adを変更する。図13では、例えば、車両状態を示す情報として、方向指示器22の左側方向への移動を指示する信号(運転者による運転操作に伴って得られた信号)や、車両1の車線変更に対応した各部(例えば、舵角センサ14,15a、車輪速センサ17、トルクセンサ20a等)の値(例えば、各車輪2の操舵角や、車両1の位置、車両1の速度等)が得られた場合に、表示範囲決定部115は、出力画像Imの表示範囲Adを横に(左右方向)に拡大(調整)するとともに、表示範囲Adを移動するレーンの方向(方向指示器で指示された方向、左側)にスライドして(動かして、調整して)いる。よって、本実施形態によれば、例えば、運転者は、車両1の周囲や進行する方向の車外の状況をより認識しやすい。さらに、図13では、表示態様変更部114は、車体画像Imiの透過度αを高めて例えば0.6程度とする。よって、本実施形態によれば、例えば、運転者は、車体画像Imiがより透けて見えやすくなるため、車両1の周囲や進行する方向の車外の状況をより一層認識しやすい。また、図14に示されるように、物体検出部111で車両1の左側後方の所定距離以内に接近する物体B(車両)が検出された場合には、表示範囲決定部115は、例えば、当該物体Bの画像Imbが含まれるように表示範囲Adを決定(調整)することができる。また、図14の場合、表示態様変更部114は、例えば、物体Bが検出されなかった場合より透過度αを高く設定することができる。これにより、運転者は、物体Bを視認しやすいとともに、物体Bの車両1からの距離や相対位置を認識しやすい。さらに、図14では、例えば、追加画像作成部116は、検出された物体Bの画像Imbに、当該画像Imbを取り囲む枠状の強調表示Imf1を追加するとともに、路面の車線Lの画像Imlに、当該画像Imlと重なった帯状の強調表示Imf2を追加する。よって、本実施形態によれば、例えば、運転者は、車両1の周囲や、進行する方向の車外の状況、物体B等を、より一層視認しやすい。なお、上述した制御は、逆方向(右方向)へ車線変更する場合にも同様に実施可能である。
図15〜17には、例えば、車両1が左側に旋回しながら到達予想位置まで後進する駐車(所謂車庫入れ)を行う場合の出力画像Im(表示部10aで表示される画像)が示されている。図15では、車両1は直進状態にあるが、この状態では、出力画像Imは、表示範囲Adが狭く、後方にほぼ真っ直ぐ向いており、車体画像Imiの透過度αは0(ゼロ)である。表示態様変更部114および表示範囲決定部115は、車両1の駐車動作時に各部で得られる検出結果や、信号、データ等を車両状態を示す情報として取得し、それらが予め設定された条件を満たす場合に、透過度αならびに表示範囲Adを変更する。図15では、例えば、車両状態を示す情報として、シフトセンサ21からのリバース(バック)モードが選択された信号(運転者による運転操作に伴って得られた信号)や、車両1の旋回しながらの所定速度以下での後進に対応した各部(例えば、舵角センサ14,15a、車輪速センサ17、トルクセンサ20a等)の値(例えば、各車輪2の操舵角や、車両1の位置、車両1の速度等)が得られた場合に、表示範囲決定部115は、出力画像Imの表示範囲Adを横(左右方向)に拡大(調整)するとともに、表示範囲Adを旋回する方向(左側)にスライドして(動かして、調整して)いる。よって、本実施形態によれば、例えば、運転者は、車両1の周囲や進行する方向の車外の状況をより認識しやすい。さらに、図16では、表示態様変更部114は、車体画像Imiの透過度αを高めて例えば0.6程度とする。よって、本実施形態によれば、例えば、運転者は、車両1のピラーや、ルーフ、シート、トリム等の構造物が透けるため、車両1の周囲や進行する方向の車外の状況をより一層認識しやすい。また、図16では、例えば、追加画像作成部116は、検出された物体Bの画像Imbに、当該画像Imbを取り囲む枠状の強調表示Imf1を追加し、路面の枠線Lの画像Imlに、当該画像Imlと重なった帯状の強調表示Imf2を追加し、現在位置から所定距離(経路長)後方に離間した到達予想位置(例えば、駐車目標位置Pや、駐車目標位置Pに到達するまでの中途位置等)を示す画像Imf3を追加し、さらに、到達予想位置や舵角等から予想される移動経路を示す線状の画像Imf4を追加している。画像Imf3,Imf4は、車体の下部に対応した表示領域Abに対応する。例えば、画像Imf3,Imf4の外縁の一部(例えば側縁)は、到達予想位置での表示領域Abの外縁の一部(例えば側縁)と一致するように、描画されうる。あるいは、表示領域Abの両側縁を示す二本の線、ならびに画像Imf3,Imf4の両側縁を示す二本の線は、それぞれ、車両1の所定の車幅方向中心位置(例えば、両後輪3R間の中央位置)の路面での移動予想線からの等距離線(平行曲線)を示す線であってもよい。本実施形態によれば、例えば、運転者は、車両1の周囲や、進行する方向の車外の状況、駐車目標位置P、到達予想位置(今後の移動経路)等を、より認識しやすい。また、本実施形態によれば、例えば、運転者は、表示領域Abを含む車体画像Imiと、表示領域Abに対応した画像Imf3,Imf4とによって、予想される車両1の移動経路を把握しやすい。さらに、図17では、車両1は駐車目標位置P(駐車における最終的な到達予想位置)に接近した状態にあるが、この状態では、表示態様変更部114は、例えば、第二領域A2での透過度αをさらに高めて例えば1とする。よって、本実施形態によれば、例えば、運転者は、車体画像Imiが完全に透けて、周囲の物体B(障害物、車両、人など)の画像Imbをより一層視認しやすくなるとともに、車両1と当該車両1の周囲の障害物(物体B)や駐車目標位置Pとの距離や相対位置を認識しやすい。また、本実施形態では、例えば、車外画像Imoに車両1の車体の一部(図17の例ではバンパ)が含まれるように撮像しているため、透過度αが1となった場合にあっても、運転者は、車両1と当該車両1の周囲の障害物(物体B)や駐車目標位置Pとの距離や相対的な位置関係をより一層認識しやすい。なお、上述した制御は、逆方向(右方向)に旋回しながら駐車する場合にも同様に実施可能である。
以上、説明したように、本実施形態では、車外画像作成部110(鏡像作成部)は、撮像部12で撮像された画像に基づいて車両1の後方および側方を示す鏡像を作成する。また、画像作成部112(画像重畳部)は、車外画像作成部110で作成された鏡像と、少なくとも車体の下部を認識できる車体画像Imi(線画)と、を重畳する。よって、本実施形態によれば、乗員は、ルームミラーでは見えない死角の光景を見ることができる。また、例えば、車体画像Imiが線画であり、細いため、乗員が車外画像Imoによって車外の光景を認識する場合に、車体画像Imiが支障となり難い。また、車体画像Imiには、車体の下部が認識できる画像が含まれている。よって、乗員は、例えば、車体の平面的な大きさや、形状、部位等を認識しやすい。また、乗員は、例えば、車体画像Imiを基準として、車室外の物体Bとの水平方向の位置関係等を認識しやすい。また、乗員は、例えば、車室外の物体Bの高さを認識しやすい。また、本実施形態では、車体画像Imiは、少なくとも車体後部の側部かつ下部を認識できる線画である。よって、乗員は、例えば、車体の後側の角部に対する車室外の物体Bや車線L等との相対的な位置を認識しやすい。
また、本実施形態では、車体画像Imiには、車体の下部の車幅方向の端部を示す部分Pbw(第一の部分)と、車体の下部の車両前後方向の後端部を示す部分Pbr(第二の部分)と、が含まれる。よって、乗員は、例えば、車体の下部の車幅方向の端部ならびに車両前後方向の後端部を基準として、車体と車室外の物体B等との相対的な位置を認識できる。また、本実施形態では、車体画像Imiには、車体の側部の車両前後方向の後端部を示す部分Psr(第三の部分)が含まれる。よって、乗員は、例えば、車体の側部かつ後部の角部を基準として、車体と物体Bとの相対的な位置や物体の大きさ等を認識できる。また、本実施形態では、線Lv(部分Psr)は、車両上下方向に延びている。よって、乗員は、例えば、車体の側部や、後部、角部等を認識しやすい。また、乗員は、例えば、車体と車室外の物体B等との相対的な位置や物体の大きさ等を認識しやすい。
また、本実施形態では、車体画像Imiには、車両後方に向かうほど間隔が狭くなる複数の線Ll,Lw(表示要素)が含まれる。よって、乗員は、例えば、車体の奥行き(車両前後方向の位置)を認識しやすい。また、本実施形態では、車体画像Imiには、車体の下部の中心を示す表示要素が含まれる。よって、乗員は、例えば、車体の中心を認識しやすい。また、本実施形態では、車体画像Imiには、車体の下部に対応した枠状あるいは格子状に描かれた領域Abが含まれる。よって、乗員は、例えば、車体の下部の平面的な大きさや、形状、部位等を認識しやすい。また、本実施形態では、車体画像Imiは、立体的なフレーム状に描かれている。また、本実施形態では、車体画像Imiには、車体構成要素に対応した輪郭線Lo(表示要素)が含まれている。よって、乗員は、例えば、車体構成要素を基準として、車体と車室外の物体B等との相対的な位置や物体の大きさ等を認識しやすい。
<車体画像(線画)の変形例>
図18〜22には、車体画像Imiの変形例が示されている。図18,19の例では、面密度が異なる複数の線が含まれている。具体的には、車体(車両1)の後部や、下部、角部等に対応した部分(部分Pbr,Psrを含む)の線Ll,Lw,Lvの面密度が、他の部分の面密度よりも低い。具体的には、後部の線Ll,Lw,Lv等は破線で、他の部分は実線である。これにより、乗員は、例えば、面密度が低い線の部分では、車室外の物体B等が見やすくなる。他の部分よりも細い線が用いられたり、薄い線が用いられたり、間隔の広い破線が用いられたりしたような場合も、同様の効果が得られる。なお、図19の例では、線の中に点Pが含まれている。点Pが用いられた場合も、同様の効果が得られる。
図20は、車体の下部に対応した表示領域Abが、格子状では無く、四角形の枠状に構成されている。図21では、表示領域Abの外周部分(縁部)の幅が、他の部分の幅よりも太い。また、図22では、表示領域Abが、比較的幅が太い線による骨組み状である。このような車体画像Imiによっても、上記実施形態と同様の効果が得られる。図21,22では、線Ll,Lw(表示要素)の幅が車体の後部に向かうほど細い。よって、乗員は、当該線の幅によって、奥行きを認識しやすい。また、図22の例では、車体の下部の車幅方向の端部を示す部分Pbw(第一の部分)が、少なくとも一つの(図22では複数の)線Lwの端部である。このような表示態様、すなわち線の端部によっても、乗員は、車幅方向の端部や車両前後方向の端部を認識できる。また、図23の例では、車体の側部の車両前後方向の後端部(角部)Pcには、表示要素が無い。このような表示態様においても、乗員は、他の複数の線Ll,Lw,Lv等から、特定の部位を認識(推定)することができる。表示要素が無い分、乗員は、車室外の物体B等を認識しやすい。
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。これら実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、実施形態や変形例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック(構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等)は、適宜に変更して実施することができる。
表示部10aは、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内の前部のダッシュボード(コックピットモジュール、インストルメントパネル、フェイシア、図示されず)やセンターコンソール等に設けられた表示パネルであってもよい。
また、運転者の運転操作に伴って得られる信号は、上述した方向指示器22ならびにシフトレバー以外の、例えば、ステアリングホイールや、シフトスイッチ、ブレーキペダル、クラッチペダル、アクセルペダル等の運転操作を行う操作部に対する操作に伴って得られる信号であってもよい。また、操作部の操作に対する表示態様の変更(変化、調整)は、種々に設定することができる。例えば、ブレーキペダルの操作に応じて、表示態様を変更(調整)したり(例えば、透過度αを高めたり)、表示範囲Adを拡大したりすることができる。
1…車両(車体)、10a…表示部(表示装置)、11…ECU(画像表示制御装置)、11e…表示制御部、12…撮像部、12R…撮像部(第一の撮像部)、12S…撮像部(第二の撮像部)、100…画像表示システム、110…車外画像作成部(鏡像作成部)、112…画像作成部(画像重畳部)、Ab…表示領域(領域)、Imi…車体画像(線画)、Lcl…線(表示要素)、Lo…輪郭線(表示要素)、Pbw…部分(第一の部分)、Pbr…部分(第二の部分)、Psr…部分(第三の部分)。

Claims (13)

  1. 車体に設けられた撮像部で撮像された画像に基づいて車両の後方および側方を示す鏡像を作成する鏡像作成部と、
    前記鏡像作成部によって作成された前記鏡像と車体の少なくとも下部を認識できる線画とを重畳する画像重畳部と、
    前記画像重畳部によって前記鏡像と前記線画とが重畳された画像が表示されるよう表示装置を制御する表示制御部と、
    を備え
    前記線画には、車体の下部に対応した格子状に描かれた領域が含まれる、画像表示制御装置。
  2. 前記線画は、少なくとも車体後部の側部かつ下部を認識できる線画である、請求項1に記載の画像表示制御装置。
  3. 前記線画には、車体の下部の車幅方向の端部を示す第一の部分と、車体の下部の車両前後方向の後端部を示す第二の部分と、が含まれる、請求項1または2に記載の画像表示制御装置。
  4. 前記線画には、車体の側部の車両前後方向の後端部を示す第三の部分が含まれる、請求項1〜3のうちいずれか一つに記載の画像表示制御装置。
  5. 前記線画には、面密度が異なる複数の線が含まれる、請求項1〜4のうちいずれか一つに記載の画像表示制御装置。
  6. 前記線画には、車体の側部または後部で車両上下方向に延びた線が含まれる、請求項1〜5のうちいずれか一つに記載の画像表示制御装置。
  7. 前記線画には、車体後方に向かうほど幅および間隔のうちいずれか一方が狭くなる表示要素が含まれる、請求項1〜6のうちいずれか一つに記載の画像表示制御装置。
  8. 前記線画には、車体の下部の中心を示す表示要素が含まれる、請求項1〜7のうちいずれか一つに記載の画像表示制御装置。
  9. 前記線画には、車体の下部に対応した枠状に描かれた領域が含まれる、請求項1〜8のうちいずれか一つに記載の画像表示制御装置。
  10. 前記線画は、立体的なフレーム状である、請求項1〜のうちいずれか一つに記載の画像表示制御装置。
  11. 前記表示制御部は、車両状態に応じて、前記鏡像と前記線画とが重畳された画像の表示範囲を調整する、請求項1〜10のうちいずれか一つに記載の画像表示制御装置。
  12. 前記表示制御部は、車両状態に応じて、前記線画の表示態様を決定する、請求項1〜11のうちいずれか一つに記載の画像表示制御装置。
  13. 車体に設けられた車両の後方を撮像する第一の撮像部と、
    車体に設けられた車両の側方を撮像する第二の撮像部と、
    表示装置と、
    画像表示制御装置と、
    を備え、
    前記画像表示制御装置は、
    前記第一の撮像部および前記第二の撮像部で撮像された画像に基づいて車両の後方および側方を示す鏡像を作成する鏡像作成部と、
    前記鏡像と車体の少なくとも下部を認識できる線画とを重畳する画像重畳部と、
    前記画像重畳部によって前記鏡像と前記線画とが重畳された画像が表示されるよう前記表示装置を制御する表示制御部と、
    を有し
    前記線画には、車体の下部に対応した格子状に描かれた領域が含まれる、画像表示システム。
JP2015556702A 2014-01-10 2014-06-20 画像表示制御装置および画像表示システム Expired - Fee Related JP6380410B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014003786 2014-01-10
JP2014003786 2014-01-10
PCT/JP2014/066476 WO2015104860A1 (ja) 2014-01-10 2014-06-20 画像表示制御装置および画像表示システム

Publications (2)

Publication Number Publication Date
JPWO2015104860A1 JPWO2015104860A1 (ja) 2017-03-23
JP6380410B2 true JP6380410B2 (ja) 2018-08-29

Family

ID=53523703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015556702A Expired - Fee Related JP6380410B2 (ja) 2014-01-10 2014-06-20 画像表示制御装置および画像表示システム

Country Status (4)

Country Link
US (1) US10475242B2 (ja)
JP (1) JP6380410B2 (ja)
DE (1) DE112014006149T5 (ja)
WO (1) WO2015104860A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450352B2 (en) 2018-05-29 2022-09-20 Sony Corporation Image processing apparatus and image processing method

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10179544B2 (en) * 2014-05-29 2019-01-15 Koito Manufacturing Co., Ltd. Vehicle exterior observation device and imaging device
CN107428300B (zh) * 2015-04-07 2019-07-02 日产自动车株式会社 停车辅助系统以及停车辅助装置
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
CN105667398B (zh) 2016-01-04 2018-10-23 京东方科技集团股份有限公司 汽车后视镜的图像显示方法及系统
TWI581991B (zh) * 2016-05-06 2017-05-11 神達電腦股份有限公司 行車資訊顯示方法
WO2017208719A1 (ja) * 2016-06-02 2017-12-07 ソニー株式会社 表示制御装置及び表示制御方法、表示装置、並びに移動体装置
JP6555195B2 (ja) * 2016-06-13 2019-08-07 株式会社デンソー 画像生成装置
JP6365600B2 (ja) * 2016-06-30 2018-08-01 マツダ株式会社 車両用表示装置
JP6876236B2 (ja) * 2016-09-30 2021-05-26 株式会社アイシン 表示制御装置
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
JP2018117320A (ja) 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP6811106B2 (ja) * 2017-01-25 2021-01-13 矢崎総業株式会社 ヘッドアップディスプレイ装置および表示制御方法
JP6846624B2 (ja) * 2017-02-23 2021-03-24 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Subaru 画像表示装置
CN110786004B (zh) * 2017-08-25 2021-08-31 本田技研工业株式会社 显示控制装置、显示控制方法及存储介质
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
JP2019054360A (ja) * 2017-09-14 2019-04-04 セイコーエプソン株式会社 電子機器、モーションセンサー、位置変化検出プログラムおよび位置変化検出方法
JP7220979B2 (ja) * 2017-10-10 2023-02-13 マツダ株式会社 車両用表示装置
DE102017221488A1 (de) * 2017-11-30 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
FR3081250B1 (fr) * 2018-05-15 2021-08-13 Renault Sas Procede et dispositif de retro vision par cameras a realite augmentee
JP7167495B2 (ja) * 2018-06-12 2022-11-09 株式会社アイシン 物体検知装置および物体検知システム
JPWO2020013052A1 (ja) * 2018-07-13 2021-08-12 日本電気株式会社 運転支援装置、運転支援方法、及びプログラム
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7095584B2 (ja) * 2018-12-12 2022-07-05 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
DE102019204656A1 (de) 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
US20220371514A1 (en) * 2019-09-04 2022-11-24 Continental Advanced Lidar Solutions Us, Llc Transparent Trailer Articulation View
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
WO2021159310A1 (zh) * 2020-02-12 2021-08-19 深圳市锐明技术股份有限公司 一种违章监控系统及违章监控方法
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP4364471B2 (ja) 2001-12-28 2009-11-18 株式会社エクォス・リサーチ 車両の画像処理装置
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP4234374B2 (ja) * 2002-08-21 2009-03-04 三菱自動車工業株式会社 駐車支援装置
JP4329525B2 (ja) * 2003-12-16 2009-09-09 株式会社エクォス・リサーチ 車外情報表示装置
JP4877447B2 (ja) * 2004-08-31 2012-02-15 株式会社エクォス・リサーチ 車両周辺画像表示装置
WO2008086293A2 (en) * 2007-01-05 2008-07-17 Nestor, Inc. A system and method for measuring the speed of vehicles or other objects
JP2009055098A (ja) * 2007-08-23 2009-03-12 Denso Corp 車両用後方撮影表示装置
JP4450036B2 (ja) * 2007-09-10 2010-04-14 トヨタ自動車株式会社 複合画像生成装置、及びプログラム
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5115136B2 (ja) 2007-10-16 2013-01-09 株式会社デンソー 車両後方監視装置
US8624977B2 (en) * 2008-02-20 2014-01-07 Clarion Co., Ltd. Vehicle peripheral image displaying system
JP5523448B2 (ja) * 2009-04-23 2014-06-18 パナソニック株式会社 運転支援システム、情報表示装置、及び情報表示プログラム
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
CN102714710B (zh) * 2009-12-07 2015-03-04 歌乐牌株式会社 车辆周边图像显示系统
WO2011070641A1 (ja) * 2009-12-07 2011-06-16 クラリオン株式会社 車両周辺監視システム
JP5505702B2 (ja) * 2010-02-24 2014-05-28 アイシン精機株式会社 車両周辺監視装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
WO2011158609A1 (ja) * 2010-06-15 2011-12-22 アイシン精機株式会社 運転支援装置
JP5251947B2 (ja) * 2010-09-17 2013-07-31 日産自動車株式会社 車両用画像表示装置
EP2733937A4 (en) * 2011-07-12 2015-05-20 Nissan Motor VEHICLE MONITORING DEVICE, VEHICLE MONITORING SYSTEM, END TERMINAL AND VEHICLE MONITORING PROCEDURE
US9288446B2 (en) * 2012-09-10 2016-03-15 Nissan North America, Inc. Vehicle video system
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450352B2 (en) 2018-05-29 2022-09-20 Sony Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
DE112014006149T5 (de) 2016-09-29
US10475242B2 (en) 2019-11-12
JPWO2015104860A1 (ja) 2017-03-23
US20160350974A1 (en) 2016-12-01
WO2015104860A1 (ja) 2015-07-16

Similar Documents

Publication Publication Date Title
JP6380410B2 (ja) 画像表示制御装置および画像表示システム
JP6056612B2 (ja) 画像表示制御装置および画像表示システム
JP6446925B2 (ja) 画像表示制御装置および画像表示システム
US11657618B2 (en) Display apparatus
JP6565148B2 (ja) 画像表示制御装置および画像表示システム
JP6364702B2 (ja) 画像表示制御装置、画像表示システム、および表示ユニット
JP6507626B2 (ja) 車両周辺監視装置
JP6096156B2 (ja) 駐車支援装置
US10474898B2 (en) Image processing apparatus for vehicle
JP6413477B2 (ja) 画像表示制御装置および画像表示システム
JP5516988B2 (ja) 駐車支援装置
JP6554866B2 (ja) 画像表示制御装置
JP6876236B2 (ja) 表示制御装置
CN109314770B (zh) 周边监控装置
US11214197B2 (en) Vehicle surrounding area monitoring device, vehicle surrounding area monitoring method, vehicle, and storage medium storing program for the vehicle surrounding area monitoring device
US10807529B2 (en) Driving assistant apparatus with lane marking
JP6601097B2 (ja) 表示制御装置
JP2016060237A (ja) 駐車支援装置及び駐車支援システム
JP2017184013A (ja) 運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180716

R151 Written notification of patent or utility model registration

Ref document number: 6380410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees