JPWO2015104860A1 - 画像表示制御装置および画像表示システム - Google Patents

画像表示制御装置および画像表示システム Download PDF

Info

Publication number
JPWO2015104860A1
JPWO2015104860A1 JP2015556702A JP2015556702A JPWO2015104860A1 JP WO2015104860 A1 JPWO2015104860 A1 JP WO2015104860A1 JP 2015556702 A JP2015556702 A JP 2015556702A JP 2015556702 A JP2015556702 A JP 2015556702A JP WO2015104860 A1 JPWO2015104860 A1 JP WO2015104860A1
Authority
JP
Japan
Prior art keywords
image
vehicle
vehicle body
unit
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015556702A
Other languages
English (en)
Other versions
JP6380410B2 (ja
Inventor
淳邦 橋本
淳邦 橋本
浩一郎 本多
浩一郎 本多
華苗 北村
華苗 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Publication of JPWO2015104860A1 publication Critical patent/JPWO2015104860A1/ja
Application granted granted Critical
Publication of JP6380410B2 publication Critical patent/JP6380410B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

実施形態の画像表示制御装置は、車体に設けられた撮像部で撮像された画像に基づいて車両の後方および側方を示す鏡像を作成する鏡像作成部と、鏡像作成部によって作成された鏡像と車体の少なくとも下部を認識できる線画とを重畳する画像重畳部と、画像重畳部によって鏡像と線画とが重畳された画像が表示されるよう表示装置を制御する表示制御部と、を備える。

Description

本発明の実施形態は、画像表示制御装置および画像表示システムに関する。
従来、車内からの視線でピラーが透けた画像を作成して表示する車両の画像処理装置が知られている。
特開２００３−１９６６４５号公報
この種の装置では、例えば車外との位置関係をより認識しやすい新しい表示形態が得られれば、有意義である。
実施形態の画像表示制御装置は、車体に設けられた撮像部で撮像された画像に基づいて車両の後方および側方を示す鏡像を作成する鏡像作成部と、上記鏡像作成部によって作成された上記鏡像と車体の少なくとも下部を認識できる線画とを重畳する画像重畳部と、上記画像重畳部によって上記鏡像と上記線画とが重畳された画像が表示されるよう表示装置を制御する表示制御部と、を備える。よって、本実施形態によれば、例えば、乗員は、車体の平面的な大きさや、形状、部位等を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画は、少なくとも車体後部の側部かつ下部を認識できる線画である。よって、例えば、乗員は、車体の後側の角部に対する車室外の物体等との相対的な位置を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体の下部の車幅方向の端部を示す第一の部分と、車体の下部の車両前後方向の後端部を示す第二の部分と、が含まれる。よって、例えば、乗員は、車体の下部の車幅方向の端部ならびに車両前後方向の後端部を基準として、車体と車室外の物体等との相対的な位置を認識できる。
また、上記画像表示制御装置では、例えば、上記線画には、車体の側部の車両前後方向の後端部を示す第三の部分が含まれる。よって、例えば、乗員は、車体の側部かつ後部の角部を基準として、車体と車室外の物体との相対的な位置や物体の大きさ等を認識できる。
また、上記画像表示制御装置では、例えば、上記線画には、面密度が異なる複数の線が含まれる。よって、例えば、乗員は、面密度が低い線の部分では、車室外の物体等が見やすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体の側部または後部で車両上下方向に延びた線が含まれる。よって、例えば、乗員は、車体の側部や、後部、角部等を、上下方向に延びた線によって認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体後方に向かうほど幅および間隔のうちいずれか一方が狭くなる表示要素が含まれる。よって、例えば、乗員は、車体の奥行き（車両前後方向の位置）を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体の下部の中心を示す表示要素が含まれる。よって、例えば、乗員は、車体の中心を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体の下部に対応した枠状に描かれた領域が含まれる。よって、例えば、乗員は、車体の下部の平面的な大きさや、形状、部位等を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画には、車体の下部に対応した格子状に描かれた領域が含まれる。よって、例えば、乗員は、車体の下部の平面的な大きさや、形状、部位等を認識しやすい。
また、上記画像表示制御装置では、例えば、上記線画は、立体的なフレーム状である。よって、例えば、乗員は、車体構成要素を基準として、車体と車室外の物体等との相対的な位置や物体の大きさ等を認識しやすい。
また、上記画像表示制御装置では、例えば、上記表示制御部は、車両状態に応じて、上記鏡像と上記線画とが重畳された画像の表示範囲を調整する。よって、例えば、乗員は、車両の周囲や進行する方向の車外の状況をより認識しやすい。
また、上記画像表示制御装置では、例えば、上記表示制御部は、車両状態に応じて、上記線画の表示態様を決定する。よって、例えば、乗員は、車両の周囲や進行する方向の車外の状況をより認識しやすい。
また、実施形態の画像表示制御システムは、例えば、車体に設けられた車両の後方を撮像する第一の撮像部と、車体に設けられた車両の側方を撮像する第二の撮像部と、表示装置と、画像表示制御装置と、を備え、上記画像表示制御装置は、上記第一の撮像部および上記第二の撮像部で撮像された画像に基づいて車両の後方および側方を示す鏡像を作成する鏡像作成部と、上記鏡像と車体の少なくとも下部を認識できる車体画像とを重畳する画像重畳部と、上記画像重畳部によって上記鏡像と上記車体画像とが重畳された画像が表示されるよう上記表示装置を制御する表示制御部と、を有する。よって、本実施形態によれば、例えば、乗員は、車体の平面的な大きさや、形状、部位等を認識しやすい。
図１は、実施形態の画像表示システムの一例の概略構成図である。 図２は、実施形態の画像表示システムの表示装置で表示される画像（出力画像）の一例を示す図である。 図３は、実施形態の画像表示システムの撮像部による撮像範囲の一例の平面図である。 図４は、実施形態の画像表示システムの撮像部による撮像範囲の一例の側面図である。 図５は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の平面図である。 図６は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の側面図である。 図７は、実施形態の画像表示システムで得られる車外画像の全域と表示範囲との一例が示された説明図である。 図８は、実施形態の画像表示システムで得られる車外画像のうち表示範囲の一例が示された図である。 図９は、実施形態の画像表示システムの表示装置で表示される線画の一例が示された図である。 図１０は、実施形態の画像表示システムに含まれる制御部の機能ブロック図の一例である。 図１１は、実施形態の画像表示システムの処理手順の一例が示されたフローチャートである。 図１２は、実施形態の画像表示システムの表示装置で表示される画像（出力画像）の一例であって、車線変更される前の状態での図である。 図１３は、実施形態の画像表示システムの表示装置で表示される画像（出力画像）の一例であって、車線変更されている状態での図である。 図１４は、実施形態の画像表示システムの表示装置で表示される画像（出力画像）の一例であって、車線変更されている状態で車外に物体が検出された場合の図である。 図１５は、駐車時における車両の位置と当該位置での実施形態の画像表示システムの表示装置で表示される画像（出力画像）の一例とが示された概念図であって、駐車が開始される前の状態での図である。 図１６は、駐車時における車両の位置と当該位置での実施形態の画像表示システムの表示装置で表示される画像（出力画像）の一例とが示された概念図であって、車両が駐車目標位置に到達する前の状態での図である。 図１７は、駐車時における車両の位置と当該位置での実施形態の画像表示システムの表示装置で表示される画像（出力画像）の一例とが示された概念図であって、図１６よりも車両が駐車目標位置に近付いた状態での図である。 図１８は、実施形態の画像表示システムの表示装置で表示される線画の別の一例が示された図である。 図１９は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。 図２０は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。 図２１は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。 図２２は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。 図２３は、実施形態の画像表示システムの表示装置で表示される線画のさらに別の一例が示された図である。
以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果（派生的な効果も含む）のうち少なくとも一つを得ることが可能である。
また、以下に開示される複数の実施形態には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。
＜実施形態＞
車両１に装備される画像表示システム１００は、図１に示されるように、表示部１０ａ（表示装置）に表示される画像を制御するＥＣＵ１１（electronic control unit、表示制御部、画像表示制御装置）を備えている。表示部１０ａは、例えば、車室内の前部（かつ上部）に設けられた後方視認用のルームミラー（バックミラー、図示されず）に替えて設けられる。表示部１０ａには、車室内の前部かつ上部に設けられたルームミラーに映る鏡像に似せた画像が表示される。乗員は、表示部１０ａをルームミラーとして、あるいはルームミラーの代わりに用いることができる。
ルームミラーが設けられている車両１の場合、表示部１０ａ（筐体１０）は、例えば、ルームミラーの鏡面を覆うように取付具やアタッチメント等によってルームミラーに装着されうる。表示部１０ａには、車外（車室外）に設けられた撮像部１２で撮像された画像とは左右逆の画像が表示される。表示部１０ａは、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electro-luminescent display）、プロジェクタ装置等として構成されうる。ＥＣＵ１１は、表示部１０ａの筐体１０内に収容されてもよいし、表示部１０ａとは別の場所に設けられた筐体内に収容されてもよい。なお、表示部１０ａの表面側（後側）には、ハーフミラー（図示されず）が設けられてもよい。この場合、画像表示システム１００が使用されず、表示部１０ａに画像が表示されない状態で、当該ハーフミラーがルームミラーとして用いられうる。また、筐体１０には、室内画像を撮像する撮像部１２Ｉ（図３〜６参照）が設けられてもよい。なお、室内画像を撮像する撮像部１２Ｉは、必須ではない。室内画像が用いられる場合には、予め取得され記憶部（例えば、ＳＳＤ１１ｄ等、図１参照）に記憶された室内画像が用いられてもよい。
表示部１０ａの画像（出力画像Ｉｍ）には、例えば、図２に示されるように、車外画像Ｉｍｏ（実線）と車体画像Ｉｍｉ（破線）とが含まれる。車外画像Ｉｍｏは、車外の複数の撮像部１２によって取得された画像から生成されうる。撮像部１２は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。図３〜６に示されるように、撮像部１２には、車体（車両１）の後方（車室外の後部）を撮像する撮像部１２Ｒ（第一の撮像部）と、車体の側部（車室外の側部）を撮像する撮像部１２Ｓ（第二の撮像部）と、が含まれうる。撮像部１２Ｒ，１２Ｓは、それぞれ、車体の後方および側方を撮像してもよい。撮像部１２は、広角レンズ（魚眼レンズ）であってもよい。ＥＣＵ１１は、複数の撮像部１２で取得された画像を公知の技術で合成して（結合して、繋ぎ合わせて）一連の車外画像Ｉｍｏ（パノラマ画像、図７参照）を得ることができる。本実施形態では、例えば、表示部１０ａで比較的広い範囲での各位置について車外画像Ｉｍｏを表示することができるよう、車外の複数の撮像部１２によって、車両１の後方かつ側方の比較的広い範囲が撮像される。そして、広い範囲の一部（図８参照）が、合成画像（出力画像Ｉｍ）に用いられる。図３，４の例では、車外の撮像部１２は、車両１（車体）の両側部（例えば、左右のドアミラー）のそれぞれに設けられるとともに、車両１の後端部１ｂに設けられる。また、図５，６の例では、車外の撮像部１２は、車両１の後端部１ｂの両側部（例えば、車両１の後方側の角部の比較的上方）のそれぞれに設けられるとともに、車両１の後端部１ｂに設けられる。また、複数の撮像部１２のそれぞれの撮像範囲を上下に異ならせることができる。なお、車外画像Ｉｍｏが一つの撮像部１２が撮像した画像またはその一部に基づく画像であってもよいことは、勿論である。また、図２等では、図面中で車外画像Ｉｍｏと区別するため、便宜上、車体画像Ｉｍｉが破線で示されている。実際の車体画像Ｉｍｉは、破線には限定されない。
車体画像Ｉｍｉには、図２，９に例示されるように、車体の構造を示す立体的なフレーム状に描かれた輪郭線Ｌｏ（表示要素）が含まれる。輪郭線Ｌｏによって示される構造（車体構成要素）は、例えば、車体の角部、縁部、窓、ピラー、ドア、床、天井、トリム、車輪、車軸、ディファレンシャルギヤ等である。車体画像Ｉｍｉは、乗員（運転者）が車体（車両１）の位置や形状を大まかに認識できるものであればよく、必ずしも車体形状そのものでなくてもよい。車体画像Ｉｍｉは、模式化されたものであってもよい。
表示部１０ａに、車外画像Ｉｍｏとともに車体画像Ｉｍｉが表示されることで、乗員は、車体（車両１）と車外の物体Ｂ（図２，１４参照）との相対的な位置（距離や方向等）や、物体Ｂの大きさ等を認識しやすい。さらに、車体画像Ｉｍｉには、図２，９に示されるように、車体（車両１）の車幅方向の端部を示す部分Ｐｗ、車体の後端部を示す部分Ｐｒ、ならびに車体の下部を示す部分Ｐｂが、含まれる。さらに、車体画像Ｉｍｉには、車体の下部の車幅方向の端部を示す部分Ｐｂｗ（第一の部分）や、車体の下部の車両前後方向の後端部を示す部分Ｐｂｒ（第二の部分）、車体の側部の車両前後方向の後端部を示す部分Ｐｓｒ（第三の部分）等が、含まれる。それぞれの特徴により、乗員（運転者）は、車外画像Ｉｍｏに画像が含まれる物体Ｂと車体との距離や、方向、物体Ｂの大きさ等を、認識しやすい。また、車体画像Ｉｍｉは、車体の少なくとも下部が平面的（二次元的）に認識できるよう作成されている。よって、乗員は、例えば、車体の平面的な大きさや、形状、部位等を認識しやすい。また、乗員は、例えば、車体画像Ｉｍｉを基準として、車室外の物体Ｂとの水平方向の位置関係等を認識しやすい。また、乗員は、例えば、車室外の物体Ｂの高さを認識しやすい。
車体画像Ｉｍｉは、図２，９に示されるように、線画（線図）である。線画に含まれる線（表示要素）は、種々の表示態様を有することができる。表示態様としては、例えば、種類、面密度、幅（太さ）、濃度、透過度、色、模様等がある。種類には、例えば、実線や、破線、一点鎖線、二点鎖線、折れ線、ギザギザ線、波線等がある。面密度は、画面（画像）の単位面積あたりの密度である。例えば、同じ太さの場合、実線の面密度が破線の面密度よりも大きい。また、線画には、局所的に表示態様の異なる複数の線が含まれうる。また、線画には、部分的に、点や、記号、文字、図形等も含まれうる。これらの線画（線図）の表示態様は、車両状態（例えば、走行状態、操作状態）によって調整（変更）されうる。
車体画像Ｉｍｉは、不揮発性の記憶部（例えば、ＳＳＤ１１ｄ等、図１参照）に予め記憶されている。記憶部には、複数の車種毎の車体画像Ｉｍｉが記憶されうる。この場合、合成画像には、例えば車両１の車種や使用者の嗜好等に応じて選択された車体画像Ｉｍｉが用いられる。また、ＥＣＵ１１は、キャリブレーション等の設定作業における操作入力部１０ｂにおける入力指示（操作）等に基づいて、車体画像Ｉｍｉを変形することができる。具体的には、例えば、車体画像Ｉｍｉは、上側に向かうほど左右に引き延ばされたり、上下に引き延ばされたり、上下左右の位置を変更されたり、というように、変形されたり、位置が変更されたりする。この場合、変更された車体画像Ｉｍｉが記憶部に記憶され、合成画像には、当該変更された車体画像Ｉｍｉが用いられる。
ＥＣＵ１１は、図１３，１４に示されるように、車体画像Ｉｍｉの透過度α（合成比率）を変更することができる。図１３には濃い車体画像Ｉｍｉを含む合成画像（出力画像Ｉｍ）が示され、図１４には図１３よりも薄い車体画像Ｉｍｉを含む合成画像（出力画像Ｉｍ）が示されている。比較的簡単な例では、車外画像Ｉｍｏと車体画像Ｉｍｉとが互いに位置合わせされた状態での各点について、車体画像Ｉｍｉの輝度がｘ１、車外画像Ｉｍｏの輝度がｘ２、透過度がα（０≦α≦１）である場合に、当該各点での重ね合わせた合成画像の輝度ｘは、ｘ＝（１−α）×ｘ１＋α×ｘ２であることができる。なお、透過度αは、任意の値に設定することができる。
ＥＣＵ１１は、合成画像（出力画像Ｉｍ，車外画像Ｉｍｏ）の表示範囲Ａｄを変更することができる。例えば、図７に示されるように、ＥＣＵ１１は、撮像部１２から取得された比較的広い範囲の車外画像Ｉｍｏから、その表示範囲Ａｄを決定（移動）することができる。
また、ＥＣＵ１１は、車両１の状況に応じて、表示範囲Ａｄを変更することができる。ＥＣＵ１１は、表示範囲Ａｄを変更するトリガ（信号、データ）として、各種のセンサの検出結果を用いることができる。具体的には、例えば、ＥＣＵ１１は、図１に示される非接触計測装置１３や、舵角センサ１４（前輪用）、後輪操舵システム１５の舵角センサ１５ａ、ＧＰＳ１６（global positioning system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、前輪操舵システム２０のトルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ（モニタ装置２４）等の指示信号（制御信号、切替信号、操作信号、入力信号、データ）、物体検出部１１１（図１０参照）の検出結果、車両位置取得部１１３（図１０参照）によって取得された車両１の位置等、に応じて、透過度αや表示範囲Ａｄを変更することができる。図１に示されるように、画像表示システム１００に含まれる電気部品（すなわち、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、操作入力部２４ｂ等）は、例えば、車内ネットワーク２３（例えばＣＡＮ（controller area network））を介して電気的に接続されうる。なお、各電気部品は、ＣＡＮ以外を介して電気的に接続されてもよい。
非接触計測装置１３（測距部、物体検出装置）は、例えば、超音波や電波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）やレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された物体Ｂ（障害物、図２，１４参照）の有無や距離を測定することができる。すなわち、非接触計測装置１３は、物体検出部の一例である。
舵角センサ１４は、操舵部（例えばステアリングホイール、図示されず）の操舵量（回動角度）を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪２Ｒ（図４参照）の操舵量（回動角度）を検出するセンサであり、例えば、ホール素子などを用いて構成される。
車輪速センサ１７は、車輪２（図４参照、前輪２Ｆまたは後輪２Ｒ）の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。
ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ（図示されず）を介して、車輪２（車両１）に制動力を与える。ブレーキセンサ１８ａは、ブレーキペダルの操作量を検出するセンサである。
アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部（レバーや、アーム、ボタン等、図示されず）の位置を検出するセンサ（スイッチ）であり、変位センサなどを用いて構成される。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定（変更）することができる。方向指示器２２は、方向指示用のライトの点灯（点滅）を指示する信号を出力する。
また、表示部１０ａは、透明な操作入力部１０ｂ（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０ｂを介して表示部１０ａの表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示部１０ａの表示画面に表示される映像（画像）に対応した位置にて手指等で操作入力部１０ｂを触れたり押したり動かしたりして操作することで、画像表示システム１００における種々の操作入力（指示入力）を実行することができる。
また、車内には、表示部１０ａとは別の表示部２４ａや、音声出力装置２４ｃが設けられている。表示部２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示部２４ａは、透明な操作入力部２４ｂ（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部２４ｂを介して表示部２４ａの表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示部２４ａの表示画面に表示される映像（画像）に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。そして、これら表示部２４ａや、操作入力部２４ｂ、音声出力装置２４ｃ等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置２４に設けられている。モニタ装置２４は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、モニタ装置２４の表示部２４ａに、表示部１０ａと同様の画像を表示させることができる。
ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central processing unit）や、ＲＯＭ１１ｂ（read only memory）、ＲＡＭ１１ｃ（random access memory）、ＳＳＤ１１ｄ（solid state drive、フラッシュメモリ）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部１２で得られた画像データを用いた画像処理や、表示部１０ａ，２４ａで表示される画像データの画像処理（例えば合成等）等を実行する。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行する。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。
また、本実施形態では、例えば、表示部１０ａには、ＥＣＵ１１の画像処理によって、ルームミラーの鏡像（写像）に対応した（似せた、適合した、マッチした、位置合わせされた）出力画像Ｉｍが表示される。この場合、車外画像Ｉｍｏ（複数が合成された画像も含む）からルームミラーの写像に対応した出力画像Ｉｍへの座標変換を行う関数（変換式や、変換行列等）や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり（撮像によるキャリブレーションを行ったり）、幾何学的な演算を行ったりすることによって、得ることができる。また、車体画像Ｉｍｉの合成位置（出力位置）や、大きさ、形状等も、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり（撮像によるキャリブレーションを行ったり）、幾何学的な演算を行ったりすることによって、得ることができる。
また、本実施形態では、例えば、ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像表示制御装置の少なくとも一部として機能（動作）する。すなわち、本実施形態では、例えば、図１０に示されるように、ＥＣＵ１１は、表示制御部１１ｅ（図１参照）ならびに音声制御部１１ｆ（図１参照）の他、車外画像作成部１１０や、物体検出部１１１、画像作成部１１２、車両位置取得部１１３、表示態様変更部１１４、表示範囲決定部１１５、追加画像作成部１１６等として機能（動作）する。なお、プログラムには、例えば、図１０に示される各ブロックに対応したモジュールが含まれうる。また、画像処理は、表示制御部１１ｅの他、ＣＰＵ１１ａでも実行されうる。車外画像作成部１１０は、鏡像作成部の一例であり、画像作成部１１２は、画像重畳部の一例である。
車外画像作成部１１０は、例えば、車外の撮像部１２で撮像された複数（本実施形態では、例えば三つ）の画像を、それらの境界部分を重なり合わせる（合成する）ことで繋ぎ、一連の車外画像Ｉｍｏ（パノラマ画像）を作成する。この際、車外画像作成部１１０は、撮像部１２で撮像された画像または合成された画像を座標変換等することで、乗員（使用者、運転者）の視線によるルームミラーの鏡像（写像）に似せた車外画像Ｉｍｏを作成する。なお、位置合わせに関しては、撮像部１２から得られた車外画像Ｉｍｏの座標は、予め取得された実験結果等を元に、車体画像Ｉｍｉと対応する座標に変換される。また、車外画像Ｉｍｏにおける物体Ｂの画像Ｉｍｂの大きさ等については、非接触計測装置１３による物体Ｂまでの距離の測定結果を用いて補正することができる。なお、車外画像Ｉｍｏは、視認する乗員（運転者）にとって違和感が少ない（無い）ものであれば良く、ルームミラーが設けられた場合の鏡像と完全に位置合わせされている必要は無い。
物体検出部１１１は、例えば、車外画像Ｉｍｏ（例えば、車外画像作成部１１０で作成された車外画像Ｉｍｏ）を画像処理することにより、車外の物体Ｂ（車両や、人等）を検出する。物体Ｂの検出に際しては、パターンマッチング等が用いられうる。また、物体検出部１１１は、非接触計測装置１３から得られたデータから、車外の物体Ｂを検出することができるし、車外画像Ｉｍｏを画像処理した結果と非接触計測装置１３から得られたデータとから、車外の物体Ｂを検出することができる。また、物体検出部１１１は、車外画像Ｉｍｏを画像処理した結果あるいは非接触計測装置１３から得られたデータから、車両１から物体Ｂまでの距離を取得することもできる。
画像作成部１１２は、車体画像Ｉｍｉと車外画像Ｉｍｏとが重ね合わせられた合成画像を含む出力画像Ｉｍを、少なくとも表示部１０ａで表示される表示範囲Ａｄについて作成する。なお、画像作成部１１２は、さらに、車室内を撮像する撮像部１２Ｉ（図３〜６等参照）に基づく室内画像（画像、車体画像）を合成してもよい。この場合、例えば、画像処理により窓の部分がくり抜かれた室内画像が、透過画像として重畳されうる。
車両位置取得部１１３は、例えば、ＧＰＳ１６からのデータや、非接触計測装置１３の検出結果、車輪速センサ１７によって検出された車輪速、舵角センサ１４，１５ａによって検出された舵角、撮像部１２が取得した車外画像Ｉｍｏの画像処理結果等から、車両１の位置を取得することができる。
表示態様変更部１１４は、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１１の検出結果、車両位置取得部１１３によって取得された車両１の位置等の車両状態を示す情報に応じて、車体画像Ｉｍｉおよび車外画像Ｉｍｏのうち少なくとも一方の表示態様を変更することができる。表示態様変更部１１４は、例えば、車体画像Ｉｍｉの透過率αや、明るさ（輝度）、色等を変更することができる。また、合成画像に室内画像が含まれる場合、表示態様変更部１１４は、室内画像の透過度等を変更することができる。
表示範囲決定部１１５は、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１１の検出結果、車両位置取得部１１３によって取得された車両１の位置等に応じて、表示範囲Ａｄを変更することができる。
追加画像作成部１１６は、例えば、出力画像Ｉｍに、追加画像Ｉｍａ（例えば、物体検出部１１１によって検出された物体の強調表示（例えば、枠等）や、車線や駐車枠等の線の表示（例えば、線等）など、人工的な画像）を追加することができる。
本実施形態にかかる画像表示システム１００は、例えば、図１１に示されるような手順で処理を実行することができる。まず、ＥＣＵ１１は、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１１の検出結果、車両位置取得部１１３によって取得された車両１の位置等を取得して、それぞれの参照値と比較して、表示範囲Ａｄを変更する条件を満たすか否かを判断する（Ｓ１）。表示範囲Ａｄを変更する条件が満たされる場合、ＥＣＵ１１は、表示範囲決定部１１５として機能し、表示範囲Ａｄを当該条件に応じた位置や広さに変更する（Ｓ２）。次に、ＥＣＵ１１は、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１１の検出結果等の車両状態を示す情報を取得して、それぞれの参照値と比較して、表示態様を変更する条件を満たすか否かを判断する（Ｓ３）。表示態様を変更する条件が満たされる場合、ＥＣＵ１１は、表示態様変更部１１４として機能し、当該条件に応じた表示態様に変更する（Ｓ４）。なお、Ｓ４の例については、後述する。そして、ＥＣＵ１１は、車外画像作成部１１０や、物体検出部１１１等として機能するとともに、画像作成部１１２として機能し、設定（変更）された表示態様ならびに表示範囲Ａｄに対応する出力画像Ｉｍを作成する（Ｓ５）。なお、Ｓ５では、追加画像を含む出力画像Ｉｍを作成することができる。そして、表示制御部１１ｅは、作成された出力画像Ｉｍが表示されるよう、表示部１０ａを制御する（Ｓ６）。
本実施形態では、車体画像Ｉｍｉには、図２，９に示されるように、車体（車両１）の下部（床部、下端部）に対応した、複数の車両前後方向に沿った（対応した）線Ｌｌ、複数の車幅方向に沿った（対応した）線Ｌｗ、車幅方向の特定位置（例えば中央部）を通る車両前後方向に沿った（対応した）線Ｌｃｌ、および車両前後方向の特定位置（例えば後側ピラーまたは後輪の位置）を通る車幅方向に沿った（対応した）線Ｌｓｗが含まれている。また、線Ｌｌと線Ｌｗとは、枠状あるいは格子状（グリッド状）に配置され、車体の下部に対応した表示領域Ａｂが形成されている。また、線Ｌｃｌ，Ｌｓｗの表示態様は、他の線Ｌｌ，Ｌｗの表示態様とは異なる。具体的には、線Ｌｃｌ，Ｌｓｗの幅（太さ）が線Ｌｌ，Ｌｗの幅より大きく、線Ｌｃｌ，Ｌｓｗの輝度が線Ｌｌ，Ｌｗの輝度より高い。また、車体画像Ｉｍｉには、車体の側端部（側部）または後端部（後部）に、車両上下方向に沿った（対応した）線Ｌｖ（部分Ｐｓｒ）が含まれている。また、車体画像Ｉｍｉには、車両後方に向かうほど間隔が狭くなる複数の表示要素（図９の例では複数の線Ｌｌ，Ｌｗ）が含まれている。それぞれの特徴により、乗員（運転者）は、例えば、車体の床の位置を認識しやすい。また、乗員は、例えば、車体の車両前後方向の位置や、車体の車幅方向の位置を認識しやすい。また、乗員は、例えば、車体の下部に対応した高さで車両前後方向の位置や車幅方向の位置を認識できるため、他の高さ位置に線Ｌｃｌ，Ｌｓｗが設けられた場合に比べて、物体Ｂの車両前後方向または車幅方向の位置をより精度良く認識しやすい。また、乗員は、例えば、車体の車両上下方向の位置を認識しやすい。よって、乗員は、例えば、物体Ｂとの相対的な位置や、物体Ｂの大きさ等をより精度良くあるいはより容易に認識しやすい。線Ｌｌ，Ｌｗ，Ｌｃｌ，Ｌｓｗ，Ｌｖは、表示要素の一例である。表示領域Ａｂは、領域の一例である。また、線Ｌｌ，Ｌｗ，Ｌｃｌ，Ｌｓｗ，Ｌｖや表示領域Ａｂは、スケールの一例である。なお、線Ｌｖは、鉛直方向に延びている必要は無く、鉛直方向に対して傾斜していてもよい。また、複数の線（例えば線Ｌｖ等）が、他の線（例えば線Ｌｌ，Ｌｗ等）に沿って目盛りのように間隔をあけて配置されてもよい。
図１２，１３には、例えば、車両１が左側のレーンに車線変更を行う場合の出力画像Ｉｍ（表示部１０ａで表示される画像）が示されている。図１２では、車両１は直進状態にあるが、この状態では、出力画像Ｉｍは、表示範囲Ａｄが狭く、後方にほぼ真っ直ぐ向いており、車体画像Ｉｍｉの透過度αは０（ゼロ）である。表示態様変更部１１４および表示範囲決定部１１５は、車両１の車線変更動作時に各部で得られる検出結果や、信号、データ等を車両状態を示す情報として取得し、それらが予め設定された条件を満たす場合に、透過度αならびに表示範囲Ａｄを変更する。図１３では、例えば、車両状態を示す情報として、方向指示器２２の左側方向への移動を指示する信号（運転者による運転操作に伴って得られた信号）や、車両１の車線変更に対応した各部（例えば、舵角センサ１４，１５ａ、車輪速センサ１７、トルクセンサ２０ａ等）の値（例えば、各車輪２の操舵角や、車両１の位置、車両１の速度等）が得られた場合に、表示範囲決定部１１５は、出力画像Ｉｍの表示範囲Ａｄを横に（左右方向）に拡大（調整）するとともに、表示範囲Ａｄを移動するレーンの方向（方向指示器で指示された方向、左側）にスライドして（動かして、調整して）いる。よって、本実施形態によれば、例えば、運転者は、車両１の周囲や進行する方向の車外の状況をより認識しやすい。さらに、図１３では、表示態様変更部１１４は、車体画像Ｉｍｉの透過度αを高めて例えば０．６程度とする。よって、本実施形態によれば、例えば、運転者は、車体画像Ｉｍｉがより透けて見えやすくなるため、車両１の周囲や進行する方向の車外の状況をより一層認識しやすい。また、図１４に示されるように、物体検出部１１１で車両１の左側後方の所定距離以内に接近する物体Ｂ（車両）が検出された場合には、表示範囲決定部１１５は、例えば、当該物体Ｂの画像Ｉｍｂが含まれるように表示範囲Ａｄを決定（調整）することができる。また、図１４の場合、表示態様変更部１１４は、例えば、物体Ｂが検出されなかった場合より透過度αを高く設定することができる。これにより、運転者は、物体Ｂを視認しやすいとともに、物体Ｂの車両１からの距離や相対位置を認識しやすい。さらに、図１４では、例えば、追加画像作成部１１６は、検出された物体Ｂの画像Ｉｍｂに、当該画像Ｉｍｂを取り囲む枠状の強調表示Ｉｍｆ１を追加するとともに、路面の車線Ｌの画像Ｉｍｌに、当該画像Ｉｍｌと重なった帯状の強調表示Ｉｍｆ２を追加する。よって、本実施形態によれば、例えば、運転者は、車両１の周囲や、進行する方向の車外の状況、物体Ｂ等を、より一層視認しやすい。なお、上述した制御は、逆方向（右方向）へ車線変更する場合にも同様に実施可能である。
図１５〜１７には、例えば、車両１が左側に旋回しながら到達予想位置まで後進する駐車（所謂車庫入れ）を行う場合の出力画像Ｉｍ（表示部１０ａで表示される画像）が示されている。図１５では、車両１は直進状態にあるが、この状態では、出力画像Ｉｍは、表示範囲Ａｄが狭く、後方にほぼ真っ直ぐ向いており、車体画像Ｉｍｉの透過度αは０（ゼロ）である。表示態様変更部１１４および表示範囲決定部１１５は、車両１の駐車動作時に各部で得られる検出結果や、信号、データ等を車両状態を示す情報として取得し、それらが予め設定された条件を満たす場合に、透過度αならびに表示範囲Ａｄを変更する。図１５では、例えば、車両状態を示す情報として、シフトセンサ２１からのリバース（バック）モードが選択された信号（運転者による運転操作に伴って得られた信号）や、車両１の旋回しながらの所定速度以下での後進に対応した各部（例えば、舵角センサ１４，１５ａ、車輪速センサ１７、トルクセンサ２０ａ等）の値（例えば、各車輪２の操舵角や、車両１の位置、車両１の速度等）が得られた場合に、表示範囲決定部１１５は、出力画像Ｉｍの表示範囲Ａｄを横（左右方向）に拡大（調整）するとともに、表示範囲Ａｄを旋回する方向（左側）にスライドして（動かして、調整して）いる。よって、本実施形態によれば、例えば、運転者は、車両１の周囲や進行する方向の車外の状況をより認識しやすい。さらに、図１６では、表示態様変更部１１４は、車体画像Ｉｍｉの透過度αを高めて例えば０．６程度とする。よって、本実施形態によれば、例えば、運転者は、車両１のピラーや、ルーフ、シート、トリム等の構造物が透けるため、車両１の周囲や進行する方向の車外の状況をより一層認識しやすい。また、図１６では、例えば、追加画像作成部１１６は、検出された物体Ｂの画像Ｉｍｂに、当該画像Ｉｍｂを取り囲む枠状の強調表示Ｉｍｆ１を追加し、路面の枠線Ｌの画像Ｉｍｌに、当該画像Ｉｍｌと重なった帯状の強調表示Ｉｍｆ２を追加し、現在位置から所定距離（経路長）後方に離間した到達予想位置（例えば、駐車目標位置Ｐや、駐車目標位置Ｐに到達するまでの中途位置等）を示す画像Ｉｍｆ３を追加し、さらに、到達予想位置や舵角等から予想される移動経路を示す線状の画像Ｉｍｆ４を追加している。画像Ｉｍｆ３，Ｉｍｆ４は、車体の下部に対応した表示領域Ａｂに対応する。例えば、画像Ｉｍｆ３，Ｉｍｆ４の外縁の一部（例えば側縁）は、到達予想位置での表示領域Ａｂの外縁の一部（例えば側縁）と一致するように、描画されうる。あるいは、表示領域Ａｂの両側縁を示す二本の線、ならびに画像Ｉｍｆ３，Ｉｍｆ４の両側縁を示す二本の線は、それぞれ、車両１の所定の車幅方向中心位置（例えば、両後輪３Ｒ間の中央位置）の路面での移動予想線からの等距離線（平行曲線）を示す線であってもよい。本実施形態によれば、例えば、運転者は、車両１の周囲や、進行する方向の車外の状況、駐車目標位置Ｐ、到達予想位置（今後の移動経路）等を、より認識しやすい。また、本実施形態によれば、例えば、運転者は、表示領域Ａｂを含む車体画像Ｉｍｉと、表示領域Ａｂに対応した画像Ｉｍｆ３，Ｉｍｆ４とによって、予想される車両１の移動経路を把握しやすい。さらに、図１７では、車両１は駐車目標位置Ｐ（駐車における最終的な到達予想位置）に接近した状態にあるが、この状態では、表示態様変更部１１４は、例えば、第二領域Ａ２での透過度αをさらに高めて例えば１とする。よって、本実施形態によれば、例えば、運転者は、車体画像Ｉｍｉが完全に透けて、周囲の物体Ｂ（障害物、車両、人など）の画像Ｉｍｂをより一層視認しやすくなるとともに、車両１と当該車両１の周囲の障害物（物体Ｂ）や駐車目標位置Ｐとの距離や相対位置を認識しやすい。また、本実施形態では、例えば、車外画像Ｉｍｏに車両１の車体の一部（図１７の例ではバンパ）が含まれるように撮像しているため、透過度αが１となった場合にあっても、運転者は、車両１と当該車両１の周囲の障害物（物体Ｂ）や駐車目標位置Ｐとの距離や相対的な位置関係をより一層認識しやすい。なお、上述した制御は、逆方向（右方向）に旋回しながら駐車する場合にも同様に実施可能である。
以上、説明したように、本実施形態では、車外画像作成部１１０（鏡像作成部）は、撮像部１２で撮像された画像に基づいて車両１の後方および側方を示す鏡像を作成する。また、画像作成部１１２（画像重畳部）は、車外画像作成部１１０で作成された鏡像と、少なくとも車体の下部を認識できる車体画像Ｉｍｉ（線画）と、を重畳する。よって、本実施形態によれば、乗員は、ルームミラーでは見えない死角の光景を見ることができる。また、例えば、車体画像Ｉｍｉが線画であり、細いため、乗員が車外画像Ｉｍｏによって車外の光景を認識する場合に、車体画像Ｉｍｉが支障となり難い。また、車体画像Ｉｍｉには、車体の下部が認識できる画像が含まれている。よって、乗員は、例えば、車体の平面的な大きさや、形状、部位等を認識しやすい。また、乗員は、例えば、車体画像Ｉｍｉを基準として、車室外の物体Ｂとの水平方向の位置関係等を認識しやすい。また、乗員は、例えば、車室外の物体Ｂの高さを認識しやすい。また、本実施形態では、車体画像Ｉｍｉは、少なくとも車体後部の側部かつ下部を認識できる線画である。よって、乗員は、例えば、車体の後側の角部に対する車室外の物体Ｂや車線Ｌ等との相対的な位置を認識しやすい。
また、本実施形態では、車体画像Ｉｍｉには、車体の下部の車幅方向の端部を示す部分Ｐｂｗ（第一の部分）と、車体の下部の車両前後方向の後端部を示す部分Ｐｂｒ（第二の部分）と、が含まれる。よって、乗員は、例えば、車体の下部の車幅方向の端部ならびに車両前後方向の後端部を基準として、車体と車室外の物体Ｂ等との相対的な位置を認識できる。また、本実施形態では、車体画像Ｉｍｉには、車体の側部の車両前後方向の後端部を示す部分Ｐｓｒ（第三の部分）が含まれる。よって、乗員は、例えば、車体の側部かつ後部の角部を基準として、車体と物体Ｂとの相対的な位置や物体の大きさ等を認識できる。また、本実施形態では、線Ｌｖ（部分Ｐｓｒ）は、車両上下方向に延びている。よって、乗員は、例えば、車体の側部や、後部、角部等を認識しやすい。また、乗員は、例えば、車体と車室外の物体Ｂ等との相対的な位置や物体の大きさ等を認識しやすい。
また、本実施形態では、車体画像Ｉｍｉには、車両後方に向かうほど間隔が狭くなる複数の線Ｌｌ，Ｌｗ（表示要素）が含まれる。よって、乗員は、例えば、車体の奥行き（車両前後方向の位置）を認識しやすい。また、本実施形態では、車体画像Ｉｍｉには、車体の下部の中心を示す表示要素が含まれる。よって、乗員は、例えば、車体の中心を認識しやすい。また、本実施形態では、車体画像Ｉｍｉには、車体の下部に対応した枠状あるいは格子状に描かれた領域Ａｂが含まれる。よって、乗員は、例えば、車体の下部の平面的な大きさや、形状、部位等を認識しやすい。また、本実施形態では、車体画像Ｉｍｉは、立体的なフレーム状に描かれている。また、本実施形態では、車体画像Ｉｍｉには、車体構成要素に対応した輪郭線Ｌｏ（表示要素）が含まれている。よって、乗員は、例えば、車体構成要素を基準として、車体と車室外の物体Ｂ等との相対的な位置や物体の大きさ等を認識しやすい。
＜車体画像（線画）の変形例＞
図１８〜２２には、車体画像Ｉｍｉの変形例が示されている。図１８，１９の例では、面密度が異なる複数の線が含まれている。具体的には、車体（車両１）の後部や、下部、角部等に対応した部分（部分Ｐｂｒ，Ｐｓｒを含む）の線Ｌｌ，Ｌｗ，Ｌｖの面密度が、他の部分の面密度よりも低い。具体的には、後部の線Ｌｌ，Ｌｗ，Ｌｖ等は破線で、他の部分は実線である。これにより、乗員は、例えば、面密度が低い線の部分では、車室外の物体Ｂ等が見やすくなる。他の部分よりも細い線が用いられたり、薄い線が用いられたり、間隔の広い破線が用いられたりしたような場合も、同様の効果が得られる。なお、図１９の例では、線の中に点Ｐが含まれている。点Ｐが用いられた場合も、同様の効果が得られる。
図２０は、車体の下部に対応した表示領域Ａｂが、格子状では無く、四角形の枠状に構成されている。図２１では、表示領域Ａｂの外周部分（縁部）の幅が、他の部分の幅よりも太い。また、図２２では、表示領域Ａｂが、比較的幅が太い線による骨組み状である。このような車体画像Ｉｍｉによっても、上記実施形態と同様の効果が得られる。図２１，２２では、線Ｌｌ，Ｌｗ（表示要素）の幅が車体の後部に向かうほど細い。よって、乗員は、当該線の幅によって、奥行きを認識しやすい。また、図２２の例では、車体の下部の車幅方向の端部を示す部分Ｐｂｗ（第一の部分）が、少なくとも一つの（図２２では複数の）線Ｌｗの端部である。このような表示態様、すなわち線の端部によっても、乗員は、車幅方向の端部や車両前後方向の端部を認識できる。また、図２３の例では、車体の側部の車両前後方向の後端部（角部）Ｐｃには、表示要素が無い。このような表示態様においても、乗員は、他の複数の線Ｌｌ，Ｌｗ，Ｌｖ等から、特定の部位を認識（推定）することができる。表示要素が無い分、乗員は、車室外の物体Ｂ等を認識しやすい。
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。これら実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、実施形態や変形例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等）は、適宜に変更して実施することができる。
表示部１０ａは、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内の前部のダッシュボード（コックピットモジュール、インストルメントパネル、フェイシア、図示されず）やセンターコンソール等に設けられた表示パネルであってもよい。
また、運転者の運転操作に伴って得られる信号は、上述した方向指示器２２ならびにシフトレバー以外の、例えば、ステアリングホイールや、シフトスイッチ、ブレーキペダル、クラッチペダル、アクセルペダル等の運転操作を行う操作部に対する操作に伴って得られる信号であってもよい。また、操作部の操作に対する表示態様の変更（変化、調整）は、種々に設定することができる。例えば、ブレーキペダルの操作に応じて、表示態様を変更（調整）したり（例えば、透過度αを高めたり）、表示範囲Ａｄを拡大したりすることができる。
１…車両（車体）、１０ａ…表示部（表示装置）、１１…ＥＣＵ（画像表示制御装置）、１１ｅ…表示制御部、１２…撮像部、１２Ｒ…撮像部（第一の撮像部）、１２Ｓ…撮像部（第二の撮像部）、１００…画像表示システム、１１０…車外画像作成部（鏡像作成部）、１１２…画像作成部（画像重畳部）、Ａｂ…表示領域（領域）、Ｉｍｉ…車体画像（線画）、Ｌｃｌ…線（表示要素）、Ｌｏ…輪郭線（表示要素）、Ｐｂｗ…部分（第一の部分）、Ｐｂｒ…部分（第二の部分）、Ｐｓｒ…部分（第三の部分）。

Claims (14)

  1. 車体に設けられた撮像部で撮像された画像に基づいて車両の後方および側方を示す鏡像を作成する鏡像作成部と、
    前記鏡像作成部によって作成された前記鏡像と車体の少なくとも下部を認識できる線画とを重畳する画像重畳部と、
    前記画像重畳部によって前記鏡像と前記線画とが重畳された画像が表示されるよう表示装置を制御する表示制御部と、
    を備えた、画像表示制御装置。
  2. 前記線画は、少なくとも車体後部の側部かつ下部を認識できる線画である、請求項１に記載の画像表示制御装置。
  3. 前記線画には、車体の下部の車幅方向の端部を示す第一の部分と、車体の下部の車両前後方向の後端部を示す第二の部分と、が含まれる、請求項１または２に記載の画像表示制御装置。
  4. 前記線画には、車体の側部の車両前後方向の後端部を示す第三の部分が含まれる、請求項１〜３のうちいずれか一つに記載の画像表示制御装置。
  5. 前記線画には、面密度が異なる複数の線が含まれる、請求項１〜４のうちいずれか一つに記載の画像表示制御装置。
  6. 前記線画には、車体の側部または後部で車両上下方向に延びた線が含まれる、請求項１〜５のうちいずれか一つに記載の画像表示制御装置。
  7. 前記線画には、車体後方に向かうほど幅および間隔のうちいずれか一方が狭くなる表示要素が含まれる、請求項１〜６のうちいずれか一つに記載の画像表示制御装置。
  8. 前記線画には、車体の下部の中心を示す表示要素が含まれる、請求項１〜７のうちいずれか一つに記載の画像表示制御装置。
  9. 前記線画には、車体の下部に対応した枠状に描かれた領域が含まれる、請求項１〜８のうちいずれか一つに記載の画像表示制御装置。
  10. 前記線画には、車体の下部に対応した格子状に描かれた領域が含まれる、請求項１〜９のうちいずれか一つに記載の画像表示制御装置。
  11. 前記線画は、立体的なフレーム状である、請求項１〜１０のうちいずれか一つに記載の画像表示制御装置。
  12. 前記表示制御部は、車両状態に応じて、前記鏡像と前記線画とが重畳された画像の表示範囲を調整する、請求項１〜１１のうちいずれか一つに記載の画像表示制御装置。
  13. 前記表示制御部は、車両状態に応じて、前記線画の表示態様を決定する、請求項１〜１２のうちいずれか一つに記載の画像表示制御装置。
  14. 車体に設けられた車両の後方を撮像する第一の撮像部と、
    車体に設けられた車両の側方を撮像する第二の撮像部と、
    表示装置と、
    画像表示制御装置と、
    を備え、
    前記画像表示制御装置は、
    前記第一の撮像部および前記第二の撮像部で撮像された画像に基づいて車両の後方および側方を示す鏡像を作成する鏡像作成部と、
    前記鏡像と車体の少なくとも下部を認識できる車体画像とを重畳する画像重畳部と、
    前記画像重畳部によって前記鏡像と前記車体画像とが重畳された画像が表示されるよう前記表示装置を制御する表示制御部と、
    を有した、画像表示システム。
JP2015556702A 2014-01-10 2014-06-20 画像表示制御装置および画像表示システム Expired - Fee Related JP6380410B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014003786 2014-01-10
JP2014003786 2014-01-10
PCT/JP2014/066476 WO2015104860A1 (ja) 2014-01-10 2014-06-20 画像表示制御装置および画像表示システム

Publications (2)

Publication Number Publication Date
JPWO2015104860A1 true JPWO2015104860A1 (ja) 2017-03-23
JP6380410B2 JP6380410B2 (ja) 2018-08-29

Family

ID=53523703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015556702A Expired - Fee Related JP6380410B2 (ja) 2014-01-10 2014-06-20 画像表示制御装置および画像表示システム

Country Status (4)

Country Link
US (1) US10475242B2 (ja)
JP (1) JP6380410B2 (ja)
DE (1) DE112014006149T5 (ja)
WO (1) WO2015104860A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015182457A1 (ja) * 2014-05-29 2015-12-03 株式会社小糸製作所 車両外部監視装置及び撮像装置
KR102066334B1 (ko) * 2015-04-07 2020-01-14 닛산 지도우샤 가부시키가이샤 주차 지원 시스템 및 주차 지원 장치
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
CN105667398B (zh) * 2016-01-04 2018-10-23 京东方科技集团股份有限公司 汽车后视镜的图像显示方法及系统
TWI581991B (zh) * 2016-05-06 2017-05-11 神達電腦股份有限公司 行車資訊顯示方法
EP3468172A1 (en) * 2016-06-02 2019-04-10 Sony Corporation Display control device, display control method, display device, and moving body device
JP6555195B2 (ja) * 2016-06-13 2019-08-07 株式会社デンソー 画像生成装置
JP6365600B2 (ja) * 2016-06-30 2018-08-01 マツダ株式会社 車両用表示装置
JP6876236B2 (ja) * 2016-09-30 2021-05-26 株式会社アイシン 表示制御装置
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
JP2018117320A (ja) 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP6811106B2 (ja) * 2017-01-25 2021-01-13 矢崎総業株式会社 ヘッドアップディスプレイ装置および表示制御方法
JP6846624B2 (ja) * 2017-02-23 2021-03-24 パナソニックＩｐマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
CN110786004B (zh) * 2017-08-25 2021-08-31 本田技研工业株式会社 显示控制装置、显示控制方法及存储介质
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
JP2019054360A (ja) * 2017-09-14 2019-04-04 セイコーエプソン株式会社 電子機器、モーションセンサー、位置変化検出プログラムおよび位置変化検出方法
JP7220979B2 (ja) * 2017-10-10 2023-02-13 マツダ株式会社 車両用表示装置
DE102017221488A1 (de) * 2017-11-30 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
FR3081250B1 (fr) * 2018-05-15 2021-08-13 Renault Sas Procede et dispositif de retro vision par cameras a realite augmentee
US11450352B2 (en) 2018-05-29 2022-09-20 Sony Corporation Image processing apparatus and image processing method
JP7167495B2 (ja) * 2018-06-12 2022-11-09 株式会社アイシン 物体検知装置および物体検知システム
WO2020013052A1 (ja) * 2018-07-13 2020-01-16 日本電気株式会社 運転支援装置、運転支援方法、及びコンピュータ読み取り可能な記録媒体
JP7163732B2 (ja) 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7095584B2 (ja) * 2018-12-12 2022-07-05 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
DE102019204656A1 (de) * 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
EP4025461B1 (en) * 2019-09-04 2023-11-29 Continental Autonomous Mobility US, LLC Transparent trailer articulation view
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
CN111492416A (zh) * 2020-02-12 2020-08-04 深圳市锐明技术股份有限公司 一种违章监控系统及违章监控方法
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021307A (ja) * 2002-06-12 2004-01-22 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005184142A (ja) * 2003-12-16 2005-07-07 Equos Research Co Ltd 車外情報表示装置
JP2006074105A (ja) * 2004-08-31 2006-03-16 Equos Research Co Ltd 車両周辺画像表示装置
JP2009055098A (ja) * 2007-08-23 2009-03-12 Denso Corp 車両用後方撮影表示装置
JP2009100180A (ja) * 2007-10-16 2009-05-07 Denso Corp 車両後方監視装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4364471B2 (ja) 2001-12-28 2009-11-18 株式会社エクォス・リサーチ 車両の画像処理装置
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP4234374B2 (ja) * 2002-08-21 2009-03-04 三菱自動車工業株式会社 駐車支援装置
US8213685B2 (en) * 2007-01-05 2012-07-03 American Traffic Solutions, Inc. Video speed detection system
JP4450036B2 (ja) * 2007-09-10 2010-04-14 トヨタ自動車株式会社 複合画像生成装置、及びプログラム
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
EP2257065B1 (en) * 2008-02-20 2019-04-10 Clarion Co., Ltd. Vehicle peripheral image display system
WO2010122747A1 (ja) * 2009-04-23 2010-10-28 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
CN102714710B (zh) * 2009-12-07 2015-03-04 歌乐牌株式会社 车辆周边图像显示系统
EP2512134B1 (en) * 2009-12-07 2020-02-05 Clarion Co., Ltd. Vehicle periphery monitoring system
JP5505702B2 (ja) * 2010-02-24 2014-05-28 アイシン精機株式会社 車両周辺監視装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
EP2583868B1 (en) * 2010-06-15 2018-06-20 Aisin Seiki Kabushiki Kaisha Drive assist device
JP5251947B2 (ja) * 2010-09-17 2013-07-31 日産自動車株式会社 車両用画像表示装置
WO2013008623A1 (ja) * 2011-07-12 2013-01-17 日産自動車株式会社 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
US9288446B2 (en) * 2012-09-10 2016-03-15 Nissan North America, Inc. Vehicle video system
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021307A (ja) * 2002-06-12 2004-01-22 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005184142A (ja) * 2003-12-16 2005-07-07 Equos Research Co Ltd 車外情報表示装置
JP2006074105A (ja) * 2004-08-31 2006-03-16 Equos Research Co Ltd 車両周辺画像表示装置
JP2009055098A (ja) * 2007-08-23 2009-03-12 Denso Corp 車両用後方撮影表示装置
JP2009100180A (ja) * 2007-10-16 2009-05-07 Denso Corp 車両後方監視装置

Also Published As

Publication number Publication date
US20160350974A1 (en) 2016-12-01
US10475242B2 (en) 2019-11-12
DE112014006149T5 (de) 2016-09-29
WO2015104860A1 (ja) 2015-07-16
JP6380410B2 (ja) 2018-08-29

Similar Documents

Publication Publication Date Title
JP6380410B2 (ja) 画像表示制御装置および画像表示システム
JP6056612B2 (ja) 画像表示制御装置および画像表示システム
JP6446925B2 (ja) 画像表示制御装置および画像表示システム
US11657618B2 (en) Display apparatus
JP6565148B2 (ja) 画像表示制御装置および画像表示システム
JP6364702B2 (ja) 画像表示制御装置、画像表示システム、および表示ユニット
JP6507626B2 (ja) 車両周辺監視装置
US10474898B2 (en) Image processing apparatus for vehicle
JP6413477B2 (ja) 画像表示制御装置および画像表示システム
JP2016060239A (ja) 駐車支援装置
JP5516988B2 (ja) 駐車支援装置
US20190244324A1 (en) Display control apparatus
JP6554866B2 (ja) 画像表示制御装置
JP6876236B2 (ja) 表示制御装置
CN109314770B (zh) 周边监控装置
US11214197B2 (en) Vehicle surrounding area monitoring device, vehicle surrounding area monitoring method, vehicle, and storage medium storing program for the vehicle surrounding area monitoring device
US10807529B2 (en) Driving assistant apparatus with lane marking
JP6601097B2 (ja) 表示制御装置
JP2016060237A (ja) 駐車支援装置及び駐車支援システム
JP2017184013A (ja) 運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180716

R151 Written notification of patent or utility model registration

Ref document number: 6380410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees