JP7314514B2 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
JP7314514B2
JP7314514B2 JP2019011693A JP2019011693A JP7314514B2 JP 7314514 B2 JP7314514 B2 JP 7314514B2 JP 2019011693 A JP2019011693 A JP 2019011693A JP 2019011693 A JP2019011693 A JP 2019011693A JP 7314514 B2 JP7314514 B2 JP 7314514B2
Authority
JP
Japan
Prior art keywords
vehicle
image
vehicle image
display
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019011693A
Other languages
English (en)
Other versions
JP2020120337A (ja
Inventor
欣司 山本
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2019011693A priority Critical patent/JP7314514B2/ja
Priority to US16/751,625 priority patent/US11153510B2/en
Publication of JP2020120337A publication Critical patent/JP2020120337A/ja
Application granted granted Critical
Publication of JP7314514B2 publication Critical patent/JP7314514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、表示制御装置に関する。
車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを利用して車両の周辺の状況を車両の乗員に視覚的に通知する技術について、従来から様々に検討されている。
特許第３３００３３４号公報 特開２０１７－１７５１８２号公報 特許第３９４７３７５号公報 特許第５５２２４９２号公報
上述したような従来の技術においては、たとえば車両が目標位置に向かって移動する場合に、目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することが望まれている。
そこで、本開示の課題の一つは、目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することが可能な表示制御装置を提供することである。
本開示の一例としての表示制御装置は、車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを取得する画像データ取得部と、車両が目標位置に向かって移動する場合に、画像データに基づいて生成される車両の周辺の状況を表す周辺画像を表示部に表示するとともに、当該周辺画像上に、車両の現在の状態を表す第１車両画像と、車両の未来の状態を表す第２車両画像と、を表示し、第１車両画像および第２車両画像のうち少なくとも一方の表示態様を、車両の目標位置までの残距離に応じて変更する表示処理部と、を備える。
上述した表示制御装置によれば、周辺画像上における第１車両画像および第２車両画像のうち少なくとも一方の表示態様の残距離に応じた変更により、目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することができる。
上述した表示制御装置において、表示処理部は、第１車両画像の表示位置と第２車両画像の表示位置との関係の変更を、第１車両画像および第２車両画像のうち少なくとも一方の表示態様の変更として実行する。このような構成によれば、第１車両画像の表示位置と第２車両画像の表示位置との関係の残距離に応じた変更により、車両の移動の態様を視覚的に分かりやすく表現することができる。
この場合において、表示処理部は、残距離が閾値を上回る場合、第１車両画像の表示位置と第２車両画像の表示位置との間隔を略一定に保ち、残距離が閾値を下回る場合、第１車両画像の表示位置と第２車両画像の表示位置との間隔を、残距離に応じて変化させる。このような構成によれば、第１車両画像の表示位置と第２車両画像の表示位置との間隔の変化の有無により、車両の目標位置への接近度合を乗員に分かりやすく通知することができる。
また、上述した表示制御装置において、表示処理部は、車両の現在位置と目標位置とを接続する仮想的な円弧に基づいて算出される周辺画像内の仮想的な進路上に第２車両画像を表示する。このような構成によれば、車両の現在位置と目標位置とを接続する仮想的な円弧を考慮して、第２車両画像を車両の未来に対応した適切な位置に表示することができる。
また、上述した表示制御装置において、表示処理部は、車両の舵角を検出する舵角センサの検出結果に基づいて算出される周辺画像内の仮想的な進路上に第２車両画像を表示する。このような構成によれば、舵角センサの検出結果を考慮して、第２車両画像を車両の未来に対応した適切な位置に表示することができる。
また、上述した表示制御装置において、表示処理部は、第１車両画像の少なくとも一部と重複するように第２車両画像を表示する。このような構成によれば、第２車両画像が他の車両の状態を表す画像であると誤認されるのを抑制することができる。
この場合において、表示処理部は、第１車両画像と第２車両画像との重複部分を識別可能な表示態様で、第１車両画像および第２車両画像を表示する。このような構成によれば、第１車両画像と第２車両画像との位置ずれを識別しやすくすることができる。
また、この場合において、表示処理部は、第１車両画像および第２車両画像を３Ｄポリゴンとして表示する場合に、第１車両画像と第２車両画像との重複部分に対する陰面消去処理を実行することなく、第１車両画像および第２車両画像を表示する。このような構成によれば、容易に、第１車両画像と第２車両画像との位置ずれを識別しやすくすることができる。
なお、上述した表示制御装置において、表示処理部は、第２車両画像の色と周辺画像における第２車両画像の周辺部分の色との差と、第２車両画像の明るさと周辺部分の明るさとの差と、のうち少なくとも一方に応じて、第２車両画像の色および明るさのうち少なくとも一方を調整する。このような構成によれば、たとえば第２車両画像および周辺画像（周辺部分）の色および／または明るさの差が比較的小さい場合であっても、両者を識別しやすくすることができる。
また、上述した表示制御装置において、表示処理部は、第１車両画像を、車輪を含む車両の全体の形状に基づいて生成し、第２車両画像を、車輪を含まない車両の車体の形状に基づいて生成する。このような構成によれば、第２車両画像が車両の現在の状態を表していないことを識別しやすくすることができる。
上述した表示制御装置において、表示処理部は、ドライバによる車両の運転操作の少なくとも一部を代行する代行制御のもとで車両が目標位置に向かって移動する場合に、第１車両画像および第２車両画像のうち少なくとも一方の表示態様を、残距離に応じて変更する。このような構成によれば、代行制御のもとでの目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することができる。
この場合において、目標位置は、代行制御としての自動駐車制御において車両が最終的に到達する駐車位置、または車両が駐車位置に到達する前に一時的に停止する可能性がある切り返し位置である。このような構成によれば、駐車位置または切り返し位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することができる。
図１は、実施形態にかかる車両の車室内の構成を示した例示的かつ模式的な図である。 図２は、実施形態にかかる車両を上方から見た外観を示した例示的かつ模式的な図である。 図３は、実施形態にかかる車両のシステム構成を示した例示的かつ模式的なブロック図である。 図４は、実施形態にかかる表示制御装置の機能を示した例示的かつ模式的なブロック図である。 図５は、実施形態にかかる周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。 図６は、実施形態における実車両画像の表示位置と仮想車両画像の表示位置との関係の一例を説明するための例示的かつ模式的なイメージ図である。 図７は、実施形態における図６に示される例に対応して周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。 図８は、実施形態における実車両画像の表示位置と仮想車両画像の表示位置との関係の図６とは異なる一例を説明するための例示的かつ模式的なイメージ図である。 図９は、実施形態における図８に示される例に対応して周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。 図１０は、実施形態にかかる周辺画像上における実車両画像および仮想車両画像の表示態様の一例を示した例示的かつ模式的な図である。 図１１は、実施形態において実行されうる仮想車両画像の色（および／または明るさ）の調整の一例を示した例示的かつ模式的な図である。 図１２は、実施形態において実行されうる実車両画像の色（および／または明るさ）の調整の一例を示した例示的かつ模式的な図である。 図１３は、実施形態にかかる表示制御装置が実車両画像および仮想車両画像を表示するために実行する一連の処理を示した例示的かつ模式的なフローチャートである。
以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に制限されるものではない。
＜実施形態＞
まず、図１および図２を用いて、実施形態にかかる車両１の概略的な構成について説明する。図１は、実施形態にかかる車両１の車室２ａ内の構成を示した例示的かつ模式的な図であり、図２は、実施形態にかかる車両１を上方から見た外観を示した例示的かつ模式的な図である。
図１に示されるように、実施形態にかかる車両１は、ユーザとしての運転者を含む乗員が乗車する車室２ａを有している。車室２ａ内には、ユーザが座席２ｂから操作可能な状態で、制動部（制動操作部）３０１ａや、加速部（加速操作部）３０２ａ、操舵部３０３ａ、変速部（変速操作部）３０４ａなどが設けられている。
制動部３０１ａは、たとえば、運転者の足下に設けられたブレーキペダルであり、加速部３０２ａは、たとえば、運転者の足下に設けられたアクセルペダルである。また、操舵部３０３ａは、たとえば、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、変速部３０４ａは、たとえば、センターコンソールから突出したシフトレバーである。なお、操舵部３０３ａは、ハンドルであってもよい。
車室２ａ内には、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有するモニタ装置１１が設けられている。モニタ装置１１は、たとえば、車室２ａ内のダッシュボードの幅方向（左右方向）の中央部に設けられる。なお、表示部８は、たとえばＬＣＤ（液晶ディスプレイ）やＯＥＬＤ（有機エレクトロルミネセンスディスプレイ）などで構成されている。
ここで、表示部８において画像が表示される領域としての表示画面には、操作入力部１０が設けられている。操作入力部１０は、たとえば、指やスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能なタッチパネルとして構成されている。これにより、ユーザ（運転者）は、表示部８の表示画面に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いたタッチ（タップ）操作などを行うことで、各種の操作入力を実行することができる。
なお、実施形態では、操作入力部１０が、スイッチや、ダイヤル、ジョイスティック、押しボタンなどといった、各種の物理的なインターフェースであってもよい。また、実施形態では、車室２ａ内におけるモニタ装置１１の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力部９および他の音声出力装置の両方から、各種の音情報を出力することができる。また、実施形態では、モニタ装置１１が、ナビゲーションシステムやオーディオシステムなどの各種システムに関する情報を表示可能に構成されていてもよい。
また、図１および図２に示されるように、実施形態にかかる車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車として構成されている。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを、総称して車輪と記載することがある。実施形態では、４つの車輪の一部または全部の横滑り角が、操舵部３０３ａの操作などに応じて変化（転舵）する。
また、車両１には、周辺監視用の撮像部としての複数（図１および図２に示される例では４つ）の車載カメラ１５ａ～１５ｄが搭載されている。車載カメラ１５ａは、車体２の後側の端部２ｅ（たとえば、リヤトランクのドア２ｈの下方）に設けられ、車両１の後方の領域を撮像する。また、車載カメラ１５ｂは、車体２の右側の端部２ｆのドアミラー２ｇに設けられ、車両１の右側方の領域を撮像する。また、車載カメラ１５ｃは、車体２の前側の端部２ｃ（たとえば、フロントバンパ）に設けられ、車両１の前方の領域を撮像する。また、車載カメラ１５ｄは、車体２の左側の端部２ｄのドアミラー２ｇに設けられ、車両１の左側方の領域を撮像する。以下では、簡単化のため、車載カメラ１５ａ～１５ｄを、総称して車載カメラ１５と記載することがある。
車載カメラ１５は、たとえば、ＣＣＤ（電荷結合素子）やＣＩＳ（ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ）などといった撮像素子を有したいわゆるデジタルカメラである。車載カメラ１５は、所定のフレームレートで車両１の周囲の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。車載カメラ１５により得られる画像データは、フレーム画像として動画像を構成することが可能である。
次に、図３を用いて、実施形態にかかる車両１において各種の制御を実現するために設けられるシステム構成について説明する。なお、図３に示されるシステム構成は、あくまで一例であるので、様々に設定（変更）可能である。
図３は、実施形態にかかる車両１のシステム構成を示した例示的かつ模式的なブロック図である。図３に示されるように、実施形態にかかる車両１は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、車載カメラ１５と、モニタ装置１１と、制御装置３１０と、車載ネットワーク３５０と、を有している。
制動システム３０１は、車両１の減速を制御する。制動システム３０１は、制動部３０１ａと、制動制御部３０１ｂと、制動部センサ３０１ｃと、を有している。
制動部３０１ａは、たとえば上述したブレーキペダルなどといった、車両１を減速させるための装置である。
制動制御部３０１ｂは、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。制動制御部３０１ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、制動部３０１ａを作動させることで、車両１の減速度合を制御する。
制動部センサ３０１ｃは、制動部３０１ａの状態を検出するためのセンシングデバイスである。たとえば、制動部３０１ａがブレーキペダルとして構成される場合、制動部センサ３０１ｃは、制動部３０１ａの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ３０１ｃは、検出した制動部３０１ａの状態を車載ネットワーク３５０に出力する。
加速システム３０２は、車両１の加速を制御する。加速システム３０２は、加速部３０２ａと、加速制御部３０２ｂと、加速部センサ３０２ｃと、を有している。
加速部３０２ａは、たとえば上述したアクセルペダルなどといった、車両１を加速させるための装置である。
加速制御部３０２ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。加速制御部３０２ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、加速部３０２ａを作動させることで、車両１の加速度合を制御する。
加速部センサ３０２ｃは、加速部３０２ａの状態を検出するためのセンシングデバイスである。たとえば、加速部３０２ａがアクセルペダルとして構成される場合、加速部センサ３０２ｃは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ３０２ｃは、検出した加速部３０２ａの状態を車載ネットワーク３５０に出力する。
操舵システム３０３は、車両１の進行方向を制御する。操舵システム３０３は、操舵部３０３ａと、操舵制御部３０３ｂと、操舵部センサ３０３ｃと、を有している。
操舵部３０３ａは、たとえば上述したステアリングホイールやハンドルなどといった、車両１の転舵輪を転舵させる装置である。
操舵制御部３０３ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。操舵制御部３０３ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、操舵部３０３ａを作動させることで、車両１の進行方向を制御する。
操舵部センサ３０３ｃは、操舵部３０３ａの状態を検出するためのセンシングデバイス、すなわち車両１の舵角を検出するための舵角センサである。たとえば、操舵部３０３ａがステアリングホイールとして構成される場合、操舵部センサ３０３ｃは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部３０３ａがハンドルとして構成される場合、操舵部センサ３０３ｃは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ３０３ｃは、検出した操舵部３０３ａの状態を車載ネットワーク３５０に出力する。
変速システム３０４は、車両１の変速比を制御する。変速システム３０４は、変速部３０４ａと、変速制御部３０４ｂと、変速部センサ３０４ｃと、を有している。
変速部３０４ａは、たとえば上述したシフトレバーなどといった、車両１の変速比を変更するための装置である。
変速制御部３０４ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータとして構成される。変速制御部３０４ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、変速部３０４ａを作動させることで、車両１の変速比を制御する。
変速部センサ３０４ｃは、変速部３０４ａの状態を検出するためのセンシングデバイスである。たとえば、変速部３０４ａがシフトレバーとして構成される場合、変速部センサ３０４ｃは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ３０４ｃは、検出した変速部３０４ａの状態を車載ネットワーク３５０に出力する。
障害物センサ３０５は、車両１の周囲に存在しうる物体（障害物）に関する情報を検出するためのセンシングデバイスである。障害物センサ３０５は、たとえば、車両１の周囲に存在する物体までの距離を取得する測距センサを含んでいる。測距センサとしては、たとえば、音波を送信し、車両１の周囲に存在する物体により反射された音波を受信することで距離を取得するソナーや、光などの電波を送信し、車両１の周囲に存在する物体により反射された電波を受信することで距離を取得するレーザーレーダなどが用いられる。障害物センサ３０５は、検出した情報を車載ネットワーク３５０に出力する。
走行状態センサ３０６は、車両１の走行状態を検出するための装置である。走行状態センサ３０６は、たとえば、車両１の車輪速を検出する車輪速センサや、車両１の前後方向または左右方向の加速度を検出する加速度センサや、車両１の旋回速度（角速度）を検出するジャイロセンサなどを含んでいる。走行状態センサ３０６は、検出した走行状態を車載ネットワーク３５０に出力する。
制御装置３１０は、車両１に設けられる各種のシステムを統括的に制御する装置である。詳細は後述するが、実施形態にかかる制御装置３１０は、車載カメラ１５による撮像結果としての画像データに基づいて、車両１の周辺の状況を表す周辺画像を生成し、生成した周辺画像を表示部８に表示する機能を有している。なお、ここで言及している周辺画像には、車両１の周辺の状況（車両１そのものも含む）を上から俯瞰で見た俯瞰画像や、車両１の周辺の状況（車両１そのものも含む）を任意の視点で三次元的に見た三次元画像、１つの車載カメラ１５から取得される１つの画像データのみに基づく画像である単カメラ画像などが含まれる。
制御装置３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１０ａと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１０ｂと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１０ｃと、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）３１０ｄと、表示制御部３１０ｅと、音声制御部３１０ｆと、を有したＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として構成されている。
ＣＰＵ３１０ａは、制御装置３１０を統括的に制御するハードウェアプロセッサである。ＣＰＵ３１０ａは、ＲＯＭ３１０ｂなどに記憶された各種の制御プログラム（コンピュータプログラム）を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。なお、ここで言及している各種の制御プログラムには、上記のような周辺画像、実車両画像、および仮想車両画像を表示する表示制御処理を実現するための表示制御プログラムが含まれる。
ＲＯＭ３１０ｂは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。
ＲＡＭ３１０ｃは、ＣＰＵ３１０ａの作業領域を提供する揮発性の主記憶装置である。
ＳＳＤ３１０ｄは、書き換え可能な不揮発性の補助記憶装置である。なお、実施形態にかかる制御装置３１０においては、補助記憶装置として、ＳＳＤ３１０ｄに替えて（またはＳＳＤ３１０ｄに加えて）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよい。
表示制御部３１０ｅは、制御装置３１０で実行されうる各種の処理のうち、主として、車載カメラ１５から得られた撮像画像に対する画像処理や、モニタ装置１１の表示部８に出力する画像データの生成などを司る。
音声制御部３１０ｆは、制御装置３１０で実行されうる各種の処理のうち、主として、モニタ装置１１の音声出力部９に出力する音声データの生成などを司る。
車載ネットワーク３５０は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、モニタ装置１１の操作入力部１０と、制御装置３１０と、を通信可能に接続する。
ところで、上記のような周辺画像によって車両１の周辺の状況を乗員に通知する技術について従来から様々に検討されているが、このような技術においては、たとえば車両１が目標位置に向かって移動する場合に、目標位置までの車両１の移動の態様を、車両１の周辺の状況とともに乗員に分かりやすく通知することが望まれている。
そこで、実施形態は、次の図４に示されるような機能を有した表示制御装置４００を制御装置３１０内に実現することで、目標位置までの車両１の移動の態様を、車両１の周辺の状況とともに乗員に分かりやすく通知することを実現する。
図４は、実施形態にかかる表示制御装置４００の機能を示した例示的かつ模式的なブロック図である。図４に示される機能は、ソフトウェアとハードウェアとの協働によって制御装置３１０内に実現される。すなわち、図４に示される機能は、制御装置３１０のＣＰＵ３１０ａがＲＯＭ３１０ｂなどに記憶された所定の制御プログラム（カメラパラメータ推定プログラム）を読み出して実行した結果として実現される。なお、実施形態では、図４に示される機能の少なくとも一部が専用のハードウェア（回路）によって実現されてもよい。
図４に示されるように、実施形態にかかる表示制御装置４００は、操作検出部４０１と、代行制御部４０２と、画像データ取得部４０３と、画像生成部４０４と、表示処理部４０５と、を有している。
操作検出部４０１は、車両１に対して実行される各種の操作を検出する。たとえば、操作検出部４０１は、モニタ装置１１の操作入力部１０を介して入力される操作（タッチ操作など）を検出する。
代行制御部４０２は、上述した制動システム３０１、加速システム３０２、操舵システム３０３、および変速システム３０４を適宜制御することで、ドライバによる車両１の運転操作の少なくとも一部を代行する代行制御を実行する。代行制御によれば、目標位置への車両１の移動を、ドライバによる運転操作のみに依存することなく、自動（または半自動）で実現することができる。なお、代行制御の例としては、たとえば、自動駐車制御などが挙げられる。自動駐車制御において設定されうる目標位置は、車両１が最終的に到達する駐車位置と、車両１が駐車位置に到達する前に一時的に停止する可能性がある切り返し位置と、が考えられる。実施形態において、代行制御部４０２は、表示制御装置４００を構成する制御装置３１０とは別個に、車両１の走行制御などを統括する専用のＥＣＵ内に実現されてもよい。なお、実施形態の技術が自動駐車制御以外の代行制御も対象としうることは、言うまでもない。
画像データ取得部４０３は、車載カメラ１５による撮像結果としての画像データを車載カメラ１５から取得する。
画像生成部４０４は、画像データ取得部４０３により取得される画像データなどに基づいて、モニタ装置１１の表示部８に表示すべき画像を生成する。
表示処理部４０５は、画像生成部４０４により生成される画像に基づいて、モニタ装置１１の表示部８の表示内容を制御する。より具体的に、表示処理部４０５は、車両１が目標位置に向かって移動する場合に、たとえば次の図５に示されるような表示態様で、車両１の周辺の状況を表す周辺画像を表示部８に表示するとともに、当該周辺画像上に、車両１の現在の状態を表す実車両画像と、車両１の未来の状態を表す仮想車両画像と、を表示（重畳）する。
図５は、実施形態にかかる周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。なお、以下では、周辺画像として三次元画像が用いられる例について主に説明するが、実施形態において、周辺画像は、前述したように、三次元画像の他、俯瞰画像や単カメラ画像なども含んでいる。したがって、実施形態において、実車両画像および仮想車両画像は、俯瞰画像や単カメラ画像などにも重畳されうる。
図５に示されるように、実施形態において、表示処理部４０５は、たとえば、周辺画像の一例としての三次元画像を示す画像５００と、当該画像５００に対応した視点での車両１の現在の状態（位置や向き、形状など）を表す実車両画像を示す画像５０１と、画像５００に対応した視点での車両１の未来（車両１の移動が一定時間または一定距離分進んだとき）の状態を示す仮想車両画像を表す画像５０２と、を含む画像ＩＭ５００を表示部８に表示する。
なお、実施形態において、表示処理部４０５は、仮想車両画像が車両１の現在の状態を表す情報であるとの混同が発生しないように、実車両画像と仮想車両画像とを、たとえば形状や色、明るさ、透過率などを差別化した上で生成しうる。たとえば、表示処理部４０５は、図５に示される例のように、実車両画像を示す画像５０１を、車輪を含む車両１の全体の形状に基づいて生成し、仮想車両画像を示す画像５０２を、車輪を含まない車両１の車体２の形状に基づいて生成しうる。
さらに、詳細は後述するが、実施形態において、表示処理部４０５は、実車両画像および仮想車両画像を、たとえば３Ｄポリゴンとして表示しうる。この場合において、表示処理部４０５は、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行することで、当該重複部分を、実車両画像と仮想車両画像とのうちいずれか一方の画像のみを識別可能な表示態様で表示することと、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行しないことで、当該重複部分を、実車両画像と仮想車両画像との両方の画像を識別可能な表示態様で表示することと、を選択的に切り替えうる。
実車両画像および仮想車両画像が重畳された上記のような周辺画像によれば、未来の車両１の状態も含めて、現在の車両１の状態および車両１の周辺の状況を乗員に分かりやすく通知することが可能であるので、目標位置までの車両１の移動の態様を、車両１の周辺の状況とともに乗員に分かりやすく通知することが可能である。ただし、通知の分かりやすさをさらに追及するためには、実車両画像に対する仮想車両画像の表示位置の設定に工夫の余地がある。
そこで、実施形態において、表示処理部４０５は、車両１が目標位置に向かって移動する場合に、実車両画像の表示位置と仮想車両画像の表示位置との関係を、車両１の目標位置までの残距離に応じて変更する。なお、残距離は、車両１に設けられる各種のセンサの検出結果を利用して推定される車両１の走行距離などを考慮して算出されうる。
たとえば、実施形態において、表示処理部４０５は、次の図６および図７に示されるように、目標位置までの残距離が閾値を上回る（または閾値以上である）場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を略一定に保つ。
図６は、実施形態における実車両画像の表示位置と仮想車両画像の表示位置との関係の一例を説明するための例示的かつ模式的なイメージ図である。図６に示される例において、図形６０１は、実車両画像に対応し、位置Ｐ６０１は、実車両画像の表示位置に対応し、図形６０２は、仮想車両画像に対応し、図形６０２の位置Ｐ６０２は、仮想車両画像の表示位置に対応し、位置Ｐ６１０は、目標位置に対応する。
図６に示されるように、位置Ｐ６０１、Ｐ６０２、およびＰ６１０は、位置Ｐ６００を中心とする円弧Ｃ６００上に配置される。なお、実施形態において、円弧Ｃ６００（および位置Ｐ６００）は、代行制御部４０２により実行される代行制御（たとえば自動駐車制御）においてシステム的に適宜算出される車両１の進路に基づいて取得されてもよいし、車両１の舵角を検出する舵角センサとしての操舵部センサ３０３ｃの検出結果に基づいて算出される車両１の進路に基づいて取得されてもよい。したがって、実施形態において、目標位置までの車両１の移動は、代行制御部４０２による代行制御のもとで実現されてもよいし、ドライバによる手動運転のもとで実現されてもよい。
ここで、実施形態では、目標位置に対応した位置Ｐ６１０までの（位置Ｐ６０１からの）残距離が閾値を上回る場合に、実車両画像の表示位置に対応した位置Ｐ６０１と仮想車両画像の表示位置に対応した位置Ｐ６０２との間の円弧Ｃ６００に沿った距離が略一定に保たれる。これにより、表示処理部４０５は、次の図７に示されるような表示態様で、実車両画像および仮想車両画像を含む周辺画像を表示する。
図７は、実施形態における図６に示される例に対応して周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。実施形態において、表示処理部４０５は、実車両画像の表示位置と目標位置との関係が図６に示される例のような関係になっている場合、図７に示されるような画像ＩＭ７００を表示部８に表示する。
図７に示されるように、画像ＩＭ７００は、周辺画像の一例としての三次元画像を示す画像７００と、当該画像７００内の位置Ｐ７０１に重畳される実車両画像を示す画像７０１と、車両１の想定上の進路に沿って位置Ｐ７０１から一定距離だけ離れた画像７００内の位置Ｐ７０２に重畳される仮想車両画像を示す画像７０２と、を含んでいる。なお、図７に示される画像ＩＭ７００には、目標位置に対応した位置Ｐ７０１に、目標位置を表すアイコン７１０も表示されている。
実車両画像を示す画像７０１と仮想車両画像を示す画像７０２との間の間隔が一定距離だけ離れて表示される上記のような表示態様は、目標位置までの残距離が閾値を上回っている限り継続される。これにより、乗員は、実車両画像を示す画像７０１と仮想車両画像を示す画像７０２との離れ具合を視覚的に確認することで、目標位置までの残距離を容易に認識することが可能である。
なお、図７に示される例では、仮想車両画像を示す画像７０２が、実車両画像を示す画像７０１の少なくとも一部と重複するように両者の表示位置間の距離が設定されているが、実施形態では、仮想車両画像を示す画像７０２と実車両画像を示す画像７０１とが重複せずに分離するように両者の表示位置間の距離が設定されてもよい。
一方、実施形態において、表示処理部４０５は、次の図８および図９に示されるように、目標位置までの残距離が閾値を下回る（または閾値以下である）場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、残距離に応じて変化させる。
図８は、実施形態における実車両画像の表示位置と仮想車両画像の表示位置との関係の図６とは異なる一例を説明するための例示的かつ模式的なイメージ図である。図８に示される例において、図形８０１は、実車両画像に対応し、位置Ｐ８０１は、実車両画像の表示位置に対応し、図形８０２は、仮想車両画像に対応し、図形８０２の位置Ｐ８０２は、仮想車両画像の表示位置に対応し、位置Ｐ８１０は、目標位置に対応する。なお、図８に示される例では、位置Ｐ８０２と位置Ｐ８１０とが一致している。
図８に示されるように、位置Ｐ８０１、Ｐ８０２、およびＰ８１０は、位置Ｐ８００を中心とする円弧Ｃ８００上に配置される。なお、図８に示される例において、円弧Ｃ８００（および位置Ｐ８００）が、代行制御においてシステム的に適宜算出される車両１の進路に基づいて取得されてもよいし、操舵部センサ３０３ｃの検出結果に基づいて算出される車両１の進路に基づいて取得されてもよい、という点は、図６に示される例と同様である。
ここで、図８に示される例では、目標位置に対応した位置Ｐ８１０までの（位置Ｐ８０１からの）残距離が、図６に示される例よりも縮まった結果、上記の閾値を下回っている。このような場合、表示処理部４０５は、実車両画像の表示位置と仮想車両画像の表示位置との間隔を一定に保つのではなく、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、目標位置までの残距離に応じて変化させる。
すなわち、実施形態において、表示処理部４０５は、目標位置までの残距離が閾値を上回る場合には、たとえば仮想車両画像の表示位置が目標位置に到達するまで、実車両画像の表示位置と仮想車両画像の表示位置との間隔を一定に保ち、目標位置までの残距離が閾値を下回る場合には、たとえば仮想車両画像の表示位置が目標位置に到達した状態が維持されるように、実車両画像の表示位置と仮想車両画像の表示位置との間隔を残距離に応じて変化させる。これにより、表示処理部４０５は、次の図９に示されるような表示態様で、実車両画像および仮想車両画像を含む周辺画像を表示する。
図９は、実施形態における図８に示される例に対応して周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。実施形態において、表示処理部４０５は、実車両画像の表示位置と目標位置との関係が図８に示される例のような関係になっている場合、図９に示されるような画像ＩＭ９００を表示部８に表示する。
図９に示されるように、画像ＩＭ９００は、周辺画像の一例としての三次元画像を示す画像９００と、当該画像９００内の位置Ｐ９１０に重畳される目標位置を表すアイコン７１０と、画像９００内の位置Ｐ９０１に重畳される実車両画像を示す画像９０１と、目標位置を表すアイコン７１０の位置Ｐ９１０と一致する画像９００内の位置Ｐ９０２に重畳される仮想車両画像を示す画像９０２と、を含んでいる。
図９に示される例において、実車両画像を示す画像９０１と仮想車両画像を示す画像９０２との間の間隔は、車両１の移動が進むにしたがって徐々に近づいていく。より具体的に、車両１の移動が進むと、目標位置としての位置Ｐ９１０に固定的に表示された仮想車両画像を示す画像９０２に向かって、実車両画像を示す画像９０１が徐々に近づいていく。これにより、乗員は、実車両画像を示す画像９０１と仮想車両画像を示す画像９０２との接近の態様を視覚的に確認することで、目標位置までの車両１の移動の態様を容易に認識することが可能である。
なお、実施形態では、目標位置までの残距離が閾値に達するタイミングと、仮想車両画像の表示位置が目標位置に到達するタイミングとが、必ずしも一致していなくてもよい。たとえば、実施形態では、仮想車両画像の表示位置が目標位置に対して所定距離だけ手前に離れた位置に到達するまでは、実車両画像の表示位置と仮想車両画像の表示位置との間隔を一定に保ち、その後は、実車両画像の表示位置が目標位置に到達するタイミングと仮想車両画像の表示位置が目標位置に到達するタイミングとが一致するように、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、残距離に応じて徐々に狭めていく、という方法も考えられる。
ところで、実施形態では、前述したように、実車両画像と仮想車両画像とが、たとえば形状や色、明るさ、透過率などを差別化した上で生成されうる。したがって、実施形態では、仮想車両画像が、周辺画像に写る車両１以外の内容（背景）を透過した状態で表示されることがある。このような場合、実車両画像、仮想車両画像、および周辺画像のそれぞれの色または明るさが近いと、各画像の識別性が低下する。
そこで、実施形態において、表示処理部４０５は、次の図１０～図１１に示される方法の単独または組み合わせにより、実車両画像、仮想車両画像、および周辺画像のそれぞれの識別性を向上させる。
まず、実車両画像に対する仮想車両画像の識別性を向上させる方法について説明する。実施形態において、表示処理部４０５は、次の図１０に示される画像ＩＭ１０００のような表示態様で実車両画像および仮想車両画像を表示することで、実車両画像に対する仮想車両画像の識別性を向上させることが可能である。
図１０は、実施形態にかかる周辺画像上における実車両画像および仮想車両画像の表示態様の一例を示した例示的かつ模式的な図である。図１０に示される例において、画像ＩＭ１０００は、周辺画像の一例としての三次元画像を示す画像１０００上に、実車両画像を示す画像１００１と、仮想車両画像を示す画像１００２と、が重畳されることで構成されている。また、実車両画像を示す画像１００１と、仮想車両画像を示す画像１００２とは、一部が重複した３Ｄポリゴンとして表示されている。
図１０に示されるように、実施形態において、表示処理部４０５は、実車両画像と仮想車両画像との重複部分を識別可能な表示態様で、実車両画像および仮想車両画像を表示することが可能である。より具体的に、表示処理部４０５は、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行しないことで、当該重複部分を、実車両画像と仮想車両画像との両方の画像を識別可能な表示態様で表示することが可能である。このような表示態様によれば、たとえば実車両画像および仮想車両画像の色（および／または明るさ）の差が比較的小さい場合であっても、実車両画像と仮想車両画像との位置ずれを認識しやすくすることが可能である。
ただし、たとえば実車両画像および仮想車両画像の色（および／または明るさ）の差が比較的大きい場合においては、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行しても、大きな不都合が発生しないこともある。したがって、実施形態において、表示処理部４０５は、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行することで、当該重複部分を、実車両画像と仮想車両画像とのうちいずれか一方の画像のみを識別可能な表示態様で表示することと、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行しないことで、当該重複部分を、実車両画像と仮想車両画像との両方の画像を識別可能な表示態様で表示することと、を選択的に切り替えることが可能である。
次に、周辺画像に対する仮想車両画像の識別性を向上させる方法について説明する。実施形態において、表示処理部４０５は、次の図１１に示される画像ＩＭ１１００のような表示態様で仮想車両画像の色（および／または明るさ）を適宜調整することで、周辺画像に対する仮想車両画像の識別性を向上させることが可能である。
図１１は、実施形態において実行されうる仮想車両画像の色（および／または明るさ）の調整の一例を示した例示的かつ模式的な図である。図１１に示される例において、画像ＩＭ１１００は、周辺画像の一例としての三次元画像を示す画像１１００上に、実車両画像を示す画像１１０１と、仮想車両画像を示す画像１１０２と、が重畳されることで構成されている。
図１１に示されるように、実施形態において、表示処理部４０５は、仮想車両画像と周辺画像における仮想車両画像の周辺部分との色（および／または明るさ）の差が比較的小さい場合、当該差がたとえば一定以上になるように、仮想車両画像の色（および／または明るさ）を調整することが可能である。このような表示態様によれば、たとえば仮想車両画像および周辺部分の色（および／または明るさ）の差が比較的小さい場合であっても、仮想車両画像と周辺部分とを明確に差別化することが可能である。
なお、図１１に示される例においては、実車両画像を示す画像１１０１と、仮想車両画像を示す画像１１０２と、の重複部分に対する陰面消去処理は実行されているが、当該重複部分に対して陰面消去処理が実行されていなくてもよいことは、言うまでもない。後者の場合、実車両画像との重複部分を含む仮想車両画像の全体の色（および／または明るさ）を一括して調整しうる。
また、上記のような仮想車両画像の色の調整は、仮想車両画像と周辺部分との差別化の用途の他、手動運転により車両１が移動する場合におけるドライバの運転操作の誤りを通知する用途にも利用可能である。手動運転により車両１が移動する場合、仮想車両画像の表示位置は、たとえば、車両１の舵角を検出する舵角センサとしての操舵部センサ３０３ｃの検出結果に基づいて決定されるが、このように決定された表示位置が目標位置までに辿るべき進路から外れている場合、仮想車両画像の色を変更してドライバに注意を促せば、ドライバの運転操作の誤りを通知することができ、有益である。
ところで、図１１に示されるような方法で仮想車両画像の色（および／または明るさ）を適宜調整すると、仮想車両画像および実車両画像の色（および／または明るさ）の差が比較的小さくなり、仮想車両画像に対する実車両画像の識別性が低下することも想定される。
そこで、実施形態において、表示処理部４０５は、次の図１２に示される画像ＩＭ１２００のような表示態様で実車両画像の色（および／または明るさ）を適宜調整することで、周辺画像に対する仮想車両画像の識別性の向上と、仮想車両画像に対する実車両画像の識別性の向上と、を両立させることが可能である。
図１２は、実施形態において実行されうる実車両画像の色（および／または明るさ）の調整の一例を示した例示的かつ模式的な図である。図１２に示される例において、画像ＩＭ１２００は、周辺画像の一例としての三次元画像を示す画像１２００上に、実車両画像を示す画像１２０１と、仮想車両画像を示す画像１２０２と、が重畳されることで構成されている。
図１２に示されるように、実施形態において、表示処理部４０５は、仮想車両画像の色（および／または明るさ）の調整の結果として仮想車両画像および実車両画像の色（および／または明るさ）の差が比較的小さくなった場合、当該差がたとえば一定以上になるように、実車両画像の色（および／または明るさ）を調整することが可能である。このような表示態様によれば、仮想車両画像と実車両画像とを明確に差別化することが可能である。
なお、図１１に示される例と同様、図１２に示される例においても、実車両画像を示す画像１２０１と、仮想車両画像を示す画像１２０２と、の重複部分に対する陰面消去処理は実行されているが、当該重複部分に対して陰面消去処理が実行されていなくてもよいことは、言うまでもない。
以下、図１３を参照して、実施形態にかかる表示制御装置４００が実行する処理について説明する。
図１３は、実施形態にかかる表示制御装置４００が実車両画像および仮想車両画像を表示するために実行する一連の処理を示した例示的かつ模式的なフローチャートである。この図１３に示される一連の処理は、車両１の周辺監視が要求される状況下において繰り返し実行される。
図１３に示されるように、実施形態では、まず、Ｓ１３０１において、表示制御装置４００の画像データ取得部４０３は、車載カメラ１５の撮像結果としての画像データを取得する。
そして、Ｓ１３０２において、表示制御装置４００の画像生成部４０４は、表示部８に表示すべき画像の一つとして、周辺画像を生成する。前述したように、周辺画像は、三次元画像や俯瞰画像、単カメラ画像などを含んでいる。
そして、Ｓ１３０３において、表示制御装置４００の画像生成部４０４は、周辺画像に重畳すべき実車両画像および仮想車両画像を生成する。前述したように、実車両画像は、車両１の現在の状態を表す画像であり、仮想車両画像は、車両１の未来の状態を表す画像である。これらの画像は、車両１に設けられる各種のセンサの検出結果や、代行制御部４０２により実行される代行制御の内容などに基づいて算出される。
そして、Ｓ１３０４において、表示制御装置４００の表示処理部４０５は、目標位置までの残距離に基づいて、実車両画像および仮想車両画像の表示位置を決定する。より具体的に、表示処理部４０５は、目標位置までの残距離が閾値を上回る場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を略一定に保ち、目標位置までの残距離が閾値を下回る場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、残距離に応じて変化させる。
そして、Ｓ１３０５において、表示制御装置４００の表示処理部４０５は、実車両画像および仮想車両画像が重畳された周辺画像を表示部８に出力する。そして、処理が終了する。
以上説明したように、実施形態にかかる表示制御装置４００は、画像データ取得部４０３と、表示処理部４０５と、を備えている。画像データ取得部４０３は、車両１の周辺の状況を撮像する撮像部である車載カメラ１５による撮像結果としての画像データを取得する。表示処理部４０５は、車両１が目標位置に向かって移動する場合に、画像データに基づいて生成される車両１の周辺の状況を表す周辺画像を表示部８に表示するとともに、当該周辺画像上に、車両１の現在の状態を表す第１車両画像としての実車両画像と、車両１の未来の状態を表す第２車両画像としての仮想車両画像と、を表示する。そして、表示処理部４０５は、実車両画像の表示位置と仮想車両画像の表示位置との関係を、車両１の目標位置までの残距離に応じて変更する。
上記のような構成によれば、目標位置までの残距離に応じて表示位置が変化する実車両画像および仮想車両画像が表示された周辺画像により、目標位置までの車両１の移動の態様を、車両１の周辺の状況とともに乗員に分かりやすく通知することができる。
実施形態にかかる表示制御装置４００において、表示処理部４０５は、残距離が閾値を上回る場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を略一定に保ち、残距離が閾値を下回る場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、残距離に応じて変化させる。このような構成によれば、実車両画像の表示位置と仮想車両画像の表示位置との間隔の変化の有無により、車両１の目標位置への接近度合を乗員に分かりやすく通知することができる。
なお、実施形態にかかる表示制御装置４００において、表示処理部４０５は、車両１の現在位置と目標位置とを接続する仮想的な円弧に基づいて算出される周辺画像内の仮想的な進路上に仮想車両画像を表示しうる。このような構成によれば、車両１の現在位置と目標位置とを接続する仮想的な円弧を考慮して、仮想車両画像を車両１の未来に対応した適切な位置に表示することができる。
また、実施形態にかかる表示制御装置４００において、表示処理部４０５は、車両１の舵角を検出する舵角センサとしての操舵部センサ３０３ｃの検出結果に基づいて算出される周辺画像内の仮想的な進路上に仮想車両画像を表示しうる。このような構成によれば、舵角センサの検出結果を考慮して、仮想車両画像を車両１の未来に対応した適切な位置に表示することができる。
また、実施形態にかかる表示制御装置４００において、表示処理部４０５は、実車両画像の少なくとも一部と重複するように仮想車両画像を表示しうる。このような構成によれば、仮想車両画像が他の車両の状態を表す画像であると誤認されるのを抑制することができる。
また、実施形態にかかる表示制御装置４００において、表示処理部４０５は、実車両画像と仮想車両画像との重複部分を識別可能な表示態様で、実車両画像および仮想車両画像を表示しうる。より具体的に、表示処理部４０５は、実車両画像および仮想車両画像を３Ｄポリゴンとして表示する場合に、実車両画像と仮想車両画像との重複部分に対する陰面消去処理を実行することなく、実車両画像および仮想車両画像を表示しうる。このような構成によれば、容易に、実車両画像と仮想車両画像との位置ずれを識別しやすくすることができる。
また、実施形態にかかる表示制御装置４００において、表示処理部４０５は、仮想車両画像の色と周辺画像における仮想車両画像の周辺部分の色との差と、仮想車両画像の明るさと周辺部分の明るさとの差と、のうち少なくとも一方に応じて、仮想車両画像の色および明るさのうち少なくとも一方を調整しうる。このような構成によれば、たとえば仮想車両画像および周辺画像（周辺部分）の色および／または明るさの差が比較的小さい場合であっても、両者を識別しやすくすることができる。
また、実施形態にかかる表示制御装置４００において、表示処理部４０５は、実車両画像を、車輪を含む車両１の全体の形状に基づいて生成し、仮想車両画像を、車輪を含まない車両１の車体２の形状に基づいて生成する。このような構成によれば、仮想車両画像が車両１の現在の状態を表していないことを識別しやすくすることができる。
また、実施形態にかかる表示制御装置４００において、表示処理部４０５は、ドライバによる車両の運転操作の少なくとも一部を代行する代行制御のもとで車両１が目標位置に向かって移動する場合に、実車両画像の表示位置と仮想車両画像の表示位置との関係を、残距離に応じて変更しうる。このような構成によれば、代行制御のもとでの目標位置までの車両１の移動の態様を、車両１の周辺の状況とともに乗員に分かりやすく通知することができる。
また、実施形態にかかる表示制御装置４００において、目標位置は、代行制御としての自動駐車制御において車両１が最終的に到達する駐車位置、または車両１が駐車位置に到達する前に一時的に停止する可能性がある切り返し位置である。このような構成によれば、駐車位置または切り返し位置までの車両１の移動の態様を、車両１の周辺の状況とともに乗員に分かりやすく通知することができる。
なお、実施形態にかかる制御装置３１０において実行される表示制御プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかる制御装置３１０において実行される表示制御プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。
＜変形例＞
上述した実施形態においては、一例として、実車両画像の表示位置と仮想車両画像の表示位置との関係を目標位置までの残距離に応じて変更する技術が例示されている。しかしながら、本開示の技術は、実車両画像および仮想車両画像の表示位置の関係を残距離に応じて変更する技術に限らず、実車両画像および仮想車両画像のうち少なくとも一方の、たとえば色や明るさ、透過率などといった、表示位置以外の表示態様を残距離に応じて変更する技術も含んでいる。後者の技術によっても、前者の技術と同様に、周辺画像上における実車両画像および仮想車両画像のうち少なくとも一方の表示態様の残距離に応じた変更により、目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することができる。
たとえば、残距離に応じて色を変更する技術の例としては、残距離が小さくなるにつれて仮想車両画像（および／または実車両画像）の色を灰色から白色に徐々に変更する技術が考えられる。また、残距離に応じて明るさを変更する技術の例としては、残距離が小さくなるにつれて仮想車両画像（および／または実車両画像）の明るさを暗から明に徐々に変更する技術が考えられる。また、残距離に応じて透過率を変更する技術の例としては、残距離が小さくなるにつれて仮想車両画像（および／または実車両画像）の透過率を高から低に徐々に変更する技術が考えられる。これら３つの技術は、それぞれ単独で利用されてもよいし、残距離に応じて表示位置を変更する上述した実施形態のような技術も含めた４つの技術のうち１以上の組み合わせとして利用されてもよい。
以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ 車両
２ 車体
１５ 車載カメラ（撮像部）
３０３ｃ 操舵部センサ（舵角センサ）
４００ 表示制御装置
４０３ 画像データ取得部
４０５ 表示処理部

Claims (9)

  1. 車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを取得する画像データ取得部と、
    前記車両が目標位置に向かって移動する場合に、前記画像データに基づいて生成される前記車両の周辺の状況を表す周辺画像を表示部に表示するとともに、当該周辺画像上に、前記車両の現在の状態を表す第１車両画像と、前記車両の未来の状態を表す第２車両画像と、を表示し、前記第１車両画像および前記第２車両画像のうち少なくとも一方の表示態様を、前記車両の目標位置までの残距離に応じて変更する表示処理部と、を備え、
    前記表示処理部は、
    前記第１車両画像の少なくとも一部と重複するように前記第２車両画像を表示し、その場合に、前記第１車両画像と前記第２車両画像との重複部分を識別可能な表示態様で、前記第１車両画像および前記第２車両画像を表示し、
    前記第１車両画像および前記第２車両画像を３Ｄポリゴンとして表示する場合に、前記第１車両画像と前記第２車両画像との重複部分に対する陰面消去処理を実行することなく、前記第１車両画像および前記第２車両画像を表示する、表示制御装置。
  2. 車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを取得する画像データ取得部と、
    前記車両が目標位置に向かって移動する場合に、前記画像データに基づいて生成される前記車両の周辺の状況を表す周辺画像を表示部に表示するとともに、当該周辺画像上に、前記車両の現在の状態を表す第１車両画像と、前記車両の未来の状態を表す第２車両画像と、を表示し、前記第１車両画像および前記第２車両画像のうち少なくとも一方の表示態様を、前記車両の目標位置までの残距離に応じて変更する表示処理部と、を備え、
    前記表示処理部は、前記第２車両画像の色と前記周辺画像における前記第２車両画像の周辺部分の色との差と、前記第２車両画像の明るさと前記周辺部分の明るさとの差と、のうち少なくとも一方に応じて、前記第２車両画像の色および明るさのうち少なくとも一方を調整する、表示制御装置。
  3. 車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを取得する画像データ取得部と、
    前記車両が目標位置に向かって移動する場合に、前記画像データに基づいて生成される前記車両の周辺の状況を表す周辺画像を表示部に表示するとともに、当該周辺画像上に、前記車両の現在の状態を表す第１車両画像と、前記車両の未来の状態を表す第２車両画像と、を表示し、前記第１車両画像および前記第２車両画像のうち少なくとも一方の表示態様を、前記車両の目標位置までの残距離に応じて変更する表示処理部と、を備え、
    前記表示処理部は、前記第１車両画像を、車輪を含む前記車両の全体の形状に基づいて生成し、前記第２車両画像を、前記車輪を含まない前記車両の車体の形状に基づいて生成する、表示制御装置。
  4. 前記表示処理部は、前記第１車両画像の表示位置と前記第２車両画像の表示位置との関係の変更を、前記第１車両画像および前記第２車両画像のうち少なくとも一方の前記表示態様の変更として実行する、
    請求項１～３のうちいずれか１項に記載の表示制御装置。
  5. 前記表示処理部は、前記残距離が閾値を上回る場合、前記第１車両画像の表示位置と前記第２車両画像の表示位置との間隔を略一定に保ち、前記残距離が前記閾値を下回る場合、前記第１車両画像の表示位置と前記第２車両画像の表示位置との間隔を、前記残距離に応じて変化させる、
    請求項４に記載の表示制御装置。
  6. 前記表示処理部は、前記車両の現在位置と前記目標位置とを接続する仮想的な円弧に基づいて算出される前記周辺画像内の仮想的な進路上に前記第２車両画像を表示する、
    請求項１～５のうちいずれか１項に記載の表示制御装置。
  7. 前記表示処理部は、前記車両の舵角を検出する舵角センサの検出結果に基づいて算出される前記周辺画像内の仮想的な進路上に前記第２車両画像を表示する、
    請求項１～５のうちいずれか１項に記載の表示制御装置。
  8. 前記表示処理部は、ドライバによる前記車両の運転操作の少なくとも一部を代行する代行制御のもとで前記車両が目標位置に向かって移動する場合に、前記第１車両画像および前記第２車両画像のうち少なくとも一方の表示態様を、前記残距離に応じて変更する、
    請求項１～７のうちいずれか１項に記載の表示制御装置。
  9. 前記目標位置は、前記代行制御としての自動駐車制御において前記車両が最終的に到達する駐車位置、または前記車両が前記駐車位置に到達する前に一時的に停止する可能性がある切り返し位置である、
    請求項８に記載の表示制御装置。
JP2019011693A 2019-01-25 2019-01-25 表示制御装置 Active JP7314514B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019011693A JP7314514B2 (ja) 2019-01-25 2019-01-25 表示制御装置
US16/751,625 US11153510B2 (en) 2019-01-25 2020-01-24 Display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019011693A JP7314514B2 (ja) 2019-01-25 2019-01-25 表示制御装置

Publications (2)

Publication Number Publication Date
JP2020120337A JP2020120337A (ja) 2020-08-06
JP7314514B2 true JP7314514B2 (ja) 2023-07-26

Family

ID=71732952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019011693A Active JP7314514B2 (ja) 2019-01-25 2019-01-25 表示制御装置

Country Status (2)

Country Link
US (1) US11153510B2 (ja)
JP (1) JP7314514B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061294A1 (ja) 2016-09-30 2018-04-05 アイシン精機株式会社 周辺監視装置
JP2018097535A (ja) 2016-12-12 2018-06-21 株式会社デンソーテン 運転支援装置及び運転支援方法
JP2018203031A (ja) 2017-06-02 2018-12-27 アイシン精機株式会社 周辺監視装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556198B1 (en) * 1997-06-16 2003-04-29 Canon Kabushiki Kaisha Polyhedron generating method and apparatus thereof, and storage medium for storing the method
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
EP1179958B1 (en) 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP3947375B2 (ja) 2001-08-24 2007-07-18 アイシン精機株式会社 駐車補助装置
CN102933428B (zh) 2010-06-15 2015-07-15 爱信精机株式会社 驾驶支援装置
JP6642972B2 (ja) * 2015-03-26 2020-02-12 修一 田山 車輌用画像表示システム及び方法
JP6477562B2 (ja) 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
US20200111445A1 (en) * 2018-10-03 2020-04-09 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Enviromentally contextual hud with graphical augmentation through vehicle camera processing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061294A1 (ja) 2016-09-30 2018-04-05 アイシン精機株式会社 周辺監視装置
JP2018097535A (ja) 2016-12-12 2018-06-21 株式会社デンソーテン 運転支援装置及び運転支援方法
JP2018203031A (ja) 2017-06-02 2018-12-27 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
US20200244897A1 (en) 2020-07-30
JP2020120337A (ja) 2020-08-06
US11153510B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
CN105539287B (zh) 周边监视装置
US10150486B2 (en) Driving assistance device and driving assistance system
CN107791951B (zh) 显示控制装置
EP3792868A1 (en) Image processing device
JP2018144526A (ja) 周辺監視装置
WO2018150642A1 (ja) 周辺監視装置
US20200035207A1 (en) Display control apparatus
JP2019054420A (ja) 画像処理装置
CN107792178B (zh) 停车支援装置
US20200193183A1 (en) Periphery monitoring device
JP7283514B2 (ja) 表示制御装置
CN110877574A (zh) 显示控制装置
US11104380B2 (en) Display controller
US11938818B2 (en) Periphery monitoring apparatus
JP7314514B2 (ja) 表示制御装置
US11982538B2 (en) Passage direction detecting device
JP2021014245A (ja) 車両周辺表示装置
JP7130923B2 (ja) 表示制御装置
CN109311423B (zh) 驾驶辅助装置
JP7331511B2 (ja) 車両周辺表示装置
US11077794B2 (en) Vehicle periphery display device
JP2018186432A (ja) 表示制御装置
US20240328809A1 (en) Surrounding display device
JP2024092546A (ja) 周辺表示装置
JP2022055775A (ja) 駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7314514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150