JP7314514B2 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
JP7314514B2
JP7314514B2 JP2019011693A JP2019011693A JP7314514B2 JP 7314514 B2 JP7314514 B2 JP 7314514B2 JP 2019011693 A JP2019011693 A JP 2019011693A JP 2019011693 A JP2019011693 A JP 2019011693A JP 7314514 B2 JP7314514 B2 JP 7314514B2
Authority
JP
Japan
Prior art keywords
vehicle
image
vehicle image
display
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019011693A
Other languages
English (en)
Other versions
JP2020120337A (ja
Inventor
欣司 山本
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2019011693A priority Critical patent/JP7314514B2/ja
Priority to US16/751,625 priority patent/US11153510B2/en
Publication of JP2020120337A publication Critical patent/JP2020120337A/ja
Application granted granted Critical
Publication of JP7314514B2 publication Critical patent/JP7314514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、表示制御装置に関する。
車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを利用して車両の周辺の状況を車両の乗員に視覚的に通知する技術について、従来から様々に検討されている。
特許第3300334号公報 特開2017-175182号公報 特許第3947375号公報 特許第5522492号公報
上述したような従来の技術においては、たとえば車両が目標位置に向かって移動する場合に、目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することが望まれている。
そこで、本開示の課題の一つは、目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することが可能な表示制御装置を提供することである。
本開示の一例としての表示制御装置は、車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを取得する画像データ取得部と、車両が目標位置に向かって移動する場合に、画像データに基づいて生成される車両の周辺の状況を表す周辺画像を表示部に表示するとともに、当該周辺画像上に、車両の現在の状態を表す第1車両画像と、車両の未来の状態を表す第2車両画像と、を表示し、第1車両画像および第2車両画像のうち少なくとも一方の表示態様を、車両の目標位置までの残距離に応じて変更する表示処理部と、を備える。
上述した表示制御装置によれば、周辺画像上における第1車両画像および第2車両画像のうち少なくとも一方の表示態様の残距離に応じた変更により、目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することができる。
上述した表示制御装置において、表示処理部は、第1車両画像の表示位置と第2車両画像の表示位置との関係の変更を、第1車両画像および第2車両画像のうち少なくとも一方の表示態様の変更として実行する。このような構成によれば、第1車両画像の表示位置と第2車両画像の表示位置との関係の残距離に応じた変更により、車両の移動の態様を視覚的に分かりやすく表現することができる。
この場合において、表示処理部は、残距離が閾値を上回る場合、第1車両画像の表示位置と第2車両画像の表示位置との間隔を略一定に保ち、残距離が閾値を下回る場合、第1車両画像の表示位置と第2車両画像の表示位置との間隔を、残距離に応じて変化させる。このような構成によれば、第1車両画像の表示位置と第2車両画像の表示位置との間隔の変化の有無により、車両の目標位置への接近度合を乗員に分かりやすく通知することができる。
また、上述した表示制御装置において、表示処理部は、車両の現在位置と目標位置とを接続する仮想的な円弧に基づいて算出される周辺画像内の仮想的な進路上に第2車両画像を表示する。このような構成によれば、車両の現在位置と目標位置とを接続する仮想的な円弧を考慮して、第2車両画像を車両の未来に対応した適切な位置に表示することができる。
また、上述した表示制御装置において、表示処理部は、車両の舵角を検出する舵角センサの検出結果に基づいて算出される周辺画像内の仮想的な進路上に第2車両画像を表示する。このような構成によれば、舵角センサの検出結果を考慮して、第2車両画像を車両の未来に対応した適切な位置に表示することができる。
また、上述した表示制御装置において、表示処理部は、第1車両画像の少なくとも一部と重複するように第2車両画像を表示する。このような構成によれば、第2車両画像が他の車両の状態を表す画像であると誤認されるのを抑制することができる。
この場合において、表示処理部は、第1車両画像と第2車両画像との重複部分を識別可能な表示態様で、第1車両画像および第2車両画像を表示する。このような構成によれば、第1車両画像と第2車両画像との位置ずれを識別しやすくすることができる。
また、この場合において、表示処理部は、第1車両画像および第2車両画像を3Dポリゴンとして表示する場合に、第1車両画像と第2車両画像との重複部分に対する陰面消去処理を実行することなく、第1車両画像および第2車両画像を表示する。このような構成によれば、容易に、第1車両画像と第2車両画像との位置ずれを識別しやすくすることができる。
なお、上述した表示制御装置において、表示処理部は、第2車両画像の色と周辺画像における第2車両画像の周辺部分の色との差と、第2車両画像の明るさと周辺部分の明るさとの差と、のうち少なくとも一方に応じて、第2車両画像の色および明るさのうち少なくとも一方を調整する。このような構成によれば、たとえば第2車両画像および周辺画像(周辺部分)の色および/または明るさの差が比較的小さい場合であっても、両者を識別しやすくすることができる。
また、上述した表示制御装置において、表示処理部は、第1車両画像を、車輪を含む車両の全体の形状に基づいて生成し、第2車両画像を、車輪を含まない車両の車体の形状に基づいて生成する。このような構成によれば、第2車両画像が車両の現在の状態を表していないことを識別しやすくすることができる。
上述した表示制御装置において、表示処理部は、ドライバによる車両の運転操作の少なくとも一部を代行する代行制御のもとで車両が目標位置に向かって移動する場合に、第1車両画像および第2車両画像のうち少なくとも一方の表示態様を、残距離に応じて変更する。このような構成によれば、代行制御のもとでの目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することができる。
この場合において、目標位置は、代行制御としての自動駐車制御において車両が最終的に到達する駐車位置、または車両が駐車位置に到達する前に一時的に停止する可能性がある切り返し位置である。このような構成によれば、駐車位置または切り返し位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することができる。
図1は、実施形態にかかる車両の車室内の構成を示した例示的かつ模式的な図である。 図2は、実施形態にかかる車両を上方から見た外観を示した例示的かつ模式的な図である。 図3は、実施形態にかかる車両のシステム構成を示した例示的かつ模式的なブロック図である。 図4は、実施形態にかかる表示制御装置の機能を示した例示的かつ模式的なブロック図である。 図5は、実施形態にかかる周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。 図6は、実施形態における実車両画像の表示位置と仮想車両画像の表示位置との関係の一例を説明するための例示的かつ模式的なイメージ図である。 図7は、実施形態における図6に示される例に対応して周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。 図8は、実施形態における実車両画像の表示位置と仮想車両画像の表示位置との関係の図6とは異なる一例を説明するための例示的かつ模式的なイメージ図である。 図9は、実施形態における図8に示される例に対応して周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。 図10は、実施形態にかかる周辺画像上における実車両画像および仮想車両画像の表示態様の一例を示した例示的かつ模式的な図である。 図11は、実施形態において実行されうる仮想車両画像の色(および/または明るさ)の調整の一例を示した例示的かつ模式的な図である。 図12は、実施形態において実行されうる実車両画像の色(および/または明るさ)の調整の一例を示した例示的かつ模式的な図である。 図13は、実施形態にかかる表示制御装置が実車両画像および仮想車両画像を表示するために実行する一連の処理を示した例示的かつ模式的なフローチャートである。
以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および結果(効果)は、あくまで一例であって、以下の記載内容に制限されるものではない。
<実施形態>
まず、図1および図2を用いて、実施形態にかかる車両1の概略的な構成について説明する。図1は、実施形態にかかる車両1の車室2a内の構成を示した例示的かつ模式的な図であり、図2は、実施形態にかかる車両1を上方から見た外観を示した例示的かつ模式的な図である。
図1に示されるように、実施形態にかかる車両1は、ユーザとしての運転者を含む乗員が乗車する車室2aを有している。車室2a内には、ユーザが座席2bから操作可能な状態で、制動部(制動操作部)301aや、加速部(加速操作部)302a、操舵部303a、変速部(変速操作部)304aなどが設けられている。
制動部301aは、たとえば、運転者の足下に設けられたブレーキペダルであり、加速部302aは、たとえば、運転者の足下に設けられたアクセルペダルである。また、操舵部303aは、たとえば、ダッシュボード(インストルメントパネル)から突出したステアリングホイールであり、変速部304aは、たとえば、センターコンソールから突出したシフトレバーである。なお、操舵部303aは、ハンドルであってもよい。
車室2a内には、各種の画像を出力可能な表示部8と、各種の音を出力可能な音声出力部9と、を有するモニタ装置11が設けられている。モニタ装置11は、たとえば、車室2a内のダッシュボードの幅方向(左右方向)の中央部に設けられる。なお、表示部8は、たとえばLCD(液晶ディスプレイ)やOELD(有機エレクトロルミネセンスディスプレイ)などで構成されている。
ここで、表示部8において画像が表示される領域としての表示画面には、操作入力部10が設けられている。操作入力部10は、たとえば、指やスタイラスなどの指示体が近接(接触を含む)した位置の座標を検出可能なタッチパネルとして構成されている。これにより、ユーザ(運転者)は、表示部8の表示画面に表示される画像を視認することができるとともに、操作入力部10上で指示体を用いたタッチ(タップ)操作などを行うことで、各種の操作入力を実行することができる。
なお、実施形態では、操作入力部10が、スイッチや、ダイヤル、ジョイスティック、押しボタンなどといった、各種の物理的なインターフェースであってもよい。また、実施形態では、車室2a内におけるモニタ装置11の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力部9および他の音声出力装置の両方から、各種の音情報を出力することができる。また、実施形態では、モニタ装置11が、ナビゲーションシステムやオーディオシステムなどの各種システムに関する情報を表示可能に構成されていてもよい。
また、図1および図2に示されるように、実施形態にかかる車両1は、左右2つの前輪3Fと、左右2つの後輪3Rと、を有した四輪の自動車として構成されている。以下では、簡単化のため、前輪3Fおよび後輪3Rを、総称して車輪と記載することがある。実施形態では、4つの車輪の一部または全部の横滑り角が、操舵部303aの操作などに応じて変化(転舵)する。
また、車両1には、周辺監視用の撮像部としての複数(図1および図2に示される例では4つ)の車載カメラ15a~15dが搭載されている。車載カメラ15aは、車体2の後側の端部2e(たとえば、リヤトランクのドア2hの下方)に設けられ、車両1の後方の領域を撮像する。また、車載カメラ15bは、車体2の右側の端部2fのドアミラー2gに設けられ、車両1の右側方の領域を撮像する。また、車載カメラ15cは、車体2の前側の端部2c(たとえば、フロントバンパ)に設けられ、車両1の前方の領域を撮像する。また、車載カメラ15dは、車体2の左側の端部2dのドアミラー2gに設けられ、車両1の左側方の領域を撮像する。以下では、簡単化のため、車載カメラ15a~15dを、総称して車載カメラ15と記載することがある。
車載カメラ15は、たとえば、CCD(電荷結合素子)やCIS(CMOS(相補性金属酸化膜半導体)イメージセンサ)などといった撮像素子を有したいわゆるデジタルカメラである。車載カメラ15は、所定のフレームレートで車両1の周囲の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。車載カメラ15により得られる画像データは、フレーム画像として動画像を構成することが可能である。
次に、図3を用いて、実施形態にかかる車両1において各種の制御を実現するために設けられるシステム構成について説明する。なお、図3に示されるシステム構成は、あくまで一例であるので、様々に設定(変更)可能である。
図3は、実施形態にかかる車両1のシステム構成を示した例示的かつ模式的なブロック図である。図3に示されるように、実施形態にかかる車両1は、制動システム301と、加速システム302と、操舵システム303と、変速システム304と、障害物センサ305と、走行状態センサ306と、車載カメラ15と、モニタ装置11と、制御装置310と、車載ネットワーク350と、を有している。
制動システム301は、車両1の減速を制御する。制動システム301は、制動部301aと、制動制御部301bと、制動部センサ301cと、を有している。
制動部301aは、たとえば上述したブレーキペダルなどといった、車両1を減速させるための装置である。
制動制御部301bは、たとえば、CPU(Central Processing Unit)などといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。制動制御部301bは、たとえば車載ネットワーク350経由で入力される指示に基づいてアクチュエータ(不図示)を駆動し、制動部301aを作動させることで、車両1の減速度合を制御する。
制動部センサ301cは、制動部301aの状態を検出するためのセンシングデバイスである。たとえば、制動部301aがブレーキペダルとして構成される場合、制動部センサ301cは、制動部301aの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ301cは、検出した制動部301aの状態を車載ネットワーク350に出力する。
加速システム302は、車両1の加速を制御する。加速システム302は、加速部302aと、加速制御部302bと、加速部センサ302cと、を有している。
加速部302aは、たとえば上述したアクセルペダルなどといった、車両1を加速させるための装置である。
加速制御部302bは、たとえば、CPUなどといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。加速制御部302bは、たとえば車載ネットワーク350経由で入力される指示に基づいてアクチュエータ(不図示)を駆動し、加速部302aを作動させることで、車両1の加速度合を制御する。
加速部センサ302cは、加速部302aの状態を検出するためのセンシングデバイスである。たとえば、加速部302aがアクセルペダルとして構成される場合、加速部センサ302cは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ302cは、検出した加速部302aの状態を車載ネットワーク350に出力する。
操舵システム303は、車両1の進行方向を制御する。操舵システム303は、操舵部303aと、操舵制御部303bと、操舵部センサ303cと、を有している。
操舵部303aは、たとえば上述したステアリングホイールやハンドルなどといった、車両1の転舵輪を転舵させる装置である。
操舵制御部303bは、たとえば、CPUなどといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。操舵制御部303bは、たとえば車載ネットワーク350経由で入力される指示に基づいてアクチュエータ(不図示)を駆動し、操舵部303aを作動させることで、車両1の進行方向を制御する。
操舵部センサ303cは、操舵部303aの状態を検出するためのセンシングデバイス、すなわち車両1の舵角を検出するための舵角センサである。たとえば、操舵部303aがステアリングホイールとして構成される場合、操舵部センサ303cは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部303aがハンドルとして構成される場合、操舵部センサ303cは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ303cは、検出した操舵部303aの状態を車載ネットワーク350に出力する。
変速システム304は、車両1の変速比を制御する。変速システム304は、変速部304aと、変速制御部304bと、変速部センサ304cと、を有している。
変速部304aは、たとえば上述したシフトレバーなどといった、車両1の変速比を変更するための装置である。
変速制御部304bは、たとえば、CPUなどといったハードウェアプロセッサを有したコンピュータとして構成される。変速制御部304bは、たとえば車載ネットワーク350経由で入力される指示に基づいてアクチュエータ(不図示)を駆動し、変速部304aを作動させることで、車両1の変速比を制御する。
変速部センサ304cは、変速部304aの状態を検出するためのセンシングデバイスである。たとえば、変速部304aがシフトレバーとして構成される場合、変速部センサ304cは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ304cは、検出した変速部304aの状態を車載ネットワーク350に出力する。
障害物センサ305は、車両1の周囲に存在しうる物体(障害物)に関する情報を検出するためのセンシングデバイスである。障害物センサ305は、たとえば、車両1の周囲に存在する物体までの距離を取得する測距センサを含んでいる。測距センサとしては、たとえば、音波を送信し、車両1の周囲に存在する物体により反射された音波を受信することで距離を取得するソナーや、光などの電波を送信し、車両1の周囲に存在する物体により反射された電波を受信することで距離を取得するレーザーレーダなどが用いられる。障害物センサ305は、検出した情報を車載ネットワーク350に出力する。
走行状態センサ306は、車両1の走行状態を検出するための装置である。走行状態センサ306は、たとえば、車両1の車輪速を検出する車輪速センサや、車両1の前後方向または左右方向の加速度を検出する加速度センサや、車両1の旋回速度(角速度)を検出するジャイロセンサなどを含んでいる。走行状態センサ306は、検出した走行状態を車載ネットワーク350に出力する。
制御装置310は、車両1に設けられる各種のシステムを統括的に制御する装置である。詳細は後述するが、実施形態にかかる制御装置310は、車載カメラ15による撮像結果としての画像データに基づいて、車両1の周辺の状況を表す周辺画像を生成し、生成した周辺画像を表示部8に表示する機能を有している。なお、ここで言及している周辺画像には、車両1の周辺の状況(車両1そのものも含む)を上から俯瞰で見た俯瞰画像や、車両1の周辺の状況(車両1そのものも含む)を任意の視点で三次元的に見た三次元画像、1つの車載カメラ15から取得される1つの画像データのみに基づく画像である単カメラ画像などが含まれる。
制御装置310は、CPU(Central Processing Unit)310aと、ROM(Read Only Memory)310bと、RAM(Random Access Memory)310cと、SSD(Solid State Drive)310dと、表示制御部310eと、音声制御部310fと、を有したECU(Electronic Control Unit)として構成されている。
CPU310aは、制御装置310を統括的に制御するハードウェアプロセッサである。CPU310aは、ROM310bなどに記憶された各種の制御プログラム(コンピュータプログラム)を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。なお、ここで言及している各種の制御プログラムには、上記のような周辺画像、実車両画像、および仮想車両画像を表示する表示制御処理を実現するための表示制御プログラムが含まれる。
ROM310bは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。
RAM310cは、CPU310aの作業領域を提供する揮発性の主記憶装置である。
SSD310dは、書き換え可能な不揮発性の補助記憶装置である。なお、実施形態にかかる制御装置310においては、補助記憶装置として、SSD310dに替えて(またはSSD310dに加えて)、HDD(Hard Disk Drive)が設けられてもよい。
表示制御部310eは、制御装置310で実行されうる各種の処理のうち、主として、車載カメラ15から得られた撮像画像に対する画像処理や、モニタ装置11の表示部8に出力する画像データの生成などを司る。
音声制御部310fは、制御装置310で実行されうる各種の処理のうち、主として、モニタ装置11の音声出力部9に出力する音声データの生成などを司る。
車載ネットワーク350は、制動システム301と、加速システム302と、操舵システム303と、変速システム304と、障害物センサ305と、走行状態センサ306と、モニタ装置11の操作入力部10と、制御装置310と、を通信可能に接続する。
ところで、上記のような周辺画像によって車両1の周辺の状況を乗員に通知する技術について従来から様々に検討されているが、このような技術においては、たとえば車両1が目標位置に向かって移動する場合に、目標位置までの車両1の移動の態様を、車両1の周辺の状況とともに乗員に分かりやすく通知することが望まれている。
そこで、実施形態は、次の図4に示されるような機能を有した表示制御装置400を制御装置310内に実現することで、目標位置までの車両1の移動の態様を、車両1の周辺の状況とともに乗員に分かりやすく通知することを実現する。
図4は、実施形態にかかる表示制御装置400の機能を示した例示的かつ模式的なブロック図である。図4に示される機能は、ソフトウェアとハードウェアとの協働によって制御装置310内に実現される。すなわち、図4に示される機能は、制御装置310のCPU310aがROM310bなどに記憶された所定の制御プログラム(カメラパラメータ推定プログラム)を読み出して実行した結果として実現される。なお、実施形態では、図4に示される機能の少なくとも一部が専用のハードウェア(回路)によって実現されてもよい。
図4に示されるように、実施形態にかかる表示制御装置400は、操作検出部401と、代行制御部402と、画像データ取得部403と、画像生成部404と、表示処理部405と、を有している。
操作検出部401は、車両1に対して実行される各種の操作を検出する。たとえば、操作検出部401は、モニタ装置11の操作入力部10を介して入力される操作(タッチ操作など)を検出する。
代行制御部402は、上述した制動システム301、加速システム302、操舵システム303、および変速システム304を適宜制御することで、ドライバによる車両1の運転操作の少なくとも一部を代行する代行制御を実行する。代行制御によれば、目標位置への車両1の移動を、ドライバによる運転操作のみに依存することなく、自動(または半自動)で実現することができる。なお、代行制御の例としては、たとえば、自動駐車制御などが挙げられる。自動駐車制御において設定されうる目標位置は、車両1が最終的に到達する駐車位置と、車両1が駐車位置に到達する前に一時的に停止する可能性がある切り返し位置と、が考えられる。実施形態において、代行制御部402は、表示制御装置400を構成する制御装置310とは別個に、車両1の走行制御などを統括する専用のECU内に実現されてもよい。なお、実施形態の技術が自動駐車制御以外の代行制御も対象としうることは、言うまでもない。
画像データ取得部403は、車載カメラ15による撮像結果としての画像データを車載カメラ15から取得する。
画像生成部404は、画像データ取得部403により取得される画像データなどに基づいて、モニタ装置11の表示部8に表示すべき画像を生成する。
表示処理部405は、画像生成部404により生成される画像に基づいて、モニタ装置11の表示部8の表示内容を制御する。より具体的に、表示処理部405は、車両1が目標位置に向かって移動する場合に、たとえば次の図5に示されるような表示態様で、車両1の周辺の状況を表す周辺画像を表示部8に表示するとともに、当該周辺画像上に、車両1の現在の状態を表す実車両画像と、車両1の未来の状態を表す仮想車両画像と、を表示(重畳)する。
図5は、実施形態にかかる周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。なお、以下では、周辺画像として三次元画像が用いられる例について主に説明するが、実施形態において、周辺画像は、前述したように、三次元画像の他、俯瞰画像や単カメラ画像なども含んでいる。したがって、実施形態において、実車両画像および仮想車両画像は、俯瞰画像や単カメラ画像などにも重畳されうる。
図5に示されるように、実施形態において、表示処理部405は、たとえば、周辺画像の一例としての三次元画像を示す画像500と、当該画像500に対応した視点での車両1の現在の状態(位置や向き、形状など)を表す実車両画像を示す画像501と、画像500に対応した視点での車両1の未来(車両1の移動が一定時間または一定距離分進んだとき)の状態を示す仮想車両画像を表す画像502と、を含む画像IM500を表示部8に表示する。
なお、実施形態において、表示処理部405は、仮想車両画像が車両1の現在の状態を表す情報であるとの混同が発生しないように、実車両画像と仮想車両画像とを、たとえば形状や色、明るさ、透過率などを差別化した上で生成しうる。たとえば、表示処理部405は、図5に示される例のように、実車両画像を示す画像501を、車輪を含む車両1の全体の形状に基づいて生成し、仮想車両画像を示す画像502を、車輪を含まない車両1の車体2の形状に基づいて生成しうる。
さらに、詳細は後述するが、実施形態において、表示処理部405は、実車両画像および仮想車両画像を、たとえば3Dポリゴンとして表示しうる。この場合において、表示処理部405は、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行することで、当該重複部分を、実車両画像と仮想車両画像とのうちいずれか一方の画像のみを識別可能な表示態様で表示することと、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行しないことで、当該重複部分を、実車両画像と仮想車両画像との両方の画像を識別可能な表示態様で表示することと、を選択的に切り替えうる。
実車両画像および仮想車両画像が重畳された上記のような周辺画像によれば、未来の車両1の状態も含めて、現在の車両1の状態および車両1の周辺の状況を乗員に分かりやすく通知することが可能であるので、目標位置までの車両1の移動の態様を、車両1の周辺の状況とともに乗員に分かりやすく通知することが可能である。ただし、通知の分かりやすさをさらに追及するためには、実車両画像に対する仮想車両画像の表示位置の設定に工夫の余地がある。
そこで、実施形態において、表示処理部405は、車両1が目標位置に向かって移動する場合に、実車両画像の表示位置と仮想車両画像の表示位置との関係を、車両1の目標位置までの残距離に応じて変更する。なお、残距離は、車両1に設けられる各種のセンサの検出結果を利用して推定される車両1の走行距離などを考慮して算出されうる。
たとえば、実施形態において、表示処理部405は、次の図6および図7に示されるように、目標位置までの残距離が閾値を上回る(または閾値以上である)場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を略一定に保つ。
図6は、実施形態における実車両画像の表示位置と仮想車両画像の表示位置との関係の一例を説明するための例示的かつ模式的なイメージ図である。図6に示される例において、図形601は、実車両画像に対応し、位置P601は、実車両画像の表示位置に対応し、図形602は、仮想車両画像に対応し、図形602の位置P602は、仮想車両画像の表示位置に対応し、位置P610は、目標位置に対応する。
図6に示されるように、位置P601、P602、およびP610は、位置P600を中心とする円弧C600上に配置される。なお、実施形態において、円弧C600(および位置P600)は、代行制御部402により実行される代行制御(たとえば自動駐車制御)においてシステム的に適宜算出される車両1の進路に基づいて取得されてもよいし、車両1の舵角を検出する舵角センサとしての操舵部センサ303cの検出結果に基づいて算出される車両1の進路に基づいて取得されてもよい。したがって、実施形態において、目標位置までの車両1の移動は、代行制御部402による代行制御のもとで実現されてもよいし、ドライバによる手動運転のもとで実現されてもよい。
ここで、実施形態では、目標位置に対応した位置P610までの(位置P601からの)残距離が閾値を上回る場合に、実車両画像の表示位置に対応した位置P601と仮想車両画像の表示位置に対応した位置P602との間の円弧C600に沿った距離が略一定に保たれる。これにより、表示処理部405は、次の図7に示されるような表示態様で、実車両画像および仮想車両画像を含む周辺画像を表示する。
図7は、実施形態における図6に示される例に対応して周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。実施形態において、表示処理部405は、実車両画像の表示位置と目標位置との関係が図6に示される例のような関係になっている場合、図7に示されるような画像IM700を表示部8に表示する。
図7に示されるように、画像IM700は、周辺画像の一例としての三次元画像を示す画像700と、当該画像700内の位置P701に重畳される実車両画像を示す画像701と、車両1の想定上の進路に沿って位置P701から一定距離だけ離れた画像700内の位置P702に重畳される仮想車両画像を示す画像702と、を含んでいる。なお、図7に示される画像IM700には、目標位置に対応した位置P701に、目標位置を表すアイコン710も表示されている。
実車両画像を示す画像701と仮想車両画像を示す画像702との間の間隔が一定距離だけ離れて表示される上記のような表示態様は、目標位置までの残距離が閾値を上回っている限り継続される。これにより、乗員は、実車両画像を示す画像701と仮想車両画像を示す画像702との離れ具合を視覚的に確認することで、目標位置までの残距離を容易に認識することが可能である。
なお、図7に示される例では、仮想車両画像を示す画像702が、実車両画像を示す画像701の少なくとも一部と重複するように両者の表示位置間の距離が設定されているが、実施形態では、仮想車両画像を示す画像702と実車両画像を示す画像701とが重複せずに分離するように両者の表示位置間の距離が設定されてもよい。
一方、実施形態において、表示処理部405は、次の図8および図9に示されるように、目標位置までの残距離が閾値を下回る(または閾値以下である)場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、残距離に応じて変化させる。
図8は、実施形態における実車両画像の表示位置と仮想車両画像の表示位置との関係の図6とは異なる一例を説明するための例示的かつ模式的なイメージ図である。図8に示される例において、図形801は、実車両画像に対応し、位置P801は、実車両画像の表示位置に対応し、図形802は、仮想車両画像に対応し、図形802の位置P802は、仮想車両画像の表示位置に対応し、位置P810は、目標位置に対応する。なお、図8に示される例では、位置P802と位置P810とが一致している。
図8に示されるように、位置P801、P802、およびP810は、位置P800を中心とする円弧C800上に配置される。なお、図8に示される例において、円弧C800(および位置P800)が、代行制御においてシステム的に適宜算出される車両1の進路に基づいて取得されてもよいし、操舵部センサ303cの検出結果に基づいて算出される車両1の進路に基づいて取得されてもよい、という点は、図6に示される例と同様である。
ここで、図8に示される例では、目標位置に対応した位置P810までの(位置P801からの)残距離が、図6に示される例よりも縮まった結果、上記の閾値を下回っている。このような場合、表示処理部405は、実車両画像の表示位置と仮想車両画像の表示位置との間隔を一定に保つのではなく、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、目標位置までの残距離に応じて変化させる。
すなわち、実施形態において、表示処理部405は、目標位置までの残距離が閾値を上回る場合には、たとえば仮想車両画像の表示位置が目標位置に到達するまで、実車両画像の表示位置と仮想車両画像の表示位置との間隔を一定に保ち、目標位置までの残距離が閾値を下回る場合には、たとえば仮想車両画像の表示位置が目標位置に到達した状態が維持されるように、実車両画像の表示位置と仮想車両画像の表示位置との間隔を残距離に応じて変化させる。これにより、表示処理部405は、次の図9に示されるような表示態様で、実車両画像および仮想車両画像を含む周辺画像を表示する。
図9は、実施形態における図8に示される例に対応して周辺画像上に表示される実車両画像および仮想車両画像の一例を示した例示的かつ模式的な図である。実施形態において、表示処理部405は、実車両画像の表示位置と目標位置との関係が図8に示される例のような関係になっている場合、図9に示されるような画像IM900を表示部8に表示する。
図9に示されるように、画像IM900は、周辺画像の一例としての三次元画像を示す画像900と、当該画像900内の位置P910に重畳される目標位置を表すアイコン710と、画像900内の位置P901に重畳される実車両画像を示す画像901と、目標位置を表すアイコン710の位置P910と一致する画像900内の位置P902に重畳される仮想車両画像を示す画像902と、を含んでいる。
図9に示される例において、実車両画像を示す画像901と仮想車両画像を示す画像902との間の間隔は、車両1の移動が進むにしたがって徐々に近づいていく。より具体的に、車両1の移動が進むと、目標位置としての位置P910に固定的に表示された仮想車両画像を示す画像902に向かって、実車両画像を示す画像901が徐々に近づいていく。これにより、乗員は、実車両画像を示す画像901と仮想車両画像を示す画像902との接近の態様を視覚的に確認することで、目標位置までの車両1の移動の態様を容易に認識することが可能である。
なお、実施形態では、目標位置までの残距離が閾値に達するタイミングと、仮想車両画像の表示位置が目標位置に到達するタイミングとが、必ずしも一致していなくてもよい。たとえば、実施形態では、仮想車両画像の表示位置が目標位置に対して所定距離だけ手前に離れた位置に到達するまでは、実車両画像の表示位置と仮想車両画像の表示位置との間隔を一定に保ち、その後は、実車両画像の表示位置が目標位置に到達するタイミングと仮想車両画像の表示位置が目標位置に到達するタイミングとが一致するように、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、残距離に応じて徐々に狭めていく、という方法も考えられる。
ところで、実施形態では、前述したように、実車両画像と仮想車両画像とが、たとえば形状や色、明るさ、透過率などを差別化した上で生成されうる。したがって、実施形態では、仮想車両画像が、周辺画像に写る車両1以外の内容(背景)を透過した状態で表示されることがある。このような場合、実車両画像、仮想車両画像、および周辺画像のそれぞれの色または明るさが近いと、各画像の識別性が低下する。
そこで、実施形態において、表示処理部405は、次の図10~図11に示される方法の単独または組み合わせにより、実車両画像、仮想車両画像、および周辺画像のそれぞれの識別性を向上させる。
まず、実車両画像に対する仮想車両画像の識別性を向上させる方法について説明する。実施形態において、表示処理部405は、次の図10に示される画像IM1000のような表示態様で実車両画像および仮想車両画像を表示することで、実車両画像に対する仮想車両画像の識別性を向上させることが可能である。
図10は、実施形態にかかる周辺画像上における実車両画像および仮想車両画像の表示態様の一例を示した例示的かつ模式的な図である。図10に示される例において、画像IM1000は、周辺画像の一例としての三次元画像を示す画像1000上に、実車両画像を示す画像1001と、仮想車両画像を示す画像1002と、が重畳されることで構成されている。また、実車両画像を示す画像1001と、仮想車両画像を示す画像1002とは、一部が重複した3Dポリゴンとして表示されている。
図10に示されるように、実施形態において、表示処理部405は、実車両画像と仮想車両画像との重複部分を識別可能な表示態様で、実車両画像および仮想車両画像を表示することが可能である。より具体的に、表示処理部405は、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行しないことで、当該重複部分を、実車両画像と仮想車両画像との両方の画像を識別可能な表示態様で表示することが可能である。このような表示態様によれば、たとえば実車両画像および仮想車両画像の色(および/または明るさ)の差が比較的小さい場合であっても、実車両画像と仮想車両画像との位置ずれを認識しやすくすることが可能である。
ただし、たとえば実車両画像および仮想車両画像の色(および/または明るさ)の差が比較的大きい場合においては、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行しても、大きな不都合が発生しないこともある。したがって、実施形態において、表示処理部405は、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行することで、当該重複部分を、実車両画像と仮想車両画像とのうちいずれか一方の画像のみを識別可能な表示態様で表示することと、実車両画像と仮想車両画像との重複部分に陰面消去処理を実行しないことで、当該重複部分を、実車両画像と仮想車両画像との両方の画像を識別可能な表示態様で表示することと、を選択的に切り替えることが可能である。
次に、周辺画像に対する仮想車両画像の識別性を向上させる方法について説明する。実施形態において、表示処理部405は、次の図11に示される画像IM1100のような表示態様で仮想車両画像の色(および/または明るさ)を適宜調整することで、周辺画像に対する仮想車両画像の識別性を向上させることが可能である。
図11は、実施形態において実行されうる仮想車両画像の色(および/または明るさ)の調整の一例を示した例示的かつ模式的な図である。図11に示される例において、画像IM1100は、周辺画像の一例としての三次元画像を示す画像1100上に、実車両画像を示す画像1101と、仮想車両画像を示す画像1102と、が重畳されることで構成されている。
図11に示されるように、実施形態において、表示処理部405は、仮想車両画像と周辺画像における仮想車両画像の周辺部分との色(および/または明るさ)の差が比較的小さい場合、当該差がたとえば一定以上になるように、仮想車両画像の色(および/または明るさ)を調整することが可能である。このような表示態様によれば、たとえば仮想車両画像および周辺部分の色(および/または明るさ)の差が比較的小さい場合であっても、仮想車両画像と周辺部分とを明確に差別化することが可能である。
なお、図11に示される例においては、実車両画像を示す画像1101と、仮想車両画像を示す画像1102と、の重複部分に対する陰面消去処理は実行されているが、当該重複部分に対して陰面消去処理が実行されていなくてもよいことは、言うまでもない。後者の場合、実車両画像との重複部分を含む仮想車両画像の全体の色(および/または明るさ)を一括して調整しうる。
また、上記のような仮想車両画像の色の調整は、仮想車両画像と周辺部分との差別化の用途の他、手動運転により車両1が移動する場合におけるドライバの運転操作の誤りを通知する用途にも利用可能である。手動運転により車両1が移動する場合、仮想車両画像の表示位置は、たとえば、車両1の舵角を検出する舵角センサとしての操舵部センサ303cの検出結果に基づいて決定されるが、このように決定された表示位置が目標位置までに辿るべき進路から外れている場合、仮想車両画像の色を変更してドライバに注意を促せば、ドライバの運転操作の誤りを通知することができ、有益である。
ところで、図11に示されるような方法で仮想車両画像の色(および/または明るさ)を適宜調整すると、仮想車両画像および実車両画像の色(および/または明るさ)の差が比較的小さくなり、仮想車両画像に対する実車両画像の識別性が低下することも想定される。
そこで、実施形態において、表示処理部405は、次の図12に示される画像IM1200のような表示態様で実車両画像の色(および/または明るさ)を適宜調整することで、周辺画像に対する仮想車両画像の識別性の向上と、仮想車両画像に対する実車両画像の識別性の向上と、を両立させることが可能である。
図12は、実施形態において実行されうる実車両画像の色(および/または明るさ)の調整の一例を示した例示的かつ模式的な図である。図12に示される例において、画像IM1200は、周辺画像の一例としての三次元画像を示す画像1200上に、実車両画像を示す画像1201と、仮想車両画像を示す画像1202と、が重畳されることで構成されている。
図12に示されるように、実施形態において、表示処理部405は、仮想車両画像の色(および/または明るさ)の調整の結果として仮想車両画像および実車両画像の色(および/または明るさ)の差が比較的小さくなった場合、当該差がたとえば一定以上になるように、実車両画像の色(および/または明るさ)を調整することが可能である。このような表示態様によれば、仮想車両画像と実車両画像とを明確に差別化することが可能である。
なお、図11に示される例と同様、図12に示される例においても、実車両画像を示す画像1201と、仮想車両画像を示す画像1202と、の重複部分に対する陰面消去処理は実行されているが、当該重複部分に対して陰面消去処理が実行されていなくてもよいことは、言うまでもない。
以下、図13を参照して、実施形態にかかる表示制御装置400が実行する処理について説明する。
図13は、実施形態にかかる表示制御装置400が実車両画像および仮想車両画像を表示するために実行する一連の処理を示した例示的かつ模式的なフローチャートである。この図13に示される一連の処理は、車両1の周辺監視が要求される状況下において繰り返し実行される。
図13に示されるように、実施形態では、まず、S1301において、表示制御装置400の画像データ取得部403は、車載カメラ15の撮像結果としての画像データを取得する。
そして、S1302において、表示制御装置400の画像生成部404は、表示部8に表示すべき画像の一つとして、周辺画像を生成する。前述したように、周辺画像は、三次元画像や俯瞰画像、単カメラ画像などを含んでいる。
そして、S1303において、表示制御装置400の画像生成部404は、周辺画像に重畳すべき実車両画像および仮想車両画像を生成する。前述したように、実車両画像は、車両1の現在の状態を表す画像であり、仮想車両画像は、車両1の未来の状態を表す画像である。これらの画像は、車両1に設けられる各種のセンサの検出結果や、代行制御部402により実行される代行制御の内容などに基づいて算出される。
そして、S1304において、表示制御装置400の表示処理部405は、目標位置までの残距離に基づいて、実車両画像および仮想車両画像の表示位置を決定する。より具体的に、表示処理部405は、目標位置までの残距離が閾値を上回る場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を略一定に保ち、目標位置までの残距離が閾値を下回る場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、残距離に応じて変化させる。
そして、S1305において、表示制御装置400の表示処理部405は、実車両画像および仮想車両画像が重畳された周辺画像を表示部8に出力する。そして、処理が終了する。
以上説明したように、実施形態にかかる表示制御装置400は、画像データ取得部403と、表示処理部405と、を備えている。画像データ取得部403は、車両1の周辺の状況を撮像する撮像部である車載カメラ15による撮像結果としての画像データを取得する。表示処理部405は、車両1が目標位置に向かって移動する場合に、画像データに基づいて生成される車両1の周辺の状況を表す周辺画像を表示部8に表示するとともに、当該周辺画像上に、車両1の現在の状態を表す第1車両画像としての実車両画像と、車両1の未来の状態を表す第2車両画像としての仮想車両画像と、を表示する。そして、表示処理部405は、実車両画像の表示位置と仮想車両画像の表示位置との関係を、車両1の目標位置までの残距離に応じて変更する。
上記のような構成によれば、目標位置までの残距離に応じて表示位置が変化する実車両画像および仮想車両画像が表示された周辺画像により、目標位置までの車両1の移動の態様を、車両1の周辺の状況とともに乗員に分かりやすく通知することができる。
実施形態にかかる表示制御装置400において、表示処理部405は、残距離が閾値を上回る場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を略一定に保ち、残距離が閾値を下回る場合、実車両画像の表示位置と仮想車両画像の表示位置との間隔を、残距離に応じて変化させる。このような構成によれば、実車両画像の表示位置と仮想車両画像の表示位置との間隔の変化の有無により、車両1の目標位置への接近度合を乗員に分かりやすく通知することができる。
なお、実施形態にかかる表示制御装置400において、表示処理部405は、車両1の現在位置と目標位置とを接続する仮想的な円弧に基づいて算出される周辺画像内の仮想的な進路上に仮想車両画像を表示しうる。このような構成によれば、車両1の現在位置と目標位置とを接続する仮想的な円弧を考慮して、仮想車両画像を車両1の未来に対応した適切な位置に表示することができる。
また、実施形態にかかる表示制御装置400において、表示処理部405は、車両1の舵角を検出する舵角センサとしての操舵部センサ303cの検出結果に基づいて算出される周辺画像内の仮想的な進路上に仮想車両画像を表示しうる。このような構成によれば、舵角センサの検出結果を考慮して、仮想車両画像を車両1の未来に対応した適切な位置に表示することができる。
また、実施形態にかかる表示制御装置400において、表示処理部405は、実車両画像の少なくとも一部と重複するように仮想車両画像を表示しうる。このような構成によれば、仮想車両画像が他の車両の状態を表す画像であると誤認されるのを抑制することができる。
また、実施形態にかかる表示制御装置400において、表示処理部405は、実車両画像と仮想車両画像との重複部分を識別可能な表示態様で、実車両画像および仮想車両画像を表示しうる。より具体的に、表示処理部405は、実車両画像および仮想車両画像を3Dポリゴンとして表示する場合に、実車両画像と仮想車両画像との重複部分に対する陰面消去処理を実行することなく、実車両画像および仮想車両画像を表示しうる。このような構成によれば、容易に、実車両画像と仮想車両画像との位置ずれを識別しやすくすることができる。
また、実施形態にかかる表示制御装置400において、表示処理部405は、仮想車両画像の色と周辺画像における仮想車両画像の周辺部分の色との差と、仮想車両画像の明るさと周辺部分の明るさとの差と、のうち少なくとも一方に応じて、仮想車両画像の色および明るさのうち少なくとも一方を調整しうる。このような構成によれば、たとえば仮想車両画像および周辺画像(周辺部分)の色および/または明るさの差が比較的小さい場合であっても、両者を識別しやすくすることができる。
また、実施形態にかかる表示制御装置400において、表示処理部405は、実車両画像を、車輪を含む車両1の全体の形状に基づいて生成し、仮想車両画像を、車輪を含まない車両1の車体2の形状に基づいて生成する。このような構成によれば、仮想車両画像が車両1の現在の状態を表していないことを識別しやすくすることができる。
また、実施形態にかかる表示制御装置400において、表示処理部405は、ドライバによる車両の運転操作の少なくとも一部を代行する代行制御のもとで車両1が目標位置に向かって移動する場合に、実車両画像の表示位置と仮想車両画像の表示位置との関係を、残距離に応じて変更しうる。このような構成によれば、代行制御のもとでの目標位置までの車両1の移動の態様を、車両1の周辺の状況とともに乗員に分かりやすく通知することができる。
また、実施形態にかかる表示制御装置400において、目標位置は、代行制御としての自動駐車制御において車両1が最終的に到達する駐車位置、または車両1が駐車位置に到達する前に一時的に停止する可能性がある切り返し位置である。このような構成によれば、駐車位置または切り返し位置までの車両1の移動の態様を、車両1の周辺の状況とともに乗員に分かりやすく通知することができる。
なお、実施形態にかかる制御装置310において実行される表示制御プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかる制御装置310において実行される表示制御プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。
<変形例>
上述した実施形態においては、一例として、実車両画像の表示位置と仮想車両画像の表示位置との関係を目標位置までの残距離に応じて変更する技術が例示されている。しかしながら、本開示の技術は、実車両画像および仮想車両画像の表示位置の関係を残距離に応じて変更する技術に限らず、実車両画像および仮想車両画像のうち少なくとも一方の、たとえば色や明るさ、透過率などといった、表示位置以外の表示態様を残距離に応じて変更する技術も含んでいる。後者の技術によっても、前者の技術と同様に、周辺画像上における実車両画像および仮想車両画像のうち少なくとも一方の表示態様の残距離に応じた変更により、目標位置までの車両の移動の態様を、車両の周辺の状況とともに乗員に分かりやすく通知することができる。
たとえば、残距離に応じて色を変更する技術の例としては、残距離が小さくなるにつれて仮想車両画像(および/または実車両画像)の色を灰色から白色に徐々に変更する技術が考えられる。また、残距離に応じて明るさを変更する技術の例としては、残距離が小さくなるにつれて仮想車両画像(および/または実車両画像)の明るさを暗から明に徐々に変更する技術が考えられる。また、残距離に応じて透過率を変更する技術の例としては、残距離が小さくなるにつれて仮想車両画像(および/または実車両画像)の透過率を高から低に徐々に変更する技術が考えられる。これら3つの技術は、それぞれ単独で利用されてもよいし、残距離に応じて表示位置を変更する上述した実施形態のような技術も含めた4つの技術のうち1以上の組み合わせとして利用されてもよい。
以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 車両
2 車体
15 車載カメラ(撮像部)
303c 操舵部センサ(舵角センサ)
400 表示制御装置
403 画像データ取得部
405 表示処理部

Claims (9)

  1. 車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを取得する画像データ取得部と、
    前記車両が目標位置に向かって移動する場合に、前記画像データに基づいて生成される前記車両の周辺の状況を表す周辺画像を表示部に表示するとともに、当該周辺画像上に、前記車両の現在の状態を表す第1車両画像と、前記車両の未来の状態を表す第2車両画像と、を表示し、前記第1車両画像および前記第2車両画像のうち少なくとも一方の表示態様を、前記車両の目標位置までの残距離に応じて変更する表示処理部と、を備え
    前記表示処理部は、
    前記第1車両画像の少なくとも一部と重複するように前記第2車両画像を表示し、その場合に、前記第1車両画像と前記第2車両画像との重複部分を識別可能な表示態様で、前記第1車両画像および前記第2車両画像を表示し、
    前記第1車両画像および前記第2車両画像を3Dポリゴンとして表示する場合に、前記第1車両画像と前記第2車両画像との重複部分に対する陰面消去処理を実行することなく、前記第1車両画像および前記第2車両画像を表示する、表示制御装置。
  2. 車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを取得する画像データ取得部と、
    前記車両が目標位置に向かって移動する場合に、前記画像データに基づいて生成される前記車両の周辺の状況を表す周辺画像を表示部に表示するとともに、当該周辺画像上に、前記車両の現在の状態を表す第1車両画像と、前記車両の未来の状態を表す第2車両画像と、を表示し、前記第1車両画像および前記第2車両画像のうち少なくとも一方の表示態様を、前記車両の目標位置までの残距離に応じて変更する表示処理部と、を備え
    前記表示処理部は、前記第2車両画像の色と前記周辺画像における前記第2車両画像の周辺部分の色との差と、前記第2車両画像の明るさと前記周辺部分の明るさとの差と、のうち少なくとも一方に応じて、前記第2車両画像の色および明るさのうち少なくとも一方を調整する、表示制御装置。
  3. 車両の周辺の状況を撮像する撮像部による撮像結果としての画像データを取得する画像データ取得部と、
    前記車両が目標位置に向かって移動する場合に、前記画像データに基づいて生成される前記車両の周辺の状況を表す周辺画像を表示部に表示するとともに、当該周辺画像上に、前記車両の現在の状態を表す第1車両画像と、前記車両の未来の状態を表す第2車両画像と、を表示し、前記第1車両画像および前記第2車両画像のうち少なくとも一方の表示態様を、前記車両の目標位置までの残距離に応じて変更する表示処理部と、を備え
    前記表示処理部は、前記第1車両画像を、車輪を含む前記車両の全体の形状に基づいて生成し、前記第2車両画像を、前記車輪を含まない前記車両の車体の形状に基づいて生成する、表示制御装置。
  4. 前記表示処理部は、前記第1車両画像の表示位置と前記第2車両画像の表示位置との関係の変更を、前記第1車両画像および前記第2車両画像のうち少なくとも一方の前記表示態様の変更として実行する、
    請求項1~3のうちいずれか1項に記載の表示制御装置。
  5. 前記表示処理部は、前記残距離が閾値を上回る場合、前記第1車両画像の表示位置と前記第2車両画像の表示位置との間隔を略一定に保ち、前記残距離が前記閾値を下回る場合、前記第1車両画像の表示位置と前記第2車両画像の表示位置との間隔を、前記残距離に応じて変化させる、
    請求項に記載の表示制御装置。
  6. 前記表示処理部は、前記車両の現在位置と前記目標位置とを接続する仮想的な円弧に基づいて算出される前記周辺画像内の仮想的な進路上に前記第2車両画像を表示する、
    請求項1~のうちいずれか1項に記載の表示制御装置。
  7. 前記表示処理部は、前記車両の舵角を検出する舵角センサの検出結果に基づいて算出される前記周辺画像内の仮想的な進路上に前記第2車両画像を表示する、
    請求項1~のうちいずれか1項に記載の表示制御装置。
  8. 前記表示処理部は、ドライバによる前記車両の運転操作の少なくとも一部を代行する代行制御のもとで前記車両が目標位置に向かって移動する場合に、前記第1車両画像および前記第2車両画像のうち少なくとも一方の表示態様を、前記残距離に応じて変更する、
    請求項1~のうちいずれか1項に記載の表示制御装置。
  9. 前記目標位置は、前記代行制御としての自動駐車制御において前記車両が最終的に到達する駐車位置、または前記車両が前記駐車位置に到達する前に一時的に停止する可能性がある切り返し位置である、
    請求項に記載の表示制御装置。
JP2019011693A 2019-01-25 2019-01-25 表示制御装置 Active JP7314514B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019011693A JP7314514B2 (ja) 2019-01-25 2019-01-25 表示制御装置
US16/751,625 US11153510B2 (en) 2019-01-25 2020-01-24 Display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019011693A JP7314514B2 (ja) 2019-01-25 2019-01-25 表示制御装置

Publications (2)

Publication Number Publication Date
JP2020120337A JP2020120337A (ja) 2020-08-06
JP7314514B2 true JP7314514B2 (ja) 2023-07-26

Family

ID=71732952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019011693A Active JP7314514B2 (ja) 2019-01-25 2019-01-25 表示制御装置

Country Status (2)

Country Link
US (1) US11153510B2 (ja)
JP (1) JP7314514B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061294A1 (ja) 2016-09-30 2018-04-05 アイシン精機株式会社 周辺監視装置
JP2018097535A (ja) 2016-12-12 2018-06-21 株式会社デンソーテン 運転支援装置及び運転支援方法
JP2018203031A (ja) 2017-06-02 2018-12-27 アイシン精機株式会社 周辺監視装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556198B1 (en) * 1997-06-16 2003-04-29 Canon Kabushiki Kaisha Polyhedron generating method and apparatus thereof, and storage medium for storing the method
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
EP1179958B1 (en) 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP3947375B2 (ja) 2001-08-24 2007-07-18 アイシン精機株式会社 駐車補助装置
CN102933428B (zh) 2010-06-15 2015-07-15 爱信精机株式会社 驾驶支援装置
JP6642972B2 (ja) * 2015-03-26 2020-02-12 修一 田山 車輌用画像表示システム及び方法
JP6477562B2 (ja) 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
US20200111445A1 (en) * 2018-10-03 2020-04-09 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Enviromentally contextual hud with graphical augmentation through vehicle camera processing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061294A1 (ja) 2016-09-30 2018-04-05 アイシン精機株式会社 周辺監視装置
JP2018097535A (ja) 2016-12-12 2018-06-21 株式会社デンソーテン 運転支援装置及び運転支援方法
JP2018203031A (ja) 2017-06-02 2018-12-27 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
US20200244897A1 (en) 2020-07-30
JP2020120337A (ja) 2020-08-06
US11153510B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
CN105539287B (zh) 周边监视装置
US10150486B2 (en) Driving assistance device and driving assistance system
CN107791951B (zh) 显示控制装置
EP3792868A1 (en) Image processing device
JP2018144526A (ja) 周辺監視装置
WO2018150642A1 (ja) 周辺監視装置
US20200035207A1 (en) Display control apparatus
JP2019054420A (ja) 画像処理装置
CN107792178B (zh) 停车支援装置
US20200193183A1 (en) Periphery monitoring device
JP7283514B2 (ja) 表示制御装置
CN110877574A (zh) 显示控制装置
US11104380B2 (en) Display controller
US11938818B2 (en) Periphery monitoring apparatus
JP7314514B2 (ja) 表示制御装置
US11982538B2 (en) Passage direction detecting device
JP2021014245A (ja) 車両周辺表示装置
JP7130923B2 (ja) 表示制御装置
CN109311423B (zh) 驾驶辅助装置
JP7331511B2 (ja) 車両周辺表示装置
US11077794B2 (en) Vehicle periphery display device
JP2018186432A (ja) 表示制御装置
US20240328809A1 (en) Surrounding display device
JP2024092546A (ja) 周辺表示装置
JP2022055775A (ja) 駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7314514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150