JP6747369B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP6747369B2
JP6747369B2 JP2017085243A JP2017085243A JP6747369B2 JP 6747369 B2 JP6747369 B2 JP 6747369B2 JP 2017085243 A JP2017085243 A JP 2017085243A JP 2017085243 A JP2017085243 A JP 2017085243A JP 6747369 B2 JP6747369 B2 JP 6747369B2
Authority
JP
Japan
Prior art keywords
display
vehicle
data
auxiliary
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017085243A
Other languages
English (en)
Other versions
JP2018056982A (ja
Inventor
松本 英之
英之 松本
大場 貢
貢 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to CN201780024190.2A priority Critical patent/CN109070824B/zh
Priority to PCT/JP2017/021218 priority patent/WO2018055842A1/ja
Priority to EP17852623.2A priority patent/EP3517370B1/en
Publication of JP2018056982A publication Critical patent/JP2018056982A/ja
Priority to US16/184,887 priority patent/US20190075255A1/en
Application granted granted Critical
Publication of JP6747369B2 publication Critical patent/JP6747369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。
近年、車両の後退時等に、車両の後方に搭載された後方カメラによって撮影された後方映像をモニタ等の表示部に表示させる技術が普及している(特許文献1、2)。特許文献1の装置では、表示部に予想軌跡線走行軌跡線を表示している。さらに、特許文献1では、予想軌跡線の手前側と奥側とで表示形態を変えている。具体的には、予想軌跡線の手前側を太い実線とし、奥側を破線、薄いカラー線、半透明の線として、表示している。特許文献2の装置では、表示部に走行軌跡線を表示させている。特許文献2では、走行軌跡線が障害物と重なる場合、障害物と重なる部分を消去している。
特開2010−100267号公報 特開2007−43530号公報
しかしながら、特許文献1、2の装置では、駐車時の走行速度が適切であるか否かを運転者が認識することが困難である。
上記課題に鑑み、本発明は、駐車時の走行速度が適切であるか否かを運転者に認識させることができる表示制御装置、表示制御方法及びプログラムを提供することを目的とする。
本実施形態にかかる表示制御装置は、車両の進行方向を撮影するカメラからの映像データを取得する映像データ取得部と、前記車両の走行動作に基づいて、前記車両の進行方向において前記車両から所定の距離だけ離れた位置を示す重畳データを生成する重畳データ生成部と、前記映像データに前記重畳データを重畳させた表示映像データを生成する表示映像生成部と、前記表示映像生成部によって生成された前記表示映像データによる映像を表示部に表示させる表示制御部と、を備え、前記表示制御部が、前記表示部に(a)、及び(b)の少なくとも一方の表示をさせるように、前記表示映像生成部は前記表示映像データを生成し、前記(a)の表示は、複数の前記重畳データの表示形態が前記車両の遠方側から順番に所定の時間間隔で変化するように表示することであり、前記(b)の表示は、時間の経過に応じて前記所定の距離が小さくなるように前記重畳データを表示することである、ものである。
本実施形態にかかる表示制御方法は、車両の進行方向を撮影するカメラからの映像データを取得するステップと、前記車両の走行動作に基づいて、前記車両の進行方向において前記車両から所定の距離だけ離れた位置を示す重畳データを生成するステップと、前記映像データに前記重畳データを重畳させた表示映像データを生成するステップと、前記表示映像データによる映像を表示部に表示させるステップと、を備え、前記表示部に(a)、及び(b)の少なくとも一方の表示をさせるように、前記表示映像データが生成され、前記(a)の表示は、複数の前記重畳データの表示形態が前記車両の遠方側から順番に所定の時間間隔で変化するように表示することであり、前記(b)の表示は、時間の経過に応じて前記所定の距離が小さくなるように前記重畳データを表示することである、ものである。
本実施形態にかかるプログラムは、車両の進行方向を撮影するカメラからの映像データを取得するステップと、前記車両の走行動作に基づいて、前記車両の進行方向において前記車両から所定の距離だけ離れた位置を示す重畳データを生成するステップと、前記映像データに前記重畳データを重畳させた表示映像データを生成するステップと、前記表示映像データによる映像を表示部に表示させるステップと、をコンピュータに実行させ、前記表示部に(a)、及び(b)の少なくとも一方の表示をさせるように、前記表示映像データが生成され、前記(a)の表示は、複数の前記重畳データの表示形態が前記車両の遠方側から順番に所定の時間間隔で変化するように表示することであり、前記(b)の表示は、時間の経過に応じて前記所定の距離が小さくなるように前記重畳データを表示することである、ものである。
本発明によれば、駐車時の走行速度が適切であるか否かを運転者に認識させることができる表示制御装置、表示制御方法及びプログラムを提供することができる。
実施の形態1にかかる車両を示す図である。 実施の形態1にかかる車両の内部を示す図である。 実施の形態1にかかる表示制御装置及び表示制御装置を有する表示制御システムの構成を示す図である。 表示映像データによって示される映像を例示する図である。 実施の形態1にかかる表示制御装置によって実行される表示制御方法を示すフローチャートである。 表示映像データによって示される映像を例示する図である。 表示映像データによって示される映像を例示する図である。 表示映像データによって示される映像を例示する図である。 実施の形態2にかかる表示制御装置によって実行される表示制御方法を示すフローチャートである。 実施の形態2にかかる表示制御装置によって実行される表示制御方法を示すフローチャートである。 表示映像データによって示される映像を例示する図である。 実施の形態3における表示映像データによって示される映像を例示する図である。 実施の形態3における表示映像データによって示される映像を例示する図である。 実施の形態3における表示映像データによって示される映像を例示する図である。 実施の形態4における表示映像データによって示される映像を例示する図である。 実施の形態4における表示映像データによって示される映像を例示する図である。 実施の形態4における表示映像データによって示される映像を例示する図である。 実施の形態4における表示映像データによって示される映像を例示する図である。 補助線の間隔を変えた場合の映像を示す図である。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。また、以下の実施の形態においては、車両が後退して駐車する場合について説明するが、車両が前進して駐車する場合においても同様に適用可能である。すなわち、後述する処理が、後退又は前進の走行動作に応じて実施される。
図1は、実施の形態1にかかる車両1を示す図である。車両1は、後方カメラ2と、表示制御装置100とを有する。後方カメラ2は、車両1の後部に設置されており、路面90を含む車両1の後方を撮影する。後方カメラ2は、車両1が後退して駐車する場合に用いる。車両が前進して駐車する場合は、後方カメラ2に代えて図示しない前方カメラの映像を用いる。車両1は、進行方向を撮影するカメラとして、前方カメラ及び後方カメラ2の少なくとも一方を有していればよい。また、車両1は開閉可能なドア3を有している。表示制御装置100は、車両1の任意の位置に設けられ得る。表示制御装置100は、CAN(Control Area Network)に接続され得る。表示制御装置100は、後方カメラ2によって撮影された映像に、予想進路線を重畳するように制御を行う。詳しくは後述する。
図2は、実施の形態1にかかる車両1の内部を示す図である。図2は、車両1の内部の運転室を運転席から車両1の前方向に見た図である。車両1は、ステアリングホイール10、ダッシュボード12、ウィンドシールド14、センターコンソール16、車両の走行速度及びエンジン回転数などを表示するクラスターパネル18などを有する。また、センターコンソール16には、ナビゲーション画面などを表示するセンター表示部20が設けられていてもよい。車両1には、クラスターパネル18の上部に、ヘッドアップディスプレイにより映像が表示されるヘッドアップディスプレイ表示部22が設けられていてもよい。ヘッドアップディスプレイがコンバイナ型である場合、ヘッドアップディスプレイ表示部22はコンバイナである。また、ヘッドアップディスプレイがウィンドシールド14に虚像を表示する場合、ヘッドアップディスプレイ表示部22は、ウィンドシールド14において虚像が提示される領域である。また、車両1は、リヤビューモニタ24を有してもよい。リヤビューモニタ24は、一般的な車両における後方確認用のリヤビューミラーと同様の位置、すなわち、ウィンドシールド14の上部中央付近に配置されている。
図3は、実施の形態1にかかる表示制御装置100及び表示制御装置100を有する表示制御システム140の構成を示す図である。表示制御システム140は、後方カメラ2と、表示部50と、表示制御装置100とを有する。
表示制御装置100は、後方カメラ2及び表示部50と通信可能に接続されている。表示制御装置100は、後退動作検出部101と、映像データ取得部106と、抽出部107と、予想進路線生成部109と、表示映像生成部110と、表示制御部120とを備えている。後退動作検出部101は、後退検出部102と、操舵角情報取得部104と、を備えている。なお、表示制御システム140の少なくとも1つの構成要素又は全ての構成要素は、車両1に組み込まれていてもよいし、車両1から取り外して携帯可能であってもよい。
表示部50は、後方カメラ2によって撮影された映像を表示する。表示部50は、例えば、リヤビューモニタ24、クラスターパネル18、センター表示部20又はヘッドアップディスプレイ表示部22によって実現され得る。また、表示部50は、表示制御装置100と通信可能なスマートフォン又はタブレット端末等の携帯端末装置によって実現されてもよい。また、表示制御装置100は、例えばセンターコンソール16等に内蔵されたコンピュータ装置であってもよいし、上述した携帯端末装置であってもよい。
表示制御装置100は、CPU(Central Processing Unit)等のプロセッサ、メモリ等の記憶装置、ユーザインタフェース及び各種周辺回路によって構成されている。つまり、表示制御装置100は、コンピュータとしての機能を有する。また、表示制御装置100は、記憶装置に格納されたプログラムをプロセッサが実行することによって、後退動作検出部101、後退検出部102、操舵角情報取得部104、映像データ取得部106、抽出部107、予想進路線生成部109、表示映像生成部110、及び表示制御部120といった構成要素を実現する。また、表示制御装置100の各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、表示制御装置100の各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態においても同様である。
後退動作検出部101は、車両1の後退動作を検出する。そのため、後退動作検出部101は、後退検出部102と、操舵角情報取得部104とを備えている。後退検出部102は、車両1が後退中か否かを検知する。例えば、後退検出部102は、CAN等からリバースギアを選択した情報を取得して、車両1が後退中であることを検出する。
操舵角情報取得部104は、CAN等からの信号を取得して車両1の車輪における操舵角を示す操舵角情報を取得する。なお、操舵角情報は、操舵角度を示す情報に加えて、右又は左といった操舵方向を示す情報も含む。なお、操舵角情報は、ステアリングホイール10の操舵角を示してもよい。操舵角情報取得部104は、取得した操舵角情報を予想進路線生成部109に対して出力する。特に、操舵角情報取得部104は、車両1の停止時または後退動作時における操舵角情報を取得する。
予想進路線生成部109は、操舵角情報取得部104で検出された操舵角に基づいて、予想進路線を生成する。ここで、予想進路線は、ガイド線、後退予測軌跡、又は予想軌跡線などと言い換えることができる。例えば、予想進路線は、予想進行方向に応じて生成される。予想進行方向は、検出された操舵角で車両1が進行する方向である。具体的には、車両1が曲がりながら後退する場合、予想進行方向は、路面90において、操舵角に応じた回転半径を有する円弧に沿っている。あるいは、直進して駐車する場合、路面90において、予想進行方向は直線となる。さらに予想進路線生成部109は、予想進路線の補助線を生成する。予想進路線、及び補助線については後述する。予想進路線生成部109は、予想進路線に加えて補助線を生成するが、予想進路線を生成せずに補助線のみを生成してもよい。
映像データ取得部106は、車両1の進行方向に設置されているカメラからの映像データを取得する。車両1が後退する場合は、後方カメラ2からの映像データを取得する。映像データ取得部106は、取得した映像データを、表示映像生成部110、及び抽出部107に対して出力する。ここで、映像データは、後方カメラ2により車両1の後方が撮影された映像を示すデータである。なお、車両1が後方動作により駐車区画に駐車する際に撮影された映像は、駐車区画を示す画像、及び、駐車区画の境界を示す駐車区画線を示す画像を含み得る。
また、駐車区画とは、車両1が駐車可能な駐車スペースである。例えば、路面90に描かれた白線等の駐車区画線によって駐車区画が仕切られていてもよい。この場合、区画境界は、路面90に描かれた駐車区画線に対応する。また、駐車区画は、駐車区画線によって仕切られていなくてもよく、壁等の障害物で仕切られていてもよい。この場合、区画境界は、障害物に対応する。また、駐車区画は、物理的に仕切られている必要はなく、単に、車両1を駐車するために十分な空間であってもよい。この場合、区画境界は、隣に駐車している他の車両等に対応する。なお、駐車区画線によって駐車スペースが仕切られている場合であっても、隣の駐車スペースに駐車した他の車両が駐車区画線からはみ出して駐車していることがある。この場合、区画境界は、駐車区画線からはみ出して駐車している他の車両に対応する。なお、以下、「障害物」は、壁等の駐車区画の近傍に固定された物体だけでなく、他の車両等を含み得る。
抽出部107は、映像データに基づいて、駐車区画の奥側の区画線と横側の区画線とを抽出する。駐車区画の区画線は、通常、奥側(後方側、すなわち遠方側)の区画境界を示す奥側区画線と、横側(左側、及び右側)の区画境界を示す横側区画線とを含んでいる。区画線の抽出は、既存の様々な方法によって行われ得る。例えば、抽出部107は、エッジ検出によって、駐車区画線、障害物、又は他の車両を認識することで、区画境界を抽出してもよい。また、区画境界が白線である場合、抽出部107は、白線を認識することで、区画境界を抽出してもよい。また、表示制御装置100が駐車区画線及び車両等を示す辞書データを予め記憶している場合、抽出部107は、その辞書データと映像データ内のオブジェクトとを比較して駐車区画線及び車両等を認識することで、区画境界を抽出してもよい。
抽出部107は、駐車区画を認識してもよい。駐車区画の認識は、既存の様々な方法によって行われ得る。例えば、区画境界によって形成される矩形の領域を、駐車区画と認識してもよい。
図4に、駐車区画線と予想進路線の一例を示す。図4は、表示部50に表示された表示映像を模式的に示す図である。表示映像は、後方カメラ2の光軸に直交する撮像面に路面90を投影したものである(図1を合わせて参照)。よって、表示映像において、上方向が車両1の進行方向としての後退方向になる。すなわち、表示映像の上側が駐車区画40の奥側になり、表示映像の下側が駐車区画40の手前側となる。なお、以下の説明において、左右方向は、車両1の向きを基準にしているため、図4における左右方向と反対になっている。すなわち、図4の下側が車両1の前側であるため、図4の左側が車両1の右側となり、図4の右側が車両1の左側となる。また、図4では直進後退により、駐車する場合を示している。すなわち、車両1が真っ直ぐに後退して、駐車区画40に入っていく。
駐車区画40には、左右の横側区画線41L,41Rと、奥側区画線42と、が含まれている。具体的には、横側区画線41Lは左側の境界線に対応し、横側区画線41Rは右側の境界線に対応している。奥側区画線42は、横側区画線41Lは奥側の境界線に対応している。奥側区画線42は、奥側(表示映像における上側)において、左の横側区画線41Lと右側の横側区画線41Rとを結んでいる。各区画線は、駐車区画40と駐車区画の外側の領域との境界線を示す。このように、駐車区画40は複数の区画線によって規定される。
路面90において、通常、左右の横側区画線41L,41Rと、奥側区画線42とはコの字状に形成されている。路面90上においては、通常、左の横側区画線41Lと右側の横側区画線41Rは平行であるが、路面90が撮像面に投影されているため、表示映像上においては、異なる角度になっている。すなわち、表示映像においては、左の横側区画線41Lと右側の横側区画線41Rとが平行になっていない。また、図4には示されていないが、駐車区画線には、車両1の前側に位置する前側区画線があってもよい。
一対の予想進路線61L、61Rは、車両1の車幅に対応している。すなわち、表示映像データにおいて、一対の予想進路線61L、61Rの幅は、車両1の幅に対応する。路面90上において、一対の予想進路線61L,61Rは予想進行方向と平行になっている。図4では、車両1が直進後退しているため、予想進路線61L,61Rは直線となっている。
予想進路線61L、61Rは、車両1の幅に対応し車両1の後退動作に応じて描画される。そして、予想進路線61L、61Rは、車両1の後退動作の軌跡の予測を示している。言い換えると、予想進路線61L、61Rは、操舵角情報取得部104によって取得された操舵角情報によって示される操舵角で車両1が後退動作を行った場合の、車両1の左端及び右端の路面90における予想軌跡を示している。
また、表示映像において、予想進路線61L、61Rには、複数の補助線62a〜62eが付加されている。それぞれの補助線62a〜62eは、車両1の進行方向における端部からの距離を示しており、配置例としては一対の予想進路線61L、61Rの間に配置される。車両1の進行方向における端部とは、車両1が後退動作時である場合は、車両1の後方バンパーなど後端部であり、それぞれの補助線62a〜62eは、車両1の後端部から各々予め設定された距離を示している。後方カメラ2は、車両1に固定されているため、表示画面内において、車両1の後端部に対応する画素位置は一定である。
以下の説明において、複数の補助線62a〜62を特に識別しない場合、補助線62として説明する。なお、図4では5本の補助線62a〜62eが示されているが補助線62の数は特に限定されるものではなく、例えば3本であってもよい。予想進路線生成部109は2本以上の補助線62を生成すればよい。
補助線62a〜62eは、一対の予想進路線61Lと予想進路線61Rとを結ぶように表示されている。補助線62は、一対の予想進路線61L、61Rの間隔全体に渡って設けられているが、一部にのみ設けられていてもよい。すなわち、補助線62a〜62eは、一対の予想進路線61L、61Rをつなげる線に限らず、横方向において部分的に設けられていてもよく、一対の予想進路線61L、61Rの外側まで延伸していてもよい。
補助線62は、一対の予想進路線61L、61Rを結ぶ実線である。路面90上において、補助線62は、一対の予想進路線61L、61Rと交わる位置において、予想進路線61L、61Rと直交している。図4では、車両1が直進後退しているため、補助線62のそれぞれは、表示画面の横方向に沿って配置されている。補助線62a〜62eは、実質的に平行となっている。複数の補助線62a〜62eは予想進行方向に並んでいる。
図4では、補助線62aが最後方、すなわち、車両1から最も遠い位置に配置され、補助線62eが最前方、すなわち車両1から最も近い位置に配置されている。そして、後方から、補助線62a、補助線62b、補助線62c、補助線62d、補助線62eの順番で配置されている。複数の補助線62は、路面90上において等間隔に配置されるように、表示映像に重畳されている。なお、路面90が撮像面に投影されているため、路面90上において、複数の補助線62が等間隔に並んでいても、表示画面では等間隔とはならない。
予想進路線61L、61Rと補助線62は、車両1の後退の向きに連動して移動する。例えば、操舵角を変えると、予想進路線61L、61Rと補助線62の表示位置が変化する。また、車両1の後退に応じて、後方カメラ2と駐車区画40が近づく。よって、車両1の後退に応じて、横川区画線41L、41Rと、奥側区画線42との表示位置が下に移動する。
図3の説明に戻る。表示映像生成部110は、車両1が後退する場合、映像データ取得部106によって取得された映像データに、一対の予想進路線61L、61R、及び補助線62を重畳させた表示映像データを生成する。表示制御部120が表示映像データによる映像を表示部50に表示させる。
表示映像生成部110は、奥側(遠方側)の補助線62から順番に表示形態を変えていくように、表示映像データを生成している。具体的には、補助線62a、補助線62b、補助線62c、補助線62d、補助線62eの順番で表示形態を変えていく。表示映像生成部110は、所定時間間隔で奥側の補助線62から表示形態を変えていくように、表示映像データを生成する。
次に、本実施の形態にかかる表示制御装置100によって実行される表示制御方法について、図5を用いて説明する。図5は、表示制御方法を示すフローチャートである。
後退動作検出部101が車両1の後退動作を検出しているか否かを判定する(S11)。後退動作検出部101が車両1の後退動作を検出すると(S11のYES)、後方カメラ2が撮像した後方映像の映像データを映像データ取得部106が取得する(S12)。具体的には、車両1のシフトがリバースギアとなったことを後退検出部102が検出すると、後方カメラ2が後方の映像を撮像する。そして、後方カメラ2が映像データを表示制御装置100に出力する。なお、後退動作検出部101が車両1の後退動作を検出しない場合(S11のNO)、後退動作検出部101が後退動作を検出するまで、S11の判定を繰り返す。
次に、予想進路線生成部109が予想進路線61L、61Rと補助線62を生成する(S13)。具体的には、操舵角情報取得部104が操舵角情報を取得した後、予想進路線生成部109が操舵角情報に基づいて、予想進路線61L、61Rと補助線62を算出し、抽出部107が映像データに基づいて、奥側区画線42と左右の横側区画線41L,41Rとを抽出する(S14)。なお、S13とS14の順番は反対でもよく、S13とS14とを並行して行ってもよい。
表示映像生成部110が表示映像データを生成する(S15)。これにより、映像データに一対の予想進路線61L、61Rと補助線62が重畳された表示映像データが生成される(図4を参照)。
表示制御部120が表示映像データによる映像を表示部50に表示させる(S16)。これにより、図4に示したように、予想進路線61L、61Rと補助線62が重畳された映像が表示部50に表示される。
表示映像生成部110は、複数の補助線62のうち、最も遠方(最も奥側)の補助線62aが、奥側区画線42と重なったか否かを判定する(S17)。S17では、補助線62の表示形態を変えるトリガタイミングになったか否かが判定されている。補助線62aが奥側区画線42と重なっていない場合(S17のNO)、奥側区画線42と重なるまでS12からの処理を繰り返す。すなわち、補助線62aが奥側区画線42よりも手前にある場合は、奥側区画線42と重なるまでS17の判定を繰り返す。車両1の後退に応じて後方カメラ2の撮像範囲が変わるため、表示画面上での駐車区画40の位置が変化する。そのため、S12〜S16のステップを順番に行うことで、常時、予想進路線61L,61Rと補助線62を適切に表示することができる。
最も遠方の補助線62aが奥側区画線42と重なったと判定された場合(S17のYES)、表示映像生成部110は、奥側の補助線62から所定時間間隔で表示形態を変えていく(S18)。すなわち、補助線62a、補助線62b、補助線62c、補助線62d、補助線62eの順番で表示形態を変えていく。図6に、補助線62aが奥側区画線42と重なっているタイミングでの表示映像を示す。この次のタイミング(フレーム)で補助線62aの表示形態が変えられる。なお、図6は、直進後退を示しているため、補助線62aと奥側区画線42とが平行になっており、補助線62aと奥側区画線42とが完全に重なっている。なお、操舵後退の場合、補助線62aと奥側区画線42とが非平行になっており、補助線62aと奥側区画線42とが部分的に重なる。
図7は2本の補助線62a、補助線62bの表示形態が変わった後の表示映像を示す。図7は、奥側の2本の補助線62a、補助線62bが消去されている。補助線62a、補助線62bが非表示となっている。また、補助線62c、62d、62eは表示形態の変更前である。図7では、表示形態の変更として補助線62を消去する例を示しているが、他の例としては、線種、線幅、色を変更してもよい。具体的には、表示形態を変更するために、実線の補助線62を破線としたり、太線の補助線62を細線としたり、濃い色の補助線62を薄い色又は半透明としたりすることができる。また、図7においては、予想進路線61L、61Rのうち奥側区画線42を越えた部分を表示させているが、奥側区画線42を越えた部分を消去してもよい。すなわち、予想進路線61L、61Rのうち奥側区画線42を越えた部分については、補助線62a等と同様に表示形態を変更してもよい。これにより、後退動作に応じて予想進路線61L、61Rの長さが変化する。
なお、複数の補助線62に表示形態を変えていく時間間隔は、駐車時における車両1の典型的な走行速度に応じて設定すればよい。例えば、駐車時の典型的な後退速度(以下、しきい値速度とする)は時速4〜5km/hである。このようなしきい値速度で後退した場合に、表示形態が変わるタイミングと、奥側区画線42と補助線とが重なるタイミングとが一致するように表示形態が変わるタイミングが決定される。
しきい値速度は、駐車場などにおける後退速度として一般的に安全とされる速度が予め設定される。また、車両の利用者によって安全と認識する後退速度が異なるため、しきい値を車両毎または運転者毎に学習させることで変更してもよい。具体例としては、基準となるしきい値速度が時速4km/h(秒速1.1m/sec)と設定されており、駐車区画線が認識されている場合の後退速度がしきい値速度より平均的に時速0.6km(秒速0.17m/sec)遅い場合は、しきい値速度を時速3.4km/h(秒速0.94m/sec)と設定する。また、同様に駐車区画線が認識されている場合の後退速度がしきい値速度より平均的に時速0.6km(秒速0.17m/sec)速い場合は、しきい値速度を時速4.6km/h(秒速1.28m/sec)と設定する。このような処理は、例えばインテリジェントキーのIDにより運転者が特定される場合は、運転者毎に設定が変更されてもよい。
さらに、しきい値速度は、駐車場によって異なる値が設定されていてもよい。具体例としては、駐車場毎の駐車区画の広さや路面状況などに基づき、図示しないナビゲーションの施設情報として記憶されている情報を取得したり、図示しない通信装置により駐車場情報を提供するサーバや駐車場に設置された情報提供装置などから取得してもよい。
図7による複数の補助線の説明に戻り、具体的には、路面上において補助線62の間隔が2.2mとなっており、典型的な後退得度を秒速1.1m/secとする場合、補助線62の表示形態を変えるタイミングは2秒毎になる。補助線62aが奥側区画線42と重なっているトリガタイミングにおいて、補助線62aが消去される。補助線62aの消去の2秒後に補助線62bが消去される。そして、補助線62c〜62eについても2秒間隔で順番に消去されていく。
路面上における補助線62の間隔と、しきい値速度とに応じて、補助線62の表示形態を変える時間間隔を設定することができる。もちろん、上記の値は一例であり、適宜変更することが可能である。もちろん、一定時間間隔に限らず、異なる時間間隔で表示形態を変えてもよい。
図5の説明に戻る。表示映像生成部110は、表示形態の変更が終了したか否かを判定する(S19)。すなわち、全ての補助線62a〜62eの表示形態が変わったか否かが判定される。表示形態の変更が終了していない場合(S19のNO)、S18に戻って、補助線62の表示形態を順番に変えていく。これにより、奥側の補助線62aから補助線62eまで順番に表示形態を変更させていくことができる。
表示形態の変更が終了した場合(S19のYES)、後退が終了したか否かを後退動作検出部101が判定する(S20)。後退動作が終了していない場合(S20のNO)、S12に戻って処理を繰り返す。車両1の後退に応じて後方カメラ2の撮像範囲が変わるため、表示画面上での駐車区画40の位置が変化する。そのため、S12〜S16のステップを順番に行うことで、常時、予想進路線61L,61Rと補助線62を適切に表示することができる。後退動作が終了した場合(S20のYES)、処理を終了する。
このようにすることで、駐車時の走行速度が適切であるか否かを運転者が認識することができる。車両1の後退速度が、しきい値速度以下の場合、表示形態変更前の補助線62が奥側区画線42の後方になる前に、補助線62の表示形態が変わる。よって、運転者が適切な速度で後退していることを認識することができる。車両1の後退速度が、しきい値速度よりも速い場合、表示形態変更前の補助線62が奥側区画線42の上方に表示される。例えば、図8に示すように、補助線62bが奥側区画線42を越える。
換言すると、表示形態変更前の補助線62が奥側区画線42よりも遠方(表示画面の上方)にある場合、後退速度がしきい値速度よりも速いことを運転者が認識することができる。一方、表示形態変更前の補助線62が奥側区画線42よりも遠方に表示される前に消去される場合、後退速度がしきい値速度以下であることを運転者が認識することができる。このようにすることで、後退速度が速いことを運転者に認識させることができ、後退速度を遅くすることができる。換言すると、適切な後退速度で運転するきっかけとなる。このように、補助線62の表示形態の変更をすることで、運転者が適切な速度で走行するよう支援することができる。
さらに、S17では、最も遠方の補助線62aが奥側区画線42に対応する位置になったタイミングをトリガタイミングとしている。そして、トリガタイミングから所定の時間間隔で補助線62a〜62eの表示形態を変えている。このようにすることで、簡便な処理で、補助線62a〜補助線62eまでの表示形態が順番に変えることができる。表示形態変更前の補助線62が奥側区画線42を越えると、後退速度が速いことを運転者が認識する。よって、後退速度が速いことを運転者が直観的に認識させることが可能になる。
もちろん、補助線62aが奥側区画線42と重なるタイミング以外のタイミングをトリガタイミングとしてもよい。例えば、奥側区画線42から所定画素分だけ上又は下にずれた画素に補助線62aが到達したタイミングをトリガタイミングとしてもよい。さらには、トリガタイミングは、奥側区画線42以外の位置によって設定されていてもよい。例えば、駐車区画40の車止めに基づいてトリガタイミングを設定してもよい。この場合、抽出部107が映像データから車止めを抽出する。車止めの画素から所定の画素数だけ上にずれた画素に補助線62aが重なったタイミングをトリガタイミングとする。
このように、本実施の形態では、予想進路線生成部109は、後方カメラ2で取得した映像データに重畳される重畳データを生成する重畳データ生成部となる。ここでは、重畳データは、車両1の進行方向において車両1から所定の距離だけ離れた位置を示す補助線62である。補助線62は、車両1から所定の距離だけ離れた位置に表示される。予想進路線生成部109は、重畳データとして、補助線62と予想進路線61L、61Rを生成しているが、補助線62のみを生成するようにしてもよい。
そして、表示制御部120が表示部50に(a)の表示をさせるように、表示映像生成部110が表示映像データを生成している。ここで、(a)は、複数の重畳データの表示形態が前記車両の遠方側から順番に所定の時間間隔で変化するように表示することである。具体的には、重畳データである複数の補助線62a〜62eが車両の遠方側から順番に所定の時間間隔で消去されるように表示されている。
(実施の形態2)
本実施の形態では、実施の形態1の方法に対して、奥側区画線42を越えた補助線62を強調表示するステップが追加されている。表示制御装置100、及び表示制御方法の基本的な構成、及び処理については、実施の形態1と同様であるため説明を省略する。
図9、図10は、実施の形態2にかかる表示制御方法のフローチャートである。補助線を強調表示するため、図7のフローチャートにS21、S22が追加されている。S11〜S18までは実施の形態1と同様であるため、説明を省略する。また、S19、S20も実施の形態1と同様であるため説明を省略する。
S18において、奥側の補助線62から表示形態を変更したら、表示映像生成部110は、表示形態変更前の補助線62が奥側区画線42よりも遠方となったか否かを判定する(S21)。表示形態変更前の補助線62が奥側区画線42よりも遠方となった場合(S21のYES)、奥側区画線42よりも遠方となった表示形態変更前の補助線62を強調表示する(S22)。例えば、図11に示すように、奥側区画線42よりも遠方となった表示形態変更前の補助線62bを太線で表示する。あるいは、奥側区画線42よりも遠方となった表示形態変更前の補助線62bの色を赤色などの強調色に変更してもよい。線幅、線種、色等を変えることで、奥側区画線42よりも遠方となった表示形態変更前の補助線62bを強調させることができる。
そして、強調表示を行ったら、表示形態の変更が終了したか否かを判定する(S19)。また、表示形態変更前の補助線62が奥側区画線42よりも遠方となっていない場合(S21のNO)、表示形態の変更が終了したか否かを判定する(S19)。補助線62を強調表示することで、表示形態変更前の補助線62が奥側区画線42よりも遠方になったことを容易に認識することができる。このようにすることで、後退速度が速いことを運転者に警告させることができる。
S19による表示形態の変更が終了したか否かの判定は、表示形態の変更が補助線62の消去である場合、車両1から最も近い位置に配置されている補助線62eを判定の適用外としてもよい。車両1から最も近い位置に配置されている補助線62eが消去されてしまうと、車両1が奥側区画線42に近づきすぎる、または車両1が奥側区画線42を超えてしまう可能性があるためである。
このように、本実施の形態では、予想進路線生成部109は、後方カメラ2で取得した映像データに重畳される重畳データを生成する重畳データ生成部となる。予想進路線生成部109は、重畳データとしては、補助線62と予想進路線61L、61Rを生成しているが、補助線62のみを生成するようにしてもよい。そして、表示制御部120が表示部50に上記の(a)の表示をさせるように、表示映像生成部110が表示映像データを生成している。さらに、本実施の形態では、奥側区画線42を越えた重畳データが強調表示されている。
(実施の形態3)
上述した実施形態においては、補助線62の表示形態を変えていく例について説明した。補助線62の間隔は、映像データに重畳されることで、映像データの路面に対して車両端部から、例えば1m、2m、3mなどの間隔となるように配置されている。補助線の数をこれ以上増やすと、映像データの視認性を阻害してしまう。
例えば、奥側区画線42と重なったことで、補助線62aが消去され、所定時間経過後に補助線62bが消去されるが、その間は、しきい値速度を示す対象物が存在しない。このため、本実施の形態では、以下のような表示を行っている。なお、制御部100の基本的構成と動作は、実施形態1と同様であるため、詳細な説明を省略する。
駐車区画の幅方向ほぼ中央に直進後退している場合の表示映像を図12に示す。図12は、車両1が直進後退して、補助線62aが奥側区画線42と重なったタイミングでの表示映像を示す。すなわち、図4に示す状態からさらに後退して、図6と同様のタイミングになった場合での表示例が図12に示されている。本実施形態では、表示部50に、補助線62が存在する領域(以下、補助領域65とする)が表示されている。予想進路線生成部109が補助領域65を重畳データとして生成する。
補助領域65は、半透明に塗りつぶされた領域であり、映像データの映像を透過する。ここでは、補助領域65は、グレーに着色されている。もちろん、補助領域65の色は特に限定されるものではない。路面の色と異なることが好ましいため、補助領域65は緑色や黄色で半透明に塗りつぶされてもよい。補助領域65は、車両1の後端部から所定の距離だけ離れた位置を示している。具体的には、補助領域65は、車両1から所定の距離だけ離れた位置を境界とする領域である。
補助領域65は、図12では、補助線62aと奥側区画線42が重なっているため、補助領域65の奥側の端部65a(以下、奥側端部65aと称する)は、奥側区画線42と一致している。また、補助領域65の手前側の端部65b(以下、手前側端部65bと称する)は、予想進路線61L、61Rの手前側の端と一致している。また、補助領域の左右両端は、予想進路線61L、61Rと一致している。直進後退の場合、補助領域65は、ほぼ台形状になっている。
映像データ取得部106が取得した映像データに、補助領域65と、補助線62と、予想進路線61L、61Rとが重畳された表示映像データを、表示映像生成部110が生成する。したがって、運転者が、映像データによる映像を、半透明な補助領域65を通じて視認することができる。
図12に示す状態からさらに後退した場合の表示映像が図13に示されている。図13は、図7と同様に、補助線62a、補助線62bが非表示となっているタイミングにおける表示映像を示している。また、図13は、しきい値速度で車両1が後退した場合を示している。時間の経過に応じて、補助領域65の面積が徐々に小さくなっていくように、表示映像生成部110が、表示映像データを生成している。
具体的には、奥側端部65aの表示位置が、時間の経過に応じて移動している。すなわち、奥側端部65aの表示位置は、時間とともに表示画面の下側(進行方向の手前側)に移動していく。また、手前側端部65bの表示位置は、ほぼ一定になっている。従って、図13で示された補助領域65の面積が、図12で示された補助領域65の面積よりも小さくなっている。
奥側端部65aの表示位置の移動速度は、しきい値速度に応じて、設定されている。具体的には、車両1の後退速度がしきい値速度と一致する場合、図13に示すように、奥側端部65aの表示位置が、奥側区画線42と一致している。ここで、車両1の後退速度がしきい値速度よりも速い表示例を図14に示す。車両1の後退速度が、しきい値速度よりも速い場合、図14に示すように、奥側端部65aが奥側区画線42の上方に表示される。図14に示すように、奥側端部65aが奥側区画線42を越える。ここでは、奥側端部65aが補助線62bよりも上側に表示されている。
換言すると、奥側端部65aが奥側区画線42よりも遠方(表示画面の上方)にある場合、後退速度がしきい値速度よりも速いことを運転者が認識することができる。すなわち、補助領域65が奥側区画線42を跨いでいる場合、後退速度がしきい値速度よりも速いことを運転者が認識することができる。補助領域65が奥側区画線42よりも手前に表示されている場合、後退速度がしきい値速度未満であることを運転者が認識することができる。補助領域65の奥側端部65aが奥側区画線42と一致している場合、後退速度がしきい値速度であることを運転者が認識することができる。このようにすることで、後退速度が速いことを運転者に認識させることができ、後退速度を遅くすることができる。換言すると、適切な後退速度で運転するきっかけとなる。このように、補助領域65の奥側端部65aの表示位置を時間とともに変更をすることで、運転者が適切な速度で走行するよう支援することができる。
このように、補助領域65の面積は、時間の経過に応じて小さくなっていく。補助領域65の奥側端部65aの表示位置は、補助線62の消去タイミングに連動して、補助線の間を連続的に変化する。このようにすることで、運転者が適切な速度で後退していることを認識することができる。車両1の後退速度が、しきい値速度よりも速い場合、表示形態変更前の補助線62が奥側区画線42の上方に表示される。例えば、図14に示すように、補助領域65が奥側区画線42を越える。よって、運転者が、容易にしきい値速度よりも速い速度で後退していることを認識することができる。
本実施の形態では、予想進路線生成部109が車両の進行方向において車両1から所定の距離だけ離れた位置を示す重畳データを生成する重畳データ生成部となる。なお、ここで、重畳データは補助線62、補助領域65、及び予想進路線61L、61Rとなっている。表示制御部120が、表示部150に(b)の表示をさせるように、表示映像生成部110は表示映像データを生成する。ここで、(b)は、時間の経過に応じて所定の距離が小さくなるように重畳データを表示することである。(b)の表示を行う場合、重畳データとしては、2次元の補助領域65であることが好ましいが、車両1の後端部から所定の距離に配置された左右に延びる直線であってもよい。この場合、重畳データである直線が徐々に車両1の近づくように表示が行われる。すなわち、表示画面中において、しきい値速度に応じた速度に基づいて、重畳データである直線が移動していく。
(実施の形態4)
実施の形態4では、実施の形態3と同様に、表示映像生成部110が映像データに補助領域65を重畳した表示映像データを生成している。本実施の形態では、予想進路線61L、61Rが表示されていない点で実施の形態3と異なっている。すなわち、予想進路線生成部109が、重畳データとして、予想進路線61L、61Rを生成せずに、補助線62、及び補助領域65を生成する重畳データ生成部となっている。なお、制御部100の基本的な動作、及び構成は、上記の実施形態と同様であるため、説明を省略する。
図15〜図18は、本実施の形態における表示画面の位置例を示す図である。図15は、図4に対応する状態での表示画面を示している。図16は、図6に対応する状態での表示画面を示している。図16は、図7に対応する状態での表示画面を示している。図18は、図8に対応する状態での表示画面を示している。また、本実施の形態においても、車両1が直進後退する場合の表示例について説明する。
図15では、補助線62aが奥側区画線42まで到達していないため、補助領域65が表示されていない。なお、本実施の形態では、予想進路線61L、61Rが表示されないため、図15のタイミングでは、表示映像生成部110が映像データに補助線62のみを重畳した表示映像データを生成している。
図16の状態になると、補助線62aが奥側区画線42まで到達している。従って、予想進路線生成部109が重畳データとして補助線62に加えて補助領域65を生成する。すなわち、補助線62と奥側区画線42とが重なったタイミングをトリガとして、予想進路線生成部109が、補助領域65を生成する。補助領域65の奥側端部65aは奥側区画線42と一致している。左右方向における補助領域65の幅は、車両1の車幅に対応している。
図16の状態から、さらに車両1が後退すると、図17に示す状態となる。図17では、車両1がしきい値速度で後退した場合、表示画面が示されている。図17では、図13と同様に、補助領域65の奥側端部65aが奥側区画線42と一致している。
図16の状態から、しきい値速度よりも速い速度で車両1が後退すると、図18に示す状態となる。図17では、車両1がしきい値速度で後退した場合、表示画面が示されている。図18では、図13と同様に、補助領域65の奥側端部65aが奥側区画線42よりも奥側に行っている。したがって、補助領域65が奥側区画線42を跨ぐように表示されている。このように表示することによって、実施の形態3と同様に後退速度が速いことを運転者に認識させることができ、後退速度を遅くすることができる。
なお、実施の形態3、4では、予想進路線生成部109が重畳データとして、補助領域65だけでなく補助線62も生成したが、重畳データとして補助領域65のみを表示するようにしてもよい。表示制御部120が、表示部150に(a)、及び(b)の少なくとも一方の表示をさせるように、表示映像生成部110は表示映像データを生成する。ここで、(a)は、複数の前記重畳データの表示形態が前記車両の遠方側から順番に所定の時間間隔で変化するように表示することであり(b)は、時間の経過に応じて所定の距離が小さくなるように重畳データ(補助領域65)を表示することである。
(その他の実施の形態)
なお、実施の形態1、2では、路面90において、補助線62の間隔が一定となるように補助線62が生成されているが、複数の補助線62の間隔は一定でなくてもよい。例えば、図19に示すように、路面90上において、遠方(奥側)ほど補助線62の間隔を広くするようにしてもよい。この場合、一定時間間隔で補助線62の表示形態で変更させていくことで、車両1が奥側区画線42に近づくほど、後退速度が遅くなるように、運転支援することができる。換言すると、車両1が奥側区画線42に近づくほど、しきい値速度が遅くなる。よって、しきい値速度を動的に変えることができる。よって、徐々に後退速度を遅くしながら駐車するように支援することができる。
あるいは、路面90上における補助線62の間隔に応じた時間間隔で補助線62の表示形態を変えていってもよい。路面90上における補助線62の間隔に応じて、表示形態を変えるタイミングを補助線62毎に設定してもよい。例えば、しきい値速度が1m/secであり、遠方から、補助線62の間隔が3m、2m、1mとなっている場合、表示形態を変える時間間隔を3秒、2秒、1秒とする。このように、表示形態を変える時間間隔は、しきい値速度と、路面90上における補助線62の配置間隔とに応じて任意に設定することができる。すなわち、トリガタイミングから表示形態を変えるまでの時間は、適宜調整が可能である。換言すると、しきい値速度と、路面90上における補助線62の配置間隔とに応じて、表示形態を変える時間パターンを設定することができる。
例えば、補助線62の間隔が一定である場合において、表示形態を変える時間間隔を調整することで、しきい値速度を変化させることができる。奥側の補助線62になるほど、表示形態を変える時間間隔を短くすることで、しきい値速度を動的に遅くしていくことができる。よって、徐々に後退速度を遅くしながら駐車するように支援することができる。このようにしきい値速度が設定されることで、車両1が奥側区画線42に近づくにつれて速度を低下させながら後退する場合に、適切に後退速度を運転者に認識させることができる。また、後方カメラ2は広角のカメラが用いられるため、一定の後退速度で車両1が奥側区画線42に近づいている場合であっても、車両1が奥側区画線に近づくにつれて後退速度が速くなっているように見えることもある。このような状態であっても、運転者が安心して後退できるように、後退速度を認識させることができる。
なお、駐車中に車両1が一旦停止した場合、トリガタイミング、及び補助線62の表示形態を変えるタイミングを一度リセットすることが好ましい。すなわち、車両1が一旦停止すると、後退速度がしきい値速度を越えたとしても、補助線62が奥側区画線42に到達する十分前に消去されることになる。よって、トリガタイミングと表示形態を変えるタイミングを再設定することが好ましい。
また、上記の表示制御方法を実行するためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 車両
2 後方カメラ
50 表示部
40 駐車区画
41L、41R 横側区画線
42 奥側区画線
61L、61R 予想進路線
62 補助線
65 補助領域
100 表示制御装置
101 後退動作検出部
102 後退検出部
104 操舵角情報取得部
106 映像データ取得部
107 抽出部
109 予想進路線生成部
110 表示映像生成部
120 表示制御部

Claims (12)

  1. 車両の進行方向を撮影するカメラからの映像データを取得する映像データ取得部と、
    前記車両の走行動作に基づいて、前記車両の進行方向において前記車両から所定の距離だけ離れた位置を示す重畳データを生成する重畳データ生成部と、
    前記映像データに前記重畳データを重畳させた表示映像データを生成する表示映像生成部と、
    前記表示映像生成部によって生成された前記表示映像データによる映像を表示部に表示させる表示制御部と、を備え、
    前記表示制御部が、前記表示部に(a)、及び(b)の少なくとも一方の表示をさせるように、前記表示映像生成部は前記表示映像データを生成し、
    前記(a)の表示は、複数の前記重畳データの表示形態が前記車両の遠方側から順番に所定の時間間隔で変化するように表示することであり、
    前記(b)の表示は、時間の経過に応じて前記所定の距離が小さくなるように前記重畳データを表示することである、
    表示制御装置。
  2. 前記車両の進行方向における前記車両からの距離を示す複数の補助線を前記複数の重畳データとして生成し、
    前記(a)の表示において、前記表示映像生成部は、前記車両の進行方向に対して遠方側の前記補助線から予め設定された時間間隔で順番に表示形態を変えていくように、前記表示映像データを生成する請求項1に記載の表示制御装置。
  3. 前記映像データから、駐車区画の奥側の境界に対応する奥側区画線を抽出する抽出部をさらに備え、
    前記表示映像生成部は、前記複数の補助線のうち前記車両の進行方向に対して遠方側に配置された補助線が前記奥側区画線に対応する位置となったタイミングをトリガタイミングとして、前記遠方側の補助線から表示形態を変えていくように、前記表示映像データを生成する請求項2に記載の表示制御装置。
  4. 前記表示映像データは、前記表示形態を変える前の補助線が前記奥側区画線を越えた場合、前記表示形態を変える前の補助線を強調して表示する請求項3に記載の表示制御装置。
  5. 前記表示映像生成部は、一定時間間隔で前記遠方側の補助線から表示形態を変えていくように、前記表示映像データを生成する請求項2〜4のいずれか1項に記載の表示制御装置。
  6. 前記表示映像生成部は、前記車両に近接した位置に表示される補助線ほど表示形態を変えていく時間間隔が長くなるように、前記表示映像データを生成する、請求項2〜5のいずれか1項に記載の表示制御装置。
  7. 前記複数の補助線が路面上において等間隔になるよう、前記重畳データ生成部が前記複数の補助線を生成する請求項2〜6のいずれか1項に記載の表示制御装置。
  8. 路面上において、前記車両から遠方に位置するほど前記複数の補助線の間隔が広くなるように、前記重畳データ生成部が前記複数の補助線を生成する請求項2〜6のいずれか1項に記載の表示制御装置。
  9. 前記(b)の表示において、前記重畳データが、前記車両から前記所定の距離だけ離れた位置を境界とする補助領域であり、
    前記補助領域が前記映像データによる映像を透過する半透明な領域である請求項1〜8のいずれか1項に記載の表示制御装置。
  10. 予め設定された前記車両の路面上におけるしきい値速度に応じて、前記所定の距離が小さくなっていく請求項9に記載の表示制御装置。
  11. 車両の進行方向を撮影するカメラからの映像データを取得するステップと、
    前記車両の走行動作に基づいて、前記車両の進行方向において前記車両から所定の距離だけ離れた位置を示す重畳データを生成するステップと、
    前記映像データに前記重畳データを重畳させた表示映像データを生成するステップと、
    前記表示映像データによる映像を表示部に表示させるステップと、を備え、
    前記表示部に(a)、及び(b)の少なくとも一方の表示をさせるように、前記表示映像データが生成され、
    前記(a)の表示は、複数の前記重畳データの表示形態が前記車両の遠方側から順番に所定の時間間隔で変化するように表示することであり、
    前記(b)の表示は、時間の経過に応じて前記所定の距離が小さくなるように前記重畳データを表示することである、
    表示制御方法。
  12. 車両の進行方向を撮影するカメラからの映像データを取得するステップと、
    前記車両の走行動作に基づいて、前記車両の進行方向において前記車両から所定の距離だけ離れた位置を示す重畳データを生成するステップと、
    前記映像データに前記重畳データを重畳させた表示映像データを生成するステップと、
    前記表示映像データによる映像を表示部に表示させるステップと、を
    コンピュータに実行させ、
    前記表示部に(a)、及び(b)の少なくとも一方の表示をさせるように、前記表示映像データが生成され、
    前記(a)の表示は、複数の前記重畳データの表示形態が前記車両の遠方側から順番に所定の時間間隔で変化するように表示することであり、
    前記(b)の表示は、時間の経過に応じて前記所定の距離が小さくなるように前記重畳データを表示することである、
    プログラム。
JP2017085243A 2016-09-26 2017-04-24 表示制御装置、表示制御方法及びプログラム Active JP6747369B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780024190.2A CN109070824B (zh) 2016-09-26 2017-06-07 显示控制装置、显示控制方法以及存储介质
PCT/JP2017/021218 WO2018055842A1 (ja) 2016-09-26 2017-06-07 表示制御装置、表示制御方法及びプログラム
EP17852623.2A EP3517370B1 (en) 2016-09-26 2017-06-07 Display control device, display control method, and program
US16/184,887 US20190075255A1 (en) 2016-09-26 2018-11-08 Display control apparatus, display control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016186588 2016-09-26
JP2016186588 2016-09-26

Publications (2)

Publication Number Publication Date
JP2018056982A JP2018056982A (ja) 2018-04-05
JP6747369B2 true JP6747369B2 (ja) 2020-08-26

Family

ID=61837121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017085243A Active JP6747369B2 (ja) 2016-09-26 2017-04-24 表示制御装置、表示制御方法及びプログラム

Country Status (4)

Country Link
US (1) US20190075255A1 (ja)
EP (1) EP3517370B1 (ja)
JP (1) JP6747369B2 (ja)
CN (1) CN109070824B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP7195131B2 (ja) * 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP7236857B2 (ja) 2018-12-14 2023-03-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
JP2020095620A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7141940B2 (ja) 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
JP7209189B2 (ja) * 2019-03-25 2023-01-20 パナソニックIpマネジメント株式会社 画像生成装置、カメラ、表示システム、車両及び画像生成方法
JP7379961B2 (ja) 2019-09-04 2023-11-15 株式会社Jvcケンウッド 表示システム、及び表示方法
FR3104524B1 (fr) * 2019-12-13 2021-12-31 Renault Sas Procédé et dispositif d’assistance au stationnement d’un véhicule et véhicule comportant un tel dispositif.
CN111319562A (zh) * 2020-03-27 2020-06-23 同致电子科技(昆山)有限公司 一种基于红外检测的倒车影像系统
WO2022250117A1 (ja) * 2021-05-27 2022-12-01 株式会社デンソー 車両用表示システム、車両用表示方法、及び車両用表示プログラム
CN114630081B (zh) * 2022-03-17 2024-03-26 重庆紫光华山智安科技有限公司 视频播放顺序确定方法、装置、设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3508665B2 (ja) * 1999-12-24 2004-03-22 株式会社豊田自動織機 操舵支援装置
EP1160146B2 (en) * 2000-05-30 2013-07-24 Aisin Seiki Kabushiki Kaisha Parking assistive apparatus
JP2004276807A (ja) * 2003-03-17 2004-10-07 Denso Corp 車両の後退駐車支援装置
JP3938559B2 (ja) * 2003-08-28 2007-06-27 アイシン精機株式会社 車両後退支援装置
JP2006040008A (ja) * 2004-07-28 2006-02-09 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
JP2006272990A (ja) * 2005-03-28 2006-10-12 Clarion Co Ltd 車両後退運転補助装置
JP2007226300A (ja) * 2006-02-21 2007-09-06 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP5217152B2 (ja) * 2006-11-14 2013-06-19 アイシン精機株式会社 車両周辺表示装置
JP4967620B2 (ja) * 2006-11-28 2012-07-04 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4853712B2 (ja) * 2006-12-28 2012-01-11 アイシン精機株式会社 駐車支援装置
JP4235237B1 (ja) * 2007-08-31 2009-03-11 トヨタ自動車株式会社 車載表示装置及び車載表示用プログラム
JP2011255812A (ja) * 2010-06-10 2011-12-22 Aisin Seiki Co Ltd 駐車支援装置
JP5508551B2 (ja) * 2011-01-27 2014-06-04 京セラ株式会社 車両の走行支援装置
JP6045796B2 (ja) * 2012-02-27 2016-12-14 京セラ株式会社 映像処理装置、映像処理方法、および映像表示システム

Also Published As

Publication number Publication date
CN109070824A (zh) 2018-12-21
CN109070824B (zh) 2021-04-06
EP3517370B1 (en) 2020-04-22
US20190075255A1 (en) 2019-03-07
EP3517370A4 (en) 2019-08-07
EP3517370A1 (en) 2019-07-31
JP2018056982A (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
JP6747369B2 (ja) 表示制御装置、表示制御方法及びプログラム
US10930156B2 (en) Display control apparatus, display apparatus, display control method, and program
KR101498976B1 (ko) 차량용 주차지원시스템 및 주차지원방법
US8421863B2 (en) In-vehicle image display device
JP5316550B2 (ja) 後方視界支援システム
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
KR102062923B1 (ko) 주차지원시스템
JP6834704B2 (ja) 走行支援装置及びコンピュータプログラム
JP6045796B2 (ja) 映像処理装置、映像処理方法、および映像表示システム
US10068483B2 (en) Parking assistance device
US9384664B2 (en) Parking assistance device
JP5104171B2 (ja) 駐車支援装置および駐車支援方法
JP2007090939A (ja) 駐車支援装置
JP5595186B2 (ja) 目標軌道算出装置
JP2019186853A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP6559083B2 (ja) 駐車支援装置および駐車支援方法
JP4957589B2 (ja) 障害物警告装置、障害物警告方法及びコンピュータプログラム
WO2018055842A1 (ja) 表示制御装置、表示制御方法及びプログラム
KR20160107529A (ko) 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법
JP6774605B2 (ja) 表示制御装置、表示装置、表示制御方法及びプログラム
JP6658392B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2018047721A (ja) 表示制御装置、表示制御方法及びプログラム
JP2018019155A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6825731B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP7424144B2 (ja) 車両用表示装置および車両用表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6747369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150