WO2019021524A1 - 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム - Google Patents

表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム Download PDF

Info

Publication number
WO2019021524A1
WO2019021524A1 PCT/JP2018/010803 JP2018010803W WO2019021524A1 WO 2019021524 A1 WO2019021524 A1 WO 2019021524A1 JP 2018010803 W JP2018010803 W JP 2018010803W WO 2019021524 A1 WO2019021524 A1 WO 2019021524A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
line
display control
video data
superimposed
Prior art date
Application number
PCT/JP2018/010803
Other languages
English (en)
French (fr)
Inventor
大場　貢
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP18839068.6A priority Critical patent/EP3661197B1/en
Publication of WO2019021524A1 publication Critical patent/WO2019021524A1/ja
Priority to US16/711,347 priority patent/US11132564B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示制御装置は、車両の進行方向を撮影するカメラからの映像データを取得する映像データ取得部（１２０）と、映像データから駐車区画の枠線である駐車枠線を認識する駐車枠線認識部（１３０）と、認識した駐車枠線から、駐車区画の中央線を生成する中央線生成部（１４０）と、車両の幅方向の中央部を起点として車両の進行方向に延伸する車両進行線を生成する車両進行線生成部（１１０）と、映像データと中央線と車両進行線とを重畳させた映像データである重畳データを生成する重畳映像生成部（１５０）と、重畳データにかかる映像を表示部に表示させるために表示部に重畳データを送信する表示制御部（１６０）と、を備える。

Description

表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
　本発明は表示制御装置、表示制御システム、表示制御方法及び表示制御プログラムに関する。
　近年、車両の後退時等に、車両の後方に搭載された後方カメラによって撮影された後方映像に対して、後退動作の軌跡の予測を示したガイド線を重畳してモニタ等の表示部に表示することで、容易かつ的確に車両を駐車区画へ誘導する技術が普及している。
　例えば、特許文献１に記載された車載用撮像装置は、車両の駐車時等に車両後方の映像を撮影して、車内のモニタに車両後方の映像を表示させるとともに、該車両後方の映像に車両進行方向の予想軌跡を重畳して表示させる。
特開２０１１－２１１４３２号公報
　図１４に従来技術の例を示す。例示した映像４０は、車両の後方に搭載された後方カメラによって撮影された映像に、車両の後退動作の軌跡の予測を示したガイド線７０を重畳したものである。運転者は、駐車枠線３０及び３１を含む駐車区画３３へ車両１０を移動させている。ガイド線７０は、車両１０の車幅に対応し、車両の予定軌跡に沿って描かれている。そして、駐車枠線３０とガイド線７０とは重なり合っている。
　従来技術においては、このように、後方映像に重畳されるガイド線が駐車枠線と重なってしまう場合がある。この場合、運転者は、表示されている映像から駐車枠線を見極めることが困難となる。そのため運転者は車両と駐車区画との位置関係を把握することが困難な場合がある。
　本実施の形態は、このような課題を解決するためになされたものであり、表示部に表示される駐車枠線が目視困難となることを抑制し、直観的な車両の操作を支援する表示制御装置、表示制御システム、表示制御方法及び表示制御プログラムを提供することを目的とする。
　本実施の形態にかかる表示制御装置は、車両の進行方向を撮影するカメラからの映像データを取得する映像データ取得部と、前記映像データから駐車区画の枠線である駐車枠線を認識する駐車枠線認識部と、前記認識した駐車枠線から、前記駐車区画の中央線を生成する中央線生成部と、前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成する車両進行線生成部と、前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成する重畳映像生成部と、前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する表示制御部と、を備えるものである。
　また、本実施の形態にかかる表示制御方法は、車両の進行方向を撮影するカメラからの映像データを取得し、前記映像データから駐車区画の枠線である駐車枠線を認識し、前記認識した駐車枠線から、前記駐車区画の中央線を生成し、前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成し、前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成し、前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信するものである。
　また、本実施の形態にかかる表示制御プログラムは、コンピュータに、車両の進行方向を撮影するカメラからの映像データを取得させ、前記映像データから駐車区画の枠線である駐車枠線を認識させ、前記認識した駐車枠線から、前記駐車区画の中央線を生成させ、前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成させ、前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成させ、前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信させるものである。
　本実施の形態により、駐車枠線が目視困難となることを抑制し、直観的な車両の操作を支援する表示制御装置、表示制御システム、表示制御方法及び表示制御プログラムを提供することができる。
実施の形態１にかかる表示制御システム１００の機能ブロック図である。 表示制御システム１００が搭載された車両１０が駐車区画に移動している状態の一例を示した上面図である。 車両１０の有するカメラが撮影した映像データを表示部１９０に表示させた映像の例を示す図である。 実施の形態１にかかる表示制御システム１００において映像データに中央線を重畳した映像の例を示す図である。 実施の形態１にかかる表示制御システム１００において映像データに車両進行線を重畳した映像の例を示す図である。 実施の形態１にかかる表示制御システム１００において映像データに中央線及び車両進行線を重畳した映像の例を示す図である。 実施の形態１にかかる表示制御システム１００において映像データに中央線及び車両進行線を重畳した映像の例を示す図である。 実施の形態１にかかる表示制御装置１０１におけるフローチャートを示す図である。 実施の形態２にかかる表示制御システム２００の機能ブロック図である。 実施の形態２にかかる表示制御システム２００において映像データに中央線を重畳した映像の例を示す図である。 実施の形態２にかかる表示制御システム２００において映像データに車両進行線を重畳した映像の例を示す図である。 実施の形態２にかかる表示制御システム２００において映像データに車両進行線を重畳した映像の例を示す図である。 実施の形態２にかかる表示制御システム２００において映像データに車両進行線及び中央限界線を重畳した映像の例を示す図である。 実施の形態２にかかる表示制御システム２００において映像データに距離表示線をさらに重畳した映像の例を示す図である。 実施の形態２にかかる表示制御装置２０１におけるフローチャートを示す図である。 従来技術における後方映像の例を示す図である。
　実施の形態１
　以下、図面を参照して本発明の実施の形態１について説明する。図１は、実施の形態１にかかる表示制御システム１００の機能ブロック図である。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。尚、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複する説明は省略されている。
　表示制御システム１００は、運転者が車両を駐車区画等に移動させる際に、車両の前方又は後方に搭載され、車両の進行方向を撮影するカメラ１８０によって撮影された映像に対して、駐車区画の中央線、及び車両の進行方向を示した車両進行線を重畳して表示部１９０に表示するシステムである。表示制御システム１００は、例えば、車両に後付け可能なナビゲーションシステムやドライブレコーダ等の機能の一部として実現されてもよい。また、表示制御装置１０１は、例えば、工場において車両を組み立てる際に車両に組み込まれるシステムの機能の一部として実現されてもよい。また、表示制御装置１０１は、例えば、工場において車両を組み立てる際に車両に組み込まれるシステムと、車両に後付け可能な装置とを組み合わせることにより実現されてもよい。表示制御システム１００は、表示制御装置１０１と、カメラ１８０又は表示部１９０の少なくともいずれか一方を含む。
　表示制御装置１０１は、カメラ１８０が撮影した映像のデータである映像データを取得し、車両進行線を重畳して表示部１９０に表示させる。表示制御装置１０１は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置など、様々な形態の装置として実現可能である。プロセッサは、例えば、マイクロプロセッサ、ＭＰＵ（Micro Processing Unit）、もしくはＣＰＵ（Central Processing Unit）である。メモリは、揮発性メモリ又は不揮発性メモリであって、揮発性メモリ及び不揮発性メモリの組み合わせによって構成されてもよい。プロセッサは、実施の形態にかかる処理をコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。表示制御装置１０１は、車内ネットワークであるＣＡＮ（Controller Area Network）等と接続している。また、表示制御装置１０１は、カメラ１８０及び表示部１９０と接続している。尚、ＣＡＮ等とは、ＣＡＮに限らず、ＭＯＳＴ（Media Oriented Systems Transport）やイーサネット（登録商標）等の車内ネットワークであってもよいことを意味している。
　また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュメモリ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　続いて、表示制御装置１０１の詳細について説明する。表示制御装置１０１は、車両進行線生成部１１０、映像データ取得部１２０、駐車枠線認識部１３０、中央線生成部１４０、重畳映像生成部１５０及び表示制御部１６０を備える。
　車両進行線生成部１１０は、車両の幅方向の中央部を起点として車両の進行方向に延伸する車両進行線を生成する。車両進行線は、カメラ１８０が撮影した映像のデータに重畳されることにより、車両の進行方向を示す線情報である。以下、車両進行線生成部１１０が車両進行線を生成する方法の一例の概略を説明する。カメラ１８０は、車両の幅方向中央部に、車両の進行方向が撮影されるように設置される。そのため、車両進行線生成部１１０は、初期設定として、カメラ１８０が車両の幅方向中央部に、且つ、車両の進行方向が撮影されるように設置された場合を初期設定として、車両進行線を生成する。初期設定とは、表示部１９０の画面の下側且つ幅方向中央部より予め設定された長さの直線を垂直に表示させることである。表示制御システム１００は、ユーザが車両進行線の位置、角度、長さ等を調整する機能を有していてもよい。車両進行線生成部１１０は、生成した車両進行線に関する情報を重畳映像生成部１５０に送信する。
　映像データ取得部１２０は、カメラ１８０において生成された映像データを取得する。映像データ取得部１２０は、カメラ１８０からのデジタル映像データまたはアナログ映像データを取得する。映像データ取得部は、これらの映像データを、非圧縮のデジタル映像データ、または、例えばＨ．２６４もしくはＨ．２６５等の方式を用いたフォーマットの圧縮された映像データとして重畳映像生成部１５０に送信する。また、映像データ取得部１２０は、ＭＰＥＧ（Moving Picture Experts Group）２－ＴＳ（Transport Stream）またはＡＶＩ（Audio Video Interleave）等の圧縮された映像フォーマットの映像データを生成してもよい。映像データ取得部１２０は、映像データを重畳映像生成部１５０に送信する。なお圧縮をどのブロックで行うか、また非圧縮とするかは任意であり、例えばカメラ部から圧縮済の映像データを取得してもよい。
　駐車枠線認識部１３０は、映像データ取得部１２０が送信した映像データから、駐車区画に表示されている駐車枠線を認識する。駐車枠線認識部１３０が駐車枠線を認識する手法の具体例を、以下に説明する。駐車枠線認識部１３０は、例えば、映像データが有する各画素の輝度勾配を演算する。そして、駐車枠線認識部１３０は、エッジ検出などの予め設定された手法に基づいて、駐車枠線を認識する。映像データが有する各画素の輝度勾配を演算し予め設定された物体を認識する手法は、既知の技術である。よって、詳細な説明は省略する。駐車枠線認識部１３０は、駐車枠線を認識することにより、映像データ内に駐車枠線が存在しているか否か、及び、映像データ内の駐車枠線の位置に関する情報を生成する。駐車枠線認識部１３０は、生成した情報を、中央線生成部１４０に送信する。また、駐車枠線認識部１３０は、駐車枠線を認識しない場合に、映像データに駐車枠線が含まれていないことを中央線生成部１４０へ送信し得る。
　中央線生成部１４０は、駐車枠線認識部１３０が送信した情報から、駐車区画の中央線を生成する。駐車区画の中央線とは、駐車区画に描画されている駐車枠線のうち、車両駐車位置の右側及び左側にそれぞれ描画されている２本の平行な駐車枠線の中間に平行に延伸する線である。中央線生成部１４０は、生成した中央線に関する情報を重畳映像生成部１５０に送信する。
　重畳映像生成部１５０は、車両進行線生成部１１０が送信した情報と、映像データ取得部１２０が送信した映像データと、駐車枠線認識部１３０が送信した情報とをそれぞれ受信する。そして、重畳映像生成部１５０は、映像データ、車両進行線及び中央線を重畳させた映像データを生成する。以降、重畳映像生成部１５０が生成した映像データは、重畳データと称される。重畳映像生成部１５０は、生成した重畳データを表示制御部１６０に送信する。
　表示制御部１６０は、重畳映像生成部１５０が送信した重畳データを受信する。表示制御部１６０は、受信した重畳データを表示部１９０に送信する。表示制御部１６０は、例えば図示しない表示指示部からの指示を受けて重畳データを表示部１９０に送信し、又は送信を停止してもよい。
　表示制御部１６０は、受信した重畳データを加工することにより、表示部に表示させる映像の視野角を変更してもよい。また、表示制御部１６０は、受信した重畳データを加工することにより、表示部に表示させる映像の歪み補正処理を行ってもよい。また、表示制御部１６０は、受信した重畳データを加工することにより、表示部に表示させる映像を車両の上方から俯瞰しているような映像に変更してもよい。また、表示制御部１６０は、受信した重畳データを加工することにより、表示部に表示させる映像を、上述した内容に限らず変更してもよい。
　表示制御装置１０１は、図示しない取得部を有し、ＣＡＮ等と接続またはセンサ類からの情報により、車両の動作情報を取得してもよい。その場合、表示制御部１６０は、図示しない取得部が取得した車両の動作情報に応じて、重畳データを表示部１９０に送信し、又は、送信を停止してもよい。また、表示制御装置１０１は、図示しない取得部を有し、ユーザの指示を取得してもよい。その場合、表示制御部１６０は、図示しない取得部が取得した情報に応じて、重畳データを表示部１９０に送信し、又は、送信を停止してもよい。
　カメラ１８０は、車両の前方又は車両の後方を撮影した映像データを生成する。カメラ１８０は、車両の前方に設置されていてもよい。また、カメラ１８０は、車両の後方に設置されていてもよい。また、カメラ１８０は、車両の前方及び車両の後方にそれぞれ設置されていてもよい。カメラ１８０は、生成した映像データを、表示制御装置１０１が有する映像データ取得部１２０に送信する。
　表示部１９０は、表示制御装置１０１が有する表示制御部１６０から受信した映像データ又は重畳データを表示する。表示部１９０は、例えば液晶表示装置、有機ＥＬ（有機エレクトロルミネッセンス）表示装置、ヘッドアップディスプレイ等の表示装置である。表示部１９０は、運転者が車両を操作する際に目視可能な位置に設置されている。運転者が車両を操作する際に目視可能な位置とは、例えば、車両のセンターコンソール、ダッシュボード、メータパネル、バックミラー、ハンドル付近又はフロントガラス等である。
　次に、図２を参照しながら、表示制御システム１００が搭載された車両について説明する。図２は、表示制御システム１００が搭載された車両１０が駐車区画に移動している状態の一例を示した上面図である。車両１０は、任意の位置に、表示制御装置１０１を有している。また、車両１０は、前方カメラ１８０Ｆと、後方カメラ１８０Ｒとを有している。また、車両１０は、運転者が車両を操作する際に目視可能な位置に表示部１９０を有している。図２において、車両１０は、駐車区画３３へ向かって後進している。駐車区画３３は、駐車枠線３０～３２を有している。運転者は、駐車枠線３０～３２に囲まれた位置に車両１０を移動させようとしている。この場合に、表示制御システム１００は、後方カメラ１８０Ｒが撮影した映像のデータを取得する。
　続いて、車両１０の有するカメラが撮影した映像データについて説明する。図３は、車両１０の有するカメラが撮影した映像データを表示部１９０に表示させた映像の例を示す図である。映像４０は、車両１０の一部分及び駐車区画３３を含んでいる。駐車区画３３は、駐車枠線３０～３２を含んでいる。映像４０の下側は、車両１０に近く、映像４０の上側ほど、車両１０から遠い位置を示している。
　尚、図３はｘｙ座標を含んでいる。図３において、ｘ座標は、映像４０の水平方向を示している。図３の右方向はｘ軸のプラス方向である。図３において、ｙ座標は、映像４０の垂直方向を示している。図３の上方向はｙ軸のプラス方向である。図３に示したｘｙ座標は、いずれも構成要素の位置関係を説明するための便宜的なものである。また、これ以降に示したｘｙ座標は、それぞれ図３におけるｘｙ座標と同様の目的において示されている。
　次に、図４を参照しながら中央線生成部１４０が中央線を生成する手法の具体例について説明する。図４は、実施の形態１にかかる表示制御システム１００において映像データに中央線を重畳した映像の例を示す図である。図４において、映像４０は、図３で示した映像データに加えて、中央線３５を含んでいる。
　中央線生成部１４０は、中央線３５を生成するために、中央線３５に含まれる２点を算出する。まず、中央線３５に含まれる２点の内の１点を算出する手法の具体例について説明する。中央線生成部１４０は、駐車枠線認識部１３０が送信した情報から、駐車枠線３０～３２を認識している。中央線生成部１４０は、駐車枠線３０と駐車枠線３２との交点３２ｂを算出する。交点３２ｂの位置は、ｘｙ座標において（ｘ３２ｂ、ｙ３２ｂ）と示される。また、中央線生成部１４０は、駐車枠線３１と駐車枠線３２との交点３２ａを算出する。交点３２ａの位置は、ｘｙ座標において（ｘ３２ａ、ｙ３２ａ）と示される。続いて、中央線生成部１４０は、交点３２ａと交点３２ｂとの中点３２ｃを算出する。中点３２ｃは、ｘｙ座標において（（ｘ３２ｂ+ｘ３２ａ）／２、（ｙ３２ｂ+ｙ３２ａ）／２）と示される。
　続いて、中央線３５に含まれる２点の内の別の１点を算出する手法の具体例について説明する。中央線生成部１４０は、映像４０の下端からｙ方向に距離３４ｙの位置においてｘ軸に平行な仮想線３４を設定する。仮想線３４は、中央線３５を生成するために計算の便宜上用いられるものであり、映像４０に実際に表示される必要はない。また、距離３４ｙは、予め設定された任意の距離である。中央線生成部１４０は、駐車枠線３０と仮想線３４との交点３４ｂを算出する。交点３４ｂの位置は、ｘｙ座標において（ｘ３４ｂ、ｙ３４ｂ）と示される。また、中央線生成部１４０は、駐車枠線３１と仮想線３４との交点３４ａを算出する。交点３４ａの位置は、ｘｙ座標において（ｘ３４ａ、ｙ３４ａ）と示される。続いて、中央線生成部１４０は、交点３４ａと交点３４ｂとの中点３４ｃを算出する。中点３４ｃは、ｘｙ座標において（（ｘ３４ｂ+ｘ３４ａ）／２、（ｙ３４ｂ+ｙ３４ａ）／２）と示される。
　中央線生成部１４０は、算出した中点３２ｃと中点３４ｃとを繋ぐ直線である中央線３５を生成する。中央線３５は、中点３２ｃを起点とし、終点３５ｅまで延伸する。中央線３５は、駐車枠線３０及び駐車枠線３１と仮想的に平行な直線である。仮想的に平行とは、映像４０に表示された線が、撮影された実際の風景に存在した場合に平行である、という意味である。終点３５ｅは、例えば、駐車枠線３０の終点３０eと駐車枠線３１の終点３１ｅとを結んだ線上に設定され得る。尚、中央線３５は、図４において破線により示されているが、線種は問われない。また、中央線３５の太さや色は適宜ユーザの見やすいものが選択されればよい。中央線は、例えば、太さが均一な線ではなく、中点３２ｃから終点３５ｅにかけて太さが変化してもよい。
　次に、図５を参照しながら、車両進行線について説明する。図５は、実施の形態１にかかる表示制御システム１００において映像データに車両進行線を重畳した映像の例を示す図である。図５における映像４０は、図３において説明した映像に加えて、車両進行線５０を含んでいる。車両進行線５０は、起点５０ｓと終点５０ｅとを直線で結んでいる。車両進行線５０は、車両が直進した場合の方向に一致している。すなわち、車両進行線５０は、車両１０の幅方向の中央部１１を起点として車両１０の進行方向に延伸する線である。車両進行線５０は、映像４０において、起点５０ｓから垂直に延伸している。
　起点５０ｓは、車両１０の中央部１１に含まれる。中央部１１は、映像４０における車両１０の車幅の表示に対して３分の１程度の中央部の領域を指している。起点５０ｓは、中央部１１内における中央点１１ｃに一致していてもよい。
　終点５０ｅは、実際の車両１０からの距離が予め設定された値に相当する位置を示し得る。映像４０において、起点５０ｓから終点５０ｅまでのｙ軸方向の寸法５０ｙは、車両１０の中央部１１から、例えば、３メートルの距離に相当する。この場合、終点５０ｅのｙ軸方向の寸法５０ｙは固定され得る。
　車両進行線５０は、図４に示したような実線ではなく、破線や点線であってもよい。車両進行線５０は、太さが均一な線ではなく、起点５０ｓから終点５０ｅにかけて太さが変化してもよい。
　尚、車両進行線５０は、カメラ１８０の設置状態などにより、車両１０の直進方向と一致しない場合があり得る。そのような場合、車両進行線生成部１１０は、ユーザの操作により車両進行線５０の位置、角度等が調整される機能を有してもよい。
　次に、図６Ａ及び図６Ｂを参照しながら、中央線及び車両進行線を重畳した映像の例について説明する。図６Ａ及び図６Ｂは、実施の形態１にかかる表示制御システム１００において映像データに中央線及び車両進行線を重畳した映像の例を示す図である。すなわち、図６Ａ及び図６Ｂは、表示制御部１６０が表示部１９０に送信した重畳データを表示したものである。図６Ａの映像４０及び図６Ｂの映像４０は、いずれもカメラ１８０が駐車区画３３を撮影したものである。ただし、図６Ｂの映像４０は、図６Ａの映像４０よりも駐車区画３３に近づいた状態を示している。
　図６Ａにおいて、車両１０と駐車区画３３とは、所定の距離がある。また、車両１０と駐車区画３３とは、所定の角度がある。ところで、映像４０の下側は、車両１０に近く、映像４０の上側ほど、車両１０から遠い位置を示している。そして、映像４０は、近くに存在するものの方が、遠くに存在するものより相対的に大きく表示される。そのため、駐車枠線３０及び駐車枠線３１は、実際には平行な直線であるものの、映像４０の下側に広い間隔で表示され、映像４０の上側に狭い間隔で表示される。このように、映像４０の左右の外縁部に近い領域に表示されるものは、車両１０との実際の角度と異なる角度により表示される。そのため、駐車枠線３０又は駐車枠線３１と、車両１０との角度をユーザが直観的に把握するのは困難である。
　一方、映像４０の左右方向の中央部に表示されているものは、車両１０との実際の角度に近い状態で表示されている。図６Ａの場合、中央線３５と車両進行線５０との成す角度Ａ１は、実際の車両１０と駐車区画３３との成す角度に近い。そのため、ユーザは、角度Ａ１を目安としてハンドル操作を行うことができる。
　図６Ｂは、車両１０が図６Ａに示す例よりも駐車区画３３に近づいた状態を示している。図６Ｂでは、中央線３５と車両進行線５０との成す角度Ａ２は、図６Ａに示した角度Ａ１より小さい。したがって、ユーザは、角度Ａ２を目安としてハンドル操作を行うことができる。また、ユーザは、車両進行線５０と中央線３５とが重なり合うように車両１０を操作することができる。
　次に、図７を参照しながら実施の形態１にかかる表示制御装置１０１の処理について説明する。図７は、実施の形態にかかる表示制御装置１０１におけるフローチャートを示す図である。
　まず、映像データ取得部１２０は、カメラ１８０が生成した映像データを取得する（ステップＳ１００）。そして、映像データ取得部１２０は、取得した映像データを、駐車枠線認識部１３０と、重畳映像生成部１５０とに送信する。
　次に、駐車枠線認識部１３０は、映像データ取得部１２０が送信した映像データから、駐車枠線を認識し、認識した駐車枠線に関する情報を中央線生成部１４０に送信する（ステップＳ１０１）。図６Ａ及び図６Ｂの例を参照しながら具体的に説明すると、駐車枠線認識部１３０は、画像処理を行うことにより、駐車枠線３０～３２の位置を認識する。
　次に、中央線生成部１４０は、駐車枠線認識部１３０が送信した情報から、中央線３５を生成し、生成した中央線３５に関する情報を、重畳映像生成部１５０に送信する（ステップＳ１０２）。中央線３５を生成する方法は、例えば、図４を参照しながら説明したとおりである。
　次に、車両進行線生成部１１０は、車両進行線を生成し、生成した車両進行線に関する情報を、重畳映像生成部１５０に送信する（ステップＳ１０３）。車両進行線を生成する方法は、図５を参照しながら説明したとおりである。
　次に、重畳映像生成部１５０は、映像データ取得部１２０が送信した映像データと、中央線生成部１４０が送信した中央線に関する情報と、車両進行線生成部１１０が送信した車両進行線に関する情報とを重畳させた映像データである重畳データを生成し、表示制御部１６０へ送信する（ステップＳ１０４）。
　次に、表示制御部１６０は、重畳映像生成部１５０が送信した重畳データを、表示部１９０に送信して表示させる（ステップＳ１０５）。表示制御部１６０が重畳データの送信を完了すると、表示制御装置１０１は、再びステップＳ１００に戻り、映像データの取得を行う。
　尚、ステップＳ１０３は、ステップＳ１００～Ｓ１０２と並列的に行われてもよいし、ステップＳ１０３がステップＳ１０２より前に行われてもよい。
　本実施の形態１にかかる表示制御システム１００は、このような構成により、運転者が車両を駐車区画に移動させる場合において、駐車枠線と車両進行線とは映像４０のｙ軸方向において重なる可能性が低減されている。よって、本実施の形態１にかかる表示制御システム１００は、駐車枠線が目視困難となることを抑制することができる。また、車両進行線が中央線３５一致することを目安とすることにより、直観的な車両の操作を支援する表示制御システムを提供することができる。
　実施の形態２
　次に、実施の形態２について説明する。実施の形態２にかかる表示制御システム２００は、中央線の表示内容が実施の形態１にかかる表示制御システム１００と異なる。また、実施の形態２にかかる表示制御システム２００は、車両進行線が車両の動作と連動し得る点が実施の形態１と異なる。
　図８を参照しながら、実施の形態２にかかる表示制御システム２００の構成について説明する。図８は、実施の形態２にかかる表示制御システム２００の機能ブロック図である。実施の形態２にかかる表示制御システム２００は、表示制御装置２０１が車両動作取得部２７０を持つ点において実施の形態１にかかる表示制御システム１００の構成と異なる。以下、実施の形態１と異なる構成について詳細を説明する。
　表示制御装置２０１は、車両動作取得部２７０、車両進行線生成部２１０、映像データ取得部１２０、駐車枠線認識部１３０、中央線生成部１４０、重畳映像生成部１５０及び表示制御部２６０を備える。
　車両動作取得部２７０は、車内ネットワークであるＣＡＮ等から車両の動作に関する情報である動作情報を受信する。動作情報とは、例えば、車両の変速機がどのレンジに設定されているかを示す情報、車両の操舵角を示す情報又は車両の走行速度を示す情報の一部又は全部を含む情報である。すなわち、車両動作取得部２７０は、ＣＡＮ等から送られた信号のうち、予め設定された信号を取得し、車両進行線生成部２１０又は表示制御部２６０に送る。車両動作取得部２７０は、動作情報を受けることにより、例えば、変速機がリバースレンジに設定されたことを取得し得る。また、車両動作取得部２７０は、例えば、変速機がドライブレンジの低速モードに設定されたことを取得し得る。また、車両動作取得部２７０は、車両の操舵角を示す情報を取得し、車両のハンドルの角度を監視し得る。また、車両動作取得部２７０は、車両の走行速度を示す情報を取得し、車両の走行速度を監視し得る。
　車両進行線生成部２１０は、車両動作取得部２７０が送信した動作情報を受信する。そして車両進行線生成部２１０は、車両動作取得部２７０が送信した動作情報に基づいて、車両進行線を生成する。実施の形態２において、車両進行線は、カメラ１８０が撮影した映像のデータに重畳されることにより、車両の進行予定を示す線情報である。車両進行線生成部２１０は、例えば、車両動作取得部２７０が送信した操舵角を示す情報に基づいて、予想進路を算出する。車両進行線生成部２１０は、算出した予想進路から、車両進行線を生成する。車両進行線生成部２１０による車両進行線の生成は、既存の任意の手法が適用可能である。例えば、車両進行線生成部２１０は、１か所または２か所以上の点を予想進路点として算出する。そして、車両進行線生成部２１０は、予め設定された方法により、予想進路点を通過する車両進行線の情報を生成する。車両進行線の一例としては、車両が直進した場合の車幅を延伸した線情報である。また、車両進行線の別の例としては、車両の操舵角と連関する線情報である。車両進行線生成部２１０は、生成した車両進行線に関する情報を重畳映像生成部１５０に送信する。車両進行線生成部２１０は、上述した車両進行線の内、１又は複数の車両進行線に関する情報を生成して送信する。
　表示制御部２６０は、重畳映像生成部１５０が送信した重畳データを受信する。表示制御部２６０は、受信した重畳データを表示部１９０に送信する。表示制御部２６０は、例えば図示しない表示指示部からの指示を受けて重畳データを表示部１９０に送信し、又は送信を停止してもよい。表示制御部２６０は、車両動作取得部２７０を監視して、車両動作取得部２７０が取得する情報に応じて、映像データ又は重畳データを表示部１９０に送信し、又は送信を停止してもよい。また、表示制御部２６０は、車両動作取得部２７０に接続し、車両動作情報を取得し得る。
　次に、図９を参照しながら、実施の形態２にかかる中央線の表示内容について説明する。図９は、実施の形態２にかかる表示制御システム２００において映像データに中央線を重畳した映像の例を示す図である。図９の映像４０は、中央線３５に加え、中央線３５に隣接した第１中央限界線３６及び第２中央限界線３７を有している。
　以下に、第１中央限界線３６及び第２中央限界線３７を表示する方法の具体例を説明する。中央線生成部１４０は、映像４０の下端からｙ方向に距離３４ｙの位置においてｘ軸に平行な仮想線３４を設定する。仮想線３４は、中央線３５を生成するために計算の便宜上用いられるものであり、映像４０に実際に表示される必要はない。また、仮想線３４と一致する映像データにおける車両１０からの距離は予め設定されている。図９の映像４０における仮想線３４と一致する位置は、例えば車両１０の後端から３メートル先であることが予め設定され得る。また、中央線生成部１４０は、このように予め設定された距離における映像データの幅方向の距離を推定し得る。つまり、中央線生成部１４０は、交点３４ｂと交点３４ａとの距離を推定し得る。交点３４ｂと交点３４ａとの距離は、駐車区画３３の幅である。
　中央線生成部１４０は、車両１０の幅を予め記憶している。したがって、中央線生成部１４０は、駐車区画３３の幅と、車両１０の幅との差を算出し得る。駐車区画３３の幅は、通常、車両１０の幅より大きい。つまり、駐車区画３３の幅と車両１０との差は、車両１０を駐車区画３３に駐車する際の駐車可能範囲３８ということができる。中央線生成部１４０は、算出した駐車可能範囲３８を２分割する。そして、中央線生成部１４０は、中央線３５と仮想線３４との交点である中点３４ｃから駐車可能範囲３８を２分割した距離の点である、第１限界点３４ｄ及び第２限界点３４ｅを仮想線３４上に設定する。つまり、第１限界点３４ｄと、第２限界点３４ｅとの距離は、駐車区画３３に車両１０を駐車する際の、駐車可能範囲３８である。
　第１中央限界線３６は、第１限界点３４ｄを通過し、且つ、駐車枠線３０、駐車枠線３１及び中央線３５に仮想的に平行な直線として表示され得る。同様に、第２中央限界線３７は、第２限界点３４ｅを通過し、且つ、駐車枠線３０、駐車枠線３１及び中央線３５に仮想的に平行な直線として表示され得る。
　次に、図１０Ａ及び図１０Ｂを参照しながら実施の形態２にかかる表示制御システム２００における車両進行線について説明する。表示制御システム２００において、車両進行線生成部１１０は、車両１０の幅方向の中央部を起点として操舵角に応じた進行予定に沿って延伸する車両進行線を生成する。
　図１０Ａ及び図１０Ｂは、実施の形態２にかかる表示制御システム２００において映像データに車両進行線を重畳した映像の例を示す図である。図１０Ａにおける映像４０は、図３において説明した映像に加えて、車両進行線５１を含んでいる。車両進行線５１は、車両１０の幅方向の中央部１１を起点として操舵角に応じた進行予定に沿って延伸している。すなわち、車両進行線５１は、車両１０の操舵角に応じて、車両１０の走行進路を予想して示した線情報である。車両進行線５１は、車両１０が直進している場合を除けば、車両１０の操舵角に応じて曲線になる。車両進行線５１の曲率は、車両１０の操舵角が大きいほど大きくなる。
　図１０Ｂに例示する映像４０に重畳されている車両進行線５２は、直線である。車両進行線５２は、車両１０の中央部１１に一致する起点５１ｓを起点として操舵角に応じた進行予定に沿って直線状に延伸する。すなわち、車両進行線５２は、起点５１ｓと終点５１ｅとを直線で結んでいる。車両進行線５２は、車両１０が直進している場合に、ｙ軸と平行な直線を描く。そして、車両進行線５２とｙ軸との間の角度は、車両１０の操舵角が大きいほど大きくなる。
　起点５１ｓは、車両１０の中央部１１に含まれる。中央部１１は、映像４０における車両１０の車幅の表示に対して３分の１程度の中央部の領域を指している。起点５１ｓは、中央部１１内における中央点１１ｃに一致していてもよい。終点５１ｅは、車両の操舵角に応じて起点５１ｓが進行予定に沿って延伸した曲線の上に位置する点である。
　終点５１ｅは、実際の車両１０からの距離が予め設定された値に相当する位置を示し得る。映像４０において、起点５１ｓから終点５１ｅまでのｙ軸方向の寸法５１ｙは、車両１０の中央部１１から、例えば、３メートルの距離に相当する。この場合、終点５１ｅのｙ軸方向の寸法５１ｙは固定され得る。また、終点５１ｅのｘ軸方向の位置は、車両１０の操舵角に対応して変化する。つまり、車両１０の操舵角が大きいほど、ｘ方向の寸法５１ｘの絶対値は大きくなる。そして、車両１０の操舵方向が映像４０に対して右の場合、車両進行線５２は、中央部１１を起点としてｙ軸プラス方向且つｘ軸プラス方向に延伸する。同様に、操舵方向が映像４０に対して左の場合、車両進行線５２は、中央部１１を起点としてｙ軸プラス方向且つｘ軸マイナス方向に延伸する。
　尚、終点５１ｅのｙ軸方向の寸法５１ｙは固定されず、起点５１ｓを中心とした円又は楕円の円周を描くように変化してもよい。終点５１ｅのｙ軸方向の寸法５１ｙは固定されず、操舵角が変化しても車両進行線５２の長さが実質的に同じになるように変化してもよい。
　車両進行線５１、５２は、図１０Ａ及び図１０Ｂに示したような実線ではなく、破線や点線であってもよい。車両進行線５１、５２は、太さが均一な線ではなく、起点５１ｓから終点５１ｅにかけて太さが変化してもよい。
　次に、図１１を参照しながら、中央線及び車両進行線を重畳した映像の例について説明する。図１１は、実施の形態２にかかる表示制御システム２００において映像データに車両進行線及び中央限界線を重畳した映像の例を示す図である。図１１における映像４０は、駐車区画３３、中央線３５、第１中央限界線３６、第２中央限界線３７及び車両進行線５１を含んでいる。
　図１１において、車両１０は、駐車区画３３へ進行している。図１１における映像４０は、車両進行線５１が第１中央限界線３６と第２中央限界線３７との間に位置することが、車両１０が駐車枠線３０と駐車枠線３１との間に位置することを示している。したがって、ユーザは、車両進行線５１が第１中央限界線３６と第２中央限界線３７との間に位置することを目安として車両を操作し得る。また、ユーザは、ハンドル操作を行い、車両進行線５１が中央線３５に一致することを目安として車両を操作し得る。尚、図１１では中央線３５を表示した例を示したが、中央線３５を表示せず、第１中央限界線３６と第２中央限界線３７を表示してもよい。
　次に、図１２を参照しながら、実施の形態２のもう一つの例について説明する。図１２は、実施の形態２にかかる表示制御システム２００において映像データに距離表示線をさらに重畳した映像の例を示す図である。
　図１２における映像４０は、図１１に示した映像４０の例に加えて、距離表示線５３を含んでいる。距離表示線５３は、映像４０の水平方向すなわちｘ軸と平行な方向に延伸した線情報である。距離表示線５３は、車両１０の端部から、予め設定された距離を示している。図１２において、距離表示線５３は、例えば、車両１０の後端から０．４メートルの距離を示している。ユーザは、距離表示線５３が駐車枠線３２に一致することを目安として、車両１０を進行させ得る。距離表示線５３は、例えば２ｍ、１ｍ、０．４ｍなど複数の距離を示す複数の線として表示されてもよい。これらの距離表示線５３により、ユーザは車両１０と駐車枠線３２との距離を直観的に認識することができる。
　次に、図１３を参照しながら実施の形態２にかかる表示制御装置２０１の処理について説明する。図１３は、実施の形態２にかかる表示制御装置２０１におけるフローチャートを示す図である。表示制御装置２０１におけるフローチャートは、表示制御装置１０１におけるフローチャートとステップＳ１００からステップＳ１０５の処理については同じである。以下は、表示制御装置１０１におけるフローチャートと異なる処理について説明する。
　まず、車両動作取得部２７０は、車内ネットワークであるＣＡＮ等から取得する車両１０の変速機の設定に関する情報を取得する（ステップＳ２００）。
　次に、表示制御部１６０は、車両動作取得部２７０が取得した車両１０の変速機の設定に関する情報を取得し、車両１０が後退するか否かを判断する（ステップＳ２０１）。車両１０が後退しない場合、すなわち車両１０の変速機の設定がリバースレンジではない場合（ステップＳ２０１：Ｎｏ）、表示制御部１６０は、映像表示を終了させる指示を受けているか否かを判定する（ステップＳ２０２）。映像表示を終了させる指示を受けている場合（ステップＳ２０２：Ｙｅｓ）、表示制御部１６０は、処理を終了させる。一方、映像表示を終了させる指示を受けていない場合（ステップＳ２０２：Ｎｏ）、ステップＳ２００に戻り、車両動作取得部２７０は、再び車両１０の変速機の設定に関する情報を取得する。
　一方、車両１０が後退している場合、すなわち車両１０の変速機の設定がリバースレンジである場合（ステップＳ２０１：Ｙｅｓ）、表示制御部１６０は、表示部１９０に重畳データを送信する処理を行う（ステップＳ１００～ステップＳ１０５）。
　次に、表示制御部１６０は、映像表示を終了させる指示を受けているか否かを判定する（ステップＳ２０２）。映像表示を終了させる指示を受けている場合（ステップＳ２０２：Ｙｅｓ）、表示制御部１６０は、処理を終了させる。
　一方、映像表示を終了させる指示を受けていない場合（ステップＳ２０２：Ｎｏ）、表示制御装置２０１は、ステップＳ２００に戻り、車両動作取得部２７０が再び車両１０の変速機の設定に関する情報を取得する。
　本実施の形態２にかかる表示制御システム２００は、このような構成により、運転者が車両を駐車区画に移動させる場合において、駐車枠線と車両進行線とは映像４０のｙ軸方向において重なる可能性が低減されている。よって、本実施の形態２にかかる表示制御システム２００は、駐車枠線が目視困難となることを抑制することができる。また、車両進行線が第１中央限界線３６と第２中央限界線３７との間に位置することを目安とすることにより、直観的な車両の操作を支援する表示制御システムを提供することができる。
　尚、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した実施の形態は、車両１０が前進しながら駐車区画３３に移動する場合にも適用してもよい。その場合、表示制御装置２０１は、車両１０の有する前方カメラ１８０Ｆが撮影した映像のデータと、車両進行線とを重畳させ得る。この場合、ステップＳ２００において、表示制御装置２０１は、例えば、車両１０が予め設定された走行速度よりも遅く前進していることを取得し得る。あるいは、ステップＳ２００において、表示制御装置２０１は、図示しない運転者からの指示により第１表示モードを開始させてもよい。
　また、実施の形態２において説明した車両進行線５１又は車両進行線５２は、実施の形態１にかかる表示制御システム１００に適用してもよい。また、実施の形態２にかかる表示制御システム２００において、第１中央限界線３６及び第２中央限界線３７を表示せず、中央線３５のみを表示させてもよい。
　この出願は、２０１７年７月２５日に出願された日本出願特願２０１７－１４３２３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本実施形態にかかる記録制御装置は、例えば走行中の車両の周囲の映像を取得するために利用可能である。
１０　車両
３０、３１、３２　駐車枠線
３３　駐車区画
３５　中央線
３６　第１中央限界線
３７　第２中央限界線
４０　映像
５０、５１、５２　車両進行線
５３　距離表示線
１００、２００　表示制御システム
１０１、２０１　表示制御装置
１１０　車両進行線生成部
１２０　映像データ取得部
１３０　駐車枠線認識部
１４０　中央線生成部
１５０　重畳映像生成部
１６０、２６０　表示制御部
１８０　カメラ
１９０　表示部
２１０　車両進行線生成部
２７０　車両動作取得部

Claims (9)

  1. 　車両の進行方向を撮影するカメラからの映像データを取得する映像データ取得部と、
    　前記映像データから駐車区画の枠線である駐車枠線を認識する駐車枠線認識部と、
    　前記認識した駐車枠線から、前記駐車区画の中央線を生成する中央線生成部と、
    　前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成する車両進行線生成部と、
    　前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成する重畳映像生成部と、
    　前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する表示制御部と、を備える
    表示制御装置。
  2. 　前記車両進行線は、前記車両の幅方向の中央部を起点として前記表示部の縦方向に延伸した直線として表示される、
    請求項１に記載の表示制御装置。
  3. 　前記車両の操舵角を含む動作情報を取得する車両動作取得部をさらに備え、
    　前記車両進行線は、前記車両の幅方向の中央部を起点として前記車両の操舵角に応じて直線により表示される、
    請求項１に記載の表示制御装置。
  4. 　前記車両の操舵角を含む動作情報を取得する車両動作取得部をさらに備え、
    　前記車両進行線は、前記車両の幅方向の中央部を起点として前記車両の操舵角に応じて予想進路に沿った曲線により表示される、
    請求項１に記載の表示制御装置。
  5. 　前記中央線生成部は、前記認識した駐車枠線と予め登録された前記車両の幅とから前記駐車枠線と前記車両との幅方向の差を算出するとともに、前記中央線から前記幅方向の差に応じた距離を有する２本の中央限界線を生成する、
    請求項１～４のうちいずれか一項に記載の表示制御装置。
  6. 　前記車両進行線は、前記車両から予め設定された距離離れていることを示す距離表示線をさらに含む、
    請求項１～５のうちいずれか一項に記載の表示制御装置。
  7. 　請求項１～５のうちいずれか一項に記載した表示制御装置と、
    　前記映像データを撮影するカメラ又は前記映像データを表示する表示部のうち少なくともいずれか一方と、
    を備える表示制御システム。
  8. 　車両の進行方向を撮影するカメラからの映像データを取得し、
    　前記映像データから駐車区画の枠線である駐車枠線を認識し、
    　前記認識した駐車枠線から、前記駐車区画の中央線を生成し、
    　前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成し、
    　前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成し、
    　前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する、
    表示制御方法。
  9. 　コンピュータに、
    　車両の進行方向を撮影するカメラからの映像データを取得させ、
    　前記映像データから駐車区画の枠線である駐車枠線を認識させ、
    　前記認識した駐車枠線から、前記駐車区画の中央線を生成させ、
    　前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成させ、
    　前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成させ、
    　前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信させる、
    表示制御プログラム。
PCT/JP2018/010803 2017-07-25 2018-03-19 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム WO2019021524A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18839068.6A EP3661197B1 (en) 2017-07-25 2018-03-19 Display control device, display control system, display control method, and display control program
US16/711,347 US11132564B2 (en) 2017-07-25 2019-12-11 Display control device, display control system, display control method, and display control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-143234 2017-07-25
JP2017143234A JP6844463B2 (ja) 2017-07-25 2017-07-25 表示制御装置、表示制御方法及び表示制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/711,347 Continuation US11132564B2 (en) 2017-07-25 2019-12-11 Display control device, display control system, display control method, and display control program

Publications (1)

Publication Number Publication Date
WO2019021524A1 true WO2019021524A1 (ja) 2019-01-31

Family

ID=65040490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010803 WO2019021524A1 (ja) 2017-07-25 2018-03-19 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム

Country Status (4)

Country Link
US (1) US11132564B2 (ja)
EP (1) EP3661197B1 (ja)
JP (2) JP6844463B2 (ja)
WO (1) WO2019021524A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102429494B1 (ko) * 2017-10-13 2022-08-05 현대자동차주식회사 차량의 목표주차공간 표시 장치 및 그 방법
CN110654375A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 自动泊车方法、装置、系统及车辆
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP7141940B2 (ja) * 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
JP7236857B2 (ja) 2018-12-14 2023-03-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7195131B2 (ja) 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095620A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) * 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
KR20210008259A (ko) * 2019-07-12 2021-01-21 현대자동차주식회사 주차 제어 장치, 그를 포함한 시스템 및 그 방법
US11514795B1 (en) * 2021-05-18 2022-11-29 Ford Global Technologies, Llc Systems and methods of projecting virtual parking lines

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162426A (ja) * 2006-12-28 2008-07-17 Aisin Seiki Co Ltd 駐車支援装置
JP2008296697A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 駐車支援装置
JP2009055098A (ja) * 2007-08-23 2009-03-12 Denso Corp 車両用後方撮影表示装置
JP2009206615A (ja) * 2008-02-26 2009-09-10 Honda Motor Co Ltd 駐車支援装置
JP2011006005A (ja) * 2009-06-26 2011-01-13 Kyocera Corp 駐車時における運転支援装置及び方法
JP2011211432A (ja) 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置
JP2014058309A (ja) * 2009-06-09 2014-04-03 Denso Corp 駐車支援システム
JP2016066322A (ja) * 2014-09-26 2016-04-28 富士通テン株式会社 画像処理装置、及び画像表示システム
JP2017143234A (ja) 2016-02-09 2017-08-17 富士電機株式会社 評価方法、および、半導体装置の製造方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP4291741B2 (ja) * 2004-06-02 2009-07-08 トヨタ自動車株式会社 車線逸脱警報装置
JP2009061795A (ja) * 2007-09-04 2009-03-26 Fujitsu Ten Ltd 駐車支援制御装置
KR102268641B1 (ko) * 2014-07-10 2021-06-23 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162426A (ja) * 2006-12-28 2008-07-17 Aisin Seiki Co Ltd 駐車支援装置
JP2008296697A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 駐車支援装置
JP2009055098A (ja) * 2007-08-23 2009-03-12 Denso Corp 車両用後方撮影表示装置
JP2009206615A (ja) * 2008-02-26 2009-09-10 Honda Motor Co Ltd 駐車支援装置
JP2014058309A (ja) * 2009-06-09 2014-04-03 Denso Corp 駐車支援システム
JP2011006005A (ja) * 2009-06-26 2011-01-13 Kyocera Corp 駐車時における運転支援装置及び方法
JP2011211432A (ja) 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置
JP2016066322A (ja) * 2014-09-26 2016-04-28 富士通テン株式会社 画像処理装置、及び画像表示システム
JP2017143234A (ja) 2016-02-09 2017-08-17 富士電機株式会社 評価方法、および、半導体装置の製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3661197A4

Also Published As

Publication number Publication date
JP7163984B2 (ja) 2022-11-01
JP6844463B2 (ja) 2021-03-17
EP3661197A4 (en) 2020-06-03
EP3661197B1 (en) 2021-09-29
US20200117927A1 (en) 2020-04-16
JP2021101542A (ja) 2021-07-08
EP3661197A1 (en) 2020-06-03
JP2019024179A (ja) 2019-02-14
US11132564B2 (en) 2021-09-28

Similar Documents

Publication Publication Date Title
JP7163984B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
US10889324B2 (en) Display control device, display control system, display control method, and display control program
US9799132B2 (en) Driving support apparatus for tow coupling
JP5523448B2 (ja) 運転支援システム、情報表示装置、及び情報表示プログラム
JP5893054B2 (ja) 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
RU2677256C1 (ru) Система представления информации
US20120123613A1 (en) Driving support device, driving support method, and program
WO2013128917A1 (ja) 映像処理装置、映像処理方法、および映像表示システム
US20160227098A1 (en) Information Presentation System
JP2008296697A (ja) 駐車支援装置
JP5904093B2 (ja) 車載画像生成装置
JP2003104145A (ja) 運転支援表示装置
WO2015129280A1 (ja) 画像処理装置および画像処理方法
JP6760210B2 (ja) 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
US20190230309A1 (en) Bird's-eye view video generation device, bird's-eye view video display device, bird's-eye view video generation method, and non-transitory storage medium
JP6763348B2 (ja) 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
JP2018207385A (ja) 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
CN111316322A (zh) 路面区域检测装置
JP6760211B2 (ja) 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
JP4992747B2 (ja) 駐車支援装置及び駐車支援方法
JP2001180402A (ja) 駐車時の操舵支援装置
WO2015045567A1 (ja) 予測進路提示装置及び予測進路提示方法
JP2023179496A (ja) 画像処理装置及び画像処理方法
KR20130054640A (ko) 진보된 주차 가이드 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18839068

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018839068

Country of ref document: EP

Effective date: 20200225