JPWO2019053873A1 - 後側方映像制御装置および後側方映像制御方法 - Google Patents

後側方映像制御装置および後側方映像制御方法 Download PDF

Info

Publication number
JPWO2019053873A1
JPWO2019053873A1 JP2019541593A JP2019541593A JPWO2019053873A1 JP WO2019053873 A1 JPWO2019053873 A1 JP WO2019053873A1 JP 2019541593 A JP2019541593 A JP 2019541593A JP 2019541593 A JP2019541593 A JP 2019541593A JP WO2019053873 A1 JPWO2019053873 A1 JP WO2019053873A1
Authority
JP
Japan
Prior art keywords
rear side
vehicle
side image
intersection
recommended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019541593A
Other languages
English (en)
Other versions
JP6621969B2 (ja
Inventor
下谷 光生
光生 下谷
中村 好孝
好孝 中村
克治 淺賀
克治 淺賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6621969B2 publication Critical patent/JP6621969B2/ja
Publication of JPWO2019053873A1 publication Critical patent/JPWO2019053873A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/025Rear-view mirror arrangements comprising special mechanical means for correcting the field of view in relation to particular driving conditions, e.g. change of lane; scanning mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/06Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

本発明は、複雑な交差点において車両の後側方のうち運転者が視認すべき方向を運転者に視認させることを目的とする。本発明の後側方映像制御装置は、同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点の形状を認識する形状認識部(11)と、交差点の形状に基づき交差点に対する自車両の位置を認識する位置認識部(12)と、自車両が交差点で進路変更を行う際、交差点および同一方向進入車線に対する自車両の位置に基づき自車両の後側方の一部を推奨視認方向と定める視認方向設定部(13)と、推奨視認方向の画像が運転者に表示されるよう後側方映像表示装置を制御する制御部(14)と、を備える。

Description

本発明は、車両の運転者に後側方映像を表示する技術に関する。
車両の運転者が後側方を確認するための手段として、ミラーなどの後側方映像表示装置が用いられている。ミラーの方向はドライバの操作により調整が可能で、例えば車両の位置を基準に規定された基準視認範囲を視認できるように調整される。
特許文献1には、車両が直線道路を走行している際に運転者が走行車線および隣接車線の状況を視認可能な後側方映像表示装置が記載されている。
車両が交差点で右折または左折(以下、「右左折」と称する)を行い旋回する場合、後側方映像表示装置による視認方向が直線道路の場合と同じであれば、後方の移動体を適切に視認できない。この問題に対して特許文献2では、車両の右左折状態を認識し、車両の左後方または右後方の交差点の角が視認できるようにミラーの角度を調整することによって、運転者の視認方向を調整している。
特開2015−144407号公報 特開2010−89526号公報
特許文献2の技術によれば、進行規制のない単純な交差点を車両が右左折する場合に、車両と接触する可能性のある移動体が存在する後側方を運転者に視認させることができる。複数の車線が交差点で同一方向に右左折する構造を持つ複雑な交差点では、交差点を旋回中の車両の位置に応じて運転者が視認すべき方向は大きく変わる。そのため、特許文献2の技術では、交差点を旋回中の車両の位置に応じて常に適切な車両の後側方を運転者に提示することができなかった。
本発明は上述の問題に鑑み、複雑な交差点において車両の後側方のうち運転者が視認すべき方向を運転者に視認させることを目的とする。
本発明の後側方映像制御装置は、自車両の後側方の映像を運転者に表示する後側方映像表示装置を制御する後側方映像制御装置であって、同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点の形状を認識する形状認識部と、交差点の形状に基づき交差点に対する自車両の位置を認識する位置認識部と、自車両が交差点で進路変更を行う際、交差点および同一方向進入車線に対する自車両の位置に基づき自車両の後側方の一部を推奨視認方向と定める視認方向設定部と、推奨視認方向の画像が運転者に表示されるよう後側方映像表示装置を制御する制御部と、を備える。
本発明の後側方映像制御方法は、自車両の後側方の映像を運転者に表示する後側方映像表示装置を制御する後側方映像制御方法であって、同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点の形状を認識し、交差点の形状に基づき交差点に対する自車両の位置を認識し、自車両が交差点で進路変更を行う際、交差点および同一方向進入車線に対する自車両の位置に基づき自車両の後側方の一部を推奨視認方向と定め、推奨視認方向の画像が運転者に表示されるよう後側方映像表示装置を制御する。
本発明の後側方映像制御装置は、自車両の後側方の映像を運転者に表示する後側方映像表示装置を制御する後側方映像制御装置であって、同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点の形状を認識する形状認識部と、交差点の形状に基づき交差点に対する自車両の位置を認識する位置認識部と、自車両が交差点で進路変更を行う際、交差点および同一方向進入車線に対する自車両の位置に基づき自車両の後側方の一部を推奨視認方向と定める視認方向設定部と、推奨視認方向の画像が運転者に表示されるよう後側方映像表示装置を制御する制御部と、を備える。従って、同一方向進入車線を有する複雑な交差点において、車両の後側方のうち運転者が視認すべき方向を推奨視認方向として運転者に視認させることができる。
本発明の後側方映像制御方法は、自車両の後側方の映像を運転者に表示する後側方映像表示装置を制御する後側方映像制御方法であって、同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点の形状を認識し、交差点の形状に基づき交差点に対する自車両の位置を認識し、自車両が交差点で進路変更を行う際、交差点および同一方向進入車線に対する自車両の位置に基づき自車両の後側方の一部を推奨視認方向と定め、推奨視認方向の画像が運転者に表示されるよう後側方映像表示装置を制御する。従って、同一方向進入車線を有する複雑な交差点において、車両の後側方のうち運転者が視認すべき方向を推奨視認方向として運転者に視認させることができる。
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1に係る後側方映像表示システムの構成を示すブロック図である。 実施の形態1に係る後側方映像表示システムの動作を示すフローチャートである。 実施の形態2に係る後側方映像表示システムの構成を示すブロック図である。 実施の形態2に係る後側方映像表示システムの動作を示すフローチャートである。 基準視認方向と自車両との位置関係を示す図である。 右基準視認方向に方向を合わせられた電動ミラーの表示映像を示す図である。 自車両が旋回方向に対して内側の進入車線から内側の脱出車線にかけて交差点を左折する際の電動ミラーの方向を示す図である。 電動ミラーの表示映像を示す図である。 自車両が旋回方向に対して外側の進入車線から外側の脱出車線にかけて交差点を左折する際の、比較例における電動ミラーの方向を示す図である。 電動ミラーの表示映像を示す図である。 電動ミラーの表示映像を示す図である。 図9と同一の走行条件における実施の形態2の電動ミラーの方向を示す図である。 電動ミラーの表示映像を示す図である。 電動ミラーの表示映像を示す図である。 推奨視認地点の設定方法の詳細を示す図である。 自車両が旋回方向に対して外側の進入車線から外側の脱出車線にかけて交差点を右折する際の、電動ミラーの方向を示す図である。 自車両が旋回方向に対して外側の進入車線から外側の脱出車線にかけて交差点を右折する際の、電動ミラーの方向を示す図である。 自車両が旋回方向に対して内側の進入車線から内側の脱出車線にかけて交差点を右折する際の、電動ミラーの方向を示す図である。 自車両が旋回方向に対して内側の進入車線から外側の脱出車線にかけて交差点を右折する際の、電動ミラーの方向を示す図である。 実施の形態4の後側方映像表示システムの構成を示すブロック図である。 実施の形態5の後側方映像表示システムの構成を示すブロック図である。 電動ミラーの表示映像を示す図である。 電動ミラーの表示映像を示す図である。 実施の形態6の後側方映像表示システムの構成を示すブロック図である。 実施の形態6の後側方映像表示システムの動作を示すフローチャートである。 実施の形態7の後側方映像表示システムの構成を示すブロック図である。 広角カメラの撮影映像とトリミング範囲との関係を示す図である。 広角カメラの画角とトリミング範囲の画角とを示す図である。 実施の形態7の後側方映像表示システムの動作を示すフローチャートである。 実施の形態8の後側方映像表示システムの構成を示すブロック図である。 合成画像を示す図である。 カメラの画角を示す図である。 実施の形態9に係る後側方映像表示システムの構成を示すブロック図である。 広角カメラの撮影映像の横長モニタにおける表示例を示す図である。 加工部の画像処理を示す図である。 加工部の画像処理を示す図である。 実施の形態10の後側方映像表示システムの構成を示すブロック図である。 実施の形態10の後側方映像表示システムの動作を示すフローチャートである。 後側方映像表示装置のハードウェア構成を示す図である。 後側方映像表示装置のハードウェア構成を示す図である。 自車両とサーバによる実施の形態2の後側方映像制御装置の構成例を示す図である。
<実施の形態1>
図1は、実施の形態1の後側方映像表示システムの構成を示すブロック図である。実施の形態1の後側方映像表示システムは、後側方映像制御装置101と、後側方映像表示装置21を備えている。
後側方映像表示装置21は、自車両に搭載され、自車両の運転者に対して自車両の後側方のうち一部の方向の映像を表示する装置である。なお、本明細書では、後側方映像表示装置が搭載される車両を「自車両」と称し、それ以外の車両を「他車両」と称して両者を区別する。
後側方映像制御装置101は、後側方映像表示装置21の表示を制御する。後側方映像制御装置101は、形状認識部11、位置認識部12、視認方向設定部13および制御部14を備えている。
形状認識部11は、同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点に自車両が進入する際、交差点の形状を認識する。交差点の形状には、例えば交差点の各部の寸法および位置、並びに車線単位の進路規制などが含まれる。形状認識部11は、自車両が走行している車線の進路規制と他車線の進路規制を認識することにより、同一方向進入車線の有無または位置関係を検出することができる。また、形状認識部11は、例えば道路標示等から車線の進路規制を認識することができる。
位置認識部12は、形状認識部11が認識した交差点の形状に基づき、交差点に対する自車両の位置を認識する。位置認識部12は、例えば交差点の各部に対して自車両がどのような位置にあるかを認識する。
視認方向設定部13は、自車両の後側方のうち一部の方向を推奨視認方向に設定する。自車両の後側方とは、自車両の右後方と左後方のことである。推奨視認方向は、交差点および同一方向進入車線に対する自車両の位置に基づき定まる。
制御部14は、推奨視認方向の映像が運転者に表示されるよう後側方映像表示装置21を制御する。
制御部14の制御を受け、後側方映像表示装置21は推奨視認方向の映像を運転者に表示する。これにより、運転者は推奨視認方向の映像を視認することができる。推奨視認方向は交差点および同一方向進入車線に対する自車両の位置に基づき定まるため、運転者は交差点内での自車両の位置に応じた視認すべき方向を後側方映像表示装置21により視認することができる。
図2は、実施の形態1の後側方映像表示システムの動作を示すフローチャートである。以下、図2に沿って実施の形態1の後側方映像表示システムの動作を説明する。
まず、形状認識部11が交差点の形状を認識する(ステップS101)。次に、位置認識部12がステップS101で形状認識部11が認識した交差点の形状に基づき、交差点に対する自車両の位置を認識する(ステップS102)。そして、視認方向設定部13が推奨視認方向を設定する(ステップS103)。最後に、制御部14が後側方映像表示装置21を制御し、推奨視認方向を表示させる(ステップS104)。
<実施の形態1の効果>
実施の形態1の後側方映像制御装置は、自車両の後側方の映像を運転者に表示する後側方映像表示装置21を制御する後側方映像制御装置101であって、同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点の形状を認識する形状認識部11と、交差点の形状に基づき交差点に対する自車両の位置を認識する位置認識部12と、自車両が交差点で進路変更を行う際、交差点および同一方向進入車線に対する自車両の位置に基づき自車両の後側方の一部を推奨視認方向と定める視認方向設定部13と、推奨視認方向の画像が運転者に表示されるよう後側方映像表示装置を制御する制御部14と、を備える。従って、後側方映像制御装置101によれば、運転者は交差点内での自車両の位置に応じた視認すべき方向を後側方映像表示装置21により視認することができる。
実施の形態1の後側方映像制御方法は、自車両の後側方の映像を運転者に表示する後側方映像表示装置21を制御する後側方映像制御方法であって、同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点の形状を認識し、交差点の形状に基づき交差点に対する自車両の位置を認識し、自車両が交差点で進路変更を行う際、交差点および同一方向進入車線に対する自車両の位置に基づき自車両の後側方の一部を推奨視認方向と定め、推奨視認方向の画像が運転者に表示されるよう後側方映像表示装置を制御する。従って、実施の形態1の後側方映像制御方法によれば、運転者は交差点内での自車両の位置に応じた視認すべき方向を後側方映像表示装置21により視認することができる。
<実施の形態2>
図3は、実施の形態2の後側方映像表示システムの構成を示すブロック図である。実施の形態2の後側方映像表示システムは、後側方映像制御装置102、後側方映像表示装置22および画像認識装置31を備えている。図3において、他の実施の形態と同一または対応する構成には同一の参照符号を付して説明する。
後側方映像制御装置102は、後側方映像表示装置22の表示を制御する。後側方映像制御装置102は、形状認識部11、位置認識部12、視認方向設定部13およびミラー制御部14Aを備えている。
画像認識装置31は、自車両に搭載されたカメラにより自車両の周囲を撮影し、撮影画像を画像認識することにより撮影対象と自車両との距離を認識する。画像認識装置31が認識した撮影対象と自車両との距離の情報は画像認識情報として形状認識部11に入力される。
形状認識部11は、画像認識装置31から画像認識情報を取得し、これに基づき自車両が走行している車線の進路規制と他車線の進路規制とを含む、自車両の周辺の道路の形状を認識する。
位置認識部12は、形状認識部11が認識した交差点の形状に基づき、交差点に対する自車両の位置を認識する。位置認識部12は、例えば交差点の角等の基準点に対する自車両の距離および方向を、交差点に対する自車両の位置として認識する。
視認方向設定部13は、位置認識部12が認識した交差点に対する自車両の位置と同一方向進入車線との位置関係に基づき、自車両の後側方の一部を推奨視認方向とする。視認方向設定部13による推奨視認方向の設定方法については後述する。また、視認方向設定部13は、自車両の後側方のうち、自車両を基準とした特定の方向を基準視認方向とする。推奨視認方向と基準視認方向については後述する。
ミラー制御部14Aはミラー駆動部41を制御する。
後側方映像表示装置22は、ミラー駆動部41と電動ミラー42L,42Rを備える。電動ミラー42Lは自車両の左ドアの前方に取り付けられ、自車両の左後方の映像を鏡面に映して運転者に表示する。電動ミラー42Rは自車両の右ドアの前方に取り付けられ、自車両の右後方の映像を鏡面に映して運転者に表示する。ここで、電動ミラー42L,42Rの参照符号における添え字のLは左を表し、Rは右を表している。このことは、LまたはRの添え字が参照符号に付された他の構成要素についても同様である。
後側方映像制御装置102のミラー制御部14Aは、運転者が電動ミラー42L,42Rに推奨視認方向の映像または基準視認方向の映像を視認するよう、電動ミラー42L,42Rの鏡面の方向(以下、「単に電動ミラー42L,42Rの方向)と称する)を決定し、その方向に従ってミラー駆動部41を制御する。
後側方映像表示装置22において、ミラー駆動部41は、ミラー制御部14Aの制御に従い電動ミラー42L,42Rの方向を調整する。これにより、電動ミラー42L,42Rには、推奨視認方向の映像または基準視認方向の映像が表示される。なお、ここで電動ミラー42L,42Rに推奨視認方向の映像または基準視認方向の映像が表示されるとは、運転者の方向から電動ミラー42L,42Rを視認したときに、電動ミラー42L,42Rの鏡面に推奨視認方向の映像または基準視認方向の映像が映って見えることをいう。
図4は、実施の形態2の後側方映像表示システムの動作を示すフローチャートである。以下、図4に沿って実施の形態2の後側方映像表示システムの動作を説明する。図4のフローは、例えば自車両のアクセサリ電源がオンになったタイミングでスタートし、アクセサリ電源がオフになるまで継続する。
まず、ミラー制御部14Aがミラー駆動部41を制御し、電動ミラー42L,42Rの方向を基準視認方向にあわせる(ステップS201)。具体的には、運転者の方向から電動ミラー42L,42Rを視認したときに、電動ミラー42L,42Rの鏡面に基準視認方向の映像が表示されるよう、電動ミラー42L,42Rの方向が調整される。ここで、基準視認方向は、ドライバが自由に設定しても良いし、前回の設定方向が用いられても良いし、ドライバの眼の位置などから自動的に設定されても良い。
次に、画像認識装置31の画像認識情報に基づき、形状認識部11が自車両の周辺道路の形状を認識し、位置認識部12が周辺道路に対する自車両の位置を認識する(ステップS202)。周辺道路とは、例えば自車両から半径10m以内の道路である。
次に、視認方向設定部13は、周辺道路に対する自車両の位置に基づき、自車両が交差点に進入したか否かを判断する(ステップS203)。自車両が交差点に進入していなければ、後側方映像表示システムの処理はステップS202に戻る。
自車両が交差点に進入していれば、視認方向設定部13は、自車両が進路変更を行うか否かを判断する(ステップS204)。例えば、視認方向設定部13は自車両の走行軌跡に基づき、自車両が車線のいずれかの端に寄ったり車線を逸脱したりした場合に、進路変更を行うと判断することができる。また、視認方向設定部13は、自車両のウィンカーの指示状況に応じて進路変更の有無を判断しても良い。
自車両が進路変更を行わない場合、後側方映像表示システムの処理はステップS202に戻る。自車両が進路変更を行う場合、視認方向設定部13は、交差点および同一方向進入車線に対する自車両の位置に基づき推奨視認方向を設定する(ステップS205)。推奨視認方向の設定方法については後述する。
次に、ミラー制御部14Aがミラー駆動部41を制御し、電動ミラー42L,42Rの方向を推奨視認方向にあわせる(ステップS206)。
次に、視認方向設定部13は交差点に対する自車両の位置に基づき、自車両が交差点を脱出したか否かを判断する(ステップS207)。
自車両が交差点を脱出していなければ、画像認識装置31の画像認識情報に基づき、形状認識部11が自車両の周辺道路の形状を認識し、位置認識部12が周辺道路に対する自車両の位置を認識する(ステップS208)。そして、後側方映像表示システムの処理はステップS205に戻る。一方、自車両が交差点を脱出していれば、後側方映像表示システムの処理はステップS201に戻る。
基準視認方向について説明する。基準視認方向は、自車両の右後方と左後方とに一つずつ設定される。
図5は、基準視認方向と自車両Aとの位置関係を示す図である。基準視認方向50Rは自車両Aの右後方に設定され、基準視認方向50Lは自車両Aの左後方に設定される。自車両Aから5m右かつ30m後ろの地点を基準視認点P0とすると、基準視認方向50Rは、自車両Aの右側方に沿った方向から基準視認点P0までの方向として定められる。基準視認方向50Lは基準視認方向50Rと自車両Aに対して左右対称の方向である。このように、基準視認方向は自車両Aを基準とした相対的な方向として定められる。
図6は、基準視認方向50Rに方向を合わせられた電動ミラー42Rの表示映像を示している。電動ミラー42Rは、筐体43と鏡面44とを備えている。鏡面44の横方向の寸法をa、縦方向の寸法をbとする。鏡面44の左端からa/4の領域に自車両Aの右ボディ側面が表示され、残りの領域に基準視認方向50Rが表示される。また、鏡面44の下端から2b/3の領域に走行車線または隣接車線などの道路が表示され、残りの領域に道路の上空が表示される。ここでは電動ミラー42Rの表示映像について説明したが、基準視認方向50Lに方向を合せられた電動ミラー42Lの表示映像もこれと同様である。
電動ミラー42L,42Rは、図6に示すように自車両Aの後側方を表示するため、運転者は自車両Aと後側方との位置関係を容易に把握することができる。なお、「電動ミラー42Rの表示映像」とは、運転者が電動ミラー42Rの鏡面44を見たとき鏡面44に表示される映像をいう。
説明の都合上、本実施例では基準視認方向を図5及び図6のように規定したが、この規定にこだわるものではない。例えば、左右のミラーで基準視認方向が非対称であっても良い。また、鏡面44の下端からb/3の領域に走行車線または隣接車線等の道路が表示され、残りの領域に道路の上空が表示されても良い。また、「Handbook of Camera Monitor Systems, The Automotive Mirror-Replacement Technology based on ISO 16505, Editors: Terzis, Anestis (Ed.)」ではカメラモニタリングシステムにおける望ましい視認範囲が記述されており、この視認範囲を採用しても良い。
次に、自車両が交差点を左折する際の電動ミラー42Lの方向の変化について説明する。図7は、自車両Aが旋回方向に対して内側の進入車線L1から内側の脱出車線R1にかけて交差点を左折する際の、電動ミラー42Lの方向を示している。国によって右側通行の道路と左側通行の道路とがあり、本発明はどちらにも適用可能であるが、本明細書では左側通行の道路を例に説明する。右側通行の道路に対しては、以下の説明における左を右、右を左と読み替えることにより本発明が適用される。
交差点を左折する際、運転者は自車両Aの左後方の自動二輪Cを巻き込まないように注意する必要がある。交差点への進入車線L1,L2,L3のうち、進入車線L1,L2は交差点で左折することが可能な車線である。進入車線L1,L2のように、交差点で同一方向への進路変更が可能な複数の車線を、同一進行方向進入車線と称する。
形状認識部11は、画像認識装置31から車線上の進路規制マーク等の進路規制情報を取得し、これに基づき各進入車線L1,L2,L3の進行方向を認識し、同一進行方向進入車線の有無を判断する。
図7において、時刻tnにおける自車両Aの位置をP(tn)、自動二輪Cの位置をQ(tn)と表している。説明の都合上、n=0,1,2,3とするが、nの数をさらに増やしても良い。
自車両Aは時刻t0で交差点にまだ進入せず、時刻t1から時刻t2にかけて左折を行い、時刻t3では交差点から脱出している。時刻t0と時刻t3において、電動ミラー42Lは基準視認方向50Lの方向に合わせられる。すなわち、このタイミングで運転者は電動ミラー42Lを通して基準視認方向50Lを視認することができる。
時刻t1と時刻t2において、電動ミラー42Lは推奨視認方向51Lの方向に合わせられる。すなわち、このタイミングで運転者は電動ミラー42Lを通して推奨視認方向51Lを視認することができる。
時刻t1において、視認方向設定部13は、交差点の左後方の角を起点に推奨視認地点Xを定め、自車両Aから推奨視認地点Xを見る方向を推奨視認方向51Lとする。
図8は、図7の地点P(t1)または地点P(t2)における電動ミラー42Lの表示映像を示している。電動ミラー42Lの鏡面44には自車両Aの左後方を走行する自動二輪Cが表示される。
なお、視認方向設定部13は、自車両Aが旋回方向に対して内側の脱出車線R1に移動するのか、外側の脱出車線R2に移動するのかに応じて、推奨視認地点Xを変更しても良い。例えば、自車両Aが外側の脱出車線R2に移動する場合に、視認方向設定部13は推奨視認地点Xを図7で示した位置より図面上方に変更しても良い。
従来の方法の不都合点を示すために比較例を説明する。図9は、自車両Aが旋回方向に対して外側の進入車線L2から外側の脱出車線R2にかけて交差点を左折する際の、比較例における電動ミラー42Lの方向を示している。図9においても、時刻tnにおける自車両Aの位置をP(tn)、自動二輪Cの位置をQ(tn)と表記するが、図7におけるP(tn)、Q(tn)と同一ではない。
自車両Aは時刻t0で交差点にまだ進入せず、時刻t1から時刻t2にかけて左折を行い、時刻t3では交差点から脱出している。時刻t0と時刻t3において、電動ミラー42Lは基準視認方向50Lの方向に合わせられる。すなわち、このタイミングで運転者は電動ミラー42Lを通して基準視認方向50Lを視認することができる。
自車両が左折する場合、自車線の左を走行中のバイクまたは自転車、若しくは歩道を走行中の自転車または歩行者の巻き込みに注意する必要がある。従って、運転者が視認すべき領域には以下の2つがある。1)交差点上の自車両Aの位置が、自車両Aが交差点へ進入する際に走行した車線の延長線上にある場合は、当該車線を走行中の後方移動体が存在する領域。2)交差点上の自車両Aの位置が、自車両Aが交差点へ進入する際に走行した車線以外の同一方向進入方向車線の延長線上にある場合は、当該同一方向進入車線を走行中の後方移動体が存在する領域。
比較例では、時刻t1と時刻t2における推奨視認地点Xが図7と同様に交差点の角を起点として定められ、推奨視認地点Xを視認できる方向に電動ミラー42Lの方向が調整される。図10に示すように時刻t1における電動ミラー42Lには、Q(t1)の位置を走行中の自動二輪Cが表示されるが、進入車線L2において自車両Aの後方を走行する自動二輪Dは表示されない。また、図11に示すように時刻t2における電動ミラー42Lには、Q(t2)の位置を走行中の自動二輪Cが表示される。このように、交差点の角を起点に推奨視認地点Xを定める方法では、図9のP(t1)において運転者が視認すべき領域を推奨視認方向51Lと設定することが出来ない。
図12は、図9と同一の走行条件における実施の形態2の電動ミラー42Lの方向を示している。本実施の形態において視認方向設定部13は、P(t1)における推奨視認地点X1を進入車線L2上に設定し、P(t2)における推奨視認地点X2を進入車線L1上に設定する。電動ミラー42Lには、時刻t1では図13に示すようにR(t1)の位置を走行中の自動二輪Dが表示され、時刻t2では図14に示すようにQ(t2)の位置を走行中の自動二輪Cが表示される。このように、同一方向進入車線の各車線の延長線と自車両との位置に応じて推奨視認地点を動的に変更することにより、常に運転者が視認すべき領域を推奨視認方向51Lとすることができる。
図15は、図12で示した推奨視認地点X1,X2の設定方法の詳細を示している。
自車両Aの時刻tにおける位置P(t)をxy座標系でP(pxt,pyt)と表す。x軸は脱出車線R1,R2の交差点への延長方向、y軸は進入車線L1,L2,L3の交差点への延長方向であり、原点は交差点の左手前の角である。進入車線L1,L2の境界のx座標をXX1、進入車線L2,L3の境界のx座標をXX2とする。また、時刻tにおける推奨視認地点X(t)を同じ座標系でX(xxt,yyt)と表す。
pyt<0の場合、自車両Aは交差点に進入する前であり、視認方向設定部13は基準視認方向50Lに電動ミラー42Lの方向を合せる。
pyt≧0かつXX1≦pxt<XX2の場合、自車両Aは交差点内で、自車両Aが交差点へ進入する際に走行した進入車線L2の延長線上にある。このとき、視認方向設定部13は推奨視認地点Xの座標を(XX1+Lx,Ly)と設定する。ここで、例えばLx=0.5m、Ly=−5mである。そして、視認方向設定部13は自車両Aの旋回角度に応じて、自車両Aから推奨視認地点Xが見える方向を推奨視認方向51Lに設定する。
pyt≧0かつ0≦pxt<XX1の場合、自車両Aは交差点内で、自車両Aが交差点へ進入する際に走行した進入車線L2以外の同一方向進入車線の延長線上にある。このとき、視認方向設定部13は推奨視認地点Xの座標を(Lx,Ly)と設定する。そして、視認方向設定部13は自車両Aの旋回角度に応じて、自車両Aから推奨視認地点Xが見える方向を推奨視認方向51Lに設定する。
pxt<0の場合、自車両Aは交差点を脱出している。このとき、視認方向設定部13は基準視認方向50Lに電動ミラー42Lの方向を合せる。
図7から図15では、交差点を左折する際の電動ミラー42Lの方向について説明した。このとき、電動ミラー42Rは、基準視認方向50Rに設定される。
なお、自車両Aが交差点に進入している場合、すなわちpyt≧0の場合は、pxtの値に関わらず推奨視認地点Xの位置として、以下の変形例が考えられる。例えば、視認方向設定部13は自車両Aの真後ろに推奨視認地点Xを設定しても良い。この場合、推奨視認地点Xの座標は(pxt,Ly)となる。ここで、自車両Aの真後ろとは、対象とする電動ミラーの位置を基点に真後ろの方向と読み替えても良い。
あるいは、自車両Aが左に移動していることを考慮して、視認方向設定部13は自車両Aの真後ろではなくやや左に推奨視認地点Xを設定しても良い。この場合、推奨視認地点Xの座標は(pxt−Lx1,Ly)となる。
また、視認方向設定部13は推奨視認地点Xを自車両AよりもLy2だけ後方に設定されても良い。例えば、Ly2は5mとする。この場合、推奨視認地点Xの座標は(pxt−Lx1,Ly−Ly2)となる。
また、視認方向設定部13は自車両Aが交差点に進入する手前の段階で推奨視認地点Xを設定しても良い。すなわち、視認方向設定部13は、Ly≦pyt<0の場合に、推奨視認地点Xの座標を(XX1+Lx,xyt=xpt+Ly)と設定する。
なお、自車両Aがカーナビゲーション装置の経路案内に従って走行している場合、視認方向設定部13はカーナビゲーション装置から経路案内情報を取得することにより、交差点に進入する前から自車両Aの右左折を予測することが可能である。
また、自車両Aが自動運転制御装置により車両走行制御計画に従って自動運転制御されている場合には、視認方向設定部13は自動運転制御装置から自動運転制御情報を取得することにより、交差点に進入する前から自車両Aの右左折を予測することが可能である。
図12では推奨視認地点をX1,X2という2点で説明した。しかし、推奨視認地点は自車両Aの位置に応じてX1からX2にかけて連続的又は不連続的に変化しても良い。
次に、自車両Aが交差点を右折する際の電動ミラー42Rの方向の変化について説明する。自車両Aが交差点を右折する際、運転者は自車線の右側を走行するバイク等の他車両と、反対車線の右後方から前方に移動するバイク、自転車および歩行者との接触に注意する必要がある。
図16は、自車両Aが旋回方向に対して外側の進入車線L2から外側の脱出車線R4にかけて交差点を右折する際の、電動ミラー42Lの方向を示している。自車両Aが交差点を右折した先には横断歩道52が存在し、横断歩道52上を自転車Eまたは歩行者が移動し得るものとする。図16では、自車両Aが交差点で右折する際の一連の軌跡を時刻tnにおける自車両Aの位置P(tn)によって表している。自車両Aは、時刻t0において交差点前方の進入車線L2を走行し、時刻t1から時刻t4にかけて交差点へ進入して右折を行い、時刻t5で交差点から脱出する。
時刻t0と時刻t5において、電動ミラー42Rは基準視認方向50Rに調整される。
時刻t1から時刻t3にかけて、電動ミラー42Rは推奨視認方向51Rに調整される。推奨視認方向51Rは自車両Aから推奨視認地点を見る方向である。
時刻t1において、自車両Aは交差点内で進入車線L2の延長線上を走行している。このときの推奨視認地点Y1は進入車線L2の右端に設定される。時刻t2において、自車両Aは交差点内で進入車線L3の延長線上を走行している。進入車線L3は進入車線L2の同一方向進入車線である。このときの推奨視認地点Y2は進入車線L3の右端に設定される。
時刻t3において、自車両Aは交差点内で進入車線L3の延長線上を通過し、脱出車線R4に近づいている。時刻t4において、自車両Aはさらに脱出車線R4に近づいている。時刻t3の推奨視認地点Y3は、横断歩道52上かその後方に設定される。時刻t4の推奨視認地点Y4も横断歩道52の後方に設定されるが、自車両Aが横断歩道52により近い位置を走行していることを反映して、推奨視認地点Y3より前方、すなわち脱出車線R4側に設定される。
<実施の形態2の効果>
実施の形態2の後側方映像制御装置102において、視認方向設定部13は、自車両Aの後側方のうち自車両Aを基準とした特定の方向を基準視認方向50R,50Lと定め、ミラー制御部14Aは、推奨視認方向51L,51Rの映像と基準視認方向の映像との間で運転者への表示が切替えられるように後側方映像表示装置22を制御する。従って、運転者は推奨視認方向51L,51Rの映像と基準視認方向50L,50Rの映像とを視認することができる。
また、実施の形態2の後側方映像制御装置102において、形状認識部11は、自車両Aの周囲の撮影画像に基づき交差点の形状を認識する。従って、後側方映像制御装置102は撮影画像に基づき正確に交差点の形状を認識した上で、推奨視認方向51L,51Rを適切に設定することができる。
また、実施の形態2の後側方映像表示装置22は、自車両Aの電動ミラー42L,42Rを備える。そして、ミラー制御部14Aは電動ミラー42L,42Rの方向を制御する。従って、運転者は電動ミラー42L,42Rによって推奨視認方向51L,51Rの映像を視認することができる。
また、実施の形態2の後側方映像表示装置22において、形状認識部11は同一方向進入車線の形状を認識し、位置認識部12は同一方向進入車線の形状に基づき、同一方向進入車線の交差点への延長線に対する自車両Aの位置を把握し、視認方向設定部13は、同一方向進入車線の交差点への延長線に対する自車両Aの位置に基づき推奨視認方向51L,51Rを定める。従って、後側方映像表示装置22によれば、自車両Aの交差点内での位置に応じて変化する運転者が視認すべき方向に追従して、適切な推奨視認方向51L,51Rを設定することができる。
実施の形態2の後側方映像表示装置22において、位置認識部12は、交差点の形状に基づき交差点に対する自車両Aの方向を把握し、視認方向設定部13は、交差点に対する自車両Aの方向に基づき推奨視認方向51L,51Rを定める。従って、後側方映像表示装置22は、自車両Aから運転者が視認すべき地点を見る方向を推奨視認方向51L,51Rに定めることができる。
<実施の形態3>
実施の形態2の後側方映像制御装置102は、自車両Aの右折先に横断歩道があることを前提として推奨視認方向を設定した。これに対して実施の形態3の後側方映像制御装置103は、右折先の横断歩道の有無を認識した上で、横断歩道の有無に応じて推奨視認方向を設定する。
実施の形態3の後側方映像表示システムは、後側方映像制御装置103、後側方映像表示装置23および画像認識装置31を備えており、図3に示した実施の形態2の構成と同様である。
実施の形態3の形状認識部11は、実施の形態2で説明した機能に加えて、画像認識装置31の画像認識情報から交差点内の進路変更方向における横断歩道の有無を検出する機能を有する。
形状認識部11が交差点内の進路変更方向に横断歩道を検出した場合、視認方向設定部13およびミラー制御部14Aの動作は図16で説明した実施の形態2の動作と同様である。
以下、形状認識部11が交差点内の進路変更方向に横断歩道が存在しないことを検出した場合の、電動ミラー42L,42Rの方向について説明する。
図17は、自車両Aが旋回方向に対して外側の進入車線L2から外側の脱出車線R4にかけて交差点を右折する際の、電動ミラー42Rの方向を示している。右折先に横断歩道が存在しないため、歩行者または自転車が脱出車線R3,R4上を横断することが無い。
図17では、自車両Aの走行軌跡を時刻tnにおける位置P(tn)で表している。
時刻t0と時刻t5において、自車両Aは交差点内に進入しておらず、電動ミラー42Rは基準視認方向50Rに調整される。時刻t1から時刻t4にかけて、電動ミラー42Rは推奨視認方向51Lに調整される。
時刻t1において、自車両Aは交差点内で進入車線L2の延長線上を走行している。このとき推奨視認地点Y1は進入車線L2の右端に設定される。時刻t2において、自車両Aは交差点内で進入車線L3の延長線上を走行している。進入車線L3は進入車線L2の同一方向進入車線である。このとき推奨視認地点Y2は進入車線L3の右端に設定される。
時刻t3において、自車両Aは交差点内で進入車線L3の延長線上を通過し、脱出車線R4に近づいている。時刻t4において、自車両Aはさらに脱出車線R4に近づいている。時刻t3および時刻t4において、視認方向設定部13は自車両Aの内側を走行する他車両Bが視認できるように推奨視認方向を設定する。但し、視認方向設定部13は実際に他車両Bの位置を検出するわけではなく、他車両Bの走行軌跡を推定した上で、推定した他車両Bの走行軌跡上に自車両Aの位置P(tn)に基づき推奨視認地点Y3,Y4を設定する。
図18は、自車両Aが旋回方向に対して内側の進入車線L3から内側の脱出車線R3にかけて交差点を右折する際の、電動ミラー42L,42Rの方向を示している。他車両Bが進入車線L2から脱出車線R4へかけて自車両Aの外側から右折することが考えられる。図18では、自車両Aの走行軌跡を時刻tnにおける位置P(tn)とし、時刻tnにおける自車両Aの左後方の推奨視認地点をXn、右後方の推奨視認地点をYnとする。
時刻t0と時刻t4において、自車両Aは交差点内に進入していない。これらの時刻において、電動ミラー42L,42Rは基準視認方向50L,50Rに調整される。一方、時刻t1、t2、t3において電動ミラー42Rは推奨視認方向51Lに調整される。ここで、推奨視認方向51Lは、自車両Aから他車両Bを視認することが可能な方向に設定される。具体的には、視認方向設定部13は、自車両Aから他車両Bが視認できる方向に推奨視認地点X1,X2,X3をそれぞれ設定し、自車両Aから推奨視認地点X1,X2,X3を見る方向を推奨視認方向51Lとする。推奨視認地点X1、X2,X3は、他車両Bの走行軌跡と自車両Aの走行軌跡とに基づき設定される。
また、時刻t1、t2、t3において電動ミラー42Lは推奨視認方向51Rに調整される。ここで、推奨視認方向51Rは、自車両Aの内側から自車両Aを追い抜く可能性のある他車両(以下、「追い抜き車両」と称する)を視認可能な方向に設定される。図18の場合には自車線よりさらに内側に同一方向進入車線が存在しないので、追い抜き車両は自動2輪などである。具体的には、視認方向設定部13は、自車両Aから追い抜き車両が視認できる方向に推奨視認地点Y1,Y2,Y3をそれぞれ設定し、自車両Aから推奨視認地点Y1,Y2,Y3を見る方向を推奨視認方向51Rとする。推奨視認地点Y1、Y2,Y3は、追い抜き車両の走行軌跡と自車両Aの走行軌跡とに基づき設定される。なお、自車線よりさらに内側に同一方向進入車線が存在する場合は、4輪車両も追い抜き車両となる可能性があるため、内側の車線後方の一部が視認できるように推奨視認方向が設定される。
図19は、自車両Aが旋回方向に対して内側の進入車線L3から外側の脱出車線R4にかけて交差点を右折する際の、電動ミラー42L,42Rの方向を示している。他車両Bが進入車線L2から脱出車線R4へかけて自車両Aの外側から右折することが考えられる。図19では、自車両Aの走行軌跡を時刻tnにおける位置P(tn)とし、時刻tnにおける自車両Aの左後方の推奨視認地点をXn、右後方の推奨視認地点をYnとする。図19における電動ミラー42L,42Rの方向の設定方法は、図18で説明した方法と同様であるため、ここでは説明を省略する。
図17から図19では、右折時の電動ミラー42L,42Rの方向について説明した。視認方向設定部13は、自車両Aの左折時にも、左折先の横断歩道の有無に応じて推奨視認方向を変更する。例えば、図12の例では推奨視認地点X2が進入車線L1の左端上に設定されている。しかし、実施の形態2では、このような位置に設定するのは左折先に横断歩道が無い場合とし、左折先に横断歩道が有る場合には、進入車線L1の左端より左側に推奨視認地点を設定する。
<実施の形態3の効果>
実施の形態3の後側方映像制御装置103において、形状認識部11は、交差点の脱出車線上の横断歩道の有無を認識し、視認方向設定部13は、横断歩道の有無に応じて推奨視認方向を定める。従って、後側方映像制御装置103によれば、運転者は横断歩道の有無に応じた適切な推奨視認方向を視認することができる。
<実施の形態4>
実施の形態3では、隣接車線から交差点に進入して同一方向へ進路変更する車両の走行軌跡を予測し、当該走行軌跡上の地点から推奨視認地点を選択していた。これに対して実施の形態4では、自車両Aの後側方の同一方向進入車線を走行する他車両Bの位置を実際に検出し、検出した他車両Bの位置が視認できるよう推奨視認方向を設定する。
図20は、実施の形態4の後側方映像表示システムの構成を示すブロック図である。図20において、他の実施の形態と同一または対応する構成には同一の参照符号を付している。実施の形態4の後側方映像表示システムは、後側方映像制御装置104、後側方映像表示装置24、画像認識装置31および周辺移動体検出装置32を備えている。
周辺移動体検出装置32はレーザレーダ、ミリ波レーダ、画像処理センサ、超音波センサ、またはその他のセンサにより構成され、自車両Aの周辺の移動体の有無、周辺の移動体の自車両Aに対する相対位置、または相対位置の変化を検出する。
視認方向設定部13は、周辺移動体検出装置32の検出結果を取得し、これに基づき他車両Bの位置が視認できるよう推奨視認方向を設定する。
例えば、実施の形態2では、図7および図12に示すように、交差点進入時には電動ミラー42L,42Rの方向を推奨視認方向に調整した。しかし、実施の形態4では、図7および図12に示す状況で、自車両Aの後方に移動体が検出されない場合には、交差点進入時においても交差点外の走行時と同様、電動ミラー42L,42Rの方向を基準視認方向のままとする。
また、図16に示す状況で、自車両Aの内側に他車両Bが走行していることが検出された場合には、図17に示すように、他車両Bを視認できる方向に電動ミラー42L,42Rの方向を調整しても良い。実施の形態3では、他車両Bが自車両Aの内側または外側を走行するときの走行軌跡を推定することにより、推奨視認方向を設定していた。しかし、本実施の形態では、実際に他車両Bの自車両Aに対する位置と方向を周辺移動体検出装置32により検出することができる。従って、自車両Aが交差点内に進入して進路を変更する際に、自車両Aの後方、または進路変更に伴う旋回時における内側または外側を走行する他車両を視認することが可能な推奨視認方向を正確に設定することができる。
また、周辺移動体検出装置32が自車両Aの後方移動体を検出した際、視認方向設定部13は後方移動体との距離に応じて推奨視認地点を変更しても良い。例えば、視認方向設定部13は、自車両Aとの後方移動体との距離が長いほど自車両Aと推奨視認地点との距離を長くする。
また、周辺移動体検出装置32が自車両Aと後方移動体との速度差を検出できる場合、視認方向設定部13は速度差に応じて推奨視認地点を変更してもよい。例えば、視認方向設定部13は、後方移動体が自車両Aに接近している場合に、自車両Aから遠ざかる場合よりも自車両Aから近い位置に推奨視認地点を設定する。
<実施の形態4の効果>
実施の形態4の後側方映像制御装置104において、視認方向設定部13は、自車両Aの周辺を走行する移動体の位置情報に基づき推奨視認方向を定める。従って、運転者は自車両Aの周辺を走行する移動体の位置に応じた適切な推奨視認方向を視認することができる。
<実施の形態5>
図21は、実施の形態5の後側方映像表示システムの構成を示すブロック図である。図21において、他の実施の形態と同一または対応する構成には同一の参照符号を付している。実施の形態5の後側方映像表示システムは、後側方映像制御装置105、後側方映像表示装置25および画像認識装置31を備えている。後側方映像制御装置105は、実施の形態2の後側方映像制御装置102と同様の構成である。後側方映像表示装置25は、実施の形態2の後側方映像表示装置22において、電動ミラー42Lに代えて電動ミラー421Lを設け、電動ミラー42Rに代えて電動ミラー421Rを設けたものである。
実施の形態2の電動ミラー42L,42Rは一つの鏡面44を有しており、鏡面44には基準視認方向と推奨視認方向のいずれか一方が表示された。これに対して実施の形態5の電動ミラー421L,421Rは二つの鏡面を有し、基準視認方向と推奨視認方向の両方を同時に運転者に表示する。
図22と図23は、実施の形態5の電動ミラー421Lを示している。電動ミラー421Lは、第1の鏡面441と第2の鏡面442を有している。第1の鏡面441には推奨視認方向の映像が表示され、第2の鏡面442には基準視認方向の映像が表示される。言い換えれば、第1の鏡面441は推奨視認方向の映像が表示される第1領域であり、第2の鏡面442は推奨視認方向の映像が表示される第2領域である。これらの図に示すように、第1の鏡面441と第2の鏡面442の形状を異ならせれば、双方の鏡面に表示される映像の性質を運転者に容易に識別させることができる。
図22は、図12の地点P(t1)における電動ミラー421Lの表示映像を示しており、図23は、図12の地点P(t2)における電動ミラー421Lの表示映像を示している。
また、自車両Aの側面を基準にすると推奨視認方向は基準視認方向よりも外側に位置する。従って、第1の鏡面441を第2の鏡面442よりも外側に配置することにより、双方の鏡面に表示される映像の性質を運転者が容易に識別できるようにしても良い。
<実施の形態5の効果>
視認方向設定部13は、自車両の後側方のうち自車両を基準とした特定の方向を基準視認方向と定め、後側方映像表示装置の表示面は第1領域である第1の鏡面441と第2領域である第2の鏡面442とを有し、制御部14は、第1の鏡面441に推奨視認方向の映像が表示され、第2の鏡面442に基準視認方向の映像が表示されるよう、後側方映像表示装置25を制御する。従って、運転者は推奨視認方向と基準視認方向とを同時に視認することができる。
<実施の形態6>
実施の形態2−5では、電動ミラーを用いて運転者に推奨視認方向を視認させていた。これに対して実施の形態6では、電子ミラーを用いて運転者に推奨視認方向を視認させる。
図24は、実施の形態6の後側方映像表示システムの構成を示すブロック図である。実施の形態6の後側方映像表示システムは、後側方映像制御装置106、後側方映像表示装置26および画像認識装置31を備えている。後側方映像制御装置106は、実施の形態2の後側方映像制御装置102において、ミラー制御部14Aに代えてカメラ制御部14Bを備えたものである。図24において、実施の形態2と同一または対応する構成には同一の参照符号を付している。
カメラ制御部14Bは、運転者に推奨視認領域または基準視認領域が表示されるように後側方映像表示装置26のカメラ駆動部45を制御する。
後側方映像表示装置26は、カメラ駆動部45、カメラ46L、カメラ46R、モニタ47Lおよびモニタ47Rを備えている。
カメラ46Lは、例えば自車両Aの左ドアの前方に取り付けられ、自車両Aの左後側方のうち一部の方向を撮影する。カメラ46Rは、例えば自車両Aの右ドアの前方に取り付けられ、自車両Aの右後側方のうち一部の方向を撮影する。カメラ46L,46Rの撮影方向はカメラ制御部14Bによって定められ、カメラ制御部14Bの制御の下でカメラ駆動部45により調整される。
カメラ46Lによる撮影映像は、自車両Aに搭載されたモニタ47Lに表示される。また、カメラ46Rによる撮影映像は、自車両Aに搭載されたモニタ47Rに表示される。従って、カメラ46L,46Rの撮影方向を推奨視認方向に合わせることにより、運転者はモニタ47L,47Rを通して推奨視認方向を視認することができる。
図25は、実施の形態6の後側方映像表示システムの動作を示すフローチャートである。図25のフローのステップS302−S305,S307,S308は図4に示した実施の形態2のフローのステップS202−S205,S207,S208と同様である。図25のフローのステップS301、S306のみが図4のフローと異なる。
ステップS301では、カメラ駆動部45がカメラ制御部14Bの下でカメラ46Lおよびカメラ46Rの撮影方向をそれぞれ基準視認方向に合わせる。
ステップS306では、カメラ駆動部45がカメラ制御部14Bの下でカメラ46Lおよびカメラ46Rの撮影方向をそれぞれ推奨視認方向に合わせる。
<実施の形態6の変形例>
上記の説明では、カメラ46Lの撮影映像をモニタ47Lが表示し、カメラ46Rの撮影映像をモニタ47Rが表示した。このように、片側のカメラ映像に対してモニタは一つであった。しかし、片側のカメラ映像に対してモニタを2つ設け、推奨視認方向の映像と基準視認方向の映像とを表示してもよい。
あるいは、1つのモニタの表示領域を上下2つに分割し、推奨視認方向の映像と基準視認方向の映像とを表示してもよい。このとき、自車両Aが交差点で進路変更しない場合にはモニタの表示領域の全てを基準視認方向の映像の表示に割り当て、自車両Aが交差点で進路変更を行う場合にのみ推奨視認方向の映像と基準視認方向の映像とを表示するようにしても良い。
<実施の形態6の効果>
後側方映像表示装置26は、自車両Aの後側方を撮影する撮影装置であるカメラ46L,46Rと、撮影装置の撮影映像を表示する自車両Aに搭載されたモニタ47L,47Rと、を備える。従って、運転者はモニタ47L,47Rを通して推奨視認方向を視認することができる。
また、カメラ制御部14Bはカメラ46L,46Rの撮影方向を制御する。従って、運転者はモニタ47L,47Rを通して推奨視認方向を視認することができる。
<実施の形態7>
実施の形態6では、カメラ46L,46Rの撮影方向が推奨視認方向にあわせて調整された。これに対して実施の形態7では、推奨視認方向より広い範囲を撮影可能な広角カメラを用いて自車両Aの後側方を撮影し、その撮影映像を推奨視認方向にあわせてトリミングする。
図26は、実施の形態7の後側方映像表示システムの構成を示すブロック図である。実施の形態7の後側方映像表示システムは、後側方映像制御装置107、後側方映像表示装置27および画像認識装置31を備えている。後側方映像制御装置107は、実施の形態6の後側方映像制御装置106の構成において、カメラ制御部14Bに代えてトリミング制御部14Cを備えたものである。図26において、他の実施の形態と同一または対応する構成には同一の参照符号を付している。
後側方映像表示装置27は、広角カメラ49L,49R、トリミング部48、モニタ47L,47Rを備えている。
図27は、広角カメラ49Lの撮影映像60と、トリミング部48によるトリミング範囲61との関係を示している。トリミング範囲61がモニタ47L,47Rに表示される。
図28は、広角カメラ49Lの画角αと、トリミング範囲61の画角βとを示す図である。αは例えば25°であり、βは例えば10°である。図27と図28では、広角カメラ49Lの撮影映像のトリミングについて説明したが、広角カメラ49Rの撮影映像についても同様にトリミングされる。
図29は、実施の形態7の後側方映像表示システムの動作を示すフローチャートである。図29のフローのステップS402−S405,S407,S408は図4に示した実施の形態2のフローのステップS202−S205,S207,S208と同様である。図29のフローのステップS401、S406のみが図4のフローと異なる。
ステップS401では、トリミング部48がトリミング制御部14Cの制御の下で、広角カメラ49Lおよび広角カメラ49Rの撮影映像をそれぞれ基準視認方向に合せてトリミングする。
ステップS406では、トリミング部48がトリミング制御部14Cの制御の下で広角カメラ49Lおよび広角カメラ49Rの撮影映像をそれぞれ推奨視認方向に合せてトリミングする。
<実施の形態7の効果>
実施の形態7の後側方映像表示装置27は、撮影装置である広角カメラ49L,49Rの撮影映像をトリミングするトリミング部48を備え、モニタ47L,47Rは、トリミング部48でトリミングされた画像を表示する。また、トリミング制御部14Cは、トリミング部48のトリミング範囲61を制御する。従って、運転者はモニタ47L,47Rを通して推奨視認方向を視認することができる。
<実施の形態8>
図30は、実施の形態8の後側方映像表示システムの構成を示すブロック図である。図30において、他の実施の形態と同一または対応する構成は同一の参照符号を付している。実施の形態8の後側方映像表示システムは、後側方映像制御装置107、後側方映像表示装置28および画像認識装置31を備える。図30において、他の実施の形態と同一または対応する構成には同一の参照符号を付している。
後側方映像制御装置108は、実施の形態7の後側方映像制御装置107と同様の構成である。
後側方映像表示装置28は、トリミング部48、モニタ47L,47R、合成部70、カメラ71L1,71L2,71R1,71R2を備えている。カメラ71L1,71L2は、自車両Aの左前方に搭載されて自車両Aの左後方を撮影するカメラであり、それぞれの撮影方向は異なっている。カメラ71R1,71R2は、自車両Aの右前方に搭載されて自車両Aの右後方を撮影するカメラであり、それぞれの撮影方向は異なっている。
合成部70は、カメラ71L1の撮影映像とカメラ71L2の撮影映像とを合成して1枚の画像を作成する。また、合成部70は、カメラ71R1の撮影映像とカメラ71R2の撮影映像とを合成して1枚の画像を作成する。
図31は、カメラ71L1の撮影映像62とカメラ71L2の撮影映像63との合成画像を示している。カメラ71L1の画角をα1、カメラ71L2の画角をα2とする。トリミング部48はこの合成画像のうち、画角βのトリミング範囲64をトリミングする。トリミング範囲64はモニタ47Lに表示される。
図32は、カメラ71L1の画角α1とカメラ71L2の画角α2を示す図である。α1とα2は例えば15°である。トリミング範囲64の画角βは例えば10°である。図31と図32では、自車両Aの左後方の撮影映像について説明したが、自車両Aの右後方の撮影映像についても同様に合成およびトリミングが行われる。
<実施の形態8の変形例>
実施の形態8の後側方映像表示装置28は、2つのモニタ47L,47Rを備えるが、モニタは一つであっても良い。
自車両Aの左後方の推奨視認方向を左推奨視認方向、左後方の基準視認方向を左基準視認方向、右後方の推奨視認方向を右推奨視認方向、右後方の基準視認方向を右基準視認方向とする。合成部70は、左推奨視認方向の映像、左基準視認方向の映像、右基準視認方向の映像、右推奨視認方向の映像がこの順で横並びに配置されるように合成する。そして、トリミング部48は、自車両Aの交差点での旋回方向に応じて、旋回する側の映像が大きく割り当てられるようにトリミングを行う。例えば、自車両Aが左に旋回する場合、トリミング部48は、左推奨視認方向の映像と、左基準視認方向の映像と、右基準視認方向の映像とをトリミングする。また、自車両Aが右に旋回する場合、トリミング部48は、左基準視認方向の映像と、右基準視認方向の映像と右推奨視認方向の映像とをトリミングする。これにより、左右双方の推奨視認方向の映像と基準視認方向の映像とを表示するモニタよりも、小さなモニタで必要な情報を提示することができる。
<実施の形態8の効果>
実施の形態8の後側方映像制御システムにおいて、後側方映像表示装置28は、撮影装置として撮影方向の異なる複数のカメラであるカメラ71L1,71L2,71R1,71R2を備えている。そして、後側方映像表示装置28は、カメラ71L1,71L2の撮影映像、およびカメラ71R1,71R2の撮影映像を合成する合成部70を備えている。そして、トリミング部48は合成部70で合成された画像をトリミングする。従って、実施の形態8によれば、広角カメラを用いず、カメラの撮影方向を調整することなく推奨視認方向をモニタ47L,47Rに表示することができる。
実施の形態7,8では、トリミング部48が後側方映像表示装置27,28に含まれる構成について説明した。しかし、トリミング部48は後側方映像制御装置107,108に含まれても良い。
<実施の形態9>
実施の形態8では、推奨視認方向の画角に対応したモニタを用いたが、実施の形態9では、広角カメラの撮影画像をトリミングせずに表示することが可能な、表示範囲が広い横長のモニタを用いる。
図33は、実施の形態9に係る後側方映像表示システムの構成を示すブロック図である。図33において、他の実施の形態と同一または対応する構成には同一の参照符号を付している。実施の形態9に係る後側方映像表示システムは、後側方映像制御装置109、後側方映像表示装置29および画像認識装置31を備えている。
後側方映像制御装置109は、形状認識部11、位置認識部12、視認方向設定部13、および加工制御部14Dを備えている。加工制御部14Dは、後側方映像表示装置29の加工部72における加工処理を制御する。
後側方映像表示装置29は、広角カメラ49L,49R、加工部72、横長モニタ73L,73Rを備えている。加工部72は、広角カメラ49L,49Rの撮影映像に対して、推奨視認方向とそれ以外の方向とが区別できるような加工を施す。
横長モニタ73Lは、加工部72で加工が施された広角カメラ49Lの撮影映像を表示する。横長モニタ73Rは、加工部72で加工が施された広角カメラ49Rの撮影映像を表示する。
図34は、広角カメラ49L,49Rの撮影映像65の横長モニタ73Lにおける表示例を示している。撮影映像65のうち、推奨視認方向に対応する領域66が枠67で囲われている。すなわち、加工部72は広角カメラ49L,49Rの撮影映像65のうち推奨視認方向に対応する領域に枠67を重畳する加工を施す。これにより、運転者は枠66の中を推奨視認領域として容易に視認することができる。また、後側方映像表示装置28は撮影映像65をトリミングする処理が不要であるため、画像処理を高速に行うことができる。
あるいは、加工部72は図35に示すように、広角カメラ49L,49Rの撮影映像65のうち、推奨視認方向に対応する領域66以外の領域に半透過などの画像処理を行っても良い。この画像処理は、半透過に限らず、ブラー、輝度変更、塗りつぶし等、表示が見づらくなる他の処理でもよい。これにより、推奨視認方向以外の映像は運転者にとって視認しづらくなるため、結果的に運転者は推奨視認方向の映像に容易に注目することができる。
なお、推奨視認方向が動的に変更することを考慮し、図36に示すように、推奨視認方向に対応する領域66に加えてその周辺領域68にも、上記の表示が見づらくなる処理を加えないようにしても良い。このとき、加工制御部14Dは、推奨視認方向の変化方向を予測し、その変化方向または変化速度に応じて周辺領域68の幅を決定しても良い。例えば、推奨視認方向が右方向に変化すると予測される場合に、加工制御部14Dは推奨視認方向に対応する領域66の右側の周辺領域68の幅を広げても良い。
<実施の形態9の効果>
実施の形態9の後側方映像制御装置109の加工制御部14Dは、自車両の後側方のうち推奨視認方向の映像と推奨視認方向に隣接する方向の映像とが、それぞれ異なる態様で横長モニタ73L,73Rに表示されるよう後側方映像表示装置29を制御する。この場合、加工制御部14Dはトリミング処理を行わなくても、運転者に推奨視認方向を視認させることができる。従って、後側方映像表示装置29における画像処理が高速になる。
なお、実施の形態9では加工部72が後側方映像表示装置29に含まれる構成を説明した。しかし、加工部72は後側方映像制御装置109に含まれても良い。
<実施の形態10>
実施の形態2−9の後側方映像制御装置は、画像認識装置31の画像認識情報を用いて、自車両Aの周辺道路の形状と、周辺道路に対する自車両Aの位置を認識した。これに対して実施の形態10では、道路の形状が記載された地図データを参照することにより、自車両Aの周辺道路の形状と、周辺道路に対する自車両Aの位置を認識する。
図37は、実施の形態10の後側方映像表示システムの構成を示すブロック図である。実施の形態10の後側方映像表示システムは、後側方映像制御装置110、後側方映像表示装置30、地図データ格納部33、および車両位置検出装置34を備えている。
後側方映像制御装置110は、実施の形態2の後側方映像制御装置102と同様の構成である。後側方映像表示装置30は、実施の形態2の後側方映像表示装置22と同様の構成である。
地図データ格納部33は、地図データを格納している。地図データには道路の構造情報が含まれている。道路の構造情報には、道路の形状情報、車線の形状情報、車線単位の進路規制および交差点の形状情報が含まれる。地図データ格納部33は、自車両Aに搭載されていても良いし、自車両Aの外のサーバに備えられていても良い。
車両位置検出装置34は、全地球測位システム(Global Positioning System:GPS)または準天頂衛星システム(Quasi-Zenith Satellite System:QZSS)などの衛星測定システム(Navigation Satellite System:NSS)と、自車両Aに搭載された車速センサ又は加速度センサ等の車両センサを用いて、自車両Aの絶対位置を検出する。
図37では、地図データ格納部33と車両位置検出装置34を後側方映像制御装置110の外部の構成として示しているが、これらのうち少なくとも一方は後側方映像制御装置110に含まれていても良い。また、地図データ格納部33と車両位置検出装置34は一体として構成されていても良い。
形状認識部11は、車両位置検出装置34から自車両Aの絶対位置を取得し、それに基づき地図データから自車両Aの周辺の道路の構造情報を取得する。これにより、形状認識部11は自車両Aの周辺道路の形状を認識する。
位置認識部12は、車両位置検出装置34から自車両Aの絶対位置を取得する。なお、位置認識部12は、地図データ格納部33から取得した地図データを用いてマップマッチングを行い、車両位置検出装置34から取得した自車両Aの絶対位置を補正しても良い。そして、位置認識部12は自車両Aの絶対位置と形状認識部11が認識した自車両Aの周辺道路の形状とに基づき、自車両Aの周辺道路に対する位置を把握する。
図38は、実施の形態10の後側方映像表示システムの動作を示すフローチャートである。図37のフローのステップS501、S504−508は図4に示した実施の形態2のフローのステップS201、S204−207と同様である。図37のフローのステップS502,S503,S509,S510のみが図4のフローと異なる。
ステップS501の後、形状認識部11が車両位置検出装置34から自車両Aの絶対位置を取得する(ステップS502)。
ステップS502の後、形状認識部11は自車両Aの絶対位置を基に地図データ格納部33の地図データを参照し、自車両Aの周辺の道路構造を取得する。そして、位置認識部12は、自車両Aの周辺の道路構造と、自車両Aの絶対位置とに基づき、周辺の道路に対する自車両Aの位置を把握する(ステップS503)。
ステップS508において、視認方向設定部13は自車両が交差点を脱出したか否かを判断する。自車両が交差点を脱出していなければ、後側方映像表示システムの処理はステップS509に移る。
ステップS509において、形状認識部11はステップS502と同様にして自車両Aの絶対位置を取得する。
ステップS509の後、形状認識部11はステップS503と同様にして自車両Aの周辺の道路構造を取得する。そして、位置認識部12はステップS503と同様にして周辺の道路に対する自車両Aの位置を把握する(ステップS510)。
ステップS510の後、後側方映像表示システムの処理はステップS506に移る。
なお、実施の形態10の後側方映像制御装置110は、実施の形態2−9の後側方映像制御装置102−109のように、画像認識装置31と接続されていても良い。この場合、後側方映像制御装置110は、画像認識装置31の画像認識情報、地図データおよび自車両Aの絶対位置を用いて、周辺道路に対する自車両Aの位置を把握する。例えば、位置認識部12は、NSSにより検出された自車両Aの絶対位置を、画像認識装置31の画像認識情報に基づき補正することができる。また、位置認識部12は、交差点内での自車両Aの位置を、画像認識装置31の画像認識情報に基づき補正することができる。
また、形状認識部11は地図データから自車両周辺の道路構造を予め知ることができる。そのため、形状認識部11は全く情報がない状態から道路構造を認識するのではなく、道路構造がある程度既知であることを利用して認識対象を絞ることにより、画像認識処理を簡易化することができる。
本実施の形態は、地図データを用いた道路構造の認識方法を実施の形態2に適用したものである。しかし、本実施の形態で説明した、地図データを用いた道路構造の認識方法は、他の実施の形態にも適用可能である。
<実施の形態10の効果>
実施の形態10の後側方映像制御装置110において、形状認識部11は、地図データを参照して交差点の形状を認識する。従って、後側方映像制御装置110は、地図データを参照して正確に交差点の形状を把握し、それに基づき正確に推奨視認方向を設定することができる。
<ハードウェア構成>
上述した後側方映像制御装置101−110における各部の構成は、図39に示す処理回路81により実現される。すなわち、処理回路81は、形状認識部11、位置認識部12、視認方向設定部13、制御部14、ミラー制御部14A、カメラ制御部14B、トリミング制御部14C、加工制御部14D(以下、「形状認識部11等」と称する)を備える。処理回路81には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。
処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。形状認識部11等の各部の機能それぞれは、複数の処理回路81で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
処理回路81がプロセッサである場合、形状認識部11等の機能は、ソフトウェア等(ソフトウェア、ファームウェアまたはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図40に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、後側方映像制御装置101−110は、処理回路81により実行されるときに、同一方向進入車線を有する交差点の形状を認識するステップと、交差点の形状に基づき交差点に対する自車両の位置を把握するステップと、自車両が交差点で進路変更を行う際、交差点および同一方向進入車線に対する自車両の位置に基づき自車両の後側方の一部を推奨視認方向と定めるステップと、推奨視認方向の画像が運転者に表示されるよう後側方映像表示装置を制御するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、形状認識部11等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disk)及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
以上、形状認識部11等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、形状認識部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、視認方向設定部13については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
以上のように、処理回路81は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
後側方映像制御装置101−110は、車載装置として構成される他、車載装置、PND(Portable Navigation Device)、通信端末(例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末)、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせて構築されるシステムにも適用することができる。この場合、以上で説明した後側方映像制御装置101−110の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。図41は、自車両AとサーバSによる実施の形態2の後側方映像制御装置102の構成例を示している。自車両Aに形状認識部11、位置認識部12、ミラー制御部14A、後側方映像表示装置22が配置され、サーバSに視認方向設定部13が配置される。
なお、本発明は、その発明の範囲内において、各実施の形態および各変形例を自由に組み合わせたり、各実施の形態および各変形例を適宜、変形または省略したりすることが可能である。
本発明は詳細に説明されたが、上記した説明は全ての態様において例示であり、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得る。
11 形状認識部、12 位置認識部、13 視認方向設定部、14 制御部、14A ミラー制御部、14B カメラ制御部、14C トリミング制御部、14D 加工制御部、21,22,23,24,25,25,26,27,28,29,30 後側方映像表示装置、31 画像認識装置、32 周辺移動体検出装置、33 地図データ格納部、34 車両位置検出装置、41 ミラー駆動部、42L,42R,421L,421R 電動ミラー、43 筐体、44 鏡面、45 カメラ駆動部、46L,46R,71L1,71L2,71R1,71R2 カメラ、47L,47R モニタ、48 トリミング部、49L,49R 広角カメラ、50L,50R 基準視認方向、51L,51R 推奨視認方向、52 横断歩道、60,62,63,65 撮影映像、61,64 トリミング範囲、68 周辺領域、70 合成部、72 加工部、73L,73R 横長モニタ、81 処理回路、82 プロセッサ、83 メモリ、101,102,103,104,105,106,107,108,109,110 後側方映像制御装置。

Claims (16)

  1. 自車両の後側方の映像を運転者に表示する後側方映像表示装置を制御する後側方映像制御装置であって、
    同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点の形状を認識する形状認識部と、
    前記交差点の形状に基づき前記交差点に対する前記自車両の位置を認識する位置認識部と、
    前記自車両が前記交差点で進路変更を行う際、前記交差点および前記同一方向進入車線に対する前記自車両の位置に基づき前記自車両の後側方の一部を推奨視認方向と定める視認方向設定部と、
    前記推奨視認方向の画像が前記運転者に表示されるよう前記後側方映像表示装置を制御する制御部と、を備える、
    後側方映像制御装置。
  2. 前記視認方向設定部は、前記自車両の後側方のうち前記自車両を基準とした特定の方向を基準視認方向と定め、
    前記後側方映像表示装置の表示面は第1領域と第2領域とを有し、
    前記制御部は、前記第1領域に前記推奨視認方向の映像が表示され、前記第2領域に前記基準視認方向の映像が表示されるよう、前記後側方映像表示装置を制御する、
    請求項1に記載の後側方映像制御装置。
  3. 前記視認方向設定部は、前記自車両の後側方のうち前記自車両を基準とした特定の方向を基準視認方向と定め、
    前記制御部は、前記推奨視認方向の映像と前記基準視認方向の映像との間で前記運転者への表示が切替えられるように前記後側方映像表示装置を制御する、
    請求項1に記載の後側方映像制御装置。
  4. 前記形状認識部は、前記自車両の周囲の撮影画像に基づき前記交差点の形状を認識する、
    請求項1に記載の後側方映像制御装置。
  5. 前記形状認識部は、地図データを参照して前記交差点の形状を認識する、
    請求項1に記載の後側方映像制御装置。
  6. 前記後側方映像表示装置は、前記自車両の電動ミラーを備え、
    前記制御部は、前記ミラーの方向を制御する、
    請求項1に記載の後側方映像制御装置。
  7. 前記後側方映像表示装置は、
    前記自車両の後側方を撮影する撮影装置と、
    前記撮影装置の撮影画像を表示する前記自車両に搭載されたモニタと、
    を備える、
    請求項1に記載の後側方映像制御装置。
  8. 前記制御部は、前記撮影装置の撮影方向を制御する、
    請求項7に記載の後側方映像制御装置。
  9. 前記後側方映像表示装置は、前記撮影装置の撮影画像をトリミングするトリミング部を備え、
    前記モニタは、前記トリミング部でトリミングされた画像を表示し、
    前記制御部は、前記トリミング部のトリミング範囲を制御する、
    請求項7に記載の後側方映像制御装置。
  10. 前記撮影装置は撮影方向の異なる複数のカメラであり、
    前記後側方映像表示装置は、前記複数のカメラの撮影画像を合成する合成部を備え、
    前記トリミング部は、前記合成部で合成された画像をトリミングする、
    請求項9に記載の後側方映像制御装置。
  11. 前記モニタの表示領域の一部に前記推奨視認方向の映像が表示される、
    請求項7に記載の後側方映像制御装置。
  12. 前記形状認識部は前記同一方向進入車線の形状を認識し、
    前記位置認識部は前記同一方向進入車線の形状に基づき、前記同一方向進入車線の前記交差点への延長線に対する前記自車両の位置を認識し、
    前記視認方向設定部は、前記同一方向進入車線の前記交差点への延長線に対する前記自車両の位置に基づき前記推奨視認方向を定める、
    請求項1に記載の後側方映像制御装置。
  13. 前記位置認識部は、前記交差点の形状に基づき前記交差点に対する前記自車両の方向を認識し、
    前記視認方向設定部は、前記交差点に対する前記自車両の方向に基づき前記推奨視認方向を定める、
    請求項1に記載の後側方映像制御装置。
  14. 前記形状認識部は、前記交差点の脱出車線上の横断歩道の有無を認識し、
    前記視認方向設定部は、前記横断歩道の有無に応じて前記推奨視認方向を定める、
    請求項1に記載の後側方映像制御装置。
  15. 前記視認方向設定部は、前記自車両の周辺を走行する移動体の位置情報に基づき前記推奨視認方向を定める、
    請求項14に記載の後側方映像制御装置。
  16. 自車両の後側方の映像を運転者に表示する後側方映像表示装置を制御する後側方映像制御方法であって、
    同一方向へ進路変更可能な複数の進入車線である同一方向進入車線を有する交差点の形状を認識し、
    前記交差点の形状に基づき前記交差点に対する前記自車両の位置を認識し、
    前記自車両が前記交差点で進路変更を行う際、前記交差点および前記同一方向進入車線に対する前記自車両の位置に基づき前記自車両の後側方の一部を推奨視認方向と定め、
    前記推奨視認方向の画像が前記運転者に表示されるよう前記後側方映像表示装置を制御する、
    後側方映像制御方法。
JP2019541593A 2017-09-15 2017-09-15 後側方映像制御装置および後側方映像制御方法 Active JP6621969B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/033431 WO2019053873A1 (ja) 2017-09-15 2017-09-15 後側方映像制御装置および後側方映像制御方法

Publications (2)

Publication Number Publication Date
JP6621969B2 JP6621969B2 (ja) 2019-12-18
JPWO2019053873A1 true JPWO2019053873A1 (ja) 2020-05-28

Family

ID=65722768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019541593A Active JP6621969B2 (ja) 2017-09-15 2017-09-15 後側方映像制御装置および後側方映像制御方法

Country Status (3)

Country Link
US (1) US20210129751A1 (ja)
JP (1) JP6621969B2 (ja)
WO (1) WO2019053873A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220032912A (ko) * 2020-09-08 2022-03-15 현대모비스 주식회사 차량의 주행 제어 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309812A (ja) * 2004-04-22 2005-11-04 Denso Corp 車両周辺表示制御装置
JP2007299047A (ja) * 2006-04-27 2007-11-15 Matsushita Electric Ind Co Ltd 運転支援装置
JP2010049349A (ja) * 2008-08-19 2010-03-04 Honda Motor Co Ltd 車両の視覚支援装置
JP2010089526A (ja) * 2008-10-03 2010-04-22 Toyota Central R&D Labs Inc ミラー駆動制御装置及びプログラム
WO2014129026A1 (ja) * 2013-02-21 2014-08-28 本田技研工業株式会社 運転支援装置、および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309812A (ja) * 2004-04-22 2005-11-04 Denso Corp 車両周辺表示制御装置
JP2007299047A (ja) * 2006-04-27 2007-11-15 Matsushita Electric Ind Co Ltd 運転支援装置
JP2010049349A (ja) * 2008-08-19 2010-03-04 Honda Motor Co Ltd 車両の視覚支援装置
JP2010089526A (ja) * 2008-10-03 2010-04-22 Toyota Central R&D Labs Inc ミラー駆動制御装置及びプログラム
WO2014129026A1 (ja) * 2013-02-21 2014-08-28 本田技研工業株式会社 運転支援装置、および画像処理プログラム

Also Published As

Publication number Publication date
US20210129751A1 (en) 2021-05-06
JP6621969B2 (ja) 2019-12-18
WO2019053873A1 (ja) 2019-03-21

Similar Documents

Publication Publication Date Title
US10275669B2 (en) System and method for detecting objects in an automotive environment
CN107848416B (zh) 显示控制装置、显示装置及显示控制方法
US9639968B2 (en) Generating an augmented view of a location of interest
US9589194B2 (en) Driving assistance device and image processing program
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
WO2017110144A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US20190333252A1 (en) Display control device, display system, and display control method
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
JP6621969B2 (ja) 後側方映像制御装置および後側方映像制御方法
JP6727451B2 (ja) 後側方映像制御装置および後側方映像制御方法
US11021105B2 (en) Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium
JP6656493B2 (ja) 表示制御装置及び表示制御方法
KR102552490B1 (ko) 차량용 영상 처리 장치 및 방법
JP2005182305A (ja) 車両走行支援装置
WO2019111307A1 (ja) 表示制御装置及び表示制御方法
JP6644256B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2011169651A (ja) 情報処理装置、ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法およびナビゲーションプログラム
JP6793825B2 (ja) 表示制御装置および表示制御方法
JP6610376B2 (ja) 表示装置
JP2018182373A (ja) 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム
JP2019077302A (ja) 表示制御装置、表示システム及び表示制御方法
JP6566067B2 (ja) 画像処理装置
JP2022166921A (ja) 車両用表示装置
KR20120055850A (ko) 차량의 전방 도로 표시 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190926

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190926

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191120

R150 Certificate of patent or registration of utility model

Ref document number: 6621969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250