JP7087332B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP7087332B2
JP7087332B2 JP2017197151A JP2017197151A JP7087332B2 JP 7087332 B2 JP7087332 B2 JP 7087332B2 JP 2017197151 A JP2017197151 A JP 2017197151A JP 2017197151 A JP2017197151 A JP 2017197151A JP 7087332 B2 JP7087332 B2 JP 7087332B2
Authority
JP
Japan
Prior art keywords
vehicle
image
towing vehicle
series state
towed vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017197151A
Other languages
English (en)
Other versions
JP2019069718A (ja
Inventor
哲也 丸岡
一矢 渡邊
欣司 山本
いつ子 福島
孝之 中所
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2017197151A priority Critical patent/JP7087332B2/ja
Priority to US16/648,890 priority patent/US11584436B2/en
Priority to PCT/JP2018/037122 priority patent/WO2019073885A1/ja
Priority to CN201880060854.5A priority patent/CN111108022B/zh
Publication of JP2019069718A publication Critical patent/JP2019069718A/ja
Application granted granted Critical
Publication of JP7087332B2 publication Critical patent/JP7087332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D13/00Steering specially adapted for trailers
    • B62D13/005Steering specially adapted for trailers operated from tractor steering system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D13/00Steering specially adapted for trailers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021Determination of steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0065Type of vehicles
    • B60R2021/0069Trailers, e.g. caravans
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D13/00Steering specially adapted for trailers
    • B62D13/06Steering specially adapted for trailers for backing a normally drawn trailer

Description

本発明の実施形態は、運転支援装置に関する。
従来から、被牽引車両が連結された状態の牽引車両の運転支援を行う技術が提案されている。このような技術の一例として、牽引車両の周辺の状況を表す周辺画像を表示することで、牽引車両および被牽引車両の現在の状態を運転者に視覚的に通知する技術が知られている。
米国特許出願公開第2014/0160276号明細書
ところで、被牽引車両が連結された牽引車両を運転する際においては、牽引車両と被牽引車両との連結角度に基づく向きのズレがある程度以上の大きさである場合、当該ズレを小さくし、牽引車両の向きと被牽引車両の向きとが実質的に一致した直列状態を実現することが求められることがある。
しかしながら、従来のような周辺画像を表示するだけの技術では、牽引車両および被牽引車両の現在の状態は周辺画像によって認識しうるものの、どのような運転操作を行えば直列状態が実現されるかは認識することが困難である。
そこで、実施形態の課題の一つは、牽引車両の向きと被牽引車両の向きとが実質的に一致した直列状態を実現可能な運転操作を運転者に通知可能な運転支援装置を提供することである。
実施形態にかかる運転支援装置は、牽引車両と当該牽引車両に連結された被牽引車両との連結角度を取得する連結角度取得部と、連結角度に基づく牽引車両の向きと被牽引車両の向きとのズレが所定以上の状態で牽引車両が運転される場合において、牽引車両の操舵角により、当該操舵角が保たれた状態で牽引車両が移動した場合に牽引車両の移動距離が所定の距離以下の範囲内で牽引車両の向きと被牽引車両の向きとが実質的に一致した直列状態が実現される際に、牽引車両内で所定の通知を行う通知処理部と、を備える。この構成によれば、所定の通知により、直列状態を実現可能な運転操作を運転者に通知することができる。
上述した運転支援装置において、通知処理部は、連結角度に基づくズレが所定以上であると判定され、かつ牽引車両が後進のために停車している状況で、操舵角により、当該操舵角が保たれた状態で牽引車両の後進が開始した場合に当該後進の距離が所定の距離以下の範囲内で直列状態が実現される際に、所定の通知を行う。この構成によれば、停車状態で操舵角を変化させるいわゆる据え切り操作を行いながら所定の通知を待つことで、直列状態を実現可能な運転操作を容易に特定することができる。
また、上述した運転支援装置は、牽引車両に設けられる撮像部の撮像結果に基づいて、牽引車両の周辺の状況が表された周辺画像として、牽引車両の周辺の状況が俯瞰態様で表された俯瞰画像を生成する画像処理部をさらに備え、通知処理部は、牽引車両および被牽引車両の現在の状態と直列状態との関係を表す直列状態指標を俯瞰画像上に重畳して表示することで所定の通知を行う表示処理部を含む。この構成によれば、現在の牽引車両および被牽引車両の状態と直列状態との関係を俯瞰態様で分かりやすく表示することで、現在の操舵角を維持すれば直列状態を実現可能である旨を視覚に訴える形で分かりやすく通知することができる。
上述した運転支援装置において、直列状態指標は、直列状態が実現された場合に牽引車両および被牽引車両が向く方向を表す第1の指標を含む。この構成によれば、第1の指標により、今後直列状態が実現された場合に牽引車両および被牽引車両が向く方向のイメージを運転者に容易に与えることができる。
また、上述した運転支援装置において、直列状態指標は、直列状態が実現されるまでに牽引車両が旋回する方向を表す第2の指標を含む。この構成によれば、第2の指標により、直列状態が実現されるまでの車両の動き(旋回)のイメージを運転者に容易に与えることができる。
また、上述した運転支援装置において、直列状態指標は、直列状態が実現された場合における想定上の牽引車両を表す第3の指標を含む。この構成によれば、第3の指標により、今後直列状態が実現された場合に牽引車両がどのようになるかのイメージを運転者に容易に与えることができる。
また、上述した運転支援装置において、表示処理部は、直列状態指標が表示された状態で牽引車両の移動が開始した場合、直列状態指標の表示を継続し、その後実際に直列状態が実現された場合、俯瞰画像上から直列状態指標を消去する。この構成によれば、直列状態指標の消去を確認することで、実際に直列状態が実現されたか否かを容易に確認することができる。
また、上述した運転支援装置において、画像処理部は、周辺画像として、牽引車両の左右両側の状況が同時に表された両側画像を生成し、表示処理部は、直列状態指標が表示された状態で牽引車両の移動が開始した場合において、所定の条件が満たされた場合、牽引車両の左右両側の状況が表された両側画像を表示する。この構成によれば、両側画像に基づいて、牽引車両の左側と右側とに被牽引車両が等しく(対称的に)表れているか否かを確認することで、直列状態を容易に確認することができる。
また、上述した運転支援装置において、通知処理部は、第1の音声を出力することで所定の通知を行う音声処理部を含む。この構成によれば、第1の音声により、現在の操舵角を維持すれば直列状態を実現可能である旨を聴覚に訴える形で分かりやすく通知することができる。
上述した運転支援装置において、音声処理部は、第1の音声の出力に応じて牽引車両の移動が開始した場合において、その後実際に直列状態が実現された場合、第2の音声を出力する。この構成によれば、第2の音声を確認することで、実際に直列状態が実現されたか否かを容易に確認することができる。
図1は、実施形態にかかる牽引車両および被牽引車両が連結された状態の一例を示した例示的かつ模式的な側面図である。 図2は、実施形態にかかる牽引車両および被牽引車両が連結された状態の一例を示した例示的かつ模式的な上面図である。 図3は、実施形態にかかる牽引車両の車室内の一例を示した例示的かつ模式的な図である。 図4は、実施形態にかかる運転支援システムのハードウェア構成を示した例示的かつ模式的なブロック図である。 図5は、実施形態にかかる運転支援システムのECU内に実現される運転支援装置の機能を示した例示的かつ模式的なブロック図である。 図6は、実施形態において、牽引車両が後進のために停車している状況で表示装置に表示される画面の一例を示した例示的かつ模式的な図である。 図7は、実施形態において、図6に示される画面が表示された状況で直列状態が実現可能と判定された場合に表示装置に表示される画面の一例を示した例示的かつ模式的な図である。 図8は、実施形態において、図7に示される画面のうち直列状態指標に関わる領域を拡大して示した例示的かつ模式的な図である。 図9は、実施形態において、図7に示される画面が表示された状況で牽引車両が後進を開始した場合に表示装置に表示される画面の一例を示した例示的かつ模式的な図である。 図10は、実施形態において、牽引車両の後進が図9に示される状況よりもさらに進んで直列状態が実現された場合に表示装置に表示される画面の一例を示した例示的かつ模式的な図である。 図11は、実施形態において、図9に示される画面内で他の視点の周辺画像に切り替える操作が行われた場合に表示装置に表示される画面の一例を示した例示的かつ模式的な図である。 図12は、実施形態において、図11に示される画面から切り替わって表示装置に表示されうる画面の一例を示した例示的かつ模式的な図である。 図13は、実施形態にかかる運転支援装置が運転支援として実行する処理の一例を示した例示的かつ模式的なフローチャートである。 図14は、実施形態にかかる運転支援装置が、直列状態指標が表示された状態で牽引車両の後進が開始した場合に実行する処理を示した例示的かつ模式的なフローチャートである。
以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果(効果)は、あくまで一例であって、以下の記載内容に限られるものではない。
まず、図1~図3を参照して、実施形態の技術が適用される牽引車両および当該牽引車両によって牽引される被牽引車両(トレーラ)に設けられる各種の構造物について概略的に説明する。
図1は、実施形態にかかる牽引車両10および被牽引車両12が連結された状態の一例を示した例示的かつ模式的な側面図であり、図2は、実施形態にかかる牽引車両10および被牽引車両12が連結された状態の一例を示した例示的かつ模式的な上面図であり、図3は、実施形態にかかる牽引車両10の車室10a内の一例を示した例示的かつ模式的な図である。
図1および図2に示されるように、実施形態にかかる牽引車両10は、左右一対の前輪14Fと、左右一対の後輪14Rと、を有した四輪の自動車である。以下では、簡単化のため、前輪14Fおよび後輪14Rを総称して車輪14と記載することがある。実施形態では、4つの車輪14の一部または全部の横滑り角が、運転者によるステアリングホイール42(図3参照)の操作に応じて転舵される。
なお、実施形態にかかる牽引車両10は、内燃機関(エンジン、図示されず)を駆動源とする自動車であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車であってもよいし、それらの双方を駆動源とする自動車であってもよい。また、牽引車両10は、SUV(スポーツ用多目的車)であってもよいし、後部に荷台が設けられたいわゆるピックアップトラックであってもよいし、一般的な乗用車であってもよい。
また、実施形態にかかる牽引車両10は、種々の変速装置を搭載することができ、また、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品など)を搭載することができる。また、牽引車両10における車輪14の駆動に関わる装置の方式や数、レイアウトなどは、種々に設定(変更)することができる。
図1および図2に示されるように、実施形態にかかる牽引車両10のリヤバンパ16には、当該リヤバンパ16のたとえば車幅方向の中央部の下部から突出する牽引装置(ヒッチ)18が設けられている。牽引装置18は、たとえば、垂直方向(車両上下方向)に立設された先端部が球状のヒッチボールを有しており、このヒッチボールに、被牽引車両12の前端に固定された連結部材20の先端に設けられたカプラが覆い被さる。この構成により、牽引車両10に対して被牽引車両12が車幅方向に揺動(旋回)可能な状態で、牽引車両10と被牽引車両12とが連結される。したがって、この構成では、牽引装置18のヒッチボールが、連結部材20を介して被牽引車両12に前後左右の動きを伝達し、また加速や減速のパワーを受け止める。
また、図1および図2に示されるように、実施形態にかかる被牽引車両12は、一対のトレーラ車輪22を有している。以下では、トレーラ車輪22が従動輪である例について説明する。つまり、以下では、被牽引車両12が、駆動輪や操舵輪を含まない従動車両として構成されている例について説明する。なお、図1および図2に示される例では、被牽引車両12が、搭乗空間や居住区間、収納空間などのうち少なくとも1つを含む箱形タイプとして構成されているが、実施形態では、被牽引車両12が、荷物(コンテナやボートなど)を搭載した荷台タイプとして構成されていてもよい。
図1および図2に示されるように、牽引車両10の前端、後端、および左右のサイドミラーには、撮像部24が設けられている。撮像部24は、たとえば、CCD(電荷結合素子)やCMOS(相補性金属酸化膜半導体)イメージセンサなどの撮像素子を内蔵したデジタルカメラである。撮像部24は、所定のフレームレートで牽引車両10の周囲の撮像を行い、当該撮像によって得られた撮像画像(画像データ)を出力する。この撮像画像は、フレーム画像として動画像を構成することが可能である。
牽引車両10の後端に設けられた撮像部24は、連結部材20および被牽引車両12の少なくとも前端部を含む領域を撮像することで、牽引車両10と被牽引車両12の連結姿勢(連結の有無や連結角度など)を検出するための撮像画像を出力する。また、牽引車両10の前端に設けられた撮像部24は、牽引車両10の前方の領域を撮像することで、牽引車両10の前方の状況を認識するための撮像画像を出力する。さらに、牽引車両10の左右のサイドミラーに設けられた撮像部24は、牽引車両10の側方の領域を撮像することで、牽引車両10の側方の状況を認識するための撮像画像を出力する。
実施形態では、上記のような複数(4つ)の撮像部24で得られた撮像画像に対して視点変更や合成などを含む様々な画像処理を実行することで、車両の周辺の状況を表す周辺画像として、たとえば、単一の撮像部24のみによって得られた撮像画像よりも視野角が広い画像や、牽引車両10の周囲の状況を俯瞰態様で表した俯瞰画像などを生成することができる。
図3に示されるように、牽引車両10の車室10a内には、各種の画像を出力可能な表示装置(ディスプレイ)26と、各種の音を出力可能な音声出力装置(スピーカ)28と、を有したモニタ装置32が設けられている。モニタ装置32は、車室10a内のダッシュボードの車幅方向(左右方向)の中央部に設けられている。表示装置26は、LCD(液晶ディスプレイ)やOELD(有機エレクトロルミネセンスディスプレイ)などによって構成されている。
表示装置26における画像が表示される領域、すなわち表示画面には、当該表示画面内において手指やスタイラスなどの指示体が近接(接触を含む)した位置の座標を検出可能なタッチパネル30が設けられている。これにより、ユーザ(たとえば運転者)は、表示装置26の表示画面に表示される画像を視認することができるとともに、タッチパネル30上で手指やスタイラスなどの指示体を用いた操作(たとえばタッチ操作)を行うことで、各種の操作を入力することができる。
なお、実施形態では、モニタ装置32が、スイッチやダイヤル、ジョイスティック、押しボタンなどといった、各種の物理的な操作入力部を有していてもよい。また、実施形態では、車室10a内におけるモニタ装置32の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力装置28および他の音声出力装置の両方から、各種の音情報を出力することができる。また、実施形態では、モニタ装置32が、ナビゲーションシステムやオーディオシステムなどの各種システムに関する情報を表示可能に構成されていてもよい。
ここで、実施形態にかかる牽引車両10は、被牽引車両12が連結された状態での牽引車両10の運転支援を行う機能を有した運転支援システム100を有している。なお、運転支援システム100は、被牽引車両12が連結されていない状態での牽引車両10の運転支援を行う機能も有しうる。以下、図4を用いて、実施形態にかかる運転支援システム100を構成する各種のハードウェアについて概略的に説明する。
図4は、実施形態にかかる運転支援システム100のハードウェア構成を示した例示的かつ模式的なブロック図である。なお、以下に説明する各種のハードウェアの構成や、配置、電気的な接続関係などは、あくまで一例であって、種々に設定(変更)することができる。
図4に示されるように、実施形態にかかる運転支援システム100は、撮像部24と、モニタ装置32と、操舵システム38と、ECU(エレクトロニックコントロールユニット)40と、舵角センサ44と、シフトセンサ46と、車輪速センサ48と、を有している。
モニタ装置32、操舵システム38、ECU40、舵角センサ44、シフトセンサ46、および車輪速センサ48は、電気通信回線である車載ネットワーク50を介して互いに通信可能に接続されている。なお、車載ネットワーク50は、たとえばCAN(コントローラエリアネットワーク)によって構成される。
操舵システム38は、電動パワーステアリングシステムやSBW(ステアバイワイヤ)システムなどを含んでいる。操舵システム38は、アクチュエータ38aと、トルクセンサ38bと、に接続されている。操舵システム38は、ECU40などの制御のもとでアクチュエータ38aを作動することで、4つの車輪14の一部または全部を転舵する。トルクセンサ38bは、運転者によるステアリングホイール42(図3参照)の操作に応じて発生するトルクを検出し、検出結果をECU40に送信する。
舵角センサ44は、運転者によるステアリングホイール42(図3参照)の操作の量を検出するセンサである。たとえば、舵角センサ44は、ホール素子によって構成され、ステアリングホイール42の回転部分の回転角度を操舵量として検出し、検出結果をECU40に送信する。
シフトセンサ46は、牽引車両10の車室10aの運転席付近に設けられる変速操作部52(図3参照)を構成する可動部としてのレバーやアーム、ボタンなどの位置を検出し、検出結果をECU40に送信する。
車輪速センサ48は、車輪14の回転量や、単位時間当たりの車輪14の回転数などを検出し、検出結果をECU40に送信する。車輪速センサ48による検出結果は、牽引車両10(および被牽引車両12)の車速や位置などの推定に用いることができる。
ECU40は、運転支援システム100を統括的に制御するコントローラである。ECU40は、CPU(中央演算処理装置)40aや、ROM(リードオンリーメモリ)40b、RAM(ランダムアクセスメモリ)40c、SSD(ソリッドステートドライブ)40d、表示制御部40e、音声制御部40fなどといったコンピュータ資源を有している。
CPU40aは、ECU40で実施される各種の処理を統括する制御部である。CPU40aは、ROM40bやSSD40dなどの記憶装置に記憶されたプログラムを読み出し、当該プログラムに含まれる指令に従って動作することで、各種の処理を実行する。RAM40cは、たとえば、CPU40aが各種の処理を実行する際の作業領域として用いられる。
表示制御部40eは、表示装置26を介した画像出力を制御する。また、音声制御部40fは、音声出力装置28を介した音声出力を制御する。
なお、実施形態では、CPU40a、ROM40bおよびRAM40cが、1つの集積回路に搭載されていてもよい。また、実施形態では、ECU40で実施される各種の処理を統括する制御部として、CPU40aに替えて、DSP(デジタルシグナルプロセッサ)などのプロセッサや論理回路などが設けられていてもよい。
以上の構成により、実施形態にかかるECU40は、車載ネットワーク50を介して運転支援システム100の各部へ制御信号を送信することで、運転支援システム100の各部を統括的に制御する。この際、ECU40は、撮像部24から得られる画像データや、車載ネットワーク50を介して取得される各種のセンサによる検出結果などを制御に利用することができる。各種のセンサとは、上述したトルクセンサ38bや舵角センサ44、シフトセンサ46、車輪速センサ48などである。また、ECU40は、車載ネットワーク50を介して取得される、タッチパネル10を用いた入力操作に関する情報も、制御に利用することが可能である。
ここで、前述したように、実施形態にかかる運転支援システム100は、被牽引車両12が連結された状態での牽引車両10の運転支援を行う機能を有している。したがって、運転支援システム100を統括的に制御するコントローラであるECU40は、運転支援として、たとえば、牽引車両10の周辺の状況を表す周辺画像を表示装置26に表示することで、牽引車両10および被牽引車両12の現在の状態を運転者に視覚的に通知することが可能なように構成されている。このような周辺画像を表示する技術は、従来から知られている。
ところで、被牽引車両12が連結された牽引車両10を運転する際においては、牽引車両10と被牽引車両12との連結角度に基づく向きのズレがある程度以上の大きさである場合、当該ズレを小さくし、牽引車両10の向きと被牽引車両12の向きとが実質的に一致した直列状態を実現することが求められることがある。
しかしながら、従来のような周辺画像を表示するだけの技術では、牽引車両10および被牽引車両12の現在の状態は周辺画像によって認識しうるものの、どのような運転操作を行えば直列状態が実現されるかは認識することが困難である。
そこで、実施形態は、運転支援制御を実行するためにECU40内に実現される機能モジュール群である運転支援装置500を以下のように構成することで、直列状態を実現可能な運転操作を運転者に通知することを実現する。
図5は、実施形態にかかる運転支援システム100のECU40内に実現される運転支援装置500の機能を示した例示的かつ模式的なブロック図である。この運転支援装置500は、ECU40のCPU40aがROM40bやSSD40dなどに記憶されたソフトウェア(制御プログラム)を実行した結果としてECU40内に実現される機能モジュール群である。なお、実施形態では、図5に例示された機能モジュール群の一部または全部が専用のハードウェア(回路)によって実現されてもよい。
図5に示されるように、実施形態にかかる運転支援装置500は、撮像画像取得部501と、連結角度取得部502と、画像処理部503と、を有している。
撮像画像取得部501は、撮像部24により撮像された撮像画像(画像データ)を取得する。前述したように、実施形態において、撮像画像取得部501は、牽引車両10の前方の領域の撮像画像と、牽引車両10の後方の領域の撮像画像と、牽引車両10の右側方および左側方の領域の撮像画像と、の4種類の撮像画像を取得することができる。
連結角度取得部502は、撮像画像取得部501により取得された撮像画像に対する画像認識処理を実行し、牽引車両10の向きに対する被牽引車両12の角度、つまり牽引車両10と被牽引車両12との現在の連結角度を取得する。
画像処理部503は、撮像画像取得部501により取得された撮像画像に対して視点変更や合成などを含む様々な画像処理を施し、牽引車両10の周辺の状況を表した周辺画像を生成する。
また、図5に示されるように、実施形態にかかる運転支援装置500は、入力情報取得部504と、モード判定部505と、画像切替判定部506と、を有している。
入力情報取得部504は、運転者により入力される様々な入力情報を受け取る。入力情報としては、たとえば、タッチパネル30などを介して運転者によって入力される操作に関する情報などが挙げられる。
モード判定部505は、入力情報取得部504が受け取った入力情報に基づいて、運転者に運転支援を提供するためのモード(運転支援モード)が選択されたか否かを判定する。実施形態において、運転者は、牽引車両10によって被牽引車両12を牽引している際に、タッチパネル30などを介して所定の運転支援モード(たとえば駐車支援モード)を選択する操作を行うことで、後述する直列状態指標を周辺画像とともに表示装置26に表示させるなどといった、牽引車両10および被牽引車両12の直列状態の実現可能性の通知の提供を受けることができる。
画像切替判定部506は、入力情報取得部504が受け取った入力情報に基づいて、運転支援の実行時に表示装置26に表示される周辺画像の種類(視点)の切り替えの要否を判定する。なお、周辺画像の種類の切り替えについては、後で画面を例示しながらより具体的に説明するため、ここではこれ以上の説明を省略する。
また、図5に示されるように、実施形態にかかる運転支援装置500は、車両情報取得部507と、操舵量取得部508と、進行方向判定部509と、を有している。
車両情報取得部507は、SSD40dなどに記憶された牽引車両10および被牽引車両12のスペックに関する情報や、上述したトルクセンサ38bや舵角センサ44、シフトセンサ46、車輪速センサ48などといった各種のセンサによる検出結果などを、車両情報として取得する。
操舵量取得部508は、車両情報取得部507により取得された車両情報に基づいて、運転者の操舵量、つまり牽引車両10の現在の操舵角を取得(算出)する。
進行方向判定部509は、車両情報取得部507により取得された車両情報に基づいて、牽引車両10の現在の進行方向を判定する。たとえば、進行方向判定部509は、車両情報のうちの1つであるシフトセンサ46による検出結果に基づいて、シフトレンジが前進のギヤ段に対応したレンジに設定されている場合、進行方向が前進方向であると判定し、シフトレンジが後進のギヤ段に対応したレンジ(リバースレンジ)に設定されている場合、進行方向が後進方向であると判定する。
さらに、図5に示されるように、実施形態にかかる運転支援装置500は、直列判定部510と、画像生成部511と、表示処理部512と、音声処理部513と、を有している。
直列判定部510は、連結角度取得部502により取得された連結角度と、モード判定部505による判定結果と、操舵量取得部508により取得された操舵角と、進行方向判定部509による判定結果と、に基づいて、牽引車両10と被牽引車両12との直列状態の実現性を判定する。ここで言及している直列状態は、牽引車両10の向きと被牽引車両12の向きとが完全に一致している状態のみならず、牽引車両10の向きと被牽引車両12の向きとの差が十分に小さい所定値未満となっている状態も含む。
直列判定部510は、所定の運転支援モード(たとえば駐車支援モード)が選択され、かつ牽引車両10が後進のために停車している状況で、牽引車両10の現在の操舵角が、当該操舵角が保たれた状態で牽引車両10の後進が開始することを想定した場合に当該後進の距離が所定の距離以下の範囲内で直列状態が実現される角度以上になったか否かを、牽引車両10と被牽引車両12との現在の連結角度を考慮して判定する。
なお、実施形態において、直列判定部510は、直列状態を実現可能な操舵角が保たれた状態で牽引車両10の後進が実際に開始した場合に、牽引車両10と被牽引車両12との連結角度(直列状態の実現度合)を監視し、監視結果に基づいて、実際に直列状態が実現されたか否かを判定することも可能である。
画像生成部511は、画像処理部503による処理の結果と、画像切替判定部506および直列判定部510による判定結果と、に基づいて、表示装置26に表示すべき画像を生成する。より具体的に、画像生成部511は、直列状態が実現可能と直列判定部510により判定された場合、画像処理部503により生成された周辺画像であって、画像切替判定部506による判定結果に応じた周辺画像上に、牽引車両10および被牽引車両12の現在の状態と直列状態との関係を表す直列状態指標を重畳した画像を、表示装置26に表示すべき画像として生成する。
表示処理部512は、画像生成部511により生成された画像を表示装置26に表示する。これにより、実施形態によれば、牽引車両10が後進のために停車している状態で操舵角を変化させる運転操作が行われている状況で、直列状態指標が重畳された周辺画像が表示装置26に表示された場合、その時点で行っている運転操作を、今後直列状態を実現可能な運転操作として認識することができる。したがって、表示処理部512は、直列状態を実現可能な運転操作を運転者に通知するために所定の通知を行う通知処理部としての機能を有する。なお、以下では、周辺画像としての俯瞰画像に直列状態指標を重畳する例について説明するが、直列状態指標は、俯瞰画像以外の周辺画像に重畳されてもよい。
音声処理部513は、直列判定部510による判定結果に応じて、音声出力装置28を介して音声を出力する。より具体的に、音声処理部513は、牽引車両10が後進のために停車している状態で操舵角を変化させる運転操作が行われている状況で、直列状態が実現可能と直列判定部510により判定された場合、音声出力装置28を介して所定の音声を出力する。したがって、音声処理部513も、表示処理部512と同様に、直列状態を実現可能な運転操作を運転者に通知するために所定の通知を行う通知処理部としての機能を有する。
なお、実施形態において、音声処理部513は、牽引車両10の後進が開始した後、実際に直列状態が実現されたと直列判定部510により判定された場合にも、所定の音声を出力する。ここで出力される音声は、牽引車両10が停車している状態で出力される上記の音声と異なっていてもよいし、同一であってもよい。
以上の構成により、実施形態にかかる運転支援装置500は、被牽引車両12が連結された牽引車両10の運転が行われる場合、牽引車両10の表示装置26に表示される画面を、状況の変化に応じて以下のように遷移させる。
まず、運転支援装置500は、牽引車両10が後進のために停車している状況で、運転者により所定の運転支援モード(たとえば駐車支援モード)が選択された場合、次の図6に示されるような画面を表示装置26に表示する。
図6は、実施形態において、牽引車両10が後進のために停車している状況で表示装置26に表示される画面の一例を示した例示的かつ模式的な図である。
図6に示される例では、周辺画像として、牽引車両10の周辺の状況を俯瞰態様で表した俯瞰画像601と、牽引車両10がこれから進む方向に対応した後方の状況を表した後方画像602と、が並んで表示されている。
なお、俯瞰画像601において、指標(アイコン、シンボル)X1は、牽引車両10を表しており、指標Y1は、牽引車両10に連結された被牽引車両12を表しており、指標A1は、牽引車両10の前方の進路(および車幅)の目安を表している。また、後方画像602において、指標X2は、後方画像602の視点で見た牽引車両10を表しており、指標Y2は、後方画像602の視点で見た被牽引車両12を表している。また、後方画像602において、指標A2は、牽引車両10の前方の進路(および車幅)の目安を表しており、ボタンB1およびB2は、後方画像602を他の視点の周辺画像に切り替えるなどといった所定の操作の入力を受け付けるGUI(グラフィカルユーザインターフェース)を表している。
図6に示された画像を見ると、牽引車両10の向きと被牽引車両12の向きとは揃っておらず、牽引車両10の向きと被牽引車両12の向きとが実質的に一致した直列状態を実現するためには、牽引車両10を旋回させる必要があることが分かる。したがって、運転者は、図6に示された画像が表示された状況下で、直列状態を実現可能な牽引車両10の操舵角を探すために、牽引車両10を停車させたままステアリングホイール42を操作する、いわゆる据え切り操作を行うものとする。
ここで、実施形態では、前述したように、運転支援装置500は、据え切り操作によって牽引車両10の操舵角が直列状態を実現可能な角度になった場合に、牽引車両10の運転者に対して画面および音声を用いて所定の通知を行う。したがって、運転支援装置500は、図6に示された画像が表示された状況下で、運転者の据え切り操作によって直列状態を実現可能な操舵角が達成された場合、音声出力装置28を介して所定の音声を出力するとともに、表示装置26に表示する画面を、次の図7に示されるような画面に遷移させる。
図7は、実施形態において、図6に示される画面が表示された状況で直列状態が実現可能と判定された場合に表示装置26に表示される画面の一例を示した例示的かつ模式的な図である。
図7に示される例においても、図6に示される例と同様に、周辺画像として、牽引車両10の周辺の状況を俯瞰態様で表した俯瞰画像701と、牽引車両10の後方の状況を表した後方画像702と、が並んで表示されている。なお、後方画像702は、図6に示される後方画像602に対して特に新しい指標などを含むものではないので、以下では俯瞰画像701についてのみ説明する。
ここで、図7に示される例では、俯瞰画像701上に、直列状態を実現可能な操舵角が達成されたことを通知するための指標C1~C3が重畳されている。これらの指標C1~C3は、牽引車両10および被牽引車両12の現在の状態と直列状態との関係を表す直列状態指標として機能する。
図8は、実施形態において、図7に示される画面のうち直列状態指標に関わる領域801を拡大して示した例示的かつ模式的な図である。
図8に示されるように、指標C1は、現在の操舵角が保たれた状態で牽引車両10が移動することで直列状態が実現された場合に牽引車両10および被牽引車両12が向く方向を表しており、指標C2は、直列状態が実現されるまでに牽引車両10が旋回する方向を表しており、指標C3は、直列状態が実現された場合における想定上の牽引車両10を表している。これらの指標C1~C3によれば、仮に現在の操舵角が保たれた状態で牽引車両10が後進を開始した場合に、牽引車両10および被牽引車両12がどのような状態になるかを表すイメージを視覚的に分かりやすく得ることができる。
なお、実施形態では、上記の直列状態指標(指標C1~C3)が表示された後においても、現在の操舵角が直列状態を実現可能な角度以上であるか否かが引き続き監視される。したがって、実施形態では、直列状態指標が表示された後、たとえば操舵角が逆向きに変化することで、現在の操舵角が直列状態を実現不可能な角度になった場合、表示中の直列状態指標が消去される。したがって、実施形態では、直列状態を実現するためには、直列状態指標が表示された場合、その時点での操舵角を保ったまま、牽引車両10を発進(後進)させる必要がある。
そこで、運転者は、図7(および図8)に示される画面が表示された状況下で、上述した音声や直列状態指標(指標C1~C3)による通知を受けると、牽引車両10と被牽引車両12との直列状態を実現するため、現在の操舵角を保ったままで、牽引車両10を発進(後進)させる。すると、運転支援装置500は、表示装置26に表示する画面を、次の図9に示されるような画面に遷移させる。
図9は、実施形態において、図7に示される画面が表示された状況で牽引車両10が後進を開始した場合に表示装置26に表示される画面の一例を示した例示的かつ模式的な図である。
図9に示される例においても、図7に示される例と同様に、周辺画像として、牽引車両10の周辺の状況を俯瞰態様で表した俯瞰画像901と、牽引車両10の後方の状況を表した後方画像902と、が並んで表示されている。なお、後方画像902は、図7に示される後方画像702に対して特に新しい指標などを含んでいないため、以下では俯瞰画像901についてのみ説明する。
図9に示される俯瞰画像901にも、図7(および図8)に示される俯瞰画像701と同様に、牽引車両10および被牽引車両12の現在の状態と直列状態との関係を表す直列状態指標が継続して重畳されている。より具体的に、図9に示される俯瞰画像901には、直列状態指標として、図7(および図8)に示される俯瞰画像701と同様に、直列状態が実現された場合に牽引車両10および被牽引車両12が向く方向を表す指標C1と、直列状態が実現された場合における想定上の牽引車両10を表す指標C3が重畳されている。
しかしながら、図9に示される俯瞰画像901には、図7(および図8)に示される俯瞰画像701上の指標C2とは異なる表示態様の指標C4が重畳されている。この指標C4は、直列状態が実現されるまでに牽引車両10が旋回する方向を表すものである点について指標C2と同様であるが、表示態様(色など)について指標C2と異なっている。したがって、運転者は、指標C2から指標C4への切り替わりを確認することで、牽引車両10の移動(後進)が既に開始しているか否かを容易に認識することができる。また、運転者は、指標C1、C3およびC4を、直列状態を実現するための運転操作のガイドとして用いることができる。
運転者は、図9に示される画面を参照しながら、指標X1が指標C4に沿った方向に移動して指標C3と重なり、指標X1の向きが指標C1に沿った向きになるように、(現在の操舵角を保った状態で)牽引車両10を旋回させながら移動(後進)させることで、牽引車両10と被牽引車両12との直列状態を実現することができる。そして、直列状態が実現すると、運転支援装置500は、表示装置26に表示する画面を、次の図10に示されるような画面に遷移させる。
図10は、実施形態において、牽引車両10の後進が図9に示される状況よりもさらに進んで直列状態が実現された場合に表示装置26に表示される画面の一例を示した例示的かつ模式的な図である。
図10に示される例においても、図9に示される例と同様に、周辺画像として、牽引車両10の周辺の状況を俯瞰態様で表した俯瞰画像1001と、牽引車両10の後方の状況を表した後方画像1002と、が並んで表示されている。なお、後方画像1002は、図9に示される後方画像902に対して特に新しい指標などを含んでいないため、以下では俯瞰画像1001についてのみ説明する。
ここで、図10に示される例では、図9に示される画面で表示されていた直列状態指標(指標C1、C3、およびC4)が俯瞰画像1001から消去されている。実施形態では、このような直列状態指標の消去が、牽引車両10と被牽引車両12との直列状態が実現された結果として起こる。すなわち、実施形態では、牽引車両10の移動中に周辺画像に直列状態指標が重畳されている間、牽引車両10と被牽引車両12との連結角度(直列状態の実現度合)を監視し、実際に直列状態が実現された場合に、周辺画像上に重畳された直列状態指標を消去する構成が採用されている。
さらに、実施形態では、前述したように、実際に直列状態が実現された場合、音声出力部28を介して所定の音声が出力される。したがって、実施形態では、直列状態指標の消去および所定の音声を確認することで、牽引車両10と被牽引車両12との直列状態が実現されたことを容易に認識することができる。
このように、実施形態によれば、表示装置26に表示される画面(および所定のタイミングで音声出力装置28から出力される音声)を確認しながら牽引車両10を運転することで、牽引車両10と被牽引車両12との直列状態を容易に実現することができる。
なお、実施形態では、上述した各種の指標の表示態様(形状や色など)は、種々に設定(変更)されうる。すなわち、実施形態では、上述した各種の指標が、様々な色で表示されうるし、二次元的または三次元的な様々な形状で表示されうる。また、実施形態では、上述した各種の指標の表示態様を、状況に応じて変化させる構成が採用されてもよい。たとえば、実施形態では、直列状態の実現度合に応じて、上述した各種の指標の表示態様を変化させる構成が採用されてもよい。
ところで、実施形態では、前述したように、図6、図7、図9、および図10に示される例において、後方画像602、702、902、および1002上には、所定の操作の入力を受け付けるGUIとしてのボタンB1およびB2が重畳されている。特に、ボタンB1は、後方画像602、702、902、および1002を他の視点の周辺画像に切り替える切替操作の入力を受け付けるGUIである。以下、図9に示される画面が表示された状況でボタンB1が選択(タッチ)された場合に表示装置26に表示される画面について例示する。
図11は、実施形態において、図9に示される画面内で他の視点の周辺画像に切り替える操作が行われた場合に表示装置26に表示される画面の一例を示した例示的かつ模式的な図である。
図11に示される例では、周辺画像として、牽引車両10の周辺の状況を俯瞰態様で表した図9と同様の俯瞰画像901と、牽引車両10の側方でかつ旋回の内側の状況を表した内側画像1102と、が並んで表示されている。この内側画像1102は、たとえば、図9に示される後方画像902上のボタンB1が選択(タッチ)された場合に、当該後方画像902から切り替わる形で表示されうる。逆に、内側画像1102上のボタンB1が選択された場合は、内側画像1102は、後方画像902へと切り替わりうる。なお、内側画像1102において、指標Y3は、内側画像1102の視点で見た被牽引車両12を表している。
ここで、実施形態では、図11に示される画像が表示された状況で所定の条件が満たされた場合、内側画像1102が、牽引車両10の左右両側の状況を同時に表した両側画像に切り替わりうる。所定の条件とは、たとえば、牽引車両10と被牽引車両12との直列状態の実現が近づくことである。運転者は、両側画像を参照し、牽引車両10の左側の状況と右側の状況とが実質的に対称的になるように牽引車両10を運転することで、直列状態を容易に実現することができる。
また、以下に説明するように、運転者は、実際に直列状態が実現された場合、両側画像を確認することで、直列状態をチェックすることもできる。
図12は、実施形態において、図11に示される画面から切り替わって表示装置26に表示されうる画面の一例を示した例示的かつ模式的な図である。
図12に示される例では、牽引車両10と被牽引車両12との直列状態が実現された結果として、図10と同様の俯瞰画像1001が表示されている。さらに、図12に示される例では、牽引車両10の右側の状況を表した右側画像1202aと、牽引車両10の左側の状況を表した左側画像1202bと、を含んだ両側画像1202が表示されている。なお、両側画像1202(右側画像1202aおよび左側画像1202b)において、指標Y4は、右側画像1202aおよび左側画像1202bのそれぞれの視点で見た被牽引車両12を表している。
図12に示されるように、牽引車両10と被牽引車両12との直列状態が実現されると、右側画像1202aおよび左側画像1202bには、対称的(左右対称)な表示態様で指標Y1が表示されることになる。したがって、図12に示される両側画像1202において、右側画像1202aおよび左側画像1202bに指標Y1が左右対称に表示されているか否かを確認すれば、直列状態をチェックすることができる。
次に、実施形態において実行される処理について説明する。
図13は、実施形態にかかる運転支援装置500が運転支援として実行する処理の一例を示した例示的かつ模式的なフローチャートである。この図13に示される処理フローは、タッチパネル30などを介して所定の運転支援モード(たとえば駐車支援モード)を選択する操作が行われた場合に繰り返し実行される。
図13に示される処理フローでは、まず、S1301において、運転支援装置500は、自車両(牽引車両10)が停車しており、かつ、自車両のシフトレンジがリバースレンジに設定されているか否かを判断する。
S1301における2つの条件の少なくとも一方が成立しない場合、処理が終了する。しかしながら、S1301における2つの条件の両方が成立する場合、S1302に処理が進む。
S1302において、運転支援装置500は、直列状態の実現性の判定に必要な情報を取得(算出)する。直列状態の実現性の判定に必要な情報とは、前述したように、牽引車両10と被牽引車両12との連結角度や、牽引車両10の現在の操舵角などである。
S1303において、運転支援装置500は、現在の操舵角を保った状態で牽引車両10が後進することを想定した場合に、牽引車両10の移動距離が所定の距離以下の範囲内で直列状態が実現可能か否かを判定する。なお、ここでは、牽引車両10と被牽引車両12との連結角度に基づく牽引車両10の向きと被牽引車両12の向きとのズレが所定以上の大きさを有しているものとする。
S1303において、直列状態が実現可能と判断された場合、次のS1304に処理が進む。
そして、S1304において、運転支援装置500は、音声出力装置28を介して所定の音声を出力する。このS1304の処理によれば、現時点で行っている運転操作が今後直列状態を実現可能な運転操作である旨、より具体的には現在の操舵角が直列状態を実現可能な角度である旨を運転者の聴覚に訴える形で通知することができる。
そして、S1305において、運転支援装置500は、現在表示中の俯瞰画像上に、牽引車両10および被牽引車両12の現在の状態と直列状態との関係を表す直列状態指標を重畳して表示する。このS1305の処理によれば、現時点で行っている運転操作が今後直列状態を実現可能な運転操作である旨と、今後直列状態が実現されるまでに牽引車両10および被牽引車両12の位置関係がどのように変化するかのイメージと、を運転者の視覚に訴える形で通知することができる。そして、処理が終了する。
一方、S1303において、直列状態が実現不可能と判断された場合、次のS1306に処理が進む。
そして、S1306において、運転支援装置500は、直列状態指標が現在表示されているか否かを判断する。つまり、S1306において、運転支援装置500は、牽引車両10の操舵角を監視し、直列状態を実現可能な状態であったにも関わらず運転者が操舵角をさらに変化させることで直列状態を実現不可能な状態になったか否かを判断する。このS1306の処理は、前述した直列判定部510などにより実行される。
S1306において、直列状態指標が現在表示されていないと判断された場合、そのまま処理が終了する。一方、S1306において、直列状態指標が現在表示されていると判断された場合、S1307に処理が進む。
S1307において、運転支援装置500は、現在表示されている直列状態指標を俯瞰画像上から消去する。このS1307の処理によれば、直列状態を実現可能な状態から実現不可能な状態に変化したことを運転者の視覚に訴える形で通知することができる。そして、処理が終了する。
図14は、実施形態にかかる運転支援装置が、直列状態指標が表示された状態で牽引車両10の後進が開始した場合に実行する処理を示した例示的かつ模式的なフローチャートである。この図14に示される処理フローは、牽引車両10と被牽引車両12との直列状態が実現されるまで繰り返し実行される。
図14に示される処理フローでは、まず、S1401において、運転支援装置500は、牽引車両10と被牽引車両12との連結角度を監視する。
そして、S1402において、運転支援装置500は、S1401の監視結果に基づいて、牽引車両10と被牽引車両12との直列状態が実現されたか否かを判断する。なお、前述したように、実施形態において、直列状態は、牽引車両10の向きと被牽引車両12の向きとが完全に一致している状態のみならず、牽引車両10の向きと被牽引車両12の向きとの差が十分に小さい所定値未満となっている状態も含む。
S1402において、直列状態が実現されていないと判断された場合、処理が終了する。一方、S1402において、直列状態が実現されたと判断された場合、S1403に処理が進む。
S1403において、運転支援装置500は、音声出力装置28を介して所定の音声を出力し、直列状態が実現された旨を運転者の聴覚に訴える形で通知する。
そして、S1404において、運転支援装置500は、現在表示されている直列状態指標を俯瞰画像上から消去し、直列状態が実現された旨を運転者の視覚に訴える形で通知する。そして、処理が終了する。
以上説明したように、実施形態にかかる運転支援装置500は、牽引車両10と当該牽引車両10に連結された被牽引車両12との連結角度を取得する連結角度取得部502を有している。また、運転支援装置500は、連結角度に基づく向きのズレが所定以上の状態で牽引車両10が運転される場合において、牽引車両10の操舵角が、当該操舵角が保たれた状態で牽引車両10が移動した場合に牽引車両10の移動距離が所定の距離以下の範囲内で牽引車両10の向きと被牽引車両12の向きとが実質的に一致した直列状態が実現される角度以上になった際に、牽引車両10内で所定の通知を行う通知処理部としての表示処理部512および音声処理部513を有している。この構成によれば、所定の通知により、直列状態を実現可能な運転操作を運転者に通知することができる。
より具体的に、実施形態にかかる表示処理部512および音声処理部513は、連結角度に基づく向きのズレが所定以上で、かつ牽引車両10が後進のために停車している状況で、操舵角が、当該操舵角が保たれた状態で牽引車両10の後進が開始した場合に当該後進の距離が所定の距離以下の範囲内で直列状態が実現される角度以上になった際に、上述した直列状態指標や所定の音声などを用いた所定の通知を行う。この構成によれば、停車状態で操舵角を変化させるいわゆる据え切り操作を行いながら所定の通知を待つことで、直列状態を実現可能な運転操作を容易に特定することができる。
なお、上述した実施形態では、直列状態を実現可能な運転操作を、画像および音声の両方で運転者に通知する構成を例示した。しかしながら、実施形態では、直列状態を実現可能な運転操作が、画像および音声の一方のみにより通知されてもよいし、画像とも音声とも異なるたとえば振動などにより通知されてもよい。
また、上述した実施形態では、停車状態で操舵角を変化させるいわゆる据え切り操作によって直列状態を実現可能になった場合に、直列状態指標や所定の音声などを用いた通知を行う構成を例示した。しかしながら、実施形態では、現時点での運転操作を維持すれば直列状態が実現されるか否かを走行中にリアルタイムで判定し、判定結果に応じて直列状態指標や所定の音声などを用いた通知を行う構成が採用されてもよい。
以上、本発明の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 牽引車両
12 被牽引車両
24 撮像部
500 運転支援装置
502 連結角度取得部
503 画像処理部
512 表示処理部(通知処理部)
513 音声処理部(通知処理部)

Claims (6)

  1. 牽引車両と当該牽引車両に連結された被牽引車両との連結角度を取得する連結角度取得部と、
    前記連結角度に基づく前記牽引車両の向きと前記被牽引車両の向きとのズレが所定以上の状態で前記牽引車両が運転される場合において、前記牽引車両の操舵角により、当該操舵角が保たれた状態で前記牽引車両が移動した場合に前記牽引車両の移動距離が所定の距離以下の範囲内で前記牽引車両の向きと前記被牽引車両の向きとが実質的に一致した直列状態が実現される際に、前記牽引車両内で所定の通知を行う通知処理部と、
    前記牽引車両に設けられる撮像部の撮像結果に基づいて、前記牽引車両の周辺の状況が表された周辺画像として、前記牽引車両の周辺の状況が俯瞰態様で表された俯瞰画像を生成する画像処理部と、を備え、
    前記通知処理部は、前記牽引車両および前記被牽引車両の現在の状態と前記直列状態との関係を表す直列状態指標を前記俯瞰画像上に重畳して表示することで前記所定の通知を行う表示処理部を含み、
    前記直列状態指標は、前記直列状態が実現された場合に前記牽引車両および前記被牽引車両が向く方向を表す第1の指標を含み、
    前記直列状態指標は、前記直列状態が実現されるまでに前記牽引車両が旋回する方向を表す第2の指標を含み、
    前記直列状態指標は、前記直列状態が実現された場合における想定上の前記牽引車両を表す第3の指標を含む、
    運転支援装置。
  2. 前記通知処理部は、前記連結角度に基づく前記ズレが所定以上であると判定され、かつ前記牽引車両が後進のために停車している状況で、前記操舵角により、当該操舵角が保たれた状態で前記牽引車両の前記後進が開始した場合に当該後進の距離が前記所定の距離以下の範囲内で前記直列状態が実現される際に、前記所定の通知を行う、
    請求項1に記載の運転支援装置。
  3. 前記表示処理部は、前記直列状態指標が表示された状態で前記牽引車両の移動が開始した場合、前記直列状態指標の表示を継続し、その後実際に前記直列状態が実現された場合、前記俯瞰画像上から前記直列状態指標を消去する、
    請求項1または2に記載の運転支援装置。
  4. 前記画像処理部は、前記周辺画像として、前記牽引車両の左右両側の状況が同時に表された両側画像を生成し、
    前記表示処理部は、前記直列状態指標が表示された状態で前記牽引車両の移動が開始した場合において、所定の条件が満たされた場合、前記牽引車両の左右両側の状況が表された両側画像を表示する、
    請求項1~3のいずれか1項に記載の運転支援装置。
  5. 前記通知処理部は、第1の音声を出力することで前記所定の通知を行う音声処理部を含む、
    請求項1~のいずれか1項に記載の運転支援装置。
  6. 前記音声処理部は、前記第1の音声の出力に応じて前記牽引車両の移動が開始した場合において、その後実際に前記直列状態が実現された場合、第2の音声を出力する、
    請求項に記載の運転支援装置。
JP2017197151A 2017-10-10 2017-10-10 運転支援装置 Active JP7087332B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017197151A JP7087332B2 (ja) 2017-10-10 2017-10-10 運転支援装置
US16/648,890 US11584436B2 (en) 2017-10-10 2018-10-03 Driver assistance device
PCT/JP2018/037122 WO2019073885A1 (ja) 2017-10-10 2018-10-03 運転支援装置
CN201880060854.5A CN111108022B (zh) 2017-10-10 2018-10-03 驾驶辅助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017197151A JP7087332B2 (ja) 2017-10-10 2017-10-10 運転支援装置

Publications (2)

Publication Number Publication Date
JP2019069718A JP2019069718A (ja) 2019-05-09
JP7087332B2 true JP7087332B2 (ja) 2022-06-21

Family

ID=66100601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017197151A Active JP7087332B2 (ja) 2017-10-10 2017-10-10 運転支援装置

Country Status (4)

Country Link
US (1) US11584436B2 (ja)
JP (1) JP7087332B2 (ja)
CN (1) CN111108022B (ja)
WO (1) WO2019073885A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11433812B2 (en) * 2018-10-29 2022-09-06 Ford Global Technologies, Llc Hitching maneuver
US11560026B2 (en) * 2020-11-06 2023-01-24 GM Global Technology Operations LLC System and method for hitch angle estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003511288A (ja) 1999-10-02 2003-03-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 駐車する車両の周辺状況を監視するための装置
JP2009060499A (ja) 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP2011131678A (ja) 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP2016137802A (ja) 2015-01-27 2016-08-04 日野自動車株式会社 連結車両の連結角取得装置及び連結車両の運転支援システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009012253A1 (de) * 2009-03-07 2010-09-09 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung beim Rückwärtsfahren eines Gespanns aus Zugfahrzeug mit Anhänger
DE102012015435A1 (de) * 2012-08-03 2014-02-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Rangieren eines Anhängers
US9558409B2 (en) * 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US20150115571A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US10800454B2 (en) * 2017-06-05 2020-10-13 Ford Global Technologies, Llc Trailer backup assist input with gesture interface for multiple control modes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003511288A (ja) 1999-10-02 2003-03-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 駐車する車両の周辺状況を監視するための装置
JP2009060499A (ja) 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP2011131678A (ja) 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP2016137802A (ja) 2015-01-27 2016-08-04 日野自動車株式会社 連結車両の連結角取得装置及び連結車両の運転支援システム

Also Published As

Publication number Publication date
US11584436B2 (en) 2023-02-21
US20200223482A1 (en) 2020-07-16
JP2019069718A (ja) 2019-05-09
WO2019073885A1 (ja) 2019-04-18
CN111108022A (zh) 2020-05-05
CN111108022B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
US10625782B2 (en) Surroundings monitoring apparatus
JP6760122B2 (ja) 周辺監視装置
US10484651B2 (en) Image display control device
JP6897294B2 (ja) 牽引支援装置
JP7443705B2 (ja) 周辺監視装置
US11787386B2 (en) Driving support device
WO2019073938A1 (ja) 駐車支援装置
JP7087332B2 (ja) 運転支援装置
CN111094083B (zh) 停车辅助装置
US20200081608A1 (en) Display control device
JP2014004931A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
CN110877574A (zh) 显示控制装置
JP2019069719A (ja) 駐車支援装置
JP7081105B2 (ja) 牽引支援装置
JP2017069834A (ja) 表示制御装置
JP2020121638A (ja) 表示制御装置
JP2019069722A (ja) 駐車支援装置
JP7000787B2 (ja) 周辺監視装置
JP6610139B2 (ja) 周辺監視装置
JP2018186432A (ja) 表示制御装置
JP2019046086A (ja) 周辺監視装置
JP2019068326A (ja) 周辺監視装置
JP2018186387A (ja) 表示制御装置
JP2017211814A (ja) 駐車支援装置
JP2018006943A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220523

R150 Certificate of patent or registration of utility model

Ref document number: 7087332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150