JPWO2011010346A1 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JPWO2011010346A1
JPWO2011010346A1 JP2011523490A JP2011523490A JPWO2011010346A1 JP WO2011010346 A1 JPWO2011010346 A1 JP WO2011010346A1 JP 2011523490 A JP2011523490 A JP 2011523490A JP 2011523490 A JP2011523490 A JP 2011523490A JP WO2011010346 A1 JPWO2011010346 A1 JP WO2011010346A1
Authority
JP
Japan
Prior art keywords
image
vehicle
route
wheel
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011523490A
Other languages
English (en)
Other versions
JP5337878B2 (ja
Inventor
久保山 剛
剛 久保山
陽 染谷
陽 染谷
圭一 中村
圭一 中村
亮輔 佐々木
亮輔 佐々木
渡邊 一矢
一矢 渡邊
乃輔 大橋
乃輔 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp, Aisin Corp filed Critical Aisin Seiki Co Ltd
Publication of JPWO2011010346A1 publication Critical patent/JPWO2011010346A1/ja
Application granted granted Critical
Publication of JP5337878B2 publication Critical patent/JP5337878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両周囲を示す画像において当該車両の車輪の進行経路を確認可能とする運転支援装置を提供する。車両の進行方向を写した進行先画像を撮像する撮像手段と、車両の舵角を検出する舵角検出手段と、車両の進行方向側に備えられた各車輪の進行経路を舵角に基づいて予測し、撮像手段の視点から見た当該各車輪の進行経路を示す経路画像を生成する経路画像生成手段と、進行先画像に経路画像を重ね合わせた重畳画像を生成する重畳画像生成手段と、重畳画像を表示する画像表示手段とを備える運転支援装置である。

Description

運転支援装置に関し、より特定的には、車両周囲の画像を表示する運転支援装置に関する。
従来、車両のドライバーの安全な運転を支援するべく、ドライバーにとって死角となる領域を示す画像をカメラ等の撮像装置を用いて撮像し、当該画像を車室内に表示する運転支援装置が開発されている。
上記のような運転支援装置の一例が、特許文献1に開示されている。特許文献1に開示される運転支援システムは、道路に備えられたカメラによって撮影された画像、および車両に搭載されたカメラによって撮影された画像を合成することによって、車両の周囲を示す画像をドライバーに対して表示する。
特開2009−37457号公報
例えば、車両が岩場や砂利道などの路外地形(オフロード)を走行している際、当該車両のドライバーは、車輪が足場の悪い土壌に進入したり、脱輪したりしないように、車輪の進行経路に注意しながら運転する必要がある。しかしながら、車輪の進行経路を運転席に座したまま正確に予測しつつ車両を運転することは、車両の運転に慣れていないドライバーにとっては困難である。そして、特許文献1に示す運転支援システムでは、ドライバーは、車両周囲を示す画像から車体と接触する可能性の高い障害物等の位置を大局的に知ることはできても、当該車両の車輪が進行する経路までは確認することまではできなかった。
本発明は上記の課題を鑑みて成されたものであり、車両周囲を示す画像において当該車両の車輪の進行経路を視認可能とする運転支援装置を提供することを目的とする。
上記の課題を解決するため、本発明は以下の構成を採用した。すなわち、本発明の第1の局面は、車両の進行方向を写した進行先画像を撮像する撮像手段と、車両の舵角を検出する舵角検出手段と、車両の進行方向側に備えられた各車輪の進行経路を舵角に基づいて予測し、撮像手段の視点から見た当該各車輪の進行経路を示す経路画像を生成する経路画像生成手段と、進行先画像に経路画像を重ね合わせた重畳画像を生成する重畳画像生成手段と、重畳画像を表示する画像表示手段とを備える運転支援装置である。
第2の局面は、第1の局面において、経路画像生成手段は、車輪の進行経路を車両の車輪の幅に応じた幅を有する帯状の領域で示す経路画像を生成することを特徴とする。
第3の局面は、第2の局面において、経路画像生成手段は、車輪の進行経路を車両の車輪の幅に応じた幅を有する帯状の領域を囲う枠線により示す経路画像を生成し、重畳画像生成手段は、枠線の内部において進行先画像が表示されるように当該進行先画像に経路画像を重ね合わせて重畳画像を生成することを特徴とする。
第4の局面は、第1の局面において、経路画像生成手段は、各車輪の進行経路を車両の進行方向端部から予め定められた距離まで示す経路画像を生成することを特徴とする。
第5の局面は、第1の局面において、経路画像生成手段は、進行経路に沿って、車両の進行方向端部から予め定められた一定距離毎に目盛り線を付した経路画像を生成することを特徴とする。
第6の局面は、第1の局面において、車両が走行する路面がオフロードであるか否かを判別する路面判別手段をさらに備え、経路画像生成手段は、路面がオフロードである場合に、経路画像を生成することを特徴とする。
第7の局面は、第6の局面において、路面判定手段は、車両に備えられた各車輪の回転速度を取得する回転速度取得手段を含み、路面判定手段は、車輪から2つを選択して得られる全ての車輪の組み合わせについて、選択された車輪の回転速度同士の差分値を算出し、少なくとも何れかの組み合わせについての当該差分値が予め定められた閾値より大きい場合、車両が走行する路面がオフロードであると判定することを特徴とする。
第8の局面は、第1の局面において、車両のシフトレバーが前進レンジに設定されているか否かを判定する前進判定手段をさらに備え、撮像手段は、車両の前方を写した前方進行先画像を撮像する前方撮像手段を含み、経路画像生成手段は、車両のシフトレバーが前進レンジに設定されている場合、車両の前輪の進行経路を示す前輪経路画像を生成し、重畳画像生成手段は、車両のシフトレバーが前進レンジに設定されている場合、前方進行先画像に前輪経路画像を重ね合わせた前方重畳画像を生成し、画像表示手段は、車両のシフトレバーが前進レンジに設定されている場合、前方重畳画像を表示することを特徴とする。
第9の局面は、第1の局面において、車両のシフトレバーが後進レンジに設定されているか否かを判定する後進判定手段をさらに備え、撮像手段は、車両の後方を写した後方進行先画像を撮像する後方撮像手段を含み、経路画像生成手段は、車両のシフトレバーが後進レンジに設定されている場合、車両の後輪の進行経路を示す後輪経路画像を生成し、重畳画像生成手段は、車両のシフトレバーが後進レンジに設定されている場合、後方進行先画像に後輪経路画像を重ね合わせた後方重畳画像を生成し、画像表示手段は、車両のシフトレバーが後進レンジに設定されている場合、後方重畳画像を表示することを特徴とする。
第10の局面は、第1の局面において、経路画像生成手段は、舵角が車両の直進方向を向いている場合、車両の存在する仮想的な空間内において、各車輪の進行経路を、当該各車輪を通り直進方向に平行な直線に沿った帯状の領域として算出する直線経路算出手段と、舵角が車両の直進方向以外の方向へ傾いている場合、仮想的な空間内において、舵角に基づいて車両の旋回円の中心点を算出し、各車輪の進行経路を、当該各車輪を通り中心点を中心とする円に沿った帯状の領域として算出する旋回経路算出手段と、直線経路算出手段、および経路算出手段により算出された各車輪の進行経路に基づいて、仮想的な空間内における撮像手段の視点に合わせた経路画を生成する画像生成手段とを含むことを特徴とする。
第1の局面によれば、車両のドライバーは、車両周囲の様子および当該車両の車輪の進行経路を示す重畳画像を視認して、当該進行経路を確認することができる。したがって、例えば、ドライバーは、脱輪する危険がある路面を走行している場合など、上記重畳画像を見ながら舵角を変更する操作を行うことによって、当該脱輪を回避可能な車輪の進行経路を容易に探索することができる。
第2の局面によれば、ドライバーは、重畳画像中において、車輪が接地すると予想される路面の領域を正確に把握することができる。
第3の局面によれば、車輪が接地すると予想される路面の様子が経路を示す画像により隠されることがないため、ドライバーは、当該路面の様子を正確に視認することが可能である。
第4の局面によれば、進行経路を示す画像のうち正確性が比較的高い領域のみを重畳画像において表示することが可能である。上記経路画像の正確性は、車両から遠方の領域ほど、撮像装置の取り付け誤差などの影響により、低下する傾向がある。そのため、表示する経路を所定距離までにとどめることにより、表示されている経路の精度を保証することができる。
第5の局面によれば、ドライバーは経路画像に示される目盛り線に基づいて、車輪を目標の位置へ移動するまでに要する距離を正確に把握することができる。
第6の局面によれば、車両がオフロードなど、車輪の通過位置に注意を払う必要性が高い路面を走行している場合に自動的に当該車輪の経路を表示することができる。
第7の局面によれば、車両がオフロードを走行しているか否かを、容易に少ない処理量で判定することができる。具体的には、何れかの車輪の回転速度が他の車輪の回転速度より遅い場合など、何れかの車輪が空転していると考えられる状況において、車両がオフロードを走行していると判定することができる。
第8の局面によれば、ドライバーは車両前方に備えられた車輪の進行経路を確認することができる。また、シフトが前進レンジに設定された場合、自動的に車両前方を示す画像に前輪の進行経路が重ねて表示されるため、ドライバーは、シフト操作を行うだけで、車両前方に備えられた車輪の進行経路を容易に確認することができる。
第9の局面によれば、ドライバーは車両後方に備えられた車輪の進行経路を確認することができる。また、シフトが後進レンジに設定された場合、自動的に車両前方を示す画像に後輪の進行経路が重ねて表示されるため、ドライバーは、シフト操作を行うだけで、車両後方に備えられた車輪の進行経路を容易に確認することができる。
第10の局面によれば、各車輪の進行経路を車両の舵角に応じて正確に算出し、当該各車輪の進行経路を正確に画像表示することができる。
図1は、第1の実施形態に係る運転支援装置の構成を示すブロック図の一例である。 図2は、第1の実施形態に係るECU20が実行する処理を示すフローチャートの一例である。 図3は、オフロードモード処理を示すフローチャートの一例である。 図4は、前方画像の一例を示す図である。 図5は、前方経路画像の一例を示す図である。 図6は、舵角が車両100の直進方向を向いている場合の仮想空間内における左前輪経路TL_fおよび右前輪経路TR_fを示す平面図である。 図7は、車両100の舵角が直進方向から右方向へ向いている場合の左前輪進行線TcL_fおよび右前輪進行線TcR_fを示す平面図である。 図8は、車両100の舵角が直進方向から右方向へ向いている場合の仮想空間内における左前輪経路TL_fおよび右前輪経路TR_fを示す平面図である。 図9は、重畳画像の一例を示す図である。 図10は、車両100の舵角が直進方向から右方向へ向いている場合の左後輪進行線TcL_fおよび右後輪進行線TcR_rを示す平面図である。 図11は、車両100の舵角が直進方向から右方向へ向いている場合の仮想空間内における左後輪経路TL_rおよび右後輪経路TR_rを示す平面図である。 図12は、車両100が岩場を走行する際の重畳画像の一例を示す図である。 図13は、第2の実施形態に係る運転支援装置の構成を示すブロック図の一例である。 図14は、第2の実施形態に係るECU20が実行する処理を示すフローチャートの一例である。
(第1の実施形態)
以下、本発明の第1の実施形態に係る運転支援装置について説明する。先ず、図1を参照して第1の実施形態に係る運転支援装置の構成について説明する。なお、図1は、第1の実施形態に係る運転支援装置の構成を示すブロック図の一例である。
図1に示すように、第1の実施形態に係る運転支援装置は、フロントカメラ10、リアカメラ11、ステアリングセンサ12、シフト装置13、操作スイッチ14、ECU20、および表示装置30を備える。なお、以下では、運転支援装置が車両100に搭載される例について説明する。
フロントカメラ10は、例えばCMOS(Complementary Metal Oxide Semiconductor)センサや、CCD(Charge Coupled Device)センサ等の一般的なイメージセンサを備えた撮像装置である。フロントカメラ10は、例えばルームミラーの前方や、フロントグリル近傍などの、車両100の前方を撮像可能な位置に配置され、車両100の前方の画像(以下、前方画像と呼称する)を撮像する。フロントカメラ10は、撮像した前方画像をECU20へ出力する。
リアカメラ11は、例えばCCDセンサ等の一般的なイメージセンサを備えた撮像装置である。リアカメラ11は、例えばトランクカバーやバックドアなどの、車両100の後方を撮像可能な位置に配置され、車両100の後方の画像(以下、後方画像と呼称する)を撮像する。リアカメラ11は、撮像した後方画像をECU20へ出力する。
ステアリングセンサ12は、車両100の舵角を検出するセンサ装置である。ステアリングセンサ12は、検出した舵角をECU20へ出力する。なお、車両100は、所謂アッカーマン式ステアリング機構を備えたステアリング装置を備える。
シフト装置13は、車両100の変速機のレンジを操作するための装置である。シフト装置13は、現在設定されているレンジを示すデータをECU20へ出力する。
操作スイッチ14は、ドライバーの入力操作を受け付ける入力デバイスである。操作スイッチ14は、例えば、車両100のステアリングホイールやセンターパネルなどに備えられた押下式のスイッチ装置である。ドライバーは、操作スイッチ14を操作することにより、ECU20が実行する制御のモードをオンロードモードまたはオフロードモードに切り替えることができる。詳細は後述するが、ECU20は、ドライバーにより選択されたモードに応じた制御処理を実行する。なお、操作スイッチ14は、タッチパネルを備えた液晶モニタや、ダイヤル式の入力装置など、従来周知の入力デバイスにより構成して良い。
ECU20は、典型的には、CPU(Central Processing Unit:中央処理装置)などの情報処理装置、メモリなどの記憶装置、およびインターフェース回路などを備える制御装置である。ECU20は、フロントカメラ10、リアカメラ11、ステアリングセンサ12、シフト装置13、および操作スイッチ14から入力されるデータに基づいて、車両100のドライバーの運転を支援するための画像データを表示装置30へ出力する。
表示装置30は、典型的には液晶モニタ等の表示装置である。表示装置30は、例えば車両100のインストゥルメントパネルなど、ドライバーが視認可能な位置に搭載される。表示装置30は、ECU20から入力された画像データを表示する。なお、表示画面を有するナビゲーション装置が車両100に搭載されている場合には、当該ナビゲーション装置の表示画面を表示装置30として利用して構わない。
次いで、図2を参照して、ECU20が実行する処理について説明する。なお、図2は、第1の実施形態に係るECU20が実行する処理を示すフローチャートの一例である。ECU20は、例えば車両100のイグニッションスイッチがオンになった場合に、図2のステップA1の処理を開始する。
ステップA1において、ECU20は、オフロードモードが選択されているか否か判定する。具体的には、ECU20は、操作スイッチ14から入力される信号に応じてオフロードモードが選択されているか否か判定する。例えば、ECU20は、ドライバーの操作スイッチ14への入力に応じて表示装置30にモードを選択する画面を表示し、ドライバーによるモード選択の操作を受け付ける。そして、ECU20は、オフロードモードが選択されたと判定した場合、処理をステップA2へ進める。一方、ECU20は、オフロードモードが選択されていないと判定した場合、処理をステップA3へ進める。
ステップA2において、ECU20は、オフロードモード処理のサブルーチンを実行する。オフロードモード処理は、車両100の車輪の進行経路を示す画像を表示装置30に表示して、ドライバーの運転を支援する処理である。以下、図3を参照してオフロードモード処理の詳細について説明する。なお、図3は、オフロードモード処理を示すフローチャートの一例である。ECU20は、オフロードモード処理を開始すると、先ず、ステップA21の処理を実行する。
ステップA21において、ECU20は、シフトが後進レンジに設定されているか否か判定する。具体的には、ECU20は、シフト装置13から入力される、現在設定されているレンジを示すデータに基づいて、当該レンジが後進レンジに設定されているか否かを判定する。後進レンジは、車両100が後方に進行するよう変速機を設定するレンジであり、所謂バックレンジである。ECU20は、シフトが後進レンジに設定されていると判定した場合、処理をステップA26へ進める。一方、ECU20は、シフトが後進レンジ以外のレンジに設定されていると判定した場合、処理をステップA22へ進める。
ステップA22において、ECU20は、前方画像を取得する。具体的には、ECU20は、フロントカメラ10により撮像された前方画像を取得する。図4は、前方画像の一例を示す図である。ECU20は、ステップA22の処理を完了すると、処理をステップA23へ進める。
ステップA23において、ECU20は、舵角を取得する。具体的には、ECU20は、ステアリングセンサ12により検出された舵角を取得する。ECU20は、ステップA23の処理を完了すると、処理をステップA24へ進める。
ステップA24において、ECU20は、前方経路画像を生成する。前方経路画像は、前方画像中において車両100の左前輪51および右前輪52が進行すると予想される経路を示す画像である。図5は、前方経路画像の一例を示す図である。図5に示すように、ECU20は、車両100の左前輪51および右前輪52が進行すると予想される経路を各々、帯状の領域で表示する。なお、図5において左前輪51が進行すると予想される経路を左前輪経路TL_fとして示す。また、図5において右前輪52が進行すると予想される経路を右前輪経路TR_fとして示す。以下、図6から図8を参照して前方経路画像の生成方法について説明する。なお、以下では、車両100の左前輪51、右前輪52、左後輪53、および右後輪54の幅が何れも幅Wであるものとして説明する。
先ず、ECU20は、車両100の存在する仮想的な空間を生成する。なお、図6は、舵角が車両100の直進方向を向いている場合の仮想空間内における左前輪経路TL_fおよび右前輪経路TR_fを示す平面図である。ECU20は、上記平面図における左前輪51の進行先を示す左前輪進行線TcL_f、および、右前輪52が進行する方向を示す右前輪進行線TcR_fを算出する。
車両100の舵角が直進方向を向いている場合、ECU20は、図6に示すように左前輪進行線TcL_f、および右前輪進行線TcR_fを車両100の直進方向を示す軸線に平行な直線として算出する。
一方、車両100の舵角が直進方向から左右何れかへ傾いた方向を向いている場合、ECU20は、図7に示すように、先ず、取得した舵角方向を示す軸線Jrに鉛直な軸線Jhと、車両100の左後輪53および右後輪54の中心を通る軸線Jbとが交差する点を車両100の旋回中心Gの位置として算出する。なお、図7は、車両100の舵角が直進方向から右方向へ向いている場合の左前輪進行線TcL_fおよび右前輪進行線TcR_fを示す平面図である。ECU20は、車両100の旋回中心Gを中心とし、左前輪51の中心を通る円を左前輪進行線TcL_fとして算出する。同様に、ECU20は、車両100の旋回中心Gを中心とし、右前輪52の中心を通る円を右前輪進行線TcR_fとして算出する。
次いで、ECU20は、図6および図8に示すように、左前輪進行線TcL_fを中心とする幅Wの帯状の領域であって、車両100の前端Efから予め定められた距離Lfまでの領域を左前輪経路TL_fとして算出する。同様に、ECU20は、左前輪進行線TcL_fを中心とする幅Wの帯状の領域であって、車両100の前端Efから予め定められた距離Lfまでの領域を左前輪経路TL_fとして算出する。なお、図8は、車両100の舵角が直進方向から右方向へ向いている場合の仮想空間内における左前輪経路TL_fおよび右前輪経路TR_fを示す平面図である。距離Lfは、例えば1(m)などの予め定められた任意の定数である。また、幅Wは、上述の通り左前輪51および右前輪52の幅に応じて予め定められた定数である。ECU20は、仮想空間内において、左前輪経路TL_fおよび右前輪経路TR_fを示す領域を、当該領域を囲う枠線で描画する。
なお、舵角が直進方向以外の方向を向いている場合、ECU20は、車両100の前端Efから左前輪進行線TcL_fおよび右前輪進行線TcR_fの円周に沿った距離Lfまでの領域を、各々左前輪経路TL_fおよび右前輪経路TR_fとして算出する。
次いで、ECU20は、左前輪経路TL_fの領域内において車両100の前端Efから距離Mfの位置に、距離目安線TmL_fを描画する。同様に、ECU20は、右前輪経路TR_fの領域内において車両100の前端Efから距離Mfの位置に、距離目安線TmR_fを描画する。なお、なお、距離Mfは、距離Lfより短い値に予め定められる。例えば、距離Mfは、0.5(m)などの値に定められる。
そして、ECU20は、前方画像における左前輪経路TL_f、距離目安線TmL_f、右前輪経路TR_f、および距離目安線TmR_fの位置を示す前方経路画像を生成する(図5参照)。具体的には、ECU20は、上記仮想的な空間内において描画された左前輪経路TL_f、距離目安線TmL_f、右前輪経路TR_f、および距離目安線TmR_fを仮想空間内におけるフロントカメラ10の視点で撮像した画像を前方経路画像として生成する。なお、仮想空間内における仮想的なフロントカメラ10と仮想的な車両100との位置関係は、現実のフロントカメラ10と現実の車両100との位置関係と同様であるものとする。このような処理により、経路画像には、フロントカメラ10の視点から見た左前輪経路TL_f、距離目安線TmL_f、右前輪経路TR_f、および距離目安線TmR_fの位置が示される。ステップA24の処理を完了すると、ECU20は、処理をステップA25へ進める。
図3の説明に戻り、ステップA25において、ECU20は、前方画像に前方経路画像を重畳して重畳画像を生成する。具体的には、ECU20は、ステップA22において取得した前方画像中に、ステップA24において生成した前方経路画像を描画した重畳画像を生成する。例えば、ECU20は、ステップA22において図4に示す前方画像を取得し、ステップA24において図5に示す前方経路画像を生成した場合、当該前方画像中に当該前方経路画像を重畳して、図9に示す重畳画像を生成する。なお、図9は、重畳画像の一例を示す図である。以下では、前方画像に前方経路画像を重畳して生成された重畳画像を前方重畳画像と呼称する。ECU20は、ステップS25の処理を完了すると、処理をステップA30へ進め、上記重畳画像を表示装置30に表示させる。
上記ステップA22からステップA25の処理によれば、図9に示すように、左前輪経路TL_f、および右前輪経路TR_fが各々、左前輪51、および右前輪52の幅に応じた幅を有する帯状の画像で示される。したがって、ECU20は、前方画像中において、車輪が接地すると予想される路面の領域を正確に示すことができる。また、ECU20は左前輪経路TL_f、および右前輪経路TR_fを示す領域を、当該領域を囲う枠線によって示すため、ドライバーは前方重畳画像において、当該領域内部において前方画像を透過して視認することができる。故に、ドライバーは、左前輪51、および右前輪52が接地すると予測される路面の状態を正確に視認することができる。
また、前方重畳画像において、車両100の前端Efを基準とした距離を示す距離目安線TmR_f、および距離目安線TmL_fが表示されるため、ドライバーは、前方重畳画像を視認することにより、左前輪51および右前輪52各々を目標の位置へ移動するまでに要する距離を正確に把握することができる。
また、前方重畳画像において、左前輪経路TL_f、および右前輪経路TR_fは、車両100の前端から遠方となるほど、フロントカメラ10の取り付け公差などの影響により、正確性が低下する。その点、上記ステップA24の処理によれば、ECU20は、左前輪51および右前輪52の進行経路を示す領域のうち、車両100の前端から所定の距離Lfまでのみを、左前輪経路TL_f、および右前輪経路TR_fとして表示するため、正確性を保証可能な範囲で各車輪の進行経路を示すことができる。
なお、上記処理では、ECU20が車両100の前端Efから距離Mfの位置に距離目安線TmR_f、および距離目安線TmL_fを表示する例について説明したが、ECU20は、距離目安線TmR_f、および距離目安線TmL_fを、車両100の前端Efから一定の距離毎に複数表示しても構わない。
また、表示する経路の正確性を保証可能である場合、ECU20は、距離Lfを超えてさらに遠方まで左前輪51および右前輪52の進行経路を示しても構わない。また、ドライバーにとって、距離に関する情報が不要である場合には、ECU20は、距離目安線TmR_f、および距離目安線TmL_fの表示を省略しても構わない。また、ドライバーにとって各車輪の進行方向の情報のみが必要である場合、ECU20は、各車輪の進行経路を帯状の領域ではなく線分により示しても構わない。
ステップA26において、ECU20は、後方画像を取得する。具体的には、ECU20は、リアカメラ11により撮像された後方画像を取得する。ECU20は、ステップA26の処理を完了すると、処理をステップA27へ進める。
ステップA27において、ECU20は、上記ステップA23と同様にして舵角を取得する。ECU20は、ステップA27の処理を完了すると、処理をステップA28へ進める。
ステップA28において、ECU20は、後方経路画像を生成する。後方経路画像は、後方画像中において車両100の左後輪53および右後輪54が進行すると予想される経路を示す画像である。以下では、前方経路画像および後方経路画像を総称して経路画像と呼称する。
具体的には、先ず、ECU20は、上記ステップA24と同様にして、車両100の存在する仮想的な空間を生成する。そして、ECU20は、上記平面図における左後輪53の進行先を示す左後輪進行線TcL_r、および、右後輪54が進行する方向を示す右後輪進行線TcR_rを算出する。
車両100の舵角が直進方向を向いている場合、ECU20は、左後輪進行線TcL_r、および右後輪進行線TcR_rを車体の直進方向を示す軸線に平行な直線として算出する。一方、車両100の舵角が直進方向から左右何れかへ傾いた方向を向いている場合、ECU20は、上記ステップA24と同様にして、旋回中心Gの位置を算出する。そして、ECU20は、図10に示すように、車両100の旋回中心Gを中心とし、左後輪53の中心を通る円を左後輪進行線TcL_rとして算出する。同様に、ECU20は、車両100の旋回中心Gを中心とし、右後輪54の中心を通る円を右後輪進行線TcR_rとして算出する。なお、図10は、車両100の舵角が直進方向から右方向へ向いている場合の左後輪進行線TcL_fおよび右後輪進行線TcR_rを示す平面図である。
次いで、ECU20は、図11に示すように、左後輪進行線TcL_rを中心とする幅Wの帯状の領域であって、車両100の後端Erから予め定められた距離Lrまでの領域を左後輪経路TL_rとして算出する。同様に、ECU20は、左後輪進行線TcL_rを中心とする幅Wの帯状の領域であって、車両100の後端Erから予め定められた距離Lrまでの領域を左後輪経路TL_rとして算出する。なお、図11は、車両100の舵角が直進方向から右方向へ向いている場合の仮想空間内における左後輪経路TL_rおよび右後輪経路TR_rを示す平面図である。距離Lrは、例えば1(m)などの予め定められた任意の定数である。ECU20は、仮想空間内において、左後輪経路TL_rおよび右後輪経路TR_rで示す領域を、当該領域を囲う枠線で描画する。
次いで、ECU20は、左後輪経路TL_rの領域内において車両100の後端Erから距離Mrの位置に、距離目安線TmL_rを描画する。同様に、ECU20は、右後輪経路TR_rの領域内において車両100の後端Erから距離Mrの位置に、距離目安線TmR_rを描画する。なお、距離Mrは、距離Lrより短い値に予め定められる。例えば、距離Mrは、0.5(m)などの値に定められる。
そして、ECU20は、後方画像における左後輪経路TL_r、距離目安線TmL_r、右後輪経路TR_r、および距離目安線TmR_rの位置を示す後方経路画像を生成する。具体的には、ECU20は、上記仮想的な平面図に示される左後輪経路TL_r、距離目安線TmL_r、右後輪経路TR_r、および距離目安線TmR_rを仮想空間内におけるリアカメラ11の視点で撮像した後方画像を後方経路画像として生成する。なお、仮想空間内における仮想的なリアカメラ11と仮想的な車両100との位置関係は、現実のリアカメラ11と現実の車両100との位置関係と同様であるものとする。このような処理により、後方経路画像には、リアカメラ11の視点から見た左後輪経路TL_r、距離目安線TmL_r、右後輪経路TR_r、および距離目安線TmR_rの位置が示される。ステップA28の処理を完了すると、ECU20は、処理をステップA29へ進める。
なお、上記ステップA24およびステップA28の処理では、ECU20が仮想空間内に描画した各車輪の経路を仮想空間内におけるフロントカメラ10およびリアカメラ11の視点で撮像して経路画像を生成する例について説明したが、ECU20は、仮想空間内における各車輪の経路を示す位置座標を算出し、当該座標に基づいて経路画像を生成しても構わない。具体的には、ECU20は、仮想空間内における位置座標がフロントカメラ10およびリアカメラ11の画像上のどの画素に対応するかを示す変換式を予め記憶する。そして、ECU20は、各車輪の経路を示す位置座標および変換式に基づいて、経路画像を生成する。
また、ECU20は、上記ステップA24およびステップA28の処理において、現在の舵角に対応する経路画像を記憶装置から読み出すことによって、経路画像を取得しても構わない。このような処理を行う場合、ECU20は、各舵角に応じた複数の経路画像を、予め記憶装置に記憶しておく。
また、上記ステップA24およびステップA28の処理において示した各車輪の経路の算出方法は一例であり、ECU20は、従来周知の任意の手法を用いて各車輪の経路を算出して構わない。
図3の説明に戻り、ステップA29において、ECU20は、後方画像に後方経路画像を重畳して重畳画像を生成する。具体的には、ECU20は、ステップA26において取得した後方画像中に、ステップA28において生成した後方経路画像を描画した重畳画像を生成する。以下では、後方画像に後方経路画像を重畳して生成された重畳画像を後方重畳画像と呼称する。ECU20は、ステップS25の処理を完了すると、処理をステップA30へ進め、上記重畳画像を表示装置30に表示させる。
ステップA30において、ECU20は、重畳画像を表示させる。具体的には、ECU20は、ステップA25において生成された前方重畳画像、またはステップA29において生成された後方重畳画像を表示装置30へ出力する。ステップA30の処理を完了すると、ECU20は、処理を図2のステップA4へ進める。
上記オフロードモード処理によれば、ECU20は、シフトが後進レンジ以外のレンジに設定されている場合(例えば、シフトが前進レンジ、パーキングレンジ、ニュートラルレンジのいずれかに設定されている場合)、左前輪51および右前輪52の進行経路を示す前方重畳画像を表示する。また、ECU20は、シフトが後進レンジに設定されている場合に、左後輪53および右後輪54の進行経路を示す後方重畳画像を表示する。すなわち、ドライバーは、表示装置30の表示画面を切り替える操作をすることなく、シフト装置13のレンジを切り替えることにより、進行方向側の車輪の進行経路を示す重畳画像を表示装置30に表示させることができる。
なお、ECU20は、上記ステップA22からステップA25の処理を、シフトが前進レンジに設定されている場合にのみ実行しても構わない。すなわち、ECU20は、シフト装置13のレンジがニュートラルである場合には、前方重畳画像を自動的に表示させない制御処理を行っても良い。
また、ECU20は、シフト装置13のレンジの設定に関わらず、ドライバーの指示に応じて前方重畳画像、または後方重畳画像を選択して表示装置30に表示させても構わない。例えば、ECU20は、フロントカメラ10またはリアカメラ11を選択する画面を表示装置30に表示し、ドライバーがリアカメラ11を選択した場合には、シフト装置13が前進レンジに設定されていても、後方重畳画像を表示装置30に表示させる制御処理を行っても構わない。また、ECU20は、前方重畳画像および後方重畳画像を同時に並べて表示装置30に表示しても構わない。
図2の説明に戻り、ステップA3において、ECU20は、オンロードモード処理を実行する。オンロードモード処理は、上記オフロードモード処理におけるステップA23、ステップA24、ステップA27、およびステップA28の処理を省略した処理である。具体的には、ECU20は、前方経路画像および後方経路画像を生成することなく、前方画像または後方画像を表示装置30に出力する。なお、ECU20は、オンロードモード処理として、車両の運転支援に関する従来周知の任意の処理を行って良い。例えば、車両100の左右にカメラが備えられている場合、ECU20は、当該左右のカメラにより撮影された画像と、前方画像を合成した合成画像を表示装置30に出力する等の処理を実行しても構わない。ECU20は、ステップA3の処理を完了すると、処理をステップA4へ進める。
ステップA4において、ECU20は、終了処理が実行されたか否か判定する。具体的には、車両100のイグニッションスイッチがオフにされたか否かを判定する。ECU20は、車両100のイグニッションスイッチがオフにされたと判定した場合、終了処理が実行されたと判定し、図2に示すフローチャートの処理を終了する。一方、ECU20は、車両100のイグニッションスイッチがオフにされていないと判定した場合、終了処理が実行されていないと判定し、処理をステップA1へ戻す。
以上より、本発明の第1の実施形態に係る運転支援装置によれば、車両100のドライバーは、車両100の周囲の様子および当該車両の車輪の進行経路を示す重畳画像を視認して、当該進行経路を確認することができる。したがって、本発明の第1の実施形態に係る運転支援装置は、車両100が荒れた岩場などを走行する際など、ドライバーが各車輪の接地位置を予想しながら運転する必要がある状況において特に有用である。車両100が荒れた岩場などを走行する際、ドライバーは、図12に示すような重畳画像により車両100の各車輪の進行経路を確認しながら運転することで、脱輪等を回避しながら運転することが可能である。
なお、上記第1の実施形態では、ECU20が重畳画像において、各車輪の進行経路を示す帯状の領域を枠線によって示す例について説明したが、ECU20は、重畳画像において各車輪の進行経路を線で示しても構わない。
また、上記第1の実施形態では、左前輪51、右前輪52、左後輪53、および右後輪54の幅が何れも幅Wであり、ECU20が経路画像に示す各車輪の経路の幅がWに応じて設定する場合について説明したが、各車輪の幅が各々異なる場合、ECU20は、各車輪の経路の幅を、対応する車輪の幅に応じて設定しても良い。具体的には、左前輪51および右前輪52の幅が、各々W1、W2である場合、ECU20は、左前輪経路TL_fの幅をW1に応じて算出し、右前輪経路TR_fの幅をW2に応じて算出して良い。
(第2の実施形態)
上記第1の実施形態では、ドライバーがオフロードモードを選択した場合に、ECU20がオフロードモード処理を実行する例について説明したが、ECU20は、車両100がオフロードを走行しているか否かを自動的に判別して、ドライバーの操作を待機することなくオフロードモード処理を実行しても構わない。以下、第2の実施形態に係る運転支援装置について説明する。
先ず、第2の実施形態に係る運転支援装置の構成について説明する。図13は、第2の実施形態に係る運転支援装置の構成を示すブロック図の一例である。第2の実施形態に係る運転支援装置は、フロントカメラ10、リアカメラ11、ステアリングセンサ12、シフト装置13、操作スイッチ14、ECU20、および表示装置30に加え、さらに車輪速度センサ15を備える。
車輪速度センサ15は、車両100に搭載された各車輪の回転速度を検出する測定器である。車輪速度センサ15は、左前輪51の回転速度V1、右前輪52の回転速度V2、左後輪53の回転速度V3、および右後輪54の回転速度V4の値を検出し、各値を示すデータをECU20へ出力する。なお、回転速度V1、回転速度V2、回転速度V3、および回転速度V4の値は、対応する車輪の角速度であっても良いし、周速度であっても構わない。
なお、車輪速度センサ15以外の構成品については、上述第1の実施形態に係る運転支援装置と同様であるため、詳細な説明を省略する。
次いで、図14を参照して、第2の実施形態に係るECU20が実行する処理について説明する。図14は、第2の実施形態に係るECU20が実行する処理を示すフローチャートの一例である。ECU20は、例えば車両100のイグニッションスイッチがオンになった場合に、図14のステップB1の処理を開始する。
ステップB1において、ECU20は、上述ステップA1と同様にしてオフロードモードが選択されたか否かを判定する。ECU20は、オフロードモードが選択されたと判定した場合、処理をステップB3へ進める。一方、ECU20は、オフロードモードが選択されていないと判定した場合、処理をステップB2へ進める。
ステップB2において、ECU20は、オフロードを走行しているか否かを判定する。具体的には、ECU20は、回転速度V1、回転速度V2、回転速度V3、および回転速度V4の値を車輪速度センサ15から取得し、各値の差分値を算出する。そして、ECU20は、上記差分値が全て予め定められた閾値以下であるか否かを判定する。ECU20は、上記差分値のうち少なくとも何れか一つが上記閾値より大きい状態が一定時間以上継続した場合、何れかの車輪が空転していると判定する。そして、ECU20は、何れかの車輪が空転していると判定した場合、車両100がオフロードを走行していると判定し、処理をステップB3へ進める。一方、ECU20は、上記差分値が全て予め定められた閾値以下である場合、左前輪51、右前輪52、左後輪53、および右後輪54が全て接地していると判定する。そして、ECU20は、左前輪51、右前輪52、左後輪53、および右後輪54が全て接地していると判定した場合、車両100がオフロードを走行していないと判定し、処理をステップB4へ進める。
ステップB3において、ECU20は、上述図3と同様のオフロードモード処理のサブルーチンを実行する。ECU20は、ステップB3の処理を完了すると、処理をステップB5へ進める。
ステップB4において、ECU20は、上述ステップA3と同様にしてオンロードモード処理を実行する。ECU20は、ステップB4の処理を完了すると、処理をステップB5へ進める。
ステップB5において、ECU20は、上述ステップA4と同様にして、終了処理が実行されたか否かを判定する。ECU20は、ECU20は、終了処理が実行されたと判定した場合、図14に示すフローチャートの処理を終了する。一方、ECU20は、終了処理が実行されていないと判定した場合、処理をステップB1へ戻し、上記ステップB1からステップB4の処理を繰り返す。
上記第2の実施形態に係る運転支援装置によれば、ECU20は、車両100がオフロードを走行していると判定した場合、自動的にオフロードモード処理を実行する。したがって、ドライバーは、車両100がオフロードなど、車輪の通過位置に注意を払う必要性が高い路面を走行している際に、モードを切り替える操作をすることなく自動的に重畳画像を表示させて車輪の進行経路を確認することができる。
なお、ECU20は、ドライバーの操作によりオフロードモード以外のモードが意図的に選択されている場合には、ステップB2の処理を省略しても構わない。
なお、上記各実施形態では、ECU20が、各車輪の進行経路を示す領域を枠線によって示し、当該領域内部を透過して路面の様子を表示する例について説明したが、ECU20は、当該領域を示すことが可能であれば当該枠線を任意の色、形状、模様により表示しても構わない。また、ECU20は、各車輪の進行経路を示す領域内部を、任意の色や模様で塗りつぶして表示しても構わない。また、ECU20は、重畳画像において、経路画像を半透明で表示し、重畳された経路画像を透過してカメラ画像を視認可能としても構わない。
また、上記各実施形態では、ECU20が、オフロードモードが選択されたことを検出した場合、即、オフロードモード処理を実行する例について説明したが、ECU20は、ドライバーがオフロードモードを選択した後、さらに所定の操作を実行した場合にのみ重畳画像を表示しても構わない。例えば、ECU20は、オフロードモードが選択されたことを検出した後、さらにデファレンシャルロックをオンにされた場合や、トランスファーの設定が変更された場合にのみ重畳画像を表示しても構わない。
また、上記各実施形態では、運転支援装置が4輪自動車に搭載される例を示したが、3輪自動車や、4輪以上の車輪を備えたトレーラー車など、任意の数の車輪を備えた車両に搭載しても構わない。
本発明に係る運転支援装置は、車両周囲を示す画像において当該車両の車輪の進行経路を視認可能とする運転支援装置などとして有用である。
10 フロントカメラ
11 リアカメラ
12 ステアリングセンサ
13 シフト装置
14 操作スイッチ
15 車輪速度センサ
20 ECU
30 表示装置
51 左前輪
52 右前輪
53 左後輪
54 右後輪
100 車両
【0002】
まではできなかった。
[0006]
本発明は上記の課題を鑑みて成されたものであり、車両周囲を示す画像において当該車両の車輪の進行経路を視認可能とする運転支援装置を提供することを目的とする。
課題を解決するための手段
[0007]
上記の課題を解決するため、本発明は以下の構成を採用した。すなわち、本発明の第1の局面は、車両の進行方向を写した進行先画像を撮像する撮像手段と、車両の舵角を検出する舵角検出手段と、車両の進行方向側に備えられた各車輪の進行経路を舵角に基づいて予測し、撮像手段の視点から見た当該各車輪の進行経路を車両の車輪の幅に応じた幅を有する帯状の領域を囲う枠線により、車両の進行方向に予め定められた距離まで示す経路画像を生成する経路画像生成手段と、枠線の内部において前記進行先画像が表示されるように当該進行先画像に経路画像を重ね合わせた重畳画像を生成する重畳画像生成手段と、重畳画像を表示する画像表示手段とを備える運転支援装置である。
[0008]
[0009]
[0010]
[0011]
第5の局面は、第1の局面において、経路画像生成手段は、進行経路に沿って、車両の進行方向端部から予め定められた一定距離毎に目盛り線を付した経路画像を生成することを特徴とする。
[0012]
第6の局面は、第1の局面において、車両が走行する路面がオフロードであるか否かを判別する路面判別手段をさらに備え、経路画像生成手段は、路
【0004】
領域として算出する直線経路算出手段と、舵角が車両の直進方向以外の方向へ傾いている場合、仮想的な空間内において、舵角に基づいて車両の旋回円の中心点を算出し、各車輪の進行経路を、当該各車輪を通り中心点を中心とする円に沿った帯状の領域として算出する旋回経路算出手段と、直線経路算出手段、および経路算出手段により算出された各車輪の進行経路に基づいて、仮想的な空間内における撮像手段の視点に合わせた経路画を生成する画像生成手段とを含むことを特徴とする。
発明の効果
[0017]
第1の局面によれば、車両のドライバーは、車両周囲の様子および当該車両の車輪の進行経路を示す重畳画像を視認して、当該進行経路を確認することができる。したがって、例えば、ドライバーは、脱輪する危険がある路面を走行している場合など、上記重畳画像を見ながら舵角を変更する操作を行うことによって、当該脱輪を回避可能な車輪の進行経路を容易に探索することができる。
[0018]
また、第1の局面によれば、ドライバーは、重畳画像中において、車輪が接地すると予想される路面の領域を正確に把握することができる。
[0019]
また、第1の局面によれば、車輪が接地すると予想される路面の様子が経路を示す画像により隠されることがないため、ドライバーは、当該路面の様子を正確に視認することが可能である。
[0020]
また、第1の局面によれば、進行経路を示す画像のうち正確性が比較的高い領域のみを重畳画像において表示することが可能である。上記経路画像の正確性は、車両から遠方の領域ほど、撮像装置の取り付け誤差などの影響により、低下する傾向がある。そのため、表示する経路を所定距離までにとどめることにより、表示されている経路の精度を保証することができる。
[0021]
第5の局面によれば、ドライバーは経路画像に示される目盛り線に基づいて、車輪を目標の位置へ移動するまでに要する距離を正確に把握することができる。
[0022]
第6の局面によれば、車両がオフロードなど、車輪の通過位置に注意を払
上記の課題を解決するため、本発明は以下の構成を採用した。すなわち、本発明の第1の局面は、車両の進行方向を写した進行先画像を撮像する撮像手段と、車両の舵角を検出する舵角検出手段と、車両の進行方向側に備えられた各車輪の進行経路を舵角に基づいて予測し、撮像手段の視点から見た当該各車輪の進行経路を車両の車輪の幅に応じた幅を有する帯状の領域を囲う枠線により、車両の進行方向に予め定められた距離まで示す経路画像を生成する経路画像生成手段と、枠線の内部において前記進行先画像が表示されるように当該進行先画像に経路画像を重ね合わせた重畳画像を生成する重畳画像生成手段と、重畳画像を表示する画像表示手段とを備え、前記予め定められた距離は、前記画像表示手段で表示される前記重畳画像に含まれる前記経路画像の正確性が保証される距離であることを特徴とする、運転支援装置である。
の局面は、第1の局面において、経路画像生成手段は、進行経路に沿って、車両の進行方向端部から予め定められた一定距離毎に目盛り線を付した経路画像を生成することを特徴とする。
の局面は、第1の局面において、車両が走行する路面がオフロードであるか否かを判別する路面判別手段をさらに備え、経路画像生成手段は、路面がオフロードである場合に、経路画像を生成することを特徴とする。
の局面は、第の局面において、路面判定手段は、車両に備えられた各車輪の回転速度を取得する回転速度取得手段を含み、路面判定手段は、車輪から2つを選択して得られる全ての車輪の組み合わせについて、選択された車輪の回転速度同士の差分値を算出し、少なくとも何れかの組み合わせについての当該差分値が予め定められた閾値より大きい場合、車両が走行する路面がオフロードであると判定することを特徴とする。
の局面は、第1の局面において、車両のシフトレバーが前進レンジに設定されているか否かを判定する前進判定手段をさらに備え、撮像手段は、車両の前方を写した前方進行先画像を撮像する前方撮像手段を含み、経路画像生成手段は、車両のシフトレバーが前進レンジに設定されている場合、車両の前輪の進行経路を示す前輪経路画像を生成し、重畳画像生成手段は、車両のシフトレバーが前進レンジに設定されている場合、前方進行先画像に前輪経路画像を重ね合わせた前方重畳画像を生成し、画像表示手段は、車両のシフトレバーが前進レンジに設定されている場合、前方重畳画像を表示することを特徴とする。
の局面は、第1の局面において、車両のシフトレバーが後進レンジに設定されているか否かを判定する後進判定手段をさらに備え、撮像手段は、車両の後方を写した後方進行先画像を撮像する後方撮像手段を含み、経路画像生成手段は、車両のシフトレバーが後進レンジに設定されている場合、車両の後輪の進行経路を示す後輪経路画像を生成し、重畳画像生成手段は、車両のシフトレバーが後進レンジに設定されている場合、後方進行先画像に後輪経路画像を重ね合わせた後方重畳画像を生成し、画像表示手段は、車両のシフトレバーが後進レンジに設定されている場合、後方重畳画像を表示することを特徴とする。
の局面は、第1の局面において、経路画像生成手段は、舵角が車両の直進方向を向いている場合、車両の存在する仮想的な空間内において、各車輪の進行経路を、当該各車輪を通り直進方向に平行な直線に沿った帯状の領域として算出する直線経路算出手段と、舵角が車両の直進方向以外の方向へ傾いている場合、仮想的な空間内において、舵角に基づいて車両の旋回円の中心点を算出し、各車輪の進行経路を、当該各車輪を通り中心点を中心とする円に沿った帯状の領域として算出する旋回経路算出手段と、直線経路算出手段、および旋回経路算出手段により算出された各車輪の進行経路に基づいて、仮想的な空間内における撮像手段の視点に合わせた経路画を生成する画像生成手段とを含むことを特徴とする。
の局面によれば、ドライバーは経路画像に示される目盛り線に基づいて、車輪を目標の位置へ移動するまでに要する距離を正確に把握することができる。
の局面によれば、車両がオフロードなど、車輪の通過位置に注意を払う必要性が高い路面を走行している場合に自動的に当該車輪の経路を表示することができる。
の局面によれば、車両がオフロードを走行しているか否かを、容易に少ない処理量で判定することができる。具体的には、何れかの車輪の回転速度が他の車輪の回転速度より遅い場合など、何れかの車輪が空転していると考えられる状況において、車両がオフロードを走行していると判定することができる。
の局面によれば、ドライバーは車両前方に備えられた車輪の進行経路を確認することができる。また、シフトが前進レンジに設定された場合、自動的に車両前方を示す画像に前輪の進行経路が重ねて表示されるため、ドライバーは、シフト操作を行うだけで、車両前方に備えられた車輪の進行経路を容易に確認することができる。
の局面によれば、ドライバーは車両後方に備えられた車輪の進行経路を確認することができる。また、シフトが後進レンジに設定された場合、自動的に車両前方を示す画像に後輪の進行経路が重ねて表示されるため、ドライバーは、シフト操作を行うだけで、車両後方に備えられた車輪の進行経路を容易に確認することができる。
の局面によれば、各車輪の進行経路を車両の舵角に応じて正確に算出し、当該各車輪の進行経路を正確に画像表示することができる。
図1は、第1の実施形態に係る運転支援装置の構成を示すブロック図の一例である。 図2は、第1の実施形態に係るECU20が実行する処理を示すフローチャートの一例である。 図3は、オフロードモード処理を示すフローチャートの一例である。 図4は、前方画像の一例を示す図である。 図5は、前方経路画像の一例を示す図である。 図6は、舵角が車両100の直進方向を向いている場合の仮想空間内における左前輪経路TL_fおよび右前輪経路TR_fを示す平面図である。 図7は、車両100の舵角が直進方向から右方向へ向いている場合の左前輪進行線TcL_fおよび右前輪進行線TcR_fを示す平面図である。 図8は、車両100の舵角が直進方向から右方向へ向いている場合の仮想空間内における左前輪経路TL_fおよび右前輪経路TR_fを示す平面図である。 図9は、重畳画像の一例を示す図である。 図10は、車両100の舵角が直進方向から右方向へ向いている場合の左後輪進行線TcL_および右後輪進行線TcR_rを示す平面図である。 図11は、車両100の舵角が直進方向から右方向へ向いている場合の仮想空間内における左後輪経路TL_rおよび右後輪経路TR_rを示す平面図である。 図12は、車両100が岩場を走行する際の重畳画像の一例を示す図である。 図13は、第2の実施形態に係る運転支援装置の構成を示すブロック図の一例である。 図14は、第2の実施形態に係るECU20が実行する処理を示すフローチャートの一例である。
次いで、ECU20は、図6および図8に示すように、左前輪進行線TcL_fを中心とする幅Wの帯状の領域であって、車両100の前端Efから予め定められた距離Lfまでの領域を左前輪経路TL_fとして算出する。同様に、ECU20は、前輪進行線Tc_fを中心とする幅Wの帯状の領域であって、車両100の前端Efから予め定められた距離Lfまでの領域を前輪経路T_fとして算出する。なお、図8は、車両100の舵角が直進方向から右方向へ向いている場合の仮想空間内における左前輪経路TL_fおよび右前輪経路TR_fを示す平面図である。距離Lfは、例えば1(m)などの予め定められた任意の定数である。また、幅Wは、上述の通り左前輪51および右前輪52の幅に応じて予め定められた定数である。ECU20は、仮想空間内において、左前輪経路TL_fおよび右前輪経路TR_fを示す領域を、当該領域を囲う枠線で描画する。
車両100の舵角が直進方向を向いている場合、ECU20は、左後輪進行線TcL_r、および右後輪進行線TcR_rを車体の直進方向を示す軸線に平行な直線として算出する。一方、車両100の舵角が直進方向から左右何れかへ傾いた方向を向いている場合、ECU20は、上記ステップA24と同様にして、旋回中心Gの位置を算出する。そして、ECU20は、図10に示すように、車両100の旋回中心Gを中心とし、左後輪53の中心を通る円を左後輪進行線TcL_rとして算出する。同様に、ECU20は、車両100の旋回中心Gを中心とし、右後輪54の中心を通る円を右後輪進行線TcR_rとして算出する。なお、図10は、車両100の舵角が直進方向から右方向へ向いている場合の左後輪進行線TcL_および右後輪進行線TcR_rを示す平面図である。
次いで、ECU20は、図11に示すように、左後輪進行線TcL_rを中心とする幅Wの帯状の領域であって、車両100の後端Erから予め定められた距離Lrまでの領域を左後輪経路TL_rとして算出する。同様に、ECU20は、後輪進行線Tc_rを中心とする幅Wの帯状の領域であって、車両100の後端Erから予め定められた距離Lrまでの領域を後輪経路T_rとして算出する。なお、図11は、車両100の舵角が直進方向から右方向へ向いている場合の仮想空間内における左後輪経路TL_rおよび右後輪経路TR_rを示す平面図である。距離Lrは、例えば1(m)などの予め定められた任意の定数である。ECU20は、仮想空間内において、左後輪経路TL_rおよび右後輪経路TR_rで示す領域を、当該領域を囲う枠線で描画する。

Claims (10)

  1. 車両の進行方向を写した進行先画像を撮像する撮像手段と、
    前記車両の舵角を検出する舵角検出手段と、
    前記車両の進行方向側に備えられた各車輪の進行経路を前記舵角に基づいて予測し、前記撮像手段の視点から見た当該各車輪の進行経路を示す経路画像を生成する経路画像生成手段と、
    前記進行先画像に前記経路画像を重ね合わせた重畳画像を生成する重畳画像生成手段と、
    前記重畳画像を表示する画像表示手段とを備える運転支援装置。
  2. 前記経路画像生成手段は、前記車輪の進行経路を前記車両の車輪の幅に応じた幅を有する帯状の領域で示す前記経路画像を生成する、請求項1に記載の運転支援装置。
  3. 前記経路画像生成手段は、前記車輪の進行経路を前記車両の車輪の幅に応じた幅を有する帯状の領域を囲う枠線により示す前記経路画像を生成し、
    前記重畳画像生成手段は、前記枠線の内部において前記進行先画像が表示されるように当該進行先画像に前記経路画像を重ね合わせて前記重畳画像を生成する、請求項2に記載の運転支援装置。
  4. 前記経路画像生成手段は、前記各車輪の進行経路を前記車両の進行方向端部から予め定められた距離まで示す前記経路画像を生成する、請求項1に記載の運転支援装置。
  5. 前記経路画像生成手段は、前記進行経路に沿って、前記車両の進行方向端部から予め定められた一定距離毎に目盛り線を付した前記経路画像を生成する、請求項1に記載の運転支援装置。
  6. 前記車両が走行する路面がオフロードであるか否かを判別する路面判別手段をさらに備え、
    前記経路画像生成手段は、前記路面がオフロードである場合に、前記経路画像を生成する、請求項1に記載の運転支援装置。
  7. 前記路面判定手段は、前記車両に備えられた前記各車輪の回転速度を取得する回転速度取得手段を含み、
    前記路面判定手段は、前記車輪から2つを選択して得られる全ての車輪の組み合わせについて、選択された車輪の前記回転速度同士の差分値を算出し、少なくとも何れかの組み合わせについての当該差分値が予め定められた閾値より大きい場合、前記車両が走行する路面がオフロードであると判定する、請求項6に記載の運転支援装置。
  8. 前記車両のシフトレバーが前進レンジに設定されているか否かを判定する前進判定手段をさらに備え、
    前記撮像手段は、前記車両の前方を写した前方進行先画像を撮像する前方撮像手段を含み、
    前記経路画像生成手段は、前記車両のシフトレバーが前進レンジに設定されている場合、前記車両の前輪の進行経路を示す前輪経路画像を生成し、
    前記重畳画像生成手段は、前記車両のシフトレバーが前進レンジに設定されている場合、前記前方進行先画像に前記前輪経路画像を重ね合わせた前方重畳画像を生成し、
    前記画像表示手段は、前記車両のシフトレバーが前進レンジに設定されている場合、前記前方重畳画像を表示する、請求項1に記載の運転支援装置。
  9. 前記車両のシフトレバーが後進レンジに設定されているか否かを判定する後進判定手段をさらに備え、
    前記撮像手段は、前記車両の後方を写した後方進行先画像を撮像する後方撮像手段を含み、
    前記経路画像生成手段は、前記車両のシフトレバーが後進レンジに設定されている場合、前記車両の後輪の進行経路を示す後輪経路画像を生成し、
    前記重畳画像生成手段は、前記車両のシフトレバーが後進レンジに設定されている場合、前記後方進行先画像に前記後輪経路画像を重ね合わせた後方重畳画像を生成し、
    前記画像表示手段は、前記車両のシフトレバーが後進レンジに設定されている場合、前記後方重畳画像を表示する、請求項1に記載の運転支援装置。
  10. 前記経路画像生成手段は、
    前記舵角が前記車両の直進方向を向いている場合、前記車両の存在する仮想的な空間内において、前記各車輪の進行経路を、当該各車輪を通り前記直進方向に平行な直線に沿った帯状の領域として算出する直線経路算出手段と、
    前記舵角が前記車両の直進方向以外の方向へ傾いている場合、前記仮想的な空間内において、前記舵角に基づいて前記車両の旋回円の中心点を算出し、前記各車輪の進行経路を、当該各車輪を通り前記中心点を中心とする円に沿った帯状の領域として算出する旋回経路算出手段と、
    前記直線経路算出手段、および前記経路算出手段により算出された前記各車輪の進行経路に基づいて、前記仮想的な空間内における前記撮像手段の視点に合わせた前記経路画を生成する画像生成手段とを含む、請求項1に記載の運転支援装置。
JP2011523490A 2009-07-22 2009-07-22 運転支援装置 Active JP5337878B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/003444 WO2011010346A1 (ja) 2009-07-22 2009-07-22 運転支援装置

Publications (2)

Publication Number Publication Date
JPWO2011010346A1 true JPWO2011010346A1 (ja) 2012-12-27
JP5337878B2 JP5337878B2 (ja) 2013-11-06

Family

ID=43498836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011523490A Active JP5337878B2 (ja) 2009-07-22 2009-07-22 運転支援装置

Country Status (5)

Country Link
US (1) US8977446B2 (ja)
EP (1) EP2458574B1 (ja)
JP (1) JP5337878B2 (ja)
CN (1) CN102473353B (ja)
WO (1) WO2011010346A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9956913B2 (en) * 2013-03-28 2018-05-01 Aisin Seiki Kabushiki Kaisha Surroundings-monitoring device and computer program product

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3188480B1 (en) 2011-03-02 2019-01-02 Panasonic Intellectual Property Management Co., Ltd. Driving assistance device and towing vehicle
TWI421624B (zh) * 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
US20140218507A1 (en) * 2011-10-21 2014-08-07 Aisin Seiki Kabushiki Kaisha Vehicle driving support device
JP5862532B2 (ja) 2012-09-26 2016-02-16 アイシン精機株式会社 車両運転支援装置
KR102028952B1 (ko) * 2013-02-21 2019-10-08 삼성전자주식회사 휴대 단말에 의해 촬영된 이미지들을 합성하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR101459908B1 (ko) * 2013-05-20 2014-11-07 현대자동차주식회사 안전운전유도 게임 장치 및 방법
RU2631543C1 (ru) * 2013-08-29 2017-09-25 Ниссан Мотор Ко., Лтд. Устройство и способ для управления движением транспортного средства
JP6123761B2 (ja) * 2014-09-05 2017-05-10 トヨタ自動車株式会社 車両用表示装置
JP6447060B2 (ja) * 2014-11-28 2019-01-09 アイシン精機株式会社 車両周辺監視装置
JP6720729B2 (ja) 2016-06-28 2020-07-08 アイシン精機株式会社 表示制御装置
JP6816389B2 (ja) 2016-06-30 2021-01-20 アイシン精機株式会社 周辺監視装置
JP6729077B2 (ja) * 2016-06-30 2020-07-22 アイシン精機株式会社 車両周辺監視装置
JP6648662B2 (ja) * 2016-09-23 2020-02-14 トヨタ車体株式会社 車両の情報表示装置
DE102016219031B4 (de) * 2016-09-30 2024-04-11 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystems
US10857944B2 (en) * 2016-09-30 2020-12-08 Aisin Seiki Kabushiki Kaisha Periphery monitoring apparatus
US10339392B2 (en) * 2017-06-15 2019-07-02 Blackberry Limited Method and system for rear status detection
JP6696939B2 (ja) * 2017-07-04 2020-05-20 トヨタ自動車株式会社 周辺画像表示制御装置
US10549692B2 (en) 2017-07-28 2020-02-04 AISIN Technical Center of America, Inc. Vehicle surroundings monitoring apparatus
FR3082811B1 (fr) * 2018-06-20 2020-07-31 Psa Automobiles Sa Vehicule automobile equipe de capteurs anticollisions
US10497232B1 (en) * 2019-03-01 2019-12-03 Motorola Solutions, Inc. System and method for dynamic vehicular threat detection perimeter modification for an exited vehicular occupant
CN111336977A (zh) * 2020-02-17 2020-06-26 广州小马智行科技有限公司 车辆的车头车尾悬空的检测方法、装置、存储介质与车辆
CN111736604B (zh) * 2020-06-24 2023-02-21 中国第一汽车股份有限公司 一种远程驾驶控制方法、装置、设备及存储介质
DE102020210203A1 (de) 2020-08-12 2022-02-17 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Unterstützung eines Abbiegevorgangs einer mobilen Plattform
DE102021129212A1 (de) * 2020-11-23 2022-05-25 Denso Corporation Umgebungsbilderzeugungsvorrichtung und Anzeigesteuerungsverfahren
JP2022125859A (ja) * 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575279B2 (ja) 1998-05-22 2004-10-13 アイシン精機株式会社 駐車補助装置
JP2000016325A (ja) 1998-06-30 2000-01-18 Koji Okada 車両走行位置の確認方法及び車両走行位置の表示具
JP3183284B2 (ja) * 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
JP3575364B2 (ja) * 1999-12-28 2004-10-13 株式会社豊田自動織機 操舵支援装置
JP3607994B2 (ja) 2001-11-12 2005-01-05 トヨタ自動車株式会社 車両用周辺監視装置
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
JP3916240B2 (ja) 2003-08-07 2007-05-16 松下電器産業株式会社 運転支援装置及び運転支援方法
JP3938559B2 (ja) * 2003-08-28 2007-06-27 アイシン精機株式会社 車両後退支援装置
JP3883529B2 (ja) * 2003-08-28 2007-02-21 アイシン精機株式会社 車両後退支援装置
JP4075743B2 (ja) * 2003-09-01 2008-04-16 株式会社デンソー 車両走行支援装置
JP2006177862A (ja) * 2004-12-24 2006-07-06 Aisin Aw Co Ltd ナビゲーション装置
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
DE102005018408A1 (de) * 2005-04-20 2006-10-26 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Auswertung von Abstandsmessdaten eines Abstandsmesssystems eines Kraftfahrzeugs
JP4811154B2 (ja) * 2006-06-29 2011-11-09 トヨタ自動車株式会社 車両用走行装置
JP4939170B2 (ja) * 2006-10-27 2012-05-23 三菱重工業株式会社 追尾システム
JP4877813B2 (ja) 2007-05-10 2012-02-15 アルパイン株式会社 車両運転支援装置
JP4952429B2 (ja) 2007-08-02 2012-06-13 株式会社デンソー 運転支援システム
US8451107B2 (en) * 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
JP2009149249A (ja) * 2007-12-21 2009-07-09 Aisin Aw Co Ltd 画像表示装置及び画像表示プログラム、並びに画像表示装置を用いた運転支援装置
US20090179916A1 (en) 2008-01-10 2009-07-16 Williams Steven A Method and apparatus for calibrating a video display overlay
JP5035321B2 (ja) * 2009-11-02 2012-09-26 株式会社デンソー 車両周辺表示制御装置および車両周辺表示制御装置用のプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9956913B2 (en) * 2013-03-28 2018-05-01 Aisin Seiki Kabushiki Kaisha Surroundings-monitoring device and computer program product

Also Published As

Publication number Publication date
EP2458574B1 (en) 2016-03-30
US20120158256A1 (en) 2012-06-21
CN102473353A (zh) 2012-05-23
US8977446B2 (en) 2015-03-10
CN102473353B (zh) 2014-02-26
WO2011010346A1 (ja) 2011-01-27
JP5337878B2 (ja) 2013-11-06
EP2458574A4 (en) 2013-12-04
EP2458574A1 (en) 2012-05-30

Similar Documents

Publication Publication Date Title
JP5337878B2 (ja) 運転支援装置
JP6094266B2 (ja) 駐車支援装置、駐車支援方法およびプログラム
EP2981077B1 (en) Periphery monitoring device and program
US10077045B2 (en) Parking assist system, method, and non-transitory computer readable medium storing program
JP5429514B2 (ja) 駐車支援装置
JP6878196B2 (ja) 位置推定装置
JP2011046335A (ja) 駐車支援装置及び方法
US10855954B2 (en) Periphery monitoring device
US20190244324A1 (en) Display control apparatus
US11420678B2 (en) Traction assist display for towing a vehicle
JP2012056428A (ja) 運転支援装置
JP2014189097A (ja) 駐車支援装置
WO2018150642A1 (ja) 周辺監視装置
JP2007168560A (ja) 駐車支援装置
JP2014004930A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
WO2018198531A1 (ja) 駐車支援装置
US20200140011A1 (en) Parking assistance apparatus
US20200317267A1 (en) Parking assistance device
JP2014004931A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP2007251880A (ja) 車両用画像表示装置および画像合成方法
JP5651491B2 (ja) 画像表示システム、画像表示装置、及び、画像表示方法
WO2018025441A1 (ja) 周辺監視装置
JP2019069719A (ja) 駐車支援装置
JP4650252B2 (ja) 駐車支援装置
JP2011057139A (ja) 運転支援装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R151 Written notification of patent or utility model registration

Ref document number: 5337878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250