JP6020736B2 - 予測進路提示装置及び予測進路提示方法 - Google Patents

Description

本発明は、予測される車両の進路を算出して提示する予測進路提示装置及び予測進路提示方法に関する。
本出願は、２０１３年９月２７日に出願された日本国特許出願の特願２０１３―２００９６３に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。

この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車載された車速センサ、ステアリングセンサ等の検出結果と車両のパラメータに基づいて、ナビゲーションＥＣＵにより算出された車両の予測軌跡を、車載カメラが撮像した後方の映像に重畳した画像を表示する運転支援装置が知られている（特許文献１）。

特開２０１２−０１６２１３０号公報

車載装置に組み込まれていない可搬型の端末装置のディスプレイに操舵角に応じた車両の予測進路を提示する場合には、端末装置が操舵信号を車載装置から取得しなければならず、情報の処理に時間がかかり、予測進路を提示するタイミングが遅れる可能性があるという問題がある。

本発明が解決しようとする課題は、車載装置に組み込まれていない可搬型の端末装置が、車両の予測進路を遅延することなく提示することである。

本発明の予測進路提示装置は、車載カメラが撮像する路面の画像から路面に示された線図の端部を検出し、車両の移動に伴う端部の移動距離及び移動方向の変化に基づいて算出された車両の回転中心を基準とする予測進路を提示することにより、上記課題を解決する。

本発明によれば、車載装置から操舵角等の検出情報を取得することなく、車載カメラの撮像画像から抽出された情報に基づいて予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車載装置に組み込まれていない可搬型の端末装置に車両の予測進路を提示する場合であっても、遅延することなく適時に車両の予測進路を提示できる。

本実施形態の予測進路提示システムの構成図である。 本実施形態のカメラの設置例を示す図である。 本実施形態の予想進路の算出手法を説明するための第１の図である。 本実施形態の予想進路を算出する際に利用する操舵角とタイヤの切れ角との関係を示す図である。 本実施形態の予想進路の算出手法を説明するための第２の図である。 本実施形態の予測進路の算出処理を説明するための図である。 本実施形態の予測進路提示システムの制御手順を示すフローチャート図である。 本実施形態の予測進路の算出処理の制御手順を示すフローチャート図である。 予測進路が重畳された監視画像の一例を示す図である。 予測進路が重畳された監視画像の一例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、無線通信網を介して相互に情報の授受を行う、車載装置２００と予測進路提示装置１００とを備える予測進路提示システム１０００に、本発明を適用した場合を例にして説明する。

図１は、本実施形態に係る予測進路提示システム１０００のブロック構成図である。図１に示すように、本実施形態の予測進路提示システム１０００は、持ち運びが可能な携帯型の予測進路提示装置１００と、車載装置２００とを備える。以下、本明細書において、携帯型の予測進路提示装置１００を、端末装置１００とも称する。

まず、本実施形態の車載装置２００について説明する。本実施形態の車載装置２００は、一又は複数のカメラ１ａ〜１ｄ（以下、カメラ１と総称することもある）と、通信装置２と、車両コントローラ３とを備える。車載装置２００が備えるカメラ１、通信装置２、車両コントローラ３はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。

カメラ１ａ〜１ｄ（総称してカメラ１とも称する。以下、同じ。）は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成される。本実施形態では、撮像可能範囲が広い、広角のカメラ１を使用する。図２は、カメラ１ａ〜１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ〜１ｄは、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図２に示すように、フロントグリル部分などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（フロントビュー画像）を撮影する。左サイドミラー部分などの車両Ｖの左側方の所定位置に設置されたカメラ１ｂは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（左サイドビュー画像）を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Ｖのリア（後方）部分の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。右サイドミラー部分などの車両Ｖの右側方の所定位置に設置されたカメラ１ｄは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（右サイドビュー画像）を撮影する。なお、本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。同様に「車両の前方」には、正面のみならず、前方の左右側方をも含む。カメラ１ａ〜１ｄによって撮像された撮像画像は画像処理が施され、所望の監視画像が生成される。

本実施形態の車載装置２００の通信装置２は、カメラ１が撮像した撮像画像、車載装置２００で生成された監視画像を、端末装置１００へ送出する。カメラ１に無線通信機能を備えさせて、カメラ１から端末装置１００へ撮像画像を送出してもよい。カメラ１に無線通信機能と画像処理機能とを備えさせて、監視画像を端末装置１００へ送出してもよい。端末装置１００は、無線の通信網を介してカメラ１が撮像した撮像画像、車載装置２００が編集した監視画像の少なくとも一方を取得する。各カメラ１が撮像した画像には、各カメラ１の配置(アドレス)に応じた識別子が付されており、端末装置１００は、各識別子に基づいて各撮像画像がどの領域に関するものであるかを識別できる。座標変換により視点変換画像を得る画像変換処理の手法、視点変換画像から車両周囲を俯瞰視する監視装置の生成手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。本実施形態における監視画像は、複数の撮像画像から生成された車両周囲を俯瞰する、撮像画像の一態様である。つまり、撮像画像は、視点変換処理がされた監視画像を含む。

本実施形態における監視画像は、カメラ１により撮像された複数の車両の周辺の撮像画像を、車種ごとに定義された撮像パラメータを用いて、車両の上空の所定の視点から見下ろす所定の投影面に座標変換された視点変換画像である。各撮像画像を視点変換した視点変換画像から端末装置１００の提示装置３０において情報が提示される表示エリアと表示態様に応じて所定領域の画像を切り出し、各画像が車両を基準としてどの方向の監視画像であるかを識別するための符号を付する。この識別符号を参照し、各視点変換画像を配置して、車両上空から車両を見下ろした映像を示す監視画像を生成する。この監視画像は、所定の態様で提示装置３０に提示される。なお、監視画像の生成処理を車載装置２００側で行い、監視画像を端末装置１００へ送出してもよい。各カメラ１の撮像画像の取得、視点変換画像の生成を車載装置２００で行い、端末装置１００へ送出し、最終的な監視画像の生成処理を端末装置１００側で行ってもよい。

次に、本発明の端末装置１００（予測進路提示装置１００）について説明する。本実施形態の端末装置１００は、スマートフォン、タブレット型端末などの通信機能を備える可搬の携帯端末装置である。図１に示すように、本実施形態の端末装置１００は、制御装置１０と、通信装置２０と、提示装置３０とを備える。

本実施形態の通信装置２０は、外部の車載装置２００の通信装置２と相互に情報の授受を行う。通信装置２０は、車載装置２００から撮像画像を取得する。なお、撮像画像から生成される監視画像は、本発明の「撮像画像」に含まれる。

本実施形態の端末装置１００の提示装置３０は、後述する制御装置１０の指令に従い、後述する予測進路を、その表示エリアに所定の表示態様で提示する。本実施形態における表示態様は、表示する画像の種類、数、大きさ、表示時間、表示周期などの表示に関する規則である。表示態様は、表示情報として端末装置１００の提示装置３０に記憶されている。提示装置３０は、例えば、ディスプレイ３１、スピーカ３２である。

また、本実施形態の提示装置３０は、予測通路を構成する複数の予測通過点を提示する。予測通過点とは、予測進路を構成する複数の離散的な点である。予測通過点の位置を確認することにより、ドライバは自車両の動きを予測できる。また、離散的な予測通過点を算出し、提示することにより、予測進路を算出し、提示するよりも、処理コストを低減できる。

本実施形態の提示装置３０は、予測通過点を提示する際に、提示装置３０が備えるディスプレイ３１の表示座標系において各予測通過点の間隔が均一となるように、予測通過点を配置する。撮像画像の座標系において間隔が均一な各予測通過点を、そのままディスプレイ３１に表示すると、車両に近い手前の各予測通過点の距離は短く、車両から遠い奥の各予測通過点の距離は長くなる。予測通過点の間隔が不均一であると、予測通過点を結んで得られる予測進路が滑らかな線にならず、実際の車両の動きと乖離してしまう。本実施形態では、ディスプレイ３１の表示座標系において各予測通過点の間隔が均一となるようにするので、予測通過点を結んで得られる予測進路が実際の車両の動きに応じた滑らかな線を提示できる。

本実施形態の提示装置３０は、撮像画像（撮像画像から生成された監視画像を含む）に、予測進路及び／又は予測通過点を重畳して表示する。予測進路や予測通過点を撮像画像に重畳して提示することにより、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる。

本実施形態の制御装置１０について説明する。制御装置１０は、予測進路を導出して提示させる動作を制御するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、予測進路提示装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。本実施形態に係る予測進路提示装置１００の制御装置１０は、制御機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。

以下に、予測進路提示装置１００の制御装置１０が実現する画像取得機能、予測進路算出機能、提示制御機能について説明する。

まず、画像取得機能について説明する。制御装置１０は、通信装置２０を介して車両周囲の撮像画像を取得する。この撮像画像は、車載のカメラ１に撮像されたものであり、車両が走行する路面の画像を含む。

次に予測進路算出機能について説明する。本実施形態の制御装置１０は車両の予測進路を算出する。

ここで、予測進路の算出手法について図３Ａ〜図３Ｃに基づいて説明する。図３Ａは、車両Ｖが後退する（前進方向Ｆの反対方向に進行する）場面を示す。図３Ａに示すように、車両Ｖがハンドルを回転させ、操舵しながら後退すると、車両は、予測通過点ＷＲＰ，ＷＬＰに沿って移動する。この予測通過点ＷＲＰ，ＷＬＰを繋げた線は、車両が移動すると予測されるタイヤの軌跡に沿う予測進路ＷＲ，ＷＬである。同図に示すように、車両Ｖは回転中心Ｑを中心とする円弧の軌跡ＷＲ，ＷＬに沿って移動する。

なお、本例においては、車両の側面と予測進路ＷＲ，ＷＬとの距離を０．２５ｍとし、車両後端から０．５ｍの位置から３．５ｍの位置に至る３．０ｍの予測進路ＷＲ，ＷＬを算出する。進路予想線ＷＲ，ＷＬの定義するための各値は特に限定されず、車両の大きさ、車種、本機能が利用される場面に状況（例えば、駐車枠の広さなど）に応じて適宜に設定できる。

駐車操作時のように低速で移動する場合には、図３Ｂに示すように、ハンドルの回転角（操舵角）とタイヤの切れ角とは比例する。図３Ｂの対応情報を参照すれば、操舵角からタイヤの切れ角を得ることができる。ちなみに、図３Ｂに示す例では、ハンドルを限界まで切った（フル転舵）ときの角度が５８０度（１回転半以上ハンドルが回転した状態）において、タイヤの切れ角が３１度となるように構成されている。

また、図３Ｃに示すように、タイヤの切れ角とホイールベースＷが分かれば、ｔａｎ（θ）＝Ｗ／Ｒの関係から回転半径Ｒを求めることができる。ホイールベースＷは、前輪のタイヤＳＦＬ，ＳＦＲと後輪のタイヤＳＲＬ，ＳＲＲとの距離である。ホイールベースＷの値は予め一つの値又は車種に応じた値を設定しておいてもよいし、車載装置２００や図外のサーバから取得してもよい。

さらに、回転半径Ｒが分かれば、自車両の位置との関係から回転中心Ｑを求めることができる。これで、回転中心Ｑを基準とした、予測進路ＷＲ，ＷＬを求めることができる。このように、ハンドルの操舵角とホイールベースの情報を取得すれば、車両の予測進路を算出できる。

しかしながら、端末装置１００が、車両の操舵角等の情報を車載装置２００から得て、これらの情報を処理するには時間がかかり、予測進路の提示タイミングが遅れてしまう。提示タイミングが遅れた過去の予測進路は、ドライバにとって意味のない情報となってしまう。

これに対し、本実施形態の予測進路提示装置（端末装置）１００は、車両の操舵角（車両の検出値）や車両の諸元を用いることなく、予測進路を算出できる。具体的に本実施形態の予測進路提示装置（端末装置）１００は、車載カメラが撮像する路面の画像から路面に示された線図の端部を検出し、車両の移動に伴う端部の移動距離及び移動方向の変化に基づいて移動する車両の回転中心を算出し、その回転中心を基準とする予測進路を提示する。これにより、車載装置に組み込まれていない可搬型の端末装置１００が予測進路を提示するための処理コストを低減させ、その提示処理に要する時間を短縮させることができる。

以下、本実施形態の予測進路の算出手法を説明する。図４は、本実施形態の予測進路の算出手法を説明するための図である。

本実施形態の制御装置１０は、撮像画像に含まれる路面の画像からその路面に示された線図の端部を検出する。本例では、車両Ｖが走行する路面に線分Ｌ１が表示されている。本例の線分Ｌ１は移動後の車両Ｖの車長方向に沿う。本例の線分Ｌ１は駐車する車両を収容する駐車領域ＰＡを区分する駐車枠の一部である。路面に示された線図は、予め路面上に描いておいてもよいし、予測進路の算出のために帯状の物体を路上においてもよい。路面に示された線図の形状は特に限定されない。また、端部は、特定でき、他の画像と識別できれば、その形状は限定されない。本例のように、開放された端部であってもよいし、多角図形の頂点を形成する端部であってもよい。

端部Ｐ１が検出できたら、所定の操舵角を保って車両を後方に移動させる。検出された端部Ｐ１の位置は、車両の移動に伴い変化する。移動開始時ｔｏにおいて、車両Ｖと線分Ｌ１の端部Ｐ１との距離は相対的に大きく、離隔しているが、所定時間経過後のタイミングｔ１において、車両Ｖと線分Ｌ２の端部Ｐ２の距離は縮まり、接近する。つまり、車両Ｖの位置を基準とすると、線分Ｌ１の端部Ｐ１は線分Ｌ２の端部Ｐ２の位置に移動する。制御装置１０は、端部がＰ１からＰ２に至るまでの移動距離ΔＬと、その移動方向Δθを算出する。移動距離ΔＬと、その移動方向Δθは、車両移動前後の端部Ｐ１と端部Ｐ２との位置関係から求めることができる。移動距離ΔＬと移動方向Δθは、カメラ１の撮像画像の座標軸を基準に算出する。車長方向に沿う線Ｌ１と、端部Ｐ１から端部Ｐ２とを通る線（延長線を含む）とがなす移動方向Δθは、図４に示すように、回転中心角Δθに相当する。回転中心角Δθがわかれば、ΔＬ＝Ｒ・Δθの関係から回転半径Ｒを算出できる。回転半径Ｒと端部Ｐ１の位置とから回転中心Ｑ（Ｃｘ，Ｃｙ）を算出する。カメラ１の位置座標と車両の諸元データを用いて、対象車両の最小回転半径を求め、最小回転半径から回転中心Ｑをさらに正確に算出してもよい。

本実施形態では、車両を移動させる際に、最大の操舵角を保って移動させ、そのときに検出された端部Ｐ１の移動距離及び移動方向に基づいて回転中心を算出することが好ましい。これにより、最小回転半径に近い回転半径における回転中心を算出できる。一般に、駐車操作では、ドライバは最大の操舵角で初期操作をするので、実際の操舵に応じた予測進路を算出できる。

特に限定されないが、制御装置１０は、車両の移動に伴う端部Ｐ１の位置の変化を積算して、端部Ｐ１の移動距離ΔＬを求める。これにより、撮像画像上の端部Ｐ１の移動距離を正確に算出できる。

特に限定されないが、制御装置１０は、車両に取り付けられた車輪速センサのパルス信号の積算値に基づいて、端部Ｐ１の移動距離ΔＬを算出する。これにより、車両の移動距離を用いて撮像画像上の端部Ｐ１の移動距離を正確に算出できる。

また、端部Ｐ１の移動距離を求める際に、制御装置１０は、撮像画像から端部Ｐ１以外の画像上の特徴を検出し、車両の移動に伴う画像上の特徴の移動距離及び移動方向の変化に基づいて、端部Ｐ１の移動距離及び移動方向を算出する。端部Ｐ１は他の画像上の特徴とともに移動しているので、他の画像上の特徴の移動距離も考慮することにより、端部Ｐ１の移動距離を正確に算出できる。

また、端部Ｐ１の画像上の移動距離及び移動方向を正確に検出する観点から、制御装置１０は、車両の異なる位置に設けられた複数のカメラ１ａ〜１ｄが撮像した複数の撮像画像を取得し、取得した撮像画像から端部Ｐ１の移動距離及び移動方向を検出し、その車両の回転中心をそれぞれ求める。求めた複数の回転中心の値から一つの回転中心の値を求めることにより、端部Ｐ１の画像上の移動距離及び移動方向を正確に検出できる。複数の回転中心の値からキャリブレーション処理を行い正確な回転中心の値を導く。分散を考慮して平均値などの中央値を求めてもよいし、分散度の高い値（中央値から離隔した値）を削除して、分散値の低い（近似する値）から一の回転中心を求めてもよい。これにより、正確な回転中心の座標値を求めることができる。

そして、制御装置１０は、求めた回転中心を基準とし、図３Ａに示すように、車両の予測進路を導出する。予測進路の回転半径Ｒは、回転中心角Δθに基づき、ΔＬ＝Ｒ・Δθの関係から算出できる。

本実施形態の手法によれば、予測進路を算出する際に必要となる最小回転半径、ホイールベース、車長、車幅、最大切れ角などの車両の諸元情報を取得することなく、予想進路を算出できる。共用自動車を利用する場合のように、使用の度に車種が変更される場合においても、一々、車両の諸元情報を収集しなくても予想進路を算出できる。

次に、提示制御機能について説明する。本実施形態の端末装置１００の制御装置１０は、算出された予測進路を端末装置１００のディスプレイ３１に提示させる。制御装置１０は、ディスプレイ３１の表示エリアの大きさ、レイアウト、位置、画素の関する情報を参照し、求めた予測進路をディスプレイ３１に提示する。本実施形態では、監視画像（撮像画像、視点変換画像）の上に重畳させて、予測進路を提示させる。つまり、監視画像の座標を基準として、予測進路を描画する。

このように、本実施形態の端末装置（予測進路提示装置）１００によれば、車載装置２００から車速センサ、ステアリングセンサ等の検出結果と車両のパラメータ（車両の諸元データ）を取得することなく、車載カメラ１の撮像画像から予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車両の予測進路を車載装置に組み込まれていない可搬型の端末装置にリアルタイムに提示できる。

以下、本発明の実施形態の予測進路提示システム１０００の処理手順を説明する。図５は、本実施形態に係る予測進路提示システム１０００の制御手順を示すフローチャート、図６は、図５に示す予想進路の算出手法の制御手順を示すフローチャートである。

ステップ１０１〜１０５は車載装置２００側の処理であり、ステップ２０１〜２０３は端末装置１００側の処理である。

ステップ１０１において、本実施形態の車載装置２００のカメラ１は車両周囲を撮像して撮像画像を取得する。

車載装置２００の車両コントローラ３が備える画像処理機能は、撮像パラメータなどの変換情報を参照し、変換情報に含まれる自車両の車種に応じた撮像パラメータを読み出す。自車両の車種に応じた撮像パラメータは、通信装置２を介して外部のサーバから取得してもよい。

ステップ１０３において、車載装置２００のコントローラ３は、取得した撮像パラメータを用いて、撮像画像を視点変換し、車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する。

ステップ１０４において、車載装置２００の画像処理機能は、端末装置１００の表示エリア、表示態様を含む表示情報を取得する。そして、ステップ１０５において、画像処理装置４は、視点変換画像から端末装置１００の表示エリアと表示態様に応じた監視画像を生成する。車載装置２００は、生成した監視画像を端末装置１００へ送出する。端末装置１００の表示情報に応じた監視画像の生成は、端末装置１００側で行ってもよい。その場合には、車載装置２００は、ステップ１０１からステップ１０５へスキップし、で取得したカメラ１の撮像画像をそのまま端末装置１００へ送出する。

端末装置１００の処理であるステップ２０１において、端末装置１００と車載装置２００とは無線通信の確立を確認する。無線通信が確立したら、ステップ２０２において、端末装置１００は、車載装置２００が生成した監視画像を取得する。端末装置１００は、取得した監視画像を所定の表示規則に従い、ディスプレイ３１に提示する。ステップ２０３において、端末装置１００は、予測進路を算出し、これを監視画像上に描画する。

次に、本実施形態における予測進路の算出処理の制御手順を説明する。図６は、図５に示すステップ２０３のサブルーチンを示すフローチャートである。

図６に示すように、ステップ１０において、端末装置１００の制御装置１０は、車載装置２００から撮像画像を取得する。ステップ１１において、制御装置１０は、撮像画像に含まれる路面の画像から車両が走行する路面に示された線図の端部を検出する。制御装置１０は、車両の移動に伴って変化する線図の端部の位置を経時的に追跡する。制御装置１０は、端部の移動距離及び移動方向の変化量を算出する。

ステップ１２において、制御装置１０は、端部の移動距離及び移動方向の変化量に基づいて車両の回転半径を算出する。

ステップ１３において、制御装置１０は、得られた回転半径から移動する車両の回転中心を求める。ステップ１４において、複数の予測通過点を算出する。予測通過点を算出するタイミングは特に限定されず、所定周期で線図の端部の位置を検出する場合には、その終期で予測通過点を算出する。この場合は、各周期で検出された端部の位置に基づいて、予測通過点を算出する。

ステップ１５において、制御装置１０は、ディスプレイ３１に提示する際の位置を考慮して、算出した予測通過点間の距離を調整する。本実施形態では、予測通過点をカメラ１により撮像された監視画像（撮像画像又は視点変換画像）上に重畳する際に、予測通過点のピッチが均等になるように描画位置（表示位置）を調整する。ステップ１６において、制御装置１０は、調整した予測通過点を連結する。連結された予測通過点は、本実施形態の予測進路を構成する。

ステップ１７において、制御装置１０は、車両の予測進路を監視画像（撮像画像又は視点変換画像）上に描画する。図７Ａは、視点変換処理がされていない監視画像（つまり撮像画像）の上に、複数の予測通過点ＷＰ（図中丸印で示す）と、この予測通過点をつなげた左右のタイヤ位置に応じた予測進路ＷＲ，ＷＬとを重畳表示した例を示す。複数の予測通過点ＷＰの間の距離は均等となるように調整されている。ディスプレイ３１の表示座標上で複数の予測通過点ＷＰピッチが均等となるように調整されているので、予測通過点ＷＰから構成される予測進路ＷＲ，ＷＬを滑らかな曲線として表示できる。実際の車両は連続的に動くのに、角度の大きい頂点を備えた予測進路を提示すると、乗員は違和感を感じる可能性がある。本実施形態では、乗員が違和感を感じないように、実際の車両の動きに合った予測進路をディスプレイ３１に表示する。

図７Ｂは、端末装置１００のディスプレイ３１の左側領域に視点変換処理がされた監視画像（視点変換画像）を表示し、右側領域に視点変換処理がされていない監視画像（撮像画像）を表示する例を示す。同図に示すように、視点変換処理がされた監視画像（視点変換画像）と、視点変換処理がされていない監視画像（撮像画像）の両方に、複数の予測通過点ＷＰ（図中丸印で示す）と、この予測通過点を繋げた予測進路ＷＲ，ＷＰとを重畳表示した例を示す。

以上のとおり構成され、動作する本発明の実施形態に係る予測進路提示装置（端末装置）１００、予測進路提示システム１０００は、以下の効果を奏する。

［１］本実施形態の予測進路提示装置１００によれば、車載装置２００から車速センサ、ステアリングセンサ等の検出結果と車両のパラメータ（車両の諸元データ）を取得することなく、車載カメラ１の撮像画像から予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車両の予測進路を車載装置に組み込まれていない可搬型の端末装置１００にリアルタイムに提示できる。また、共用自動車のように利用の度に車種が変わる場合に、利用する車両のパラメータを一々取得しなくても、利用者のスマートフォンなどの端末装置に予測進路を提示できる。

［２］本実施形態の予測進路提示装置１００によれば、車両を移動させる際に、最大の操舵角を保って移動させ、そのときに検出された端部Ｐ１の移動距離及び移動方向に基づいて回転中心を算出することにより、最小回転半径に近い回転半径で回転中心を算出できる。一般に駐車操作において、ドライバは最大の操舵角で初期操作をするので、ドライバの実際の操作に応じた予測進路を算出できる。

［３］本実施形態の予測進路提示装置１００によれば、車両の移動に伴う端部Ｐ１の位置の変化を積算して、端部Ｐ１の移動距離ΔＬを求めるので、撮像画像上の端部Ｐ１の移動距離を正確に算出できる。

［４］本実施形態の予測進路提示装置１００によれば、車両に取り付けられた車輪速センサのパルス信号の積算値に基づいて端部Ｐ１の移動距離ΔＬを算出するので、車両の移動距離を用いて撮像画像上の端部Ｐ１の移動距離を正確に算出できる。

［５］本実施形態の予測進路提示装置１００は、端部Ｐ１の移動距離を求める際に、撮像画像から端部Ｐ１以外の画像上の特徴を検出し、車両の移動に伴う画像上の特徴の移動距離及び移動方向の変化に基づいて、端部Ｐ１の移動距離及び移動方向を算出する。端部Ｐ１は他の画像上の特徴とともに移動しているので、他の画像上の特徴の移動距離も考慮することにより、正確に端部Ｐ１の移動距離を算出できる。

［６］本実施形態の予測進路提示装置１００によれば、車両の異なる位置に設けられた複数のカメラから撮像画像を取得し、複数の撮像画像から車両の回転中心をそれぞれ求め、求めた複数の回転中心の値から一つの回転中心の値を求めるので、正確な回転中心の値を求めることができる

［７］本実施形態の予測進路提示装置１００によれば、予測進路ＷＲ，ＷＬ上に離散的に存在する予測通過点を求め、その点を繋げることにより線状の予測進路ＷＲ，ＷＬを求める。処理対象の数を限定し、処理コストを低減させるためである。ドライバは予測通過点の位置を確認することにより、自車両の動きを予測できる。また、離散的な予測通過点を算出し、提示することにより、予測進路を算出し、提示するよりも処理コストを低減できる。

［８］本実施形態の予測進路提示装置１００によれば、予測通過点の間隔を均一にするので、予測通過点を結んで得られる予測進路が滑らかな線となり、実際の車両の動きに一致する。

［９］本実施形態の予測進路提示装置１００によれば、予測進路や予測通過点を撮像画像に重畳して提示することにより、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる

［１０］本実施形態の予測進路算出方法によれば、上述の作用効果を奏する。

なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

本明細書では、本発明に係る予測進路提示システムの一態様として、予測進路提示装置１００（端末装置１００）と、車載装置２００とを有する予測進路提示システム１０００を説明するが、これに限定されるものではない。本発明に係る端末装置の一態様として、制御装置１０と、通信装置２０と、提示装置３０とを備える端末装置１００を説明するが、これに限定されるものではない。本発明に係る車載装置の一態様として、カメラ１ａ〜１ｄ，１と、通信装置２と、車両コントローラ３とを備える車載装置２００を説明するが、これに限定されるものではない。

本発明に係る画像取得手段と、予測進路算出手段と、提示手段とを有する予測進路提示装置の一態様として、画像取得機能と、予測進路算出機能と、提示制御機能とを実行する制御装置１０を備える予測進路提示装置１００（端末装置１００）を説明するが、これに限定されるものではない。

１０００…予測進路提示システム
１００…端末装置（予測進路提示装置）
１０…通信装置
２０…提示装置
２００…車載装置
１，１ａ〜１ｄ…カメラ
２…通信装置
３…車両コントローラ

Claims (10)

1. 車両に設けられたカメラの撮像画像を取得する画像取得手段と、
   前記撮像画像に含まれる路面の画像から当該路面に示された前記自車両の移動後の車長方向に沿う線図の端部を検出し、前記車両の移動に伴う前記端部の移動方向の変化から前記移動する車両の回転中心角を求め、前記回転中心角と前記端部の移動距離とを用いて回転半径を求め、前記回転半径と前記端部の位置とから前記移動する車両の回転中心を求め、前記回転中心を基準とする前記車両の予測進路を算出する予測進路算出手段と、
   前記算出された予測進路を提示する提示手段と、を備えることを特徴とする車両用の予測進路提示装置。
2. 前記予測進路算出手段は、前記車両が最大の操舵角を保って移動するときに検出された前記端部の移動距離及び移動方向に基づいて、前記移動する車両の回転中心を算出することを特徴とする請求項１に記載の車両用の予測進路提示装置。
3. 前記予測進路算出手段は、前記車両の移動に伴う前記端部の位置の変化を積算して、前記端部の移動距離を求めることを特徴とする請求項１又は２に記載の車両用の予測進路提示装置。
4. 前記予測進路算出手段は、前記車両に取り付けられた車輪速センサのパルス信号の積算値に基づいて、前記端部の移動距離を求めることを特徴とする請求項１又は２に記載の車両用の予測進路提示装置。
5. 前記予測進路算出手段は、前記撮像画像から前記端部以外の画像上の特徴を検出し、前記車両の移動に伴う前記画像上の特徴の移動距離及び移動方向の変化に基づいて、前記端部の移動距離及び移動方向を算出することを特徴とする請求項１〜４の何れか一項に記載の車両用の予測進路提示装置。
6. 前記画像取得手段は、車両の異なる位置に設けられた複数のカメラが撮像した複数の撮像画像を取得し、
   前記予測進路算出手段は、前記取得した撮像画像から前記車両の回転中心をそれぞれ求め、前記求めた複数の回転中心の値から一つの回転中心の値を求めることを特徴とする請求項１〜５の何れか一項に記載の車両用の予測進路提示装置。
7. 前記予測進路算出手段は、前記車両の予測進路を構成する複数の離散的な予測通過点を算出し、
   前記提示手段は、前記複数の予測通過点を提示することを特徴とする請求項１〜６の何れか一項に記載の車両用の予測進路提示装置。
8. 前記提示手段は、前記予測通過点を提示する際に、前記提示手段が備えるディスプレイの表示座標系において前記予測通過点の間隔が均一となるように、当該予測通過点を配置することを特徴とする請求項７に記載の車両用の予測進路提示装置。
9. 前記提示手段は、前記撮像画像に前記予測進路を重畳して表示することを特徴とする請求項１〜８の何れか一項に記載の車両用の予測進路提示装置。
10. コンピュータに、
    車両に設けられたカメラの撮像画像に含まれる路面の画像から当該路面に示された前記自車両の移動後の車長方向に沿う線図の端部を検出するステップと、
    前記車両の移動に伴う前記端部の移動方向の変化から前記移動する車両の回転中心角を求め、前記回転中心角と前記端部の移動距離とを用いて回転半径を求め、前記回転半径と前記端部の位置とから前記移動する車両の回転中心を求め、前記回転中心を基準とする前記車両の予測進路を算出するステップと、
    前記算出された予測進路を外部に出力するステップと、を実行させる車両用の予測進路提示方法。