JPWO2015045568A1 - 予測進路提示装置及び予測進路提示方法 - Google Patents

Abstract

車両に設けられたカメラの撮像画像を取得する画像取得機能と、撮像画像に含まれる路面の画像から当該路面に示された線図の端部を検出し、車両の移動に伴う端部の移動距離及び移動方向の変化に基づいて、移動する車両の回転中心を求め、回転中心を基準とする車両の予測進路を算出する予測進路算出機能と、算出された予測進路を提示する提示制御機能と、を実行する制御装置（１０）を備える予測進路提示装置（１００）を提供する。

Description

本発明は、予測される車両の進路を算出して提示する予測進路提示装置及び予測進路提示方法に関する。
本出願は、２０１３年９月２７日に出願された日本国特許出願の特願２０１３―２０００９６４に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。

この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車載された車速センサ、ステアリングセンサ等の検出結果と車両のパラメータに基づいて、ナビゲーションＥＣＵにより算出された車両の予測軌跡を、車載カメラが撮像した後方の映像に重畳した画像を表示する運転支援装置が知られている（特許文献１）。

特開２０１２−０１６２１３０号公報

車載装置に組み込まれていない可搬型の端末装置のディスプレイに操舵角に応じた車両の予測進路を提示する場合には、端末装置が操舵信号を車載装置から逐次取得しなければならず、情報の処理に時間がかかり、予測進路を提示するタイミングが遅れる可能性があるという問題がある。

本発明が解決しようとする課題は、車載装置に組み込まれていない可搬型の端末装置が、車両の予測進路を遅延することなく提示することである。

本発明の予測進路提示装置は、車載カメラの撮像画像のエッジの特徴からタイヤの切れ角を検出し、切れ角に基づいて算出された車両の回転中心を基準とする予測進路を提示することにより、上記課題を解決する。

本発明によれば、車載装置から操舵角等の検出情報を取得することなく、車載カメラの撮像画像から抽出された情報に基づいて予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車載装置に組み込まれていない可搬型の端末装置に車両の予測進路を提示する場合であっても、車両の予測進路を遅延することなく提示できる。

本実施形態の予測進路提示システムの構成図である。 本実施形態のカメラの設置例を示す図である。 図２Ａに示すカメラ１ｂ，１ｄの一例を示す図である。 図２Ｂに示すカメラ１ｂ，１ｄの撮像画像の一例を示す図である。 本実施形態の予想進路の算出手法を説明するための第１の図である。 本実施形態の予想進路を算出する際に利用する操舵角とタイヤの切れ角との関係を示す図である。 本実施形態の予想進路の算出手法を説明するための第２の図である。 本実施形態の予測進路の算出処理を説明するための図である。 本実施形態の予測進路提示システムの制御手順を示すフローチャート図である。 本実施形態の予測進路の算出処理の制御手順を示すフローチャート図である。 予測進路が重畳された監視画像の一例を示す図である。 予測進路が重畳された監視画像の一例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、無線通信網を介して相互に情報の授受を行う、車載装置２００と予測進路提示装置１００とを備える予測進路提示システム１０００に、本発明を適用した場合を例にして説明する。

図１は、本実施形態に係る予測進路提示システム１０００のブロック構成図である。図１に示すように、本実施形態の予測進路提示システム１０００は、持ち運びが可能な携帯型の予測進路提示装置１００と、車載装置２００とを備える。以下、本明細書において、携帯型の予測進路提示装置１００を、端末装置１００とも称する。

まず、本実施形態の車載装置２００について説明する。本実施形態の車載装置２００は、一又は複数のカメラ１ａ〜１ｄ（以下、カメラ１と総称することもある）と、通信装置２と、車両コントローラ３とを備える。車載装置２００が備えるカメラ１、通信装置２、車両コントローラ３はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。

カメラ１ａ〜１ｄ（総称してカメラ１とも称する。以下、同じ。）は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成される。本実施形態では、撮像可能範囲が広い、広角のカメラ１を使用する。図２Ａは、カメラ１ａ〜１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ〜１ｄは、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図２Ａに示すように、フロントグリル部分などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（フロントビュー画像）を撮影する。左サイドミラー部分などの車両Ｖの左側方の所定位置に設置されたカメラ１ｂは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（左サイドビュー画像）を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Ｖのリア（後方）部分の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。右サイドミラー部分などの車両Ｖの右側方の所定位置に設置されたカメラ１ｄは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（右サイドビュー画像）を撮影する。なお、本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。同様に「車両の前方」には、正面のみならず、前方の左右側方をも含む。カメラ１ａ〜１ｄによって撮像された撮像画像は画像処理が施され、所望の監視画像が生成される。

図２Ｂは、図２Ａに示す右ドアミラーのカメラ１ｄを車両前方側から見た図である。左ドアミラーのカメラ１ｂは右ドアミラーのカメラ１ｄと対称に表れるため、図示を省略する。図２Ｂに示すように、右ドアミラー（左ドアミラー）のハウジングＨには、カメラ１ｄ（１ｂ）が設けられている。カメラ１ｄ（１ｂ）は、通常時において、その撮像方向が車両の下側、つまり走行路面側に向くように取り付けられている。上述したとおり、カメラ１ｄ（１ｂ）はＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、所定の撮像方向の映像を撮像する。なお、特に限定されないが、本実施形態のカメラ１ｄ（１ｂ）は、広角のカメラを使用することが好ましい。

図２Ｂに示すように、本実施形態のドアミラーには、ハザードランプとして機能する照明装置ＬＰが設けられている。このドアミラーに設けられた照明装置ＬＰは点灯時においてタイヤ近傍に光を照射する。照明装置ＬＰは、ハザードランプとして機能するほか、カメラ１の撮像時に光を照射するフラッシュ装置として機能する。

また、本実施形態のドアミラーには、周囲の明るさを検知する明度検知装置ＬＤが設けられている。本実施形態では、カメラ１ｄ、１ｂが周囲の明るさを検知する明度検知装置ＬＤとして機能する。もちろん、カメラ１ｄ，１ｂとは別個に明度検知装置ＬＤを設けてもよい。

以下、カメラ１ｄ、１ｂを動かす手法について説明する。本実施形態のカメラ１ｄ、１ｂが設けられている各ドアミラーＤＭのハウジンングＨ内部には、各ドアミラーＤＭのハウジングＨを回転駆動させるモータを含むハウジング駆動機構ＨＭがそれぞれ設けられている。本実施形態の各ハウジング駆動機構ＨＭは、車載装置２００又は外部の端末装置１００からの駆動命令やミラーコントロールスイッチからの入力指令に従い、電源が供給されると、各ハウジングＨを図中に示すｘ軸、ｙ軸、ｚ軸を回転軸として回転駆動させ、各ドアミラーＤＭの向きを上下左右に変更させる。ちなみに、ｘ軸は車両の車軸方向に沿い、ｙ軸は車両の長さ方向に沿い、ｚ軸は車両の高さ方向（重力方向）に沿う方向である。

具体的に、図２Ｂに示す右ドアミラーＤＭは、各ハウジング駆動機構ＨＭにより、ｙ軸を回転軸として向きを変えることができる。具体的に、ハウジングＨを、ｙ軸を回転軸として駆動させると、図２ＢのハウジングＨに点Ｑで示す部分は軌道ｑに沿って下側（ｚ軸側）へ移動させることができる。つまり路面に対して略直角に下方向を撮像していたカメラ１ｄの撮像方向は、車両Ｖのタイヤ近傍乃至タイヤの側面（ホイール）側にシフトさせることが可能である。つまり、ｙ軸を回転軸としてハウジングＨを駆動させることにより、カメラ１ｄ、１ｂにより、車両Ｖのタイヤの側面、タイヤとホイールとの境界を撮像できる。また、ｚ軸を回転軸としてドアミラーＤＭのハウジングＨを駆動することにより、カメラ１ｄ、１ｄの撮像位置を車体に対して接近離隔させることができるとともに、ドアミラー１，２を格納する（車体側に折り畳む）ことができる。さらに、ｘ軸を回転軸としてドアミラーＤＭのハウジングＨを駆動することにより、カメラ１ｄ、１ｄの撮像方向を前後に調整できる。各ハウジング駆動機構ＨＭは、車載装置２００、端末装置１００からｘ軸成分、ｙ軸成分、ｚ軸成分のいずれか一つ以上の成分の指定を含む駆動命令に従い、一方向だけではなく、各ハウジングＨ及びカメラ１ｄ、１ｂを任意の方向に向けることができる。このように、ハウジング駆動機構ＨＭを稼働させることにより、通常時にはタイヤ近傍と道路の路肩近傍を撮像し、必要に応じてタイヤの近傍とタイヤの側面を撮像することができる。なお、上述した各ハウジング駆動機構ＨＭの具体的な構成及び動作は特に限定されず、出願時に知られているドアミラーコントロールシステムに用いられる機構を適宜に用いることができる。

本実施形態では、左右のドアミラーに設けられカメラ１ｄ（１ｂ）により、車両Ｖのタイヤの側面、具体的にはタイヤとホイールとの境界を撮像する。図２Ｃは、タイヤとホイールとの境界を含む、カメラ１ｂにより撮像された撮像画像の一例である。上述したように広角のカメラ１ｄ、１ｂを採用することにより、車両Ｖのタイヤの側面を撮像してもよいし、カメラ１ｄ、１ｂを動かして車両Ｖのタイヤの側面を撮像してもよい。なお、図２Ｃに示す例のように、車両の左側の側面に沿う車横基準ラインと、車両の車幅方向に沿う前方位置の目安を示す前端基準ラインとを重畳して表示してもよい。

本実施形態の車載装置２００の通信装置２は、カメラ１が撮像した撮像画像、車載装置２００で生成された監視画像を、端末装置１００へ送出する。カメラ１に無線通信機能を備えさせて、カメラ１から端末装置１００へ撮像画像を送出してもよい。カメラ１に無線通信機能と画像処理機能とを備えさせて、監視画像を端末装置１００へ送出してもよい。端末装置１００は、無線の通信網を介してカメラ１が撮像した撮像画像、車載装置２００が編集した監視画像の少なくとも一方を取得する。各カメラ１が撮像した画像には、各カメラ１の配置(アドレス)に応じた識別子が付されており、端末装置１００は、各識別子に基づいて各撮像画像がどの領域に関するものであるかを識別できる。座標変換により視点変換画像を得る画像変換処理の手法、視点変換画像から車両周囲を俯瞰視する監視装置の生成手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。本実施形態における監視画像は、複数の撮像画像から生成された車両周囲を俯瞰する、撮像画像の一態様である。つまり、撮像画像は、視点変換処理がされた監視画像を含む。

本実施形態における監視画像は、カメラ１により撮像された複数の車両の周辺の撮像画像を、車種ごとに定義された撮像パラメータを用いて、車両の上空の所定の視点から見下ろす所定の投影面に座標変換された視点変換画像である。各撮像画像を視点変換した視点変換画像から端末装置１００の提示装置３０において情報が提示される表示エリアと表示態様に応じて所定領域の画像を切り出し、各画像が車両を基準としてどの方向の監視画像であるかを識別するための符号を付する。この識別符号を参照し、各視点変換画像を配置して、車両上空から車両を見下ろした映像を示す監視画像を生成する。この監視画像は、所定の態様で提示装置３０に提示される。なお、監視画像の生成処理を車載装置２００側で行い、監視画像を端末装置１００へ送出してもよい。各カメラ１の撮像画像の取得、視点変換画像の生成を車載装置２００で行い、端末装置１００へ送出し、最終的な監視画像の生成処理を端末装置１００側で行ってもよい。

次に、本発明の端末装置１００（予測進路提示装置１００）について説明する。本実施形態の端末装置１００は、スマートフォン、タブレット型端末などの通信機能を備える可搬の携帯端末装置である。図１に示すように、本実施形態の端末装置１００は、制御装置１０と、通信装置２０と、提示装置３０と、加速度センサ４０とを備える。

本実施形態の通信装置２０は、外部の車載装置２００の通信装置２と相互に情報の授受を行う。通信装置２０は、車載装置２００から撮像画像を取得する。なお、撮像画像から生成される監視画像は、本発明の「撮像画像」に含まれる。

本実施形態の端末装置１００の提示装置３０は、後述する制御装置１０の指令に従い、後述する予測進路を、その表示エリアに所定の表示態様で提示する。本実施形態における表示態様は、表示する画像の種類、数、大きさ、表示時間、表示周期などの表示に関する規則である。表示態様は、表示情報２１として端末装置１００の提示装置３０に記憶されている。提示装置３０は、例えば、ディスプレイ３１、スピーカ３２である。

また、本実施形態の提示装置３０は、予測通路を構成する複数の予測通過点を提示する。予測通過点とは、予測進路を構成する複数の離散的な点である。予測通過点の位置を確認することにより、ドライバは自車両の動きを予測できる。また、離散的な予測通過点を算出し、提示することにより、予測進路を算出し、提示するよりも、処理コストを低減できる。

本実施形態の提示装置３０は、予測通過点を提示する際に、提示装置３０が備えるディスプレイ３１の表示座標系において各予測通過点の間隔が均一となるように、予測通過点を配置する。撮像画像の座標系において間隔が均一な各予測通過点を、そのままディスプレイ３１に表示すると、車両に近い手前の各予測通過点の距離は短く、車両から遠い奥の各予測通過点の距離は長くなる。予測通過点の間隔が不均一であると、予測通過点を結んで得られる予測進路が滑らかな線にならず、実際の車両の動きと乖離してしまう。本実施形態では、ディスプレイ３１の表示座標系において各予測通過点の間隔が均一となるようにするので、予測通過点を結んで得られる予測進路が実際の車両の動きに応じた滑らかな線を提示できる。

本実施形態の提示装置３０は、撮像画像（撮像画像から生成された監視画像を含む）に、予測進路及び／又は予測通過点を重畳して表示する。予測進路や予測通過点を撮像画像に重畳して提示することにより、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる。

本実施形態の加速度センサ４０は、端末装置１００の動きに応じた加速度を検出する。加速度センサ４０の出力値により、端末装置１００の移動方向及び移動速度を取得できる。端末装置１００が車両に持ち込まれ、車両とともに移動する場合には、端末装置１００の加速度センサ４０の出力値は、車両の移動方向及び移動速度とみなすことができる。つまり、端末装置１００は、加速度センサ４０の出力値に基づいて、車両が直進状態であるか、車両が右転舵状態であるか、車両が左転舵状態であるかを判断できる。

本実施形態の制御装置１０について説明する。制御装置１０は、予測進路を導出して提示させる動作を制御するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、予測進路提示装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。本実施形態に係る予測進路提示装置１００の制御装置１０は、制御機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。

以下に、予測進路提示装置１００の制御装置１０が実現する画像取得機能、予測進路算出機能、提示制御機能について説明する。

まず、画像取得機能について説明する。制御装置１０は、通信装置２０を介して車両周囲の撮像画像を取得する。この撮像画像は、車載のカメラ１に撮像されたものであり、その車両のタイヤの少なくとも一部を含む撮像画像を取得する。本実施形態では、タイヤの画像に基づいてタイヤの切れ角を検出するため、タイヤが含まれる撮像画像を取得する。撮像画像にはタイヤの全部の画像が含まれる必要はなく、タイヤの一部の画像が含まれていればよい。特に限定されないが、タイヤとホイールとの境界が含まれる撮像画像を取得することが好ましい。一般にタイヤの色は黒であり、一般にホイールの色は白色乃至金属色である。タイヤとホイールの明度の差は大きいため、両社の境界をエッジ画像として正確に検出できる可能性が高い。もちろん、タイヤと路面との境界が含まれる撮像画像を取得してもよい。タイヤと路面との間にも明度差があり、その境界をエッジ画像として検出できるからである。

タイヤの少なくとも一部を含む撮像画像は、先述した、左右のドアミラー付近に設けられたカメラ１ｂ、１ｄ（図２Ａ、２Ｂを参照）により撮像することができる。

本実施形態の制御装置１０は、車両の転舵状態に応じて取得する撮像画像を選択する。具体的に、制御装置１０は、車両が右転舵状態である場合には、車両の右側に設けられた右側カメラ１ｄにより撮像された右側撮像画像を取得し、車両が左転舵状態である場合には、車両の左側に設けられた左側カメラ１ｂにより撮像された左側撮像画像を取得する。

本実施形態の制御装置１０は、右転舵状態である場合には、前輪が右方向に傾くため、右側のサイドミラーのカメラ１ｄの撮像画像には前輪のタイヤとホイールとの境界の画像が含まれるが、左側のサイドミラーのカメラ１ｂの撮像画像は、主に前輪のタイヤの後方乃至内側の画像となり、タイヤとホイールとの境界の画像はタイヤの影になって含まれない。同様に、左転舵状態である場合には、前輪が左方向に傾くため、左側のサイドミラーのカメラ１ｂの撮像画像には前輪のタイヤとホイールとの境界の画像が含まれるが、右側のサイドミラーのカメラ１ｄの撮像画像は、主に前輪のタイヤの後方乃至内側の画像となり、タイヤとホイールとの境界の画像はタイヤの影になって含まれない。このため、本実施形態の制御装置１０は、右転舵又は左転舵の状態に応じて、取得する撮像画像を選択する。タイヤの切れ角が検出できる撮像画像のみを取得し、タイヤの切れ角が検出できない撮像画像を取得しないようにできるので、無駄な通信処理が行われることを避けることができる。

車両が右転舵状態であるか又は左転舵状態であるかの判断は、車両内に持ち込まれ、車両とともに移動する端末装置１００が備える加速度センサ（Ｇセンサ）４０の検出結果に基づいて判断できる。もちろん、車両前方の撮像画像のオプティカルフローの向きに基づいて車両の転舵方向を判断してもよい。また、車載装置２００のウィンカー情報などを取得してもよい。

次に予測進路算出機能について説明する。本実施形態の制御装置１０は、車両の予測進路を算出する。

ここで、予測進路の算出手法について図３Ａ〜図３Ｃに基づいて説明する。図３Ａは、車両Ｖが後退する（前進方向Ｆの反対方向に進行する）場面を示す。図３Ａに示すように、車両Ｖがハンドルを回転させ、操舵しながら後退すると、車両は、予測通過点ＷＲＰ，ＷＬＰに沿って移動する。この予測通過点ＷＲＰ，ＷＬＰを繋げた線は、車両が移動すると予測されるタイヤの軌跡に沿う予測進路ＷＲ，ＷＬである。同図に示すように、車両Ｖは回転中心Ｑを中心とする円弧の軌跡ＷＲ，ＷＬに沿って移動する。

なお、本例においては、車両の側面と予測進路ＷＲ，ＷＬとの距離を０．２５ｍとし、車両後端から０．５ｍの位置から３．５ｍの位置に至る３．０ｍの予測進路ＷＲ，ＷＬを算出する。進路予想線ＷＲ，ＷＬの定義するための各値は特に限定されず、車両の大きさ、車種、本機能が利用される場面に状況（例えば、駐車枠の広さなど）に応じて適宜に設定できる。

駐車操作時のように低速で移動する場合には、図３Ｂに示すように、ハンドルの回転角（操舵角）とタイヤの切れ角とは比例する。図３Ｂの対応情報を参照すれば、操舵角からタイヤの切れ角を得ることができる。ちなみに、図３Ｂに示す例では、ハンドルを限界まで切った（フル転舵）ときの角度が５８０度（１回転半以上ハンドルが回転した状態）において、タイヤの切れ角が３１度となるように構成されている。

また、図３Ｃに示すように、タイヤの切れ角とホイールベースＷが分かれば、ｔａｎ（θ）＝Ｗ／Ｒの関係から回転半径Ｒを求めることができる。ホイールベースＷは、前輪のタイヤＳＦＬ，ＳＦＲと後輪のタイヤＳＲＬ，ＳＲＲとの距離である。ホイールベースＷの値は予め一つの値又は車種に応じた値を設定しておいてもよいし、車載装置２００や図外のサーバから取得してもよい。

さらに、回転半径Ｒが分かれば、自車両の位置との関係から回転中心Ｑを求めることができる。これで、回転中心Ｑを基準とした、予測進路ＷＲ，ＷＬを求めることができる。このように、ハンドルの操舵角とホイールベースの情報を取得すれば、車両の予測進路を算出できる。

しかしながら、端末装置１００が、車両の操舵角等の情報を車載装置２００から得て、これらの情報を処理するには時間がかかり、予測進路の提示タイミングが遅れてしまう。提示タイミングが遅れた過去の予測進路は、ドライバにとって意味のない情報となってしまう。

これに対し、本実施形態の予測進路提示装置（端末装置）１００は、車両の操舵角（車両の検出値）を用いることなく、予測進路を算出できる。具体的に本実施形態の予測進路提示装置（端末装置）１００は、車載カメラの撮像画像からタイヤの切れを検出し、タイヤの切れ角から車両の回転中心を算出し、その回転中心を基準とする予測進路を提示する。これにより、車載装置に組み込まれていない可搬型の端末装置１００が予測進路を提示するための処理コストを低減させ、その提示処理に要する時間を短縮させることができる。

以下、本実施形態の予測進路の算出手法を説明する。本実施形態の制御装置１０は、撮像画像から抽出されたタイヤのエッジ画像からそのタイヤの切れ角を検出する。図４は、タイヤを含む撮像画像の一例を示す図である。図４に示すように、黒色のタイヤと白色（金属色）のホイールとの間には明暗差があり、明度に基づくエッジ情報を検出できる。エッジの方向が所定値域内の変化を示すエッジ群をつなげて、エッジ直線Ｅを得る。この直線からタイヤの切れ角を検出する。撮像画像からタイヤの切れ角を検出する手法は特に限定されないが、図４に示すように、車両の左右の側面に沿う（すなわち、車長方向に沿う）車横基準ラインＴ１と、検出されたエッジ直線とがなす角度θをタイヤの切れ角とすることができる。本例における車横基準ラインＴ１は、車両の車幅方向に沿う前端基準ラインＴ１に略垂直に交差する直線である。タイヤの切れ角を検出するための基準線は適宜に設定できる。タイヤの切れ角θは、路面と接するタイヤのエッジ線から求めることが好ましいという観点から、明度に基づくエッジ情報は、路面に近い領域、路面からの距離（高さ）が最も小さい領域から抽出することが好ましい。つまり、エッジ直線Ｅは、ホイールの最も低い位置で得られたエッジから得ることが好ましい。

ここで、タイヤの切れ角の算出手法に関し、二つの変形例を説明する。
第１の変形例は、エッジの傾きとタイヤの切れ角とを予め対応づけた対応情報を利用する手法である。本実施形態の制御装置１０は、タイヤの切れ角が維持された状態の撮像画像から検出されたタイヤのエッジの傾きとタイヤの切れ角とを予め対応づけた対応情報を参照し、撮像画像から抽出されたタイヤのエッジ（エッジ線Ｅ）の傾きからタイヤの切れ角θを検出する。検出するタイヤのエッジの位置が異なると、タイヤの切れ角が正確に検出できない場合がある。図３Ｂに示すように、操舵角が分かればタイヤの切れ角が正確に分かる。本実施形態では、所定の操舵角が維持された状態で、サイドミラーに取り付けられた車載カメラ１がタイヤを撮像した場合に、得られた撮像画像中のタイヤ画像のエッジの傾きとを対応づけておく。この対応情報を参照すれば、車載カメラ１で撮像したタイヤ画像のエッジ角度からタイヤの切れ角を正確に求めることができる。これにより、正確なタイヤの切れ角に基づいて、正確な予測進路を算出できる。特に限定されないが、対応情報における所定の操舵角は、最大の操舵角とすることが好ましい。一般に、駐車操作では、ドライバは最大の操舵角で初期操作をするので、実際の操舵に応じた予測進路を算出できる。

第２の変形例は、タイヤの画像の特徴パターンとタイヤの切れ角とを予め対応づけて、画像のパターンマッチングを利用する手法である。本実施形態の制御装置１０は、タイヤの切れ角と、タイヤの切れ角が維持された状態の撮像画像から検出されタイヤの画像の特徴パターンとを予め対応づけた対応情報を参照し、撮像画像から抽出されたタイヤのエッジの特徴と最も一致度の高い特徴パターンからタイヤの切れ角を検出する。カメラ１の状態などが変化すると、タイヤの切れ角が正確に検出できない場合がある。図３Ｂに示すように、操舵角が分かればタイヤの切れ角が正確に分かる。本実施形態では、所定の操舵角が維持された状態で、サイドミラーに取り付けられた車載カメラ１がタイヤを撮像した場合に、得られた撮像画像中のタイヤ画像の特徴とエッジの傾きとを対応づけておく。予測進路の算出時に得られた撮像画像の複数の特徴を対応情報の画像の特徴パターンとマッチング処理して、一致度が最も高い特徴パターンを抽出する。抽出した特徴パターンに対応づけられたエッジの傾きを、検出対象となる車両のタイヤの切れ角とする。撮像画像に含まれる複数の特徴とのマッチングによれば、カメラ１の姿勢変化などが生じても、車載カメラ１で撮像したタイヤ画像のエッジ角度からタイヤの切れ角を正確に求めることができる。これにより、正確なタイヤの切れ角に基づいて、正確な予測進路を算出できる。特に限定されないが、対応情報における所定の操舵角は、最大の操舵角とすることが好ましい。一般に、駐車操作では、ドライバは最大の操舵角で初期操作をするので、実際の操舵に応じた予測進路を算出できる。

また、本実施形態では、切れ角を正確に算出する観点から、転舵時において、タイヤの切れ角を算出する際に用いる撮像画像を選択する。本実施形態の制御装置１０は、車両が右転舵状態である場合には、エッジが検出しやすいタイヤとホイールとの境界が含まれる右側カメラ１ｄの撮像画像からタイヤ切れ角を検出し、車両が左転舵状態である場合には、エッジが検出しやすいタイヤとホイールとの境界が含まれる左側カメラ１ｂの撮像画像からタイヤ切れ角を検出する。先述したように、転舵状態に応じて取得する撮像画像を選択してもよいが、監視画像に用いるなどの理由から各カメラ１ａ〜１ｄの撮像画像を取得した場合であっても、転舵方向に応じた撮像画像に基づいて、タイヤの切れ角を算出する。これにより、正確なタイヤ切れ角から正確な予測進路を算出できる。なお、車両の転舵状態の判断手法は、画像取得機能の説明で述べた手法を用いることができる。

さらに、本実施形態では、切れ角を正確に算出する観点から、タイヤの切れ角を算出する際に用いる撮像画像として、影領域が少ない撮像画像を選択する。本実施形態の制御装置１０は、明度の低い影領域が少ない撮像画像を用いてタイヤの切れ角を検出する。具体的に、車両の異なる位置に設けられた複数のカメラ１ａ〜１ｄにより撮像された複数の撮像画像に含まれる、明度が所定値未満の影領域をそれぞれ抽出する。制御装置１０は、各撮像画像において抽出された影領域が占める面積比の低い撮像画像、つまり影領域が少ない撮像画像を選択する。制御装置１０は、選択した撮像画像から抽出されたタイヤのエッジの特徴に基づいてタイヤの切れ角を検出する。このように、エッジが正確に検出できない影領域を多く含む撮像画像を避け、影領域の少ない撮像画像から正確なタイヤの切れ角を検出することにより、正確な予測進路を算出できる。

さらにまた、本実施形態では、切れ角を正確に算出する観点から、明度が不十分である場合には照明装置ＬＰを点灯させてから撮像した撮像画像を、タイヤの切れ角を算出する撮像画像として選択する。本実施形態の制御装置１０は、明度検知装置ＬＤにより検出された車両の周囲の明るさが所定値未満である場合には、照明装置ＬＰを点灯させる点灯命令を出力する。この点灯命令は、車載装置２００の車両コントローラ３を介して照明装置ＬＰに出力され、照明装置ＬＰを点灯させる。このように、明度が所定値未満である場合には、照明装置ＬＰを点灯させて、十分な明度の下で撮像された撮像画像から正確にエッジを検出する。これにより、正確なタイヤ切れ角から正確な予測進路を算出できる。

以上のように、本実施形態の端末装置１００の制御装置１０は、自車両のタイヤの切れ角を得る。そして、制御装置１０は、得られた切れ角に基づいて車両の回転中心を算出し、回転中心を基準とする車両の予測進路を算出する。図３Ａ乃至図３Ｃに基づいて説明したように、車両のタイヤの切れ角（操舵角）とホイールベースＷが分かれば、ａｎ（θ）＝Ｗ／Ｒの関係から車両の回転半径Ｒ、ひいては回転中心Ｑを求めることができる。本例では、図３Ｃに示すように、タイヤの切れ角から車両の回転中心を算出し、その回転中心を基準とした予測進路を導く。ホイールベースＷの値は予め一つの値又は車種に応じた値を起動時に取得してもよいし、予め端末装置１００に記憶させてもおいてもよい。

本実施形態の手法によれば、予測進路を算出する際に必要となる操舵角などの検出情報を逐次取得することなく、予想進路を算出できる。

次に、本実施形態の制御装置１０の提示制御機能について説明する。本実施形態の端末装置１００の制御装置１０は、算出された予測進路を端末装置１００のディスプレイ３１に提示させる。制御装置１０は、ディスプレイ３１の表示エリアの大きさ、レイアウト、位置、画素の関する情報を参照し、求めた予測進路をディスプレイ３１に提示する。本実施形態では、監視画像（撮像画像、視点変換画像）の上に重畳させて、予測進路を提示させる。つまり、監視画像の座標を基準として、予測進路を描画する。

このように、本実施形態の端末装置（予測進路提示装置）１００によれば、車載装置２００から車速センサ、ステアリングセンサ等の検出結果を取得することなく、車載カメラ１の撮像画像から予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車両の予測進路を車載装置に組み込まれていない可搬型の端末装置にリアルタイムに提示できる。

以下、本発明の第１実施形態の予測進路提示システム１０００の処理手順を説明する。図５は、本実施形態に係る予測進路提示システム１０００の制御手順を示すフローチャート、図６は、図５に示す予想進路の算出手法の制御手順を示すフローチャートである。

ステップ１０１〜１０５は車載装置２００側の処理であり、ステップ２０１〜２０３は端末装置１００側の処理である。

ステップ１０１において、本実施形態の車載装置２００のカメラ１は車両周囲を撮像して撮像画像を取得する。

車載装置２００の車両コントローラ３が備える画像処理機能は、撮像パラメータなどの変換情報を参照し、変換情報に含まれる自車両の車種に応じた撮像パラメータを読み出す。自車両の車種に応じた撮像パラメータは、通信装置２を介して外部のサーバから取得してもよい。

ステップ１０３において、車載装置２００のコントローラ３は、取得した撮像パラメータを用いて、撮像画像を視点変換し、車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する。

ステップ１０４において、車載装置２００の画像処理機能は、端末装置１００の表示エリア、表示態様を含む表示情報を取得する。そして、ステップ１０５において、画像処理機能は、視点変換画像から端末装置１００の表示エリアと表示態様に応じた監視画像を生成する。車載装置２００は、生成した監視画像を端末装置１００へ送出する。端末装置１００の表示情報に応じた監視画像の生成は、端末装置１００側で行ってもよい。その場合には、車載装置２００は、ステップ１０１からステップ１０５へスキップし、で取得したカメラ１の撮像画像をそのまま端末装置１００へ送出する。

端末装置１００の処理であるステップ２０１において、端末装置１００と車載装置２００とは無線通信の確立を確認する。無線通信が確立したら、ステップ２０２において、端末装置１００は、車載装置２００が生成した監視画像を取得する。端末装置１００は、取得した監視画像を所定の表示規則に従い、ディスプレイ３１に提示する。ステップ２０３において、端末装置１００は、予測進路を算出し、これを監視画像上に描画する。

以下、本実施形態における予測進路を算出する際の制御手順を説明する。図６は、図５のステップ２０３のサブルーチンを示すフローチャートである。

図６に示すように、ステップ２１において、端末装置１００の制御装置１０は、車両が直進しているか否かの情報を取得する。車両が直進しているか否かは、端末装置１００が備える加速度センサ４０の出力値に基づいて判断する。もちろん、車載装置２００から車両の操舵情報を通信装置２０を介して取得してもよい。車両が直進状態であればステップ２２へ進み、車両が直進状態でなければステップ２３へ進む。ステップ２２において、制御装置１０はデフォルトのカメラ１を選択する。特に限定されないが、本例では助手席のカメラ１を選択する。

ステップ２３において、端末装置１００は、車両が右転舵状態であるか否かを判断する。車両が右転舵状態である場合にはステップ２４において右側のカメラ１を選択する。車両が右転舵状態でない場合、つまり左転舵状態である場合にはステップ２５において左側カメラ１を選択する。転舵時に起動させるカメラ１を選択することにより、車両が右転舵状態の場合においては、右側のカメラ１を用いてタイヤとホイールとの境界の画像の一部を確実に撮像し、車両が左転舵状態の場合においては、左側のカメラ１を用いてタイヤとホイールとの境界の画像の一部を確実に撮像する。

次に、制御装置１０は、選択されたカメラ１の周囲の明るさを確認する。カメラ１が備える明度検出機能ＬＤが検出した明度が所定値以上であるか否かを判断する。明度が所定値以上である場合にはステップ２８に進み、撮像画像を取得する。他方、明度が所定値未満である場合にはステップ２７に進み、制御装置１０は、度が所定値未満であることを検出したカメラ１の近傍に設けられた照明装置ＬＰを点灯させる命令を車載装置２００へ出力する。車載装置２００の車両コントローラ３は、明度が所定値未満であることを検出したカメラ１の近傍に設けられた照明装置ＬＰを点灯する。

選択されたカメラ１は、適切な明度の環境でタイヤ近傍を撮影する。ステップ２８において、端末装置１００の制御装置１０は撮像画像を取得する。

ステップ２９において、制御装置１０は、複数の撮像画像が得られた場合には、影となる領域の面積が少ない撮像画像を選択する。広い面積の影が含まれると、路面又はホイールに対するタイヤのエッジを正確に検出できないからである。画像の明度が所定値未満の領域を影となる領域として判断する。

ステップ３０において、制御装置１０は、撮像画像に含まれるタイヤのエッジを複数検出し、そのエッジ群の延びる方向と車両の車長方向との角度をタイヤの切れ角として検出する。

ステップ３１において、制御装置１０は、タイヤの切れ角から現在の車両の回転半径を算出する。本処理において必要があれば、ホイールベースの値を用いて車両の回転半径を算出する。ホイールベースの値は、予め設定しておいてもよいし、処理前に取得してもよい。端末装置１００を車両に持ち込んで、予測進路提示機能を起動させる際に、通信装置２０を介してｓ取得してもよい。ホイールベースの値は、固定値であるので、処理前に取得できる。ホイールベースの値は、操舵角のように刻々に変化しないので、一度取得すれば使用し続けることができる。

ステップ３２において、制御装置１０は、算出した回転半径から回転中心を求める。ステップ３３において、制御装置１０は、回転中心を基準とする予測進路を算出する。最後に、ステップ３３において、制御装置１０は、算出した予測進路を監視画像（撮像画像、視点変換画像を含む）の上に描画する。

図７Ａは、視点変換処理がされていない監視画像（つまり撮像画像）の上に、複数の予測通過点ＷＰ（図中丸印で示す）と、この予測通過点をつなげた左右のタイヤ位置に応じた予測進路ＷＲ，ＷＬとを重畳表示した例を示す。複数の予測通過点ＷＰの間の距離は均等となるように調整されている。ディスプレイ３１の表示座標上で複数の予測通過点ＷＰピッチが均等となるように調整されているので、予測通過点ＷＰから構成される予測進路ＷＲ，ＷＬを滑らかな曲線として表示できる。実際の車両は連続的に動くのに、角度の大きい頂点を備えた予測進路を提示すると、乗員は違和感を感じる可能性がある。本実施形態では、乗員が違和感を感じないように、実際の車両の動きに合った予測進路をディスプレイ３１に表示する。

図７Ｂは、端末装置１００のディスプレイ３１の左側領域に視点変換処理がされた監視画像（視点変換画像）を表示し、右側領域に視点変換処理がされていない監視画像（撮像画像）を表示する例を示す。同図に示すように、視点変換処理がされた監視画像（視点変換画像）と、視点変換処理がされていない監視画像（撮像画像）の両方に、複数の予測通過点ＷＰ（図中丸印で示す）と、この予測通過点を繋げた予測進路ＷＲ，ＷＰとを重畳表示した例を示す。

以上のとおり構成され、動作する本発明の実施形態に係る予測進路提示装置（端末装置）１００、予測進路提示システム１０００は、以下の効果を奏する。

［１］本実施形態の予測進路提示装置１００によれば、車載カメラの撮像画像からタイヤの切れを検出し、タイヤの切れ角から車両の回転中心を算出し、その回転中心を基準とする予測進路を提示するので、車両の操舵角（車両の検出値）を用いることなく予測進路を算出できる。すなわち、車載装置２００から操舵角等の検出情報を逐次取得することなく、車載カメラの撮像画像から抽出された情報に基づいて予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車載装置に組み込まれていない可搬型の端末装置１００に車両の予測進路を提示する場合であっても、遅延することなく適時に車両の予測進路を提示できる。

［２］本実施形態の予測進路提示装置１００によれば、所定の操舵角が維持された状態における車載カメラ１の撮像画像中のタイヤ画像のエッジの傾きと、操舵角に応じたタイヤ切れ角とを予め対応づけておくので、この対応情報を参照することにより車載カメラ１で撮像したタイヤ画像のエッジ角度からタイヤの切れ角を正確に求めることができる。これにより、正確なタイヤの切れ角に基づいて、正確な予測進路を算出できる。

［３］本実施形態の予測進路提示装置１００によれば、所定の操舵角が維持された状態における車載カメラ１の撮像画像中のタイヤ画像の特徴パターンと、操舵角に応じたタイヤ切れ角とを予め対応づけておくので、この対応情報を参照することにより車載カメラ１で撮像したタイヤ画像のエッジ角度からタイヤの切れ角を正確に求めることができる。これにより、正確なタイヤの切れ角に基づいて、正確な予測進路を算出できる。

［４］本実施形態の予測進路提示装置１００によれば、右転舵又は左転舵の状態に応じて、取得する撮像画像を選択することにより、タイヤの切れ角が検出できる撮像画像を取得し、タイヤの切れ角が検出できない撮像画像を取得しないようにできるので、無駄な通信処理が行われることを避けることができる。

［５］本実施形態の予測進路提示装置１００によれば、車両が右転舵状態である場合には、エッジが検出しやすいタイヤとホイールとの境界が含まれる右側カメラ１ｄの撮像画像からタイヤ切れ角を検出し、車両が左転舵状態である場合には、エッジが検出しやすいタイヤとホイールとの境界が含まれる左側カメラ１ｂの撮像画像からタイヤ切れ角を検出することにより、正確なタイヤ切れ角から正確な予測進路を算出できる。

［６］本実施形態の予測進路提示装置１００によれば、エッジが正確に検出できない影領域を多く含む撮像画像を避け、影領域の少ない撮像画像から正確なタイヤの切れ角を検出することにより、正確な予測進路を算出できる。

［７］本実施形態の予測進路提示装置１００によれば、明度が所定値未満である場合には、照明装置ＬＰを点灯させて、十分な明度の下で撮像された撮像画像から正確にエッジを検出する。これにより、正確なタイヤ切れ角から正確な予測進路を算出できる。

［８］本実施形態の予測進路提示装置１００によれば、一般に明度差の高く、エッジが検出しやすいタイヤとホイールとの境界が含まれる撮像画像からタイヤ切れ角を検出することにより、正確なタイヤ切れ角から正確な予測進路を算出できる。

［９］本実施形態の予測進路算出方法によれば、上述の作用効果を奏する。

なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

本明細書では、本発明に係る予測進路提示システムの一態様として、予測進路提示装置１００（端末装置１００）と、車載装置２００とを有する予測進路提示システム１０００を説明するが、これに限定されるものではない。本発明に係る端末装置の一態様として、制御装置１０と、通信装置２０と、提示装置３０と、加速度センサ４０とを備える端末装置１００を説明するが、これに限定されるものではない。本発明に係る車載装置の一態様として、カメラ１ａ〜１ｄ，１と、通信装置２と、車両コントローラ３とを備える車載装置２００を説明するが、これに限定されるものではない。

本発明に係る画像取得手段と、予測進路算出手段と、提示手段とを有する予測進路提示装置の一態様として、画像取得機能と、予測進路算出機能と、提示制御機能とを実行する制御装置１０を備える予測進路提示装置１００（端末装置１００）を説明するが、これに限定されるものではない。

１０００…予測進路提示システム
１００…端末装置（予測進路提示装置）
１０…通信装置
２０…提示装置
２００…車載装置
１，１ａ〜１ｄ…カメラ
２…通信装置
３…車両コントローラ

Claims (9)

1. 車両に設けられたカメラを用いて撮像された、当該車両のタイヤの少なくとも一部を含む撮像画像を取得する画像取得手段と、
   前記撮像画像から抽出された前記タイヤのエッジの特徴から当該タイヤの切れ角を検出し、前記切れ角に基づいて前記車両の回転中心を算出し、前記回転中心を基準とする前記車両の予測進路を算出する予測進路算出手段と、
   前記算出された予測進路を提示する提示手段と、を備えることを特徴とする車両用の予測進路提示装置。
2. 前記予測進路算出手段は、前記タイヤの切れ角と、前記タイヤの切れ角が維持された状態の前記撮像画像から検出された前記タイヤのエッジの傾きとを予め対応づけた対応情報を参照し、前記撮像画像から抽出された前記タイヤのエッジの傾きから前記タイヤの切れ角を検出することを特徴とする請求項１に記載の車両用の予測進路提示装置。
3. 前記予測進路算出手段は、前記タイヤの切れ角と、前記タイヤの切れ角が維持された状態の前記撮像画像から検出された前記タイヤの画像の特徴パターンとを予め対応づけた対応情報を参照し、前記撮像画像から抽出された前記タイヤのエッジの特徴と最も一致度の高い前記特徴パターンから前記タイヤの切れ角を検出することを特徴とする請求項１に記載の車両用の予測進路提示装置。
4. 前記画像取得手段は、前記車両の右側に設けられた右側カメラにより撮像された右側撮像画像又は前記車両の左側に設けられた左側カメラにより撮像された左側撮像画像を取得可能であり、
   前記車両が右転舵状態である場合には前記右側撮像画像を取得し、前記車両が左転舵状態である場合には前記左側撮像画像を取得することを特徴とする請求項１〜３の何れか一項に記載の車両用の予測進路提示装置。
5. 前記画像取得手段は、前記車両の右側に設けられた右側カメラにより撮像された右側撮像画像又は前記車両の左側に設けられた左側カメラにより撮像された左側撮像画像を取得可能であり、
   前記予測進路算出手段は、前記車両が右転舵状態である場合には前記右側撮像画像から抽出された前記タイヤのエッジの特徴に基づいて当該タイヤの切れ角を検出し、前記車両が左転舵状態である場合には前記左側撮像画像から抽出された前記タイヤのエッジの特徴に基づいて当該タイヤの切れ角を検出することを特徴とする請求項１〜３の何れか一項に記載の車両用の予測進路提示装置。
6. 前記予測進路算出手段は、前記車両の異なる位置に設けられた複数のカメラにより撮像される複数の撮像画像に含まれる明度が所定値未満の影領域をそれぞれ抽出し、前記抽出された影領域が占める面積比の低い撮像画像を選択し、前記選択された撮像画像から抽出された前記タイヤのエッジの特徴に基づいて当該タイヤの切れ角を検出することを特徴とする請求項１〜５の何れか一項に記載の車両用の予測進路提示装置。
7. 前記カメラの近傍に設けられた照明手段をさらに備え、
   前記車両の周囲の明るさを検出する明度検出手段をさらに備え、
   前記撮像画像取得手段は、前記検出された車両の周囲の明るさが所定値未満である場合には、前記照明手段を点灯させる点灯命令を出力することを特徴とする請求項１〜６の何れか一項に記載の車両用の予測進路提示装置。
8. 前記撮像画像は、タイヤとホイールとの境界の像の少なくとも一部を含むことを特徴とする請求項１〜７の何れか一項に記載の車両用の予測進路提示装置。
9. コンピュータに、
   車両に設けられたカメラの撮像画像に含まれる車両のタイヤの少なくとも一部に対応する画像から、前記タイヤのエッジの特徴を検出するステップと、
   前記タイヤのエッジの特徴から検出された前記タイヤの切れ角に基づいて、前記車両の回転中心を基準とする前記車両の予測進路を算出するステップと、
   前記予測進路を外部に出力するステップと、を実行させる車両用の予測進路提示方法。