JPWO2015045567A1 - 予測進路提示装置及び予測進路提示方法 - Google Patents
予測進路提示装置及び予測進路提示方法 Download PDFInfo
- Publication number
- JPWO2015045567A1 JPWO2015045567A1 JP2015538974A JP2015538974A JPWO2015045567A1 JP WO2015045567 A1 JPWO2015045567 A1 JP WO2015045567A1 JP 2015538974 A JP2015538974 A JP 2015538974A JP 2015538974 A JP2015538974 A JP 2015538974A JP WO2015045567 A1 JPWO2015045567 A1 JP WO2015045567A1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- predicted
- predicted course
- course
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
車両に設けられたカメラ1の撮像画像を取得する画像取得機能と、撮像画像に含まれる路面の画像から路面に示された線図の端部を検出し、車両の移動に伴う端部の移動距離及び移動方向の変化に基づいて、移動する車両の回転中心を求め、その回転中心を基準とする車両の予測進路を算出する予測進路算出機能と、算出された予測進路を提示する提示制御機能と、を実行する制御装置(10)を備える予測進路提示装置(100)を提供する。
Description
本発明は、予測される車両の進路を算出して提示する予測進路提示装置及び予測進路提示方法に関する。
本出願は、2013年9月27日に出願された日本国特許出願の特願2013―200963に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
本出願は、2013年9月27日に出願された日本国特許出願の特願2013―200963に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
この種の装置に関し、車両のシフトレバーがリバース位置に操作された場合に、車載された車速センサ、ステアリングセンサ等の検出結果と車両のパラメータに基づいて、ナビゲーションECUにより算出された車両の予測軌跡を、車載カメラが撮像した後方の映像に重畳した画像を表示する運転支援装置が知られている(特許文献1)。
車載装置に組み込まれていない可搬型の端末装置のディスプレイに操舵角に応じた車両の予測進路を提示する場合には、端末装置が操舵信号を車載装置から取得しなければならず、情報の処理に時間がかかり、予測進路を提示するタイミングが遅れる可能性があるという問題がある。
本発明が解決しようとする課題は、車載装置に組み込まれていない可搬型の端末装置が、車両の予測進路を遅延することなく提示することである。
本発明の予測進路提示装置は、車載カメラが撮像する路面の画像から路面に示された線図の端部を検出し、車両の移動に伴う端部の移動距離及び移動方向の変化に基づいて算出された車両の回転中心を基準とする予測進路を提示することにより、上記課題を解決する。
本発明によれば、車載装置から操舵角等の検出情報を取得することなく、車載カメラの撮像画像から抽出された情報に基づいて予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車載装置に組み込まれていない可搬型の端末装置に車両の予測進路を提示する場合であっても、遅延することなく適時に車両の予測進路を提示できる。
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、無線通信網を介して相互に情報の授受を行う、車載装置200と予測進路提示装置100とを備える予測進路提示システム1000に、本発明を適用した場合を例にして説明する。
図1は、本実施形態に係る予測進路提示システム1000のブロック構成図である。図1に示すように、本実施形態の予測進路提示システム1000は、持ち運びが可能な携帯型の予測進路提示装置100と、車載装置200とを備える。以下、本明細書において、携帯型の予測進路提示装置100を、端末装置100とも称する。
まず、本実施形態の車載装置200について説明する。本実施形態の車載装置200は、一又は複数のカメラ1a〜1d(以下、カメラ1と総称することもある)と、通信装置2と、車両コントローラ3とを備える。車載装置200が備えるカメラ1、通信装置2、車両コントローラ3はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
カメラ1a〜1d(総称してカメラ1とも称する。以下、同じ。)は、CCD(Charge Coupled Devices)等の撮像素子を用いて構成される。本実施形態では、撮像可能範囲が広い、広角のカメラ1を使用する。図2は、カメラ1a〜1dを車両Vに取り付ける場合の配置例を示す図である。カメラ1a〜1dは、車両Vの外部の異なる位置に各々設置され、車両周囲の4方向の画像をそれぞれ撮影する。例えば、図2に示すように、フロントグリル部分などの車両Vの前方の所定位置に設置されたカメラ1aは、車両Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面の画像(フロントビュー画像)を撮影する。左サイドミラー部分などの車両Vの左側方の所定位置に設置されたカメラ1bは、車両Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面の画像(左サイドビュー画像)を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Vのリア(後方)部分の所定位置に設置されたカメラ1cは、車両Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面の画像(リアビュー画像)を撮影する。右サイドミラー部分などの車両Vの右側方の所定位置に設置されたカメラ1dは、車両Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面の画像(右サイドビュー画像)を撮影する。なお、本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。同様に「車両の前方」には、正面のみならず、前方の左右側方をも含む。カメラ1a〜1dによって撮像された撮像画像は画像処理が施され、所望の監視画像が生成される。
本実施形態の車載装置200の通信装置2は、カメラ1が撮像した撮像画像、車載装置200で生成された監視画像を、端末装置100へ送出する。カメラ1に無線通信機能を備えさせて、カメラ1から端末装置100へ撮像画像を送出してもよい。カメラ1に無線通信機能と画像処理機能とを備えさせて、監視画像を端末装置100へ送出してもよい。端末装置100は、無線の通信網を介してカメラ1が撮像した撮像画像、車載装置200が編集した監視画像の少なくとも一方を取得する。各カメラ1が撮像した画像には、各カメラ1の配置(アドレス)に応じた識別子が付されており、端末装置100は、各識別子に基づいて各撮像画像がどの領域に関するものであるかを識別できる。座標変換により視点変換画像を得る画像変換処理の手法、視点変換画像から車両周囲を俯瞰視する監視装置の生成手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。本実施形態における監視画像は、複数の撮像画像から生成された車両周囲を俯瞰する、撮像画像の一態様である。つまり、撮像画像は、視点変換処理がされた監視画像を含む。
本実施形態における監視画像は、カメラ1により撮像された複数の車両の周辺の撮像画像を、車種ごとに定義された撮像パラメータを用いて、車両の上空の所定の視点から見下ろす所定の投影面に座標変換された視点変換画像である。各撮像画像を視点変換した視点変換画像から端末装置100の提示装置30において情報が提示される表示エリアと表示態様に応じて所定領域の画像を切り出し、各画像が車両を基準としてどの方向の監視画像であるかを識別するための符号を付する。この識別符号を参照し、各視点変換画像を配置して、車両上空から車両を見下ろした映像を示す監視画像を生成する。この監視画像は、所定の態様で提示装置30に提示される。なお、監視画像の生成処理を車載装置200側で行い、監視画像を端末装置100へ送出してもよい。各カメラ1の撮像画像の取得、視点変換画像の生成を車載装置200で行い、端末装置100へ送出し、最終的な監視画像の生成処理を端末装置100側で行ってもよい。
次に、本発明の端末装置100(予測進路提示装置100)について説明する。本実施形態の端末装置100は、スマートフォン、タブレット型端末などの通信機能を備える可搬の携帯端末装置である。図1に示すように、本実施形態の端末装置100は、制御装置10と、通信装置20と、提示装置30とを備える。
本実施形態の通信装置20は、外部の車載装置200の通信装置2と相互に情報の授受を行う。通信装置20は、車載装置200から撮像画像を取得する。なお、撮像画像から生成される監視画像は、本発明の「撮像画像」に含まれる。
本実施形態の端末装置100の提示装置30は、後述する制御装置10の指令に従い、後述する予測進路を、その表示エリアに所定の表示態様で提示する。本実施形態における表示態様は、表示する画像の種類、数、大きさ、表示時間、表示周期などの表示に関する規則である。表示態様は、表示情報として端末装置100の提示装置30に記憶されている。提示装置30は、例えば、ディスプレイ31、スピーカ32である。
また、本実施形態の提示装置30は、予測通路を構成する複数の予測通過点を提示する。予測通過点とは、予測進路を構成する複数の離散的な点である。予測通過点の位置を確認することにより、ドライバは自車両の動きを予測できる。また、離散的な予測通過点を算出し、提示することにより、予測進路を算出し、提示するよりも、処理コストを低減できる。
本実施形態の提示装置30は、予測通過点を提示する際に、提示装置30が備えるディスプレイ31の表示座標系において各予測通過点の間隔が均一となるように、予測通過点を配置する。撮像画像の座標系において間隔が均一な各予測通過点を、そのままディスプレイ31に表示すると、車両に近い手前の各予測通過点の距離は短く、車両から遠い奥の各予測通過点の距離は長くなる。予測通過点の間隔が不均一であると、予測通過点を結んで得られる予測進路が滑らかな線にならず、実際の車両の動きと乖離してしまう。本実施形態では、ディスプレイ31の表示座標系において各予測通過点の間隔が均一となるようにするので、予測通過点を結んで得られる予測進路が実際の車両の動きに応じた滑らかな線を提示できる。
本実施形態の提示装置30は、撮像画像(撮像画像から生成された監視画像を含む)に、予測進路及び/又は予測通過点を重畳して表示する。予測進路や予測通過点を撮像画像に重畳して提示することにより、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる。
本実施形態の制御装置10について説明する。制御装置10は、予測進路を導出して提示させる動作を制御するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、予測進路提示装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えるコンピュータである。本実施形態に係る予測進路提示装置100の制御装置10は、制御機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。
以下に、予測進路提示装置100の制御装置10が実現する画像取得機能、予測進路算出機能、提示制御機能について説明する。
まず、画像取得機能について説明する。制御装置10は、通信装置20を介して車両周囲の撮像画像を取得する。この撮像画像は、車載のカメラ1に撮像されたものであり、車両が走行する路面の画像を含む。
次に予測進路算出機能について説明する。本実施形態の制御装置10は車両の予測進路を算出する。
ここで、予測進路の算出手法について図3A〜図3Cに基づいて説明する。図3Aは、車両Vが後退する(前進方向Fの反対方向に進行する)場面を示す。図3Aに示すように、車両Vがハンドルを回転させ、操舵しながら後退すると、車両は、予測通過点WRP,WLPに沿って移動する。この予測通過点WRP,WLPを繋げた線は、車両が移動すると予測されるタイヤの軌跡に沿う予測進路WR,WLである。同図に示すように、車両Vは回転中心Qを中心とする円弧の軌跡WR,WLに沿って移動する。
なお、本例においては、車両の側面と予測進路WR,WLとの距離を0.25mとし、車両後端から0.5mの位置から3.5mの位置に至る3.0mの予測進路WR,WLを算出する。進路予想線WR,WLの定義するための各値は特に限定されず、車両の大きさ、車種、本機能が利用される場面に状況(例えば、駐車枠の広さなど)に応じて適宜に設定できる。
駐車操作時のように低速で移動する場合には、図3Bに示すように、ハンドルの回転角(操舵角)とタイヤの切れ角とは比例する。図3Bの対応情報を参照すれば、操舵角からタイヤの切れ角を得ることができる。ちなみに、図3Bに示す例では、ハンドルを限界まで切った(フル転舵)ときの角度が580度(1回転半以上ハンドルが回転した状態)において、タイヤの切れ角が31度となるように構成されている。
また、図3Cに示すように、タイヤの切れ角とホイールベースWが分かれば、tan(θ)=W/Rの関係から回転半径Rを求めることができる。ホイールベースWは、前輪のタイヤSFL,SFRと後輪のタイヤSRL,SRRとの距離である。ホイールベースWの値は予め一つの値又は車種に応じた値を設定しておいてもよいし、車載装置200や図外のサーバから取得してもよい。
さらに、回転半径Rが分かれば、自車両の位置との関係から回転中心Qを求めることができる。これで、回転中心Qを基準とした、予測進路WR,WLを求めることができる。このように、ハンドルの操舵角とホイールベースの情報を取得すれば、車両の予測進路を算出できる。
しかしながら、端末装置100が、車両の操舵角等の情報を車載装置200から得て、これらの情報を処理するには時間がかかり、予測進路の提示タイミングが遅れてしまう。提示タイミングが遅れた過去の予測進路は、ドライバにとって意味のない情報となってしまう。
これに対し、本実施形態の予測進路提示装置(端末装置)100は、車両の操舵角(車両の検出値)や車両の諸元を用いることなく、予測進路を算出できる。具体的に本実施形態の予測進路提示装置(端末装置)100は、車載カメラが撮像する路面の画像から路面に示された線図の端部を検出し、車両の移動に伴う端部の移動距離及び移動方向の変化に基づいて移動する車両の回転中心を算出し、その回転中心を基準とする予測進路を提示する。これにより、車載装置に組み込まれていない可搬型の端末装置100が予測進路を提示するための処理コストを低減させ、その提示処理に要する時間を短縮させることができる。
以下、本実施形態の予測進路の算出手法を説明する。図4は、本実施形態の予測進路の算出手法を説明するための図である。
本実施形態の制御装置10は、撮像画像に含まれる路面の画像からその路面に示された線図の端部を検出する。本例では、車両Vが走行する路面に線分L1が表示されている。本例の線分L1は移動後の車両Vの車長方向に沿う。本例の線分L1は駐車する車両を収容する駐車領域PAを区分する駐車枠の一部である。路面に示された線図は、予め路面上に描いておいてもよいし、予測進路の算出のために帯状の物体を路上においてもよい。路面に示された線図の形状は特に限定されない。また、端部は、特定でき、他の画像と識別できれば、その形状は限定されない。本例のように、開放された端部であってもよいし、多角図形の頂点を形成する端部であってもよい。
端部P1が検出できたら、所定の操舵角を保って車両を後方に移動させる。検出された端部P1の位置は、車両の移動に伴い変化する。移動開始時toにおいて、車両Vと線分L1の端部P1との距離は相対的に大きく、離隔しているが、所定時間経過後のタイミングt1において、車両Vと線分L2の端部P2の距離は縮まり、接近する。つまり、車両Vの位置を基準とすると、線分L1の端部P1は線分L2の端部P2の位置に移動する。制御装置10は、端部がP1からP2に至るまでの移動距離ΔLと、その移動方向Δθを算出する。移動距離ΔLと、その移動方向Δθは、車両移動前後の端部P1と端部P2との位置関係から求めることができる。移動距離ΔLと移動方向Δθは、カメラ1の撮像画像の座標軸を基準に算出する。車長方向に沿う線L1と、端部P1から端部P2とを通る線(延長線を含む)とがなす移動方向Δθは、図4に示すように、回転中心角Δθに相当する。回転中心角Δθがわかれば、ΔL=R・Δθの関係から回転半径Rを算出できる。回転半径Rと端部P1の位置とから回転中心Q(Cx,Cy)を算出する。カメラ1の位置座標と車両の諸元データを用いて、対象車両の最小回転半径を求め、最小回転半径から回転中心Qをさらに正確に算出してもよい。
本実施形態では、車両を移動させる際に、最大の操舵角を保って移動させ、そのときに検出された端部P1の移動距離及び移動方向に基づいて回転中心を算出することが好ましい。これにより、最小回転半径に近い回転半径における回転中心を算出できる。一般に、駐車操作では、ドライバは最大の操舵角で初期操作をするので、実際の操舵に応じた予測進路を算出できる。
特に限定されないが、制御装置10は、車両の移動に伴う端部P1の位置の変化を積算して、端部P1の移動距離ΔLを求める。これにより、撮像画像上の端部P1の移動距離を正確に算出できる。
特に限定されないが、制御装置10は、車両に取り付けられた車輪速センサのパルス信号の積算値に基づいて、端部P1の移動距離ΔLを算出する。これにより、車両の移動距離を用いて撮像画像上の端部P1の移動距離を正確に算出できる。
また、端部P1の移動距離を求める際に、制御装置10は、撮像画像から端部P1以外の画像上の特徴を検出し、車両の移動に伴う画像上の特徴の移動距離及び移動方向の変化に基づいて、端部P1の移動距離及び移動方向を算出する。端部P1は他の画像上の特徴とともに移動しているので、他の画像上の特徴の移動距離も考慮することにより、端部P1の移動距離を正確に算出できる。
また、端部P1の画像上の移動距離及び移動方向を正確に検出する観点から、制御装置10は、車両の異なる位置に設けられた複数のカメラ1a〜1dが撮像した複数の撮像画像を取得し、取得した撮像画像から端部P1の移動距離及び移動方向を検出し、その車両の回転中心をそれぞれ求める。求めた複数の回転中心の値から一つの回転中心の値を求めることにより、端部P1の画像上の移動距離及び移動方向を正確に検出できる。複数の回転中心の値からキャリブレーション処理を行い正確な回転中心の値を導く。分散を考慮して平均値などの中央値を求めてもよいし、分散度の高い値(中央値から離隔した値)を削除して、分散値の低い(近似する値)から一の回転中心を求めてもよい。これにより、正確な回転中心の座標値を求めることができる。
そして、制御装置10は、求めた回転中心を基準とし、図3Aに示すように、車両の予測進路を導出する。予測進路の回転半径Rは、回転中心角Δθに基づき、ΔL=R・Δθの関係から算出できる。
本実施形態の手法によれば、予測進路を算出する際に必要となる最小回転半径、ホイールベース、車長、車幅、最大切れ角などの車両の諸元情報を取得することなく、予想進路を算出できる。共用自動車を利用する場合のように、使用の度に車種が変更される場合においても、一々、車両の諸元情報を収集しなくても予想進路を算出できる。
次に、提示制御機能について説明する。本実施形態の端末装置100の制御装置10は、算出された予測進路を端末装置100のディスプレイ31に提示させる。制御装置10は、ディスプレイ31の表示エリアの大きさ、レイアウト、位置、画素の関する情報を参照し、求めた予測進路をディスプレイ31に提示する。本実施形態では、監視画像(撮像画像、視点変換画像)の上に重畳させて、予測進路を提示させる。つまり、監視画像の座標を基準として、予測進路を描画する。
このように、本実施形態の端末装置(予測進路提示装置)100によれば、車載装置200から車速センサ、ステアリングセンサ等の検出結果と車両のパラメータ(車両の諸元データ)を取得することなく、車載カメラ1の撮像画像から予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車両の予測進路を車載装置に組み込まれていない可搬型の端末装置にリアルタイムに提示できる。
以下、本発明の実施形態の予測進路提示システム1000の処理手順を説明する。図5は、本実施形態に係る予測進路提示システム1000の制御手順を示すフローチャート、図6は、図5に示す予想進路の算出手法の制御手順を示すフローチャートである。
ステップ101〜105は車載装置200側の処理であり、ステップ201〜203は端末装置100側の処理である。
ステップ101において、本実施形態の車載装置200のカメラ1は車両周囲を撮像して撮像画像を取得する。
車載装置200の車両コントローラ3が備える画像処理機能は、撮像パラメータなどの変換情報を参照し、変換情報に含まれる自車両の車種に応じた撮像パラメータを読み出す。自車両の車種に応じた撮像パラメータは、通信装置2を介して外部のサーバから取得してもよい。
ステップ103において、車載装置200のコントローラ3は、取得した撮像パラメータを用いて、撮像画像を視点変換し、車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する。
ステップ104において、車載装置200の画像処理機能は、端末装置100の表示エリア、表示態様を含む表示情報を取得する。そして、ステップ105において、画像処理装置4は、視点変換画像から端末装置100の表示エリアと表示態様に応じた監視画像を生成する。車載装置200は、生成した監視画像を端末装置100へ送出する。端末装置100の表示情報に応じた監視画像の生成は、端末装置100側で行ってもよい。その場合には、車載装置200は、ステップ101からステップ105へスキップし、で取得したカメラ1の撮像画像をそのまま端末装置100へ送出する。
端末装置100の処理であるステップ201において、端末装置100と車載装置200とは無線通信の確立を確認する。無線通信が確立したら、ステップ202において、端末装置100は、車載装置200が生成した監視画像を取得する。端末装置100は、取得した監視画像を所定の表示規則に従い、ディスプレイ31に提示する。ステップ203において、端末装置100は、予測進路を算出し、これを監視画像上に描画する。
次に、本実施形態における予測進路の算出処理の制御手順を説明する。図6は、図5に示すステップ203のサブルーチンを示すフローチャートである。
図6に示すように、ステップ10において、端末装置100の制御装置10は、車載装置200から撮像画像を取得する。ステップ11において、制御装置10は、撮像画像に含まれる路面の画像から車両が走行する路面に示された線図の端部を検出する。制御装置10は、車両の移動に伴って変化する線図の端部の位置を経時的に追跡する。制御装置10は、端部の移動距離及び移動方向の変化量を算出する。
ステップ12において、制御装置10は、端部の移動距離及び移動方向の変化量に基づいて車両の回転半径を算出する。
ステップ13において、制御装置10は、得られた回転半径から移動する車両の回転中心を求める。ステップ14において、複数の予測通過点を算出する。予測通過点を算出するタイミングは特に限定されず、所定周期で線図の端部の位置を検出する場合には、その終期で予測通過点を算出する。この場合は、各周期で検出された端部の位置に基づいて、予測通過点を算出する。
ステップ15において、制御装置10は、ディスプレイ31に提示する際の位置を考慮して、算出した予測通過点間の距離を調整する。本実施形態では、予測通過点をカメラ1により撮像された監視画像(撮像画像又は視点変換画像)上に重畳する際に、予測通過点のピッチが均等になるように描画位置(表示位置)を調整する。ステップ16において、制御装置10は、調整した予測通過点を連結する。連結された予測通過点は、本実施形態の予測進路を構成する。
ステップ17において、制御装置10は、車両の予測進路を監視画像(撮像画像又は視点変換画像)上に描画する。図7Aは、視点変換処理がされていない監視画像(つまり撮像画像)の上に、複数の予測通過点WP(図中丸印で示す)と、この予測通過点をつなげた左右のタイヤ位置に応じた予測進路WR,WLとを重畳表示した例を示す。複数の予測通過点WPの間の距離は均等となるように調整されている。ディスプレイ31の表示座標上で複数の予測通過点WPピッチが均等となるように調整されているので、予測通過点WPから構成される予測進路WR,WLを滑らかな曲線として表示できる。実際の車両は連続的に動くのに、角度の大きい頂点を備えた予測進路を提示すると、乗員は違和感を感じる可能性がある。本実施形態では、乗員が違和感を感じないように、実際の車両の動きに合った予測進路をディスプレイ31に表示する。
図7Bは、端末装置100のディスプレイ31の左側領域に視点変換処理がされた監視画像(視点変換画像)を表示し、右側領域に視点変換処理がされていない監視画像(撮像画像)を表示する例を示す。同図に示すように、視点変換処理がされた監視画像(視点変換画像)と、視点変換処理がされていない監視画像(撮像画像)の両方に、複数の予測通過点WP(図中丸印で示す)と、この予測通過点を繋げた予測進路WR,WPとを重畳表示した例を示す。
以上のとおり構成され、動作する本発明の実施形態に係る予測進路提示装置(端末装置)100、予測進路提示システム1000は、以下の効果を奏する。
[1]本実施形態の予測進路提示装置100によれば、車載装置200から車速センサ、ステアリングセンサ等の検出結果と車両のパラメータ(車両の諸元データ)を取得することなく、車載カメラ1の撮像画像から予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車両の予測進路を車載装置に組み込まれていない可搬型の端末装置100にリアルタイムに提示できる。また、共用自動車のように利用の度に車種が変わる場合に、利用する車両のパラメータを一々取得しなくても、利用者のスマートフォンなどの端末装置に予測進路を提示できる。
[2]本実施形態の予測進路提示装置100によれば、車両を移動させる際に、最大の操舵角を保って移動させ、そのときに検出された端部P1の移動距離及び移動方向に基づいて回転中心を算出することにより、最小回転半径に近い回転半径で回転中心を算出できる。一般に駐車操作において、ドライバは最大の操舵角で初期操作をするので、ドライバの実際の操作に応じた予測進路を算出できる。
[3]本実施形態の予測進路提示装置100によれば、車両の移動に伴う端部P1の位置の変化を積算して、端部P1の移動距離ΔLを求めるので、撮像画像上の端部P1の移動距離を正確に算出できる。
[4]本実施形態の予測進路提示装置100によれば、車両に取り付けられた車輪速センサのパルス信号の積算値に基づいて端部P1の移動距離ΔLを算出するので、車両の移動距離を用いて撮像画像上の端部P1の移動距離を正確に算出できる。
[5]本実施形態の予測進路提示装置100は、端部P1の移動距離を求める際に、撮像画像から端部P1以外の画像上の特徴を検出し、車両の移動に伴う画像上の特徴の移動距離及び移動方向の変化に基づいて、端部P1の移動距離及び移動方向を算出する。端部P1は他の画像上の特徴とともに移動しているので、他の画像上の特徴の移動距離も考慮することにより、正確に端部P1の移動距離を算出できる。
[6]本実施形態の予測進路提示装置100によれば、車両の異なる位置に設けられた複数のカメラから撮像画像を取得し、複数の撮像画像から車両の回転中心をそれぞれ求め、求めた複数の回転中心の値から一つの回転中心の値を求めるので、正確な回転中心の値を求めることができる
[7]本実施形態の予測進路提示装置100によれば、予測進路WR,WL上に離散的に存在する予測通過点を求め、その点を繋げることにより線状の予測進路WR,WLを求める。処理対象の数を限定し、処理コストを低減させるためである。ドライバは予測通過点の位置を確認することにより、自車両の動きを予測できる。また、離散的な予測通過点を算出し、提示することにより、予測進路を算出し、提示するよりも処理コストを低減できる。
[8]本実施形態の予測進路提示装置100によれば、予測通過点の間隔を均一にするので、予測通過点を結んで得られる予測進路が滑らかな線となり、実際の車両の動きに一致する。
[9]本実施形態の予測進路提示装置100によれば、予測進路や予測通過点を撮像画像に重畳して提示することにより、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる
[10]本実施形態の予測進路算出方法によれば、上述の作用効果を奏する。
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本明細書では、本発明に係る予測進路提示システムの一態様として、予測進路提示装置100(端末装置100)と、車載装置200とを有する予測進路提示システム1000を説明するが、これに限定されるものではない。本発明に係る端末装置の一態様として、制御装置10と、通信装置20と、提示装置30とを備える端末装置100を説明するが、これに限定されるものではない。本発明に係る車載装置の一態様として、カメラ1a〜1d,1と、通信装置2と、車両コントローラ3とを備える車載装置200を説明するが、これに限定されるものではない。
本発明に係る画像取得手段と、予測進路算出手段と、提示手段とを有する予測進路提示装置の一態様として、画像取得機能と、予測進路算出機能と、提示制御機能とを実行する制御装置10を備える予測進路提示装置100(端末装置100)を説明するが、これに限定されるものではない。
1000…予測進路提示システム
100…端末装置(予測進路提示装置)
10…通信装置
20…提示装置
200…車載装置
1,1a〜1d…カメラ
2…通信装置
3…車両コントローラ
100…端末装置(予測進路提示装置)
10…通信装置
20…提示装置
200…車載装置
1,1a〜1d…カメラ
2…通信装置
3…車両コントローラ
Claims (10)
- 車両に設けられたカメラの撮像画像を取得する画像取得手段と、
前記撮像画像に含まれる路面の画像から当該路面に示された線図の端部を検出し、前記車両の移動に伴う前記端部の移動距離及び移動方向の変化に基づいて、前記移動する車両の回転中心を求め、前記回転中心を基準とする前記車両の予測進路を算出する予測進路算出手段と、
前記算出された予測進路を提示する提示手段と、を備えることを特徴とする車両用の予測進路提示装置。 - 前記予測進路算出手段は、前記車両が最大の操舵角を保って移動するときに検出された前記端部の移動距離及び移動方向に基づいて、前記移動する車両の回転中心を算出することを特徴とする請求項1に記載の車両用の予測進路提示装置。
- 前記予測進路算出手段は、前記車両の移動に伴う前記端部の位置の変化を積算して、前記端部の移動距離を求めることを特徴とする請求項1又は2に記載の車両用の予測進路提示装置。
- 前記予測進路算出手段は、前記車両に取り付けられた車輪速センサのパルス信号の積算値に基づいて、前記端部の移動距離を求めることを特徴とする請求項1又は2に記載の車両用の予測進路提示装置。
- 前記予測進路算出手段は、前記撮像画像から前記端部以外の画像上の特徴を検出し、前記車両の移動に伴う前記画像上の特徴の移動距離及び移動方向の変化に基づいて、前記端部の移動距離及び移動方向を算出することを特徴とする請求項1〜4の何れか一項に記載の車両用の予測進路提示装置。
- 前記画像取得手段は、車両の異なる位置に設けられた複数のカメラが撮像した複数の撮像画像を取得し、
前記予測進路算出手段は、前記取得した撮像画像から前記車両の回転中心をそれぞれ求め、前記求めた複数の回転中心の値から一つの回転中心の値を求めることを特徴とする請求項1〜5の何れか一項に記載の車両用の予測進路提示装置。 - 前記予測進路算出手段は、前記車両の予測進路を構成する複数の離散的な予測通過点を算出し、
前記提示手段は、前記複数の予測通過点を提示することを特徴とする請求項1〜6の何れか一項に記載の車両用の予測進路提示装置。 - 前記提示手段は、前記予測通過点を提示する際に、前記提示手段が備えるディスプレイの表示座標系において前記予測通過点の間隔が均一となるように、当該予測通過点を配置することを特徴とする請求項7に記載の車両用の予測進路提示装置。
- 前記提示手段は、前記撮像画像に前記予測進路を重畳して表示することを特徴とする請求項1〜8の何れか一項に記載の車両用の予測進路提示装置。
- コンピュータに、
車両に設けられたカメラの撮像画像に含まれる路面の画像から当該路面に示された線図の端部を検出するステップと、
前記車両の移動に伴う前記端部の移動距離及び移動方向の変化に基づいて、前記移動する車両の回転中心を基準とする前記車両の予測進路を算出するステップと、
前記予測進路を外部に出力するステップと、を実行させる車両用の予測進路提示方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013200963 | 2013-09-27 | ||
JP2013200963 | 2013-09-27 | ||
PCT/JP2014/068563 WO2015045567A1 (ja) | 2013-09-27 | 2014-07-11 | 予測進路提示装置及び予測進路提示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6020736B2 JP6020736B2 (ja) | 2016-11-02 |
JPWO2015045567A1 true JPWO2015045567A1 (ja) | 2017-03-09 |
Family
ID=52742724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015538974A Active JP6020736B2 (ja) | 2013-09-27 | 2014-07-11 | 予測進路提示装置及び予測進路提示方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6020736B2 (ja) |
WO (1) | WO2015045567A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113192001B (zh) * | 2021-03-19 | 2022-04-19 | 易思维(杭州)科技有限公司 | 曲线状待测物视觉检测结果的显示方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3838884B2 (ja) * | 2001-03-29 | 2006-10-25 | 株式会社デンソー | 車両周辺表示装置、プログラムおよび記録媒体 |
JP2004252837A (ja) * | 2003-02-21 | 2004-09-09 | Denso Corp | 車両周辺表示装置および車両周辺表示プログラム |
JP2009017462A (ja) * | 2007-07-09 | 2009-01-22 | Sanyo Electric Co Ltd | 運転支援システム及び車両 |
-
2014
- 2014-07-11 WO PCT/JP2014/068563 patent/WO2015045567A1/ja active Application Filing
- 2014-07-11 JP JP2015538974A patent/JP6020736B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2015045567A1 (ja) | 2015-04-02 |
JP6020736B2 (ja) | 2016-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6213567B2 (ja) | 予測進路提示装置及び予測進路提示方法 | |
US9973734B2 (en) | Vehicle circumference monitoring apparatus | |
JP6801787B2 (ja) | 駐車支援方法及び駐車支援装置 | |
JP5729158B2 (ja) | 駐車支援装置および駐車支援方法 | |
WO2014132680A1 (ja) | 車両の制御装置、及びプログラム | |
JP6316161B2 (ja) | 車載用画像処理装置 | |
JP4772409B2 (ja) | 画像表示システム | |
EP3326145B1 (en) | Panel transform | |
US20150364043A1 (en) | Parking system of vehicle | |
JP6471522B2 (ja) | カメラパラメータ調整装置 | |
JP7000383B2 (ja) | 画像処理装置および画像処理方法 | |
US20190311523A1 (en) | Method and Vehicle Control System for Producing Images of a Surroundings Model, and Corresponding Vehicle | |
JP2010028432A (ja) | 駐車支援装置および画像表示方法 | |
WO2015122124A1 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
US9942475B2 (en) | Real cross traffic—quick looks | |
JP2016189576A (ja) | 画像表示制御装置 | |
JP6768554B2 (ja) | キャリブレーション装置 | |
JP6020736B2 (ja) | 予測進路提示装置及び予測進路提示方法 | |
CN113646769A (zh) | 用于图像归一化的系统和方法 | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
JP6209921B2 (ja) | 予測進路提示システム | |
JP2002274304A (ja) | 駐車位置設定装置 | |
JP2020091797A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、及びマーカ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160919 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6020736 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |