JP4156181B2 - 駐車支援装置 - Google Patents
駐車支援装置 Download PDFInfo
- Publication number
- JP4156181B2 JP4156181B2 JP2000211256A JP2000211256A JP4156181B2 JP 4156181 B2 JP4156181 B2 JP 4156181B2 JP 2000211256 A JP2000211256 A JP 2000211256A JP 2000211256 A JP2000211256 A JP 2000211256A JP 4156181 B2 JP4156181 B2 JP 4156181B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- parking lot
- parking
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は運転者の駐車操作を支援する装置に関する。
【0002】
【従来の技術とその問題点】
駐車場にカメラを設置して駐車場へ乗り入れる車両を撮像し、乗り入れ方向前方に設置したモニターに駐車場へ乗り入れる車両の映像を表示し、駐車場と車両との位置関係を運転者に認識させて駐車操作を支援する装置が知られている(例えば、特開平06−193305号公報参照)。
【0003】
しかしながら、上述した従来の駐車支援装置では、駐車場にカメラとモニターを設置しており、これらの設備のない駐車場では利用することができない。
【0004】
本発明の目的は、カメラとモニターが設置されていない駐車場でも駐車場と車両との位置関係の映像を表示して運転者の駐車操作を支援することにある。
【0005】
【課題を解決するための手段】
一実施の形態の構成を示す図1または図2に対応づけて本発明を説明すると、
(1) 請求項1の発明は、車両に搭載されて駐車支援動作の開始時に目標駐車場を撮像する側方カメラ1、2と、車両に搭載されて車両後退中に車両進行方向の撮像を継続する後方カメラ3と、側方カメラ1、2で予め撮像した駐車支援動作の開始時の目標駐車場の映像と、後方カメラ3で撮像した駐車支援動作中の車両進行方向の映像とに基づいて、目標駐車場の映像上での駐車支援動作中の自車の現在位置を検出する現在位置検出手段8と、目標駐車場の映像上の自車の現在位置に自車の画像を重ねて合成する画像合成手段8と、合成画像を表示する表示手段9とを備え、これにより上記目的を達成する。
(2) 請求項2の駐車支援装置は、現在位置検出手段8は、目標駐車場の映像と車両進行方向の映像との共通の特徴点を検出する特徴点検出手段8と、両映像の共通の特徴点を重ね合わせるように、車両進行方向の映像を拡大または縮小、回転および移動する画像処理手段8と、画像処理手段8による車両進行方向の映像の拡大量または縮小量、回転量および移動量に基づいて、目標駐車場の映像上での自車の現在位置を演算する現在位置演算手段8とを有する。
(3) 請求項3の駐車支援装置は、現在位置検出手段は、目標駐車場の映像と車両進行方向の映像とを視点変換処理して車両を上から見た映像に変換する視点変換手段8を有し、視点変換処理後の映像に基づいて目標駐車場の映像上での自車の現在位置を検出する。
(4) 請求項4の駐車支援装置は、操舵角を検出する舵角検出手段62と、現在の操舵角のままで所定距離走行した後の目標駐車場の映像上での自車の位置を推定する位置推定手段8とを備え、画像合成手段8は、目標駐車場の映像上の所定距離走行後の自車の推定位置に自車の画像を重ねて合成する。
(5) 請求項5の駐車支援装置は、画像合成手段8は、半透明または外枠のみの自車の画像を目標駐車場の映像に重ねて合成する。
(6) 請求項6の駐車支援装置は、駐車範囲を区分する白線を両映像の共通の特徴点とする。
(7) 請求項7の駐車支援装置は、縦列駐車場の隣接車両のバンパーの前縁線または後縁線を両映像の共通の特徴点とする。
【0006】
上述した課題を解決するための手段の項では、説明を分かりやすくするために一実施の形態の図を用いたが、これにより本発明が一実施の形態に限定されるものではない。
【0007】
【発明の効果】
(1) 請求項1および請求項2の発明によれば、車両に搭載された側方カメラにより駐車支援動作の開始時に予め目標駐車場を撮像した映像と、車両に搭載された後方カメラにより車両後退中に車両進行方向を撮像した映像とに基づいて、目標駐車場の映像上での自車の現在位置を検出し、目標駐車場の映像上の自車の現在位置に自車の画像を重ねて合成し表示するようにしたので、カメラとモニターが設置されていない駐車場に後退で進入する場合でも、視認が困難な自車後方の環境と自車との位置関係を運転者に容易に把握させることができ、運転者の駐車操作を支援することができる。
(2) 請求項3の発明によれば、目標駐車場の映像と車両進行方向の映像とを視点変換処理して車両を上から見た映像に変換し、視点変換処理後の映像に基づいて目標駐車場の映像上での自車の現在位置を検出し、目標駐車場の映像上の自車の現在位置に自車の画像を重ねて合成し表示するようにしたので、自車の現在位置を正確に検出することができる上に、自車を上から見た映像によって駐車場環境と自車との位置関係を確認できるから一目で運転者に位置関係を把握させることができる。
(3) 請求項4の発明によれば、現在の操舵角のままで所定距離走行した後の目標駐車場の映像上での自車の位置を推定し、目標駐車場の映像上の所定距離走行後の自車の推定位置に自車の画像を重ねて合成するようにしたので、このまま所定距離走行した後の自車と駐車場環境との位置関係をモニター画面上で容易に把握させることができ、車両の挙動が推測できない運転者の駐車操作を支援することができる。
(4) 請求項5の発明によれば、半透明または外枠のみの自車の画像を目標駐車場の映像に重ねて合成するようにしたので、自車が白線上にあってもモニター画面上では自車画像の下にある白線を視認でき、両映像を重ねても目標駐車場の映像の一部が見えなくなることがなく、駐車場環境と自車との位置関係をさらに見やすくすることができる。
(5) 請求項6の発明によれば、駐車範囲を区分する白線を両映像の共通の特徴点とすることによって、横並び駐車時の目標駐車場映像上での自車位置を正確に検出でき、白線で区分された駐車場へ正確に誘導できる。
(6) 請求項7の発明によれば、縦列駐車場の隣接車両のバンパーの前縁線または後縁線を両映像の共通の特徴点とすることによって、縦列駐車時の目標駐車場映像場での自車位置を正確に検出でき、隣接車両の前縁線または後縁線に接触しないように縦列駐車場へ正確に誘導できる。
【0008】
【発明の実施の形態】
《発明の第1の実施の形態》
図1は第1の実施の形態の構成を示す。左側方カメラ1は車両左側のルーフに取り付けられ、車両左側周辺を撮像する。右側方カメラ2は車両右側のルーフに取り付けられ、車両右側周辺を撮像する。さらに、後方カメラ3は車両後部に取り付けられ、車両後方周辺を撮像する。イグニッションスイッチ4は、車両のイグニッションキーがON位置またはSTART位置に設定されるとオンする。キャンセルスイッチ5は、駐車場と車両との位置関係をモニター9に表示して運転者の駐車操作を支援する機能を強制的に終了させるためのスイッチである。
【0009】
左側駐車開始スイッチ6は、車両進行方向左側の駐車場に駐車するときに駐車支援動作を開始させるためのスイッチである。運転者によりこのスイッチ6が操作されたときは、左側方カメラ1で車両左側周辺を撮像し、撮像した映像をコントローラー8のメモリ8bに記憶する。また、右側駐車開始スイッチ7は、車両進行方向右側の駐車場に駐車するときに駐車支援動作を開始させるためのスイッチである。運転者によりこのスイッチ7が操作されたときは、右側方カメラ2で車両右側周辺を撮像し、撮像した映像をコントローラー8のメモリ8bに記憶する。
【0010】
この実施の形態では、左側駐車開始スイッチ6または右側駐車開始スイッチ7が操作されると駐車支援動作を開始し、イグニッションスイッチ4がオフされると駐車支援動作を終了する。なお、駐車支援動作中にキャンセルスイッチ5が操作されると駐車支援動作を中止し、駐車支援動作を開始する前の動作、例えばモニター9に道路地図を表示するナビゲーション動作などを再開する。
【0011】
コントローラー8は、マイクロコンピューター8aとメモリ8bなどの周辺部品を備え、後述する制御プログラムを実行して駐車支援処理を行い、駐車場と車両との位置関係を表す映像をモニター9に表示する。
【0012】
図2は車両を進行方向左側の駐車場に横付けした状態を上から見た図であり、(a)は車両への左側方カメラ1の取り付け位置を示し、(b)はそのカメラ1による撮像範囲を示す。左側方カメラ1を車両10の左側ルーフ内に、車両左側周辺を見下ろす角度で取り付けると、車両左側周辺の範囲11を撮像することができる。なお、13は車止めである。
【0013】
車両進行方向左側の駐車場12に駐車するときは、左側方カメラ1の正面に駐車目標の駐車場12が来る位置でいったん停車し、運転者が左側駐車開始スイッチ6を操作する。これにより、車両左側周辺の範囲11が撮像されて駐車支援動作が開始される。
【0014】
なお、図示を省略するが、右側方カメラ2は、左側方カメラ1と左右対称の位置に取り付けられ、車両右側周辺を撮像する。車両進行方向右側の駐車場に駐車するときは、右側方カメラ2の正面に駐車目標の駐車場が来る位置でいったん停車し、運転者が右側駐車開始スイッチ7を操作する。これにより、車両右側周辺の映像が撮像されて駐車支援動作が開始される。
【0015】
図3は後方カメラ3の取り付け位置とその撮像範囲を示す図であり、(a)は車両10を横から見た図を示し、(b)は車両10を上から見た図を示す。後方カメラ3を、(a)に示すようにその映像の中に車両10が写り込まない位置および角度で車両後方の路面14に向けて取り付けると、(b)に示す車両後方路面の範囲15を撮像することができる。
【0016】
図4〜図6は、第1の実施の形態の駐車支援制御プログラムを示すフローチャートである。これらのフローチャートにより、第1の実施の形態の駐車支援動作を説明する。コントローラー8のマイクロコンピューター8aは、左側駐車開始スイッチ6または右側駐車開始スイッチ7が操作されると、図4に示す制御プログラムの実行を開始する。
【0017】
ステップ1で右側駐車開始スイッチ7の操作を確認し、右側駐車開始スイッチ7が押されたらステップ3へ進み、右側方カメラ2で車両右側周辺を撮像してその映像をメモリ8bに取り込む。一方、右側駐車開始スイッチ7が操作されていないときはステップ2へ進み、左側駐車開始スイッチ6の操作を確認する。左側駐車開始スイッチ6が押されたらステップ4へ進み、左側方カメラ1で車両左側周辺を撮像してその映像をメモリ8bに取り込む。
【0018】
図7は左側方カメラ1で進行方向左側の目標駐車場を撮像した映像を示す。目標駐車場21の左右には駐車範囲を区分する白線22,23が引かれており、両隣の駐車場には他の車両24,25が駐車されている。駐車場の奥には壁26に接触しないように車止め13が設置されている。なお、右側方カメラ2で進行方向右側にある駐車場を撮像した映像も同様であるから、図示と説明を省略する。
【0019】
車両右側または左側の目標駐車場を撮像した後のステップ5において、映像の視点変換(座標変換)処理を行って目標駐車場の映像を車両を上から見た映像に変換する。
【0020】
ここで、視点変換処理について説明する。図8に示すように、3次元空間上の任意の位置Cr(Xr,Yr,Zr)に設置した実際のカメラにより撮像した映像Prを、任意の位置Cv(Xv,Yv,Zv)に設置した仮想カメラの映像Pvに変換する例を説明する。ここで、2台のカメラは1点で映像を取り込むピンホールカメラとする。また、映像Pr、Pvは少なくともカメラの向きを示すベクトルLr、Lvと垂直であれば、位置は画像の大きさに応じて任意の位置に設定することができる。画像が大きい場合はより後方に設定し、画像が小さい場合はより前方に設定するのが望ましい。
【0021】
撮像映像Prを映像Pvに変換する手順を説明する。まず、映像Pv上の任意の位置に点Ivを設定し、点Ivと点Cvとを結ぶ直線がX−Z平面と交差する点Izを求める。なお、点Ivと点Cvとを結ぶ直線がX−Z平面と交差しない場合は、点Ivが実カメラの撮像範囲外にあることを示すために点Ivの画素の色を所定の色とする。
【0022】
次に、点Izと点Crとを結ぶ直線がPr面と交差する点Irを求め、点Irの画素の色を点Ivの画素の色と同一色とする。なお、点Izと点Crとを結ぶ直線がPr面と交差しない場合には、点Irが実カメラの撮像範囲外にあることを示すために点Irの画素の色を所定の色とする。映像Pr上のすべての点の画素の色を決定するまで上述した処理を繰り返す。
【0023】
図9は、図8に示す実カメラ映像と仮想カメラ映像との位置関係を横から見たY−Z平面と上から見たX−Z平面に展開した図である。実カメラ位置Crの中心線がZ軸と交差する点Zctrは、
【数1】
Zctr=Yr・tan(θr)
である。ここで、θrは実カメラのX−Z平面に対する傾き角である。実カメラの映像PrのY−Z平面による断面を通る直線Qrxyは、実カメラの中心線(CrとZctrを通る傾き1/tan(θr)の直線)と直交し、映像Prの下端の座標点(Yps,Zps)を通ることから、
【数2】
Y=−tan(θr)・Z+tan(θr)・Zps+Yps
で表される。
【0024】
仮想カメラの映像Pv上の点Ivと仮想カメラ位置Cvとを通る直線がZ軸と交わる点Izを求め、次にこの点Izと実カメラ位置Crとを通る直線が数式2に示す直線Qrxyと交差する点IrのY−Z座標を求める。X−Z平面についてもY−Z平面と同様に点IrのX−Z座標を求める。そして、仮想カメラ映像Pv上の点Ivの画素の色を実カメラ映像Pr上の点Ivの画素を色と同一色とし、仮想カメラ映像Pv上のすべての点に対して上記処理を行う。
【0025】
図10は、図7に示す車両左側の目標駐車場映像に視点変換処理を行って車両の上から見た映像に変換した映像を示す。図10に示す視点変換後の映像において、21’、22’,23’、24’,25’、13’はそれぞれ、図7に示す変換前の映像の駐車場21、白線22,23、隣接駐車車両24,25、車止め13である。なお、隣接駐車車両24,25のような立体的な物体の映像を、上から見た立体的な物体の映像に視点変換することはできないが、少なくとも障害物であることを認識できる映像に変換することができる。28,29は変換前に映像がなかった部分である。
【0026】
視点変換処理後の図4のステップ6において、イグニッションスイッチ4およびキャンセルスイッチ5の状態を確認する。イグニッションスイッチ4がオフしたとき、あるいはキャンセルスイッチ4がオンしたときは駐車支援処理を終了する。そうでなければステップ8へ進み、駐車支援処理を続ける。
【0027】
ステップ8では後方カメラ3から車両後方の映像を取り込み、続くステップ9で上述した視点変換処理によって車両後方の映像を車両を上から見た映像に変換する。この視点変換処理は上述した手順と同様であり説明を省略する。ステップ10で図5に示すサブルーチンを実行し、目標駐車場の映像と車両後方の映像とに基づいて目標駐車場の映像上での自車の現在位置を検出する。図5に示すサブルーチンの処理については後述する。
【0028】
図11は、説明のために目標駐車場への進入途中の車両10と、車両後方の撮像範囲15と、視点変換処理後の目標駐車場の映像31とを重ねて示した図である。なお、目標駐車場の映像上での自車位置を見やすくするために、目標駐車場の映像31の天地を視点変換処理後の目標駐車場の映像(図10)の天地と逆にして示す。
【0029】
ステップ11において目標駐車場の映像上での自車位置を検出できたかどうか確認し、確認できなかった場合はステップ6へ戻り、上述した処理を繰り返す。一方、自車位置が確認できた場合はステップ12へ進み、図12に示すように目標駐車場の映像31上の自車の現在位置に自車画像32を重ねて合成し、続くステップ13で合成映像をモニター9に表示して運転者の駐車操作を支援する。運転者はこの映像を見ながら後退することにより、視認しずらい車両後方の環境と自車との位置関係を容易に認識することができ、後退による駐車操作が容易になる。
【0030】
次に、図5のサブルーチンにより、目標駐車場の映像上で自車位置を検出する処理を説明する。ステップ21において、図10に示す目標駐車場の映像から2個の特徴点を検出する。ここでは、駐車範囲を区分するための左右の2本の白線を特徴点として検出する例を説明する。
【0031】
図13は2本の白線が含まれる映像例を示し、この図によりこれらの白線を特徴点として検出する方法を説明する。映像上の左から右への走査40を、適当な間隔で上から下へ順次行う。走査中に白色でない画素から白色画素に変わる点41を検出し、次に白色画素から白色でない画素に変わる点42を検出する。さらに、点41から点42までの線分43の中心点44を算出し、メモリ8bに記憶する。以上の処理を映像の上から下まで繰り返す。そして、白線の中心点を通る線45の延長線が白色でない画素と交差する点46を検出し、2本の白線のベクトル47,48を求める。
【0032】
図5のステップ22において、視点変換処理後の車両後方映像に対しても上述した特徴点検出方法により2本の白線があるかどうかを調べ、2本の白線がなければ処理を終了して図4の制御プログラムへリターンする。車両後方映像に2本の白線が検出されたらステップ24へ進み、図6に示すサブルーチンを実行して後方カメラ3の映像、すなわち自車後方の映像を拡大または縮小、回転、移動させて目標駐車場映像と共通の2つの特徴点、すなわち2本の白線を重ね合わせる。
【0033】
図6のステップ31において、目標駐車場の映像上で特徴点間の距離、すなわち2本の白線ベクトル47,48の間の距離49(図13参照)を計測する。次に、ステップ32で後方カメラ3の自車後方映像上で特徴点間の距離、すなわち2本の白線間の距離を計測する。ステップ33では、自車後方の映像を拡大または縮小して2本の白線間の距離を、目標駐車場の映像上での2本の白線間の距離に一致させる。
【0034】
ステップ34で、図14に示すように、目標駐車場の映像31上での2本の白線ベクトル47,48と、自車後方の映像51上での2本の白線ベクトルとが平行になるように、自車後方の映像51を回転させる。さらにステップ35で自車後方の映像51をX軸およびY軸方向に移動させて、2つの映像31,51の2つの特徴点を重ね合わせることができるか、すなわち2つの映像31,51の2本の白線ベクトルがそれぞれ重なるかどうかを確認する。2つの映像31,51の2本の白線ベクトルが重ならない場合は処理を終了して図5のサブルーチンへリターンし、重なる場合はステップ36へ進む。ステップ36では自車後方の映像51の拡大量または縮小量、回転量および移動量をメモリ8bに記憶し、処理を終了して図5のサブルーチンへリターンする。
【0035】
なお、図15に示すように、目標駐車場の映像31と自車後方の映像51の各特徴点を一致させる際に、車両の移動量と操舵角を検出して初期位置52からの移動軌跡53と現在位置54を常に演算することによって、2つの映像31と51のおおよその位置関係が把握できるので、特徴点を重ね合わせる処理を短時間で行うことができる。
【0036】
このように、この第1の実施の形態によれば、目標駐車場の映像と自車の進行方向の映像、すなわち自車後方の映像との共通の特徴点、すなわち白線を検出し、目標駐車場の映像に対して自車後方の映像を縮小または拡大、回転、移動することによって両映像の白線を重ね合わせ、自車後方の映像の縮小量または拡大量、回転量および移動量により目標駐車場の映像上での自車の現在位置を検出し、目標駐車場の映像上の自車の現在位置に自車の画像を重ねて表示するようにしたので、カメラとモニターが設置されていない駐車場に後退で進入する場合でも、視認が困難な自車後方の環境と自車との位置関係を運転者に容易に把握させることができ、運転者の駐車操作を支援することができる。
【0037】
《発明の第2の実施の形態》
現在の操舵角のままで所定距離移動後の自車位置を推定し、目標駐車場の映像に推定自車位置の画像を重ねて表示することによって、車両の挙動が推測できない運転者の駐車操作を支援するようにした第2の実施の形態を説明する。
【0038】
図16は第2の実施の形態の構成を示す。なお、図1に示す機器と同様な機器に対しては同一の符号を付して相違点を中心に説明する。この第2の実施の形態は、図1に示す第1の実施の形態の構成にシフトセンサー61と舵角センサー62を加えたものである。シフトセンサー61は変速機のシフトレバー(不図示)のパーキング位置への設定操作を検出し、舵角センサー62は操舵輪の舵角を検出する。
【0039】
上述した第1の実施の形態では、目標駐車場の映像と自車後方の映像との共通の特徴点を検出し、目標駐車場の映像に対して自車後方の映像を縮小または拡大、回転、移動することによって両映像の共通の特徴点を重ね合わせ、自車後方の映像の縮小量または拡大量、回転量および移動量により目標駐車場の映像上での自車の現在位置を検出し、目標駐車場の映像上の自車の現在位置に自車の画像を重ねて表示した。この第2の実施の形態では、上述した第1の実施の形態の処理に加え、図17に示す所定距離移動後の自車位置の推定と、その推定位置への自車画像の表示処理とを実行する。
【0040】
ステップ41において、シフトセンサー61からシフトレバー位置の情報を、舵角センサー62から操舵角の情報をそれぞれ入力する。続くステップ42でシフトレバーがパーキング位置に設定されているかどうかを確認し、パーキング位置に設定されているときは車両の移動はないから処理を終了する。パーキング位置に設定されていないときはステップ43へ進み、現在の操舵角のままで予め設定した距離だけ進んだと仮定した場合の自車位置を推定演算する。そして、ステップ44で目標駐車場の映像上の自車の推定位置に自車の画像を重ねて合成し、合成した映像をモニター9に表示する。
【0041】
図18は第2の実施の形態によるモニター映像例である。上述した第1の実施の形態によって目標駐車場の映像31上の自車の現在位置に自車の画像32を表示した後、この第2の実施の形態によって所定距離移動後の自車の推定位置に自車の画像63をさらに重ねて表示する。なお、現在の自車位置から所定距離移動後の自車の推定位置までの自車の移動軌跡を重ねて表示するようにしてもよい。
【0042】
このように、第2の実施の形態によれば、現在の操舵角のままで所定距離走行した後の目標駐車場の映像上での自車の位置を推定し、目標駐車場の映像上の自車の推定位置に自車の画像を合成して表示するようにしたので、このまま所定距離走行した後の自車と駐車場環境との位置関係をモニター画面上で容易に把握することができ、車両の挙動が推測できない運転者の駐車操作を支援することができる。
【0043】
なお、上述した第1および第2の実施の形態では、目標駐車場の映像と自車後方の映像からそれぞれ白線を特徴点として検出し、それらを重ね合わせる例を示したが、映像の特徴点は白線に限定されず、例えば駐車場の車止めや隣接する駐車車両を特徴点としてもよい。
【0044】
《発明の第3の実施の形態》
縦列駐車時に、目標縦列駐車場の映像上での自車の現在位置に自車の画像を重ねて表示するようにした第3の実施の形態を説明する。
【0045】
この第3の実施の形態の構成は図1に示す第1の実施の形態の構成と同様であり、図示と説明を省略する。また、この第3の実施の形態の動作は、図4に示す駐車支援制御プログラムのステップ10において図19に示すサブルーチンを実行する点のみが第1の実施の形態と相違するので、この相違点を中心に第3の実施の形態の動作を説明する。
【0046】
この第3の実施の形態では自車の左側方の目標駐車場へ縦列駐車する場合を例に上げて説明する。図20は、車両を進行方向左側の目標縦列駐車場に横付けした状態を上から見た図である。縦列駐車の場合の撮像範囲71は、上述した第1および第2の実施の形態の横並びの駐車の場合よりも画角の広いレンズを用いて広い範囲を撮像する必要がある。左側方カメラ1Aはズームレンズを備えており、ズームレンズを広角側に設定して広い範囲71を撮像する。目標縦列駐車場72の前後にはすでに他の車両73,74が駐車されている。なお、75は壁である。
【0047】
進行方向左側の縦列駐車場に駐車するときは、左側方カメラ1Aの正面に目標縦列駐車場72が来る位置でいったん停車し、運転者が左側駐車開始スイッチ6を操作する。これにより、駐車支援動作が開始され、車両左側周辺の範囲71の映像が撮像されて上述した視点変換処理が行われる。これらの処理は上述した図4のステップ2,4,5の処理に相当する。
【0048】
図21は、図20に示す撮像範囲71の映像を上述した視点変換(座標変換)処理した映像を示す。図21に示す視点変換後の映像において、76は前方隣接車両73の後部バンパー、77は後方隣接車両74の前部バンパー、75’は壁、78,79は変換前に映像がなかった部分である。なお、上述したように、隣接駐車車両73,74のような立体的な物体の映像を、上から見た立体的な物体の映像に視点変換することはできないが、少なくとも障害物であることを認識できる映像に変換することができる。
【0049】
図22は後方カメラ3の撮像範囲を示す図である。後方カメラ3の取り付け位置は上述した第1の実施の形態と同様であり、自車後方の範囲15を撮像する。また、図23は、図22に示す撮像範囲15の映像を視点変換処理した映像を示す。図23において、77は後方駐車車両74の前部バンパーであり、81,82は変換前に映像がなかった部分である。なお、自車後方の撮像と撮像映像の視点変換処理は上述した図4のステップ8,9の処理に相当する。
【0050】
この第3の実施の形態では、図4に示す駐車支援制御プログラムのステップ10において図19に示すサブルーチンを実行し、目標縦列駐車場の映像と車両後方の映像に基づいて目標縦列駐車場の映像上での自車の現在位置を検出する。この実施の形態では、後方駐車車両74の前部バンパー77の前縁線を、目標縦列駐車場の映像と自車後方の映像との共通の特徴点とする。
【0051】
図19のステップ51において、図21に示す視点変換処理後の目標縦列駐車場の映像から、後方駐車車両74の前部バンパー77の前縁線を検出する。
【0052】
ここで、隣接駐車車両73,74のバンパー76,77の前縁線および後縁線を検出する方法について説明する。まず、図21に示す視点変換処理後の目標縦列駐車場の映像において各画素の色の頻度分布を調べ、映像中で最も頻度の多い色を道路面の色とする。次に、視点変換処理後の映像から縦方向エッジを抽出し、その中から路面色またはそれに近い色のエッジを除く。そして、映像の左右周辺部で最も長い縦方向のエッジ列を隣接車両73,74のバンパー76,77の前縁線または後縁線であるとする。
【0053】
次にステップ52で、図23に示す視点変換処理後の自車後方映像から、上述した方法により後方駐車車両74のバンパー77の前縁線を検出する。バンパー77の前縁線が検出できなければ処理を終了し、検出できたらステップ53へ進む。ステップ53では、図24に示すように、自車後方映像83の後方車両バンパー77の前縁線と、目標縦列駐車場の映像84の後方車両バンパー77の前縁線とを重ね合わせるために、自車後方の映像を拡大または縮小、回転、移動する。
【0054】
ステップ54で、自車後方映像の後方車両バンパー77の前縁線と、目標縦列駐車場映像の後方車両バンパー77の前縁線とを重ね合わせることができたかどうかを確認し、重ね合わせることができなければ処理を終了し、重ね合わせることができたらステップ55へ進む。ステップ55では、自車後方映像の拡大量または縮小量、回転量および移動量に基づいて、目標縦列駐車場の映像84上での自車の現在位置を検出する。その後、図4のステップ11へリターンする。
【0055】
リターン後の図4のステップ11において、目標縦列駐車場の映像84上での自車の現在位置を検出できたかどうか確認し、確認できなかった場合はステップ6へ戻り、上述した処理を繰り返す。一方、自車の現在位置が確認できた場合はステップ12へ進み、図25に示すように目標縦列駐車場の映像84上の自車の現在位置に自車画像85を重ねて合成し、続くステップ13で合成映像をモニター9に表示して運転者の駐車操作を支援する。運転者はこの映像を見ながら後退することによって、視認しずらい車両後方の環境と自車との位置関係を容易に把握することができ、後退による縦列駐車操作が容易になる。
【0056】
このように、この第3の実施の形態によれば、目標縦列駐車場の映像と自車後方の映像との共通の特徴点、すなわち後方車両バンパーの前縁線を検出し、目標縦列駐車場の映像に対して自車後方の映像を縮小または拡大、回転、移動することによって両映像の後方車両バンパーの前縁線を重ね合わせ、自車後方の映像の縮小量または拡大量、回転量および移動量により目標縦列駐車場の映像上での自車の現在位置を検出し、目標縦列駐車場の映像上の自車の現在位置に自車画像を重ねて表示するようにしたので、縦列駐車場に後退で進入する場合でも、視認が困難な自車後方の環境と自車との位置関係を容易に把握させることができ、運転者の駐車操作を支援することができる。
【0057】
なお、上述した一実施の形態では、目標駐車場の映像の自車の現在位置または推定位置に、自車の画像を表示する例を示したが、自車画像を半透明の画像または外枠のみの画像にすることによって、例えば自車が白線上にあってもモニター画面上では自車画像の下にある白線を視認でき、2つの映像を重ねても目標駐車場の映像の一部が見えなくなることがなく、車両後方環境と自車との位置関係をさらに見やすくすることができる。
【0058】
また、上述した一実施の形態では、自車の左右側方に設置したカメラで目標駐車場を撮像するとともに、自車後部に設置したカメラで自車後方を撮像し、両カメラの映像に基づいて目標駐車場の映像上での自車の現在位置を検出する例を示したが、目標駐車場の映像は一度撮像して画像メモリに記憶しておけばよいから、自車後部に設置した1台のカメラで目標駐車場と自車後方とを撮像するようにしてもよい。
【0059】
上述した一実施の形態では、後退しながら駐車場に進入する例を示したが、車両前部にカメラを設置して前進しながら駐車場に進入する場合にも本発明を適用することができる。例えば、大型トラックやバスなどの運転室が高い位置にある車両では、車両のすぐ前の道路環境が視認しにくいので、本発明を適用すると上述した一実施の形態と同様な効果が得られる。
【0060】
さらに、上述した一実施の形態では、座標変換により車両の上から見た映像に変換した後の目標駐車場の映像と自車後方の映像とに基づいて目標駐車場の映像上での自車の現在位置を検出し、自車位置に自車画像を重ねて合成し表示する例を示したが、座標変換を行わず、カメラで撮像した目標駐車場の映像と自車後方の映像とに基づいて目標駐車場の映像上での自車の現在位置を検出し、自車位置に自車画像を重ねて合成し表示するようにしてもよい。
【図面の簡単な説明】
【図1】 第1の実施の形態の構成を示す図である。
【図2】 車両を進行方向左側の駐車場に横付けした状態を上から見た図である。
【図3】 後方カメラの取り付け位置とその撮像範囲を示す図である。
【図4】 第1の実施の形態の駐車支援制御プログラムを示すフローチャートである。
【図5】 図4に続く、第1の実施の形態の駐車支援制御プログラムを示すフローチャートである。
【図6】 図5に続く、第1の実施の形態の駐車支援制御プログラムを示すフローチャートである。
【図7】 左側方カメラで駐車目標の進行方向左側の駐車場を撮像した映像を示す図である。
【図8】 視点変換(座標変換)処理を説明するための図である。
【図9】 図8に示す実カメラ映像と仮想カメラ映像との位置関係を横から見たY−Z平面と上から見たX−Z平面に展開した図である。
【図10】 図7に示す車両左側駐車場の映像に視点変換処理を行って車両の上から見た映像に変換した映像を示す図である。
【図11】 説明のために目標駐車場への進入途中の車両と、車両後方の撮像範囲と、目標駐車場の映像とを重ねて示した図である。
【図12】 目標駐車場の映像に自車画像を重ねて合成した映像例を示す図である。
【図13】 2本の白線を含む映像からこれらの白線を特徴点として検出する方法を説明するための図である。
【図14】 目標駐車場の映像の特徴点と自車後方の映像の特徴点とを一致させる方法を説明するための図である。
【図15】 目標駐車場の映像の特徴点と自車後方の映像の特徴点とを短時間で一致させる変形例の方法を説明するための図である。
【図16】 第2の実施の形態の構成を示す図である。
【図17】 第2の実施の形態の所定距離移動後の自車位置の推定と推定自車位置の表示処理を示すフローチャートである。
【図18】 第2の実施の形態の表示例を示す図である。
【図19】 第3の実施の形態の目標縦列駐車場の映像上での自車位置を検出するサブルーチンを示すフローチャートである。
【図20】 車両を進行方向左側の縦列駐車場に横付けした状態を上から見た図である。
【図21】 図20に示す撮像範囲の映像を視点変換処理した目標縦列駐車場の映像を示す図である。
【図22】 後方カメラの取り付け位置とその撮像範囲を示す図である。
【図23】 図22に示す撮像範囲の映像を視点変換処理した車両後方の映像を示す図である。
【図24】 目標縦列駐車場映像と自車後方映像との共通の特徴点を一致させる方法を説明するための図である。
【図25】 目標縦列駐車場の映像上の自車の現在位置に自車の画像を重ねて合成した映像を示す図である。
【符号の説明】
1,1A 左側方カメラ
2 右側方カメラ
3 後方カメラ
4 イグニッションスイッチ
5 キャンセルスイッチ
6 左側駐車開始スイッチ
7 右側駐車開始スイッチ
8 コントローラー
8a マイクロコンピューター
8b メモリ
9 モニター
10 車両
11 撮像範囲
12 駐車場
13 車止め
14 路面
15 撮像範囲
21 目標駐車場
22,23 白線
24,25 隣接駐車車両
26 壁
31 目標駐車場の映像
32 自車の画像
47,48 白線のベクトル
49 白線間の距離
51 自車後方の映像
61 シフトセンサー
62 舵角センサー
63 自車の画像
71 撮像範囲
72 目標縦列駐車場
73,74 隣接駐車車両
75 壁
76 前方車両の後部バンパーの後縁線
77 後方車両の前部バンパーの前縁線
83 自車後方の映像
84 目標縦列駐車場の映像
85 自車の画像
Claims (7)
- 車両に搭載されて駐車支援動作の開始時に目標駐車場を撮像する側方カメラと、
車両に搭載されて車両後退中に車両進行方向の撮像を継続する後方カメラと、
前記側方カメラで予め撮像した前記駐車支援動作の開始時の目標駐車場の映像と、前記後方カメラで撮像した車両後退中の車両進行方向の映像とに基づいて、前記目標駐車場の映像上での車両後退中の自車の現在位置を検出する現在位置検出手段と、
前記目標駐車場の映像上の前記自車の現在位置に自車の画像を重ねて合成する画像合成手段と、
前記合成画像を表示する表示手段とを備えることを特徴とする駐車支援装置。 - 請求項1に記載の駐車支援装置において、
前記現在位置検出手段は、前記目標駐車場の映像と前記車両進行方向の映像との共通の特徴点を検出する特徴点検出手段と、
前記両映像の共通の特徴点を重ね合わせるように、前記車両進行方向の映像を拡大または縮小、回転および移動する画像処理手段と、
前記画像処理手段による前記車両進行方向の映像の拡大量または縮小量、回転量および移動量に基づいて、前記目標駐車場の映像上での自車の現在位置を演算する現在位置演算手段とを有することを特徴とする駐車支援装置。 - 請求項2に記載の駐車支援装置において、
前記現在位置検出手段は、前記目標駐車場の映像と前記車両進行方向の映像とを視点変換処理して車両を上から見た映像に変換する視点変換手段を有し、
視点変換処理後の映像に基づいて前記目標駐車場の映像上での自車の現在位置を検出することを特徴とする駐車支援装置。 - 請求項1〜3のいずれか1項に記載の駐車支援装置において、
操舵角を検出する舵角検出手段と、
現在の操舵角のままで所定距離走行した後の前記目標駐車場の映像上での自車の位置を推定する位置推定手段とを備え、
前記画像合成手段は、前記目標駐車場の映像上の前記所定距離走行後の自車の推定位置に自車の画像を重ねて合成することを特徴とする駐車支援装置。 - 請求項1〜4のいずれか1項に記載の駐車支援装置において、
前記画像合成手段は、半透明または外枠のみの自車の画像を前記目標駐車場の映像に重ねて合成することを特徴とする駐車支援装置。 - 請求項2〜5のいずれか1項に記載の駐車支援装置において、
駐車範囲を区分する白線を前記両映像の共通の特徴点とすることを特徴とする駐車支援装置。 - 請求項2〜5のいずれか1項に記載の駐車支援装置において、
縦列駐車場の隣接車両のバンパーの前縁線または後縁線を前記両映像の共通の特徴点とすることを特徴とする駐車支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000211256A JP4156181B2 (ja) | 2000-07-12 | 2000-07-12 | 駐車支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000211256A JP4156181B2 (ja) | 2000-07-12 | 2000-07-12 | 駐車支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002029350A JP2002029350A (ja) | 2002-01-29 |
JP4156181B2 true JP4156181B2 (ja) | 2008-09-24 |
Family
ID=18707391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000211256A Expired - Lifetime JP4156181B2 (ja) | 2000-07-12 | 2000-07-12 | 駐車支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4156181B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4110937B2 (ja) * | 2002-11-18 | 2008-07-02 | 日産自動車株式会社 | 駐車支援装置 |
JP4092479B2 (ja) * | 2003-01-07 | 2008-05-28 | 日産自動車株式会社 | 車両用運転支援装置 |
KR200463011Y1 (ko) | 2010-01-07 | 2012-10-16 | 쓰리에이치비젼주식회사 | 주차 가이드 라인 장치 |
JP5644200B2 (ja) * | 2010-06-16 | 2014-12-24 | 日産自動車株式会社 | 駐車支援システム |
WO2014083827A1 (ja) * | 2012-11-27 | 2014-06-05 | 日産自動車株式会社 | 車両用加速抑制装置 |
JP7321750B2 (ja) * | 2019-04-16 | 2023-08-07 | 三菱重工交通・建設エンジニアリング株式会社 | ボーディングブリッジの制御システム |
JP7321749B2 (ja) * | 2019-04-16 | 2023-08-07 | 三菱重工交通・建設エンジニアリング株式会社 | ボーディングブリッジ及びその制御装置 |
CN114078239A (zh) * | 2020-08-13 | 2022-02-22 | 纵目科技(上海)股份有限公司 | 一种智能泊车系统的车辆边界线检测装置和检测方法 |
CN114783248B (zh) * | 2022-03-01 | 2023-09-15 | 中国人民解放军空军工程大学 | 一种特种装备复杂作业环境下的精确停车定位方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3362584B2 (ja) * | 1995-12-22 | 2003-01-07 | 三菱自動車工業株式会社 | 駐車判定装置 |
JP3834967B2 (ja) * | 1997-11-25 | 2006-10-18 | 日産自動車株式会社 | 死角範囲表示装置 |
EP2267656A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus und image displaying method |
JP3445197B2 (ja) * | 1998-10-08 | 2003-09-08 | 松下電器産業株式会社 | 運転操作補助装置 |
EP1179958B1 (en) * | 1999-04-16 | 2012-08-08 | Panasonic Corporation | Image processing device and monitoring system |
JP3606816B2 (ja) * | 2000-04-05 | 2005-01-05 | 松下電器産業株式会社 | 運転操作補助装置 |
-
2000
- 2000-07-12 JP JP2000211256A patent/JP4156181B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002029350A (ja) | 2002-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5003946B2 (ja) | 駐車支援装置 | |
JP5380941B2 (ja) | 駐車支援装置及び方法 | |
JP3427823B2 (ja) | 縦列駐車時の車両後退支援装置 | |
JP4907883B2 (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
JP3695319B2 (ja) | 車両周辺モニタ装置 | |
US7145519B2 (en) | Image display apparatus, method, and program for automotive vehicle | |
JP7151293B2 (ja) | 車両周辺表示装置 | |
JP7222254B2 (ja) | 周辺表示制御装置 | |
WO2012043092A1 (ja) | 駐車支援装置 | |
CN109624851B (zh) | 基于增强现实的辅助驾驶方法、系统及可读存储介质 | |
JP2001163132A (ja) | 車両後方監視装置用画像変換装置 | |
JP4772409B2 (ja) | 画像表示システム | |
JP5471141B2 (ja) | 駐車支援装置及び駐車支援方法 | |
JP5446139B2 (ja) | 駐車支援装置及び駐車支援方法 | |
JP2004240480A (ja) | 運転支援装置 | |
JP4797877B2 (ja) | 車両用映像表示装置及び車両周囲映像の表示方法 | |
JP2012056428A (ja) | 運転支援装置 | |
JP5400316B2 (ja) | 駐車支援装置 | |
WO2017057006A1 (ja) | 周辺監視装置 | |
JP2009083680A (ja) | 駐車支援装置および駐車支援方法 | |
JP2010028432A (ja) | 駐車支援装置および画像表示方法 | |
JP2012086684A (ja) | 駐車支援装置 | |
JP2009171129A (ja) | 車両用駐車支援装置および画像表示方法 | |
JP4156181B2 (ja) | 駐車支援装置 | |
JP7283514B2 (ja) | 表示制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051114 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051117 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20051209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080520 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080709 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4156181 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140718 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |