JP3951465B2 - 駐車補助装置 - Google Patents

駐車補助装置 Download PDF

Info

Publication number
JP3951465B2
JP3951465B2 JP21621998A JP21621998A JP3951465B2 JP 3951465 B2 JP3951465 B2 JP 3951465B2 JP 21621998 A JP21621998 A JP 21621998A JP 21621998 A JP21621998 A JP 21621998A JP 3951465 B2 JP3951465 B2 JP 3951465B2
Authority
JP
Japan
Prior art keywords
parking
line
window
steering
white line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21621998A
Other languages
English (en)
Other versions
JP2000079860A (ja
Inventor
亮 井上
俊明 柿並
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP10-180991 priority Critical
Priority to JP18099198 priority
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to JP21621998A priority patent/JP3951465B2/ja
Publication of JP2000079860A publication Critical patent/JP2000079860A/ja
Application granted granted Critical
Publication of JP3951465B2 publication Critical patent/JP3951465B2/ja
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は車両の縦列駐車や車庫入れ等の駐車を補助する駐車補助装置に関するものであり、特に、後方画像をカメラにより撮影し、駐車区画を認識して車内のモニタディスプレィに後方画像と共に走行予想軌跡(誘導路ともいう)を表示させたり、音声出力により駐車時の操作を補助する駐車補助装置に係わる。
【0002】
【従来の技術】
従来、縦列駐車や車庫入れ等の駐車に不慣れなドライバーを対象として、駐車操作時に駐車を補助する方法が知られている。例えば、特開平7−17328号公報では車体の周囲にCCDカメラや距離測定を行う距離センサを設け、車両の周辺の様子を探知し、車両の室内に設けられたディスプレィ上に車両周辺の周辺画像を鳥瞰図的に表示してドライバーに周囲の状況を提供している。
【0003】
また、特開昭59−201082号公報においては、ステアリング舵角をステアリングセンサにより検出し、検出した自車の位置と予め入力された駐車に関する所定のデータに基づき、駐車操作時のステアリング操舵角を計算して簡易なディスプレィに操舵角と操舵に必要な指示角を表示するものや、特開平8−2357号公報に示されるものでは車両の後方に設けられた物体検知用の測距センサにより、障害物(特に、駐車しようとする駐車スペースの隣りに駐車している車等)との距離をはかり、その距離に応じて最大舵角による転舵開始位置を検出し、転舵開始位置をドライバーに報知する方法、および、特開平6−234341号公報においてはCCDエリアセンサやステアリングセンサを用いて自車を誘導する誘導路を算出し、求められた誘導路と現在位置に基づき、ドライバーに舵角指示を音声メッセージにより与えるものが知られている。
【0004】
更に、駐車場において車両を的確に駐車区画に誘導する場合、車両と駐車区画との相対的な位置関係を認識する必要があり、駐車区画の認識のために画像認識装置を使う方法がある。従来では車両側に設けられたCCDカメラで後方画像を撮像し、得られた画像を処理してて駐車区画を検出し、車両と駐車区画の相対的位置関係を計測してバック開始位置と適性ステア量を演算する方法が取られている。
【0005】
例えば、特開平6−111198号公報においては、車両に搭載されたCCDカメラを使って、車両周囲の駐車空間を含む所定領域を撮影し、方位ごとに物体までの距離データを算出し、その中で最もカメラに近い距離データを有する成分を駐車場入り口と判断する。
【0006】
また、特開平6−187597号公報においては、駐車空間(駐車場入り口)が複数存在する時、接触の可能性と操舵回数をシミュレートして接触がなく、最も操舵回数が少ない駐車空間を選択してドライバーに教示している。
【0007】
【本発明が解決しようとする課題】
しかしながら、特開平6−111198号公報に示されるものでは、カメラの視野に存在する全ての駐車区画を検出し、その中から、駐車に最適な駐車区画を選択する方法を取ると、画像処理の負担が増大するため、高速に処理しようとすると構成が大掛かりとなってしまう。
【0008】
また、特開平6−187597号公報に示されるものでは、シーンの中に複数の駐車区画があるとき、どの駐車区画を特定して駐車の可能/不可能の判断をすればよいのか、また、どの駐車区画に駐車したいのかはドライバーがなんらかの意図をもって判断することであり(例えば、建物の入り口に近い方を選ぶ、隣の車との間隔が広いなど)、ドライバーの意図する駐車区画を一義的に決定できない。また、あるひとつの駐車区画が写っていてもドライバーはその駐車区画に駐車する意図があるのかわからないという問題が残ってしまう。
【0009】
そこで、本発明は上記の問題点に鑑みてなされたものであり、ドライバーの駐車する意図を的確に読み取り、画像処理の負担を小さくし、簡単な構成によりドライバーの駐車補助を適切に行うことを技術的課題とする。
【0010】
【課題を解決するための手段】
上記の課題を解決するために講じた技術的手段は、車両の後方を撮像するカメラと、車内に設けられ前記カメラからの映像を表示する表示器と、ステアリングホイールの操舵状態を検出する操舵状態検出手段と、前記カメラからの映像を基に画像認識により駐車区画を識別する駐車区画検出手段と、前記操舵状態検出手段により検出された前記ステアリングホイールの操舵状態から車両の駐車操作時の走行予想軌跡を算出する走行予想軌跡算出手段と、該走行予想軌跡と前記駐車区画からの情報により駐車を補助する情報をドライバーに提供する報知手段とを備えた駐車補助装置において、前記走行予想軌跡を前記カメラからの映像とともに前記表示器に表示させ、前記走行予想軌跡の表示位置を基準として、前記カメラからの映像上の前記走行予想軌跡周辺に所定領域のウインドウを設定するウインドウ手段と、該ウインドウ領域内に区画線が存在する場合に該区画線の位置と方向を検出する区画線検出手段と、該区画線検出手段の検出結果より検出された区画線の幅や区画線同士の間隔によって該区画線が駐車区画を構成するかどうかを検証する駐車区画検証手段とを備えたものとした。
【0011】
上記の構成により、カメラで車両後方を撮像し、ステアリングホイールの操舵状態を検出し、検出されたステアリングホイールの操舵状態から駐車操作時の走行予想軌跡を算出し、算出された走行予想軌跡をカメラからの映像とともに表示器に表示させ、走行予想軌跡の表示位置を基準として、カメラからの映像上の走行予想軌跡周辺に所定領域のウインドウを設定し、ウインドウ領域内に区画線が存在する場合に区画線の位置と方向を検出して、その検出結果より、検出された区画線同士の間隔によって該区画線が駐車区画を構成するかどうかを検証するため、従来のようにカメラ視野の全領域に対して区画線を検出しなくてもよくなるため、画像処理の負担が大きく低減される。このため、画像認識装置の処理能力は従来に比べ高性能なものは必要なく、画像処理におけるコストを低減することが可能となる。
【0012】
また、駐車操作時の走行予想軌跡に近い駐車区画の区画線を認識するため、ドライバーがどこの駐車区画に駐車しようとしているかの意図を反映した駐車区画の検出を行い、ドライバーに対して適切な駐車補助が行える。
【0013】
ウインドウは走行予想軌跡の左右に設けられ、左右一定間隔になるよう設けられるようにすれば、ドライバーがどこの駐車区画に駐車したいかといったドライバーの意志が反映され、走行予想軌跡に対応した領域でウインドウの設定が可能となる。
【0014】
尚、ウインドウは走行予想軌跡の左右のみならず、走行予想軌跡の先端、左右上下方向に設けることもできる。
【0015】
また、走行予想軌跡が湾曲し、予想軌跡の端線上に設定したウインドウが区画線から外れた場合に一部の区画線が検出できると、検出された区画線の延長線上にウインドウを設けるようにすれば、駐車区画の区画線が存在する位置に確実にウインドウを設けることが可能となり、画像処理の負担をより低減することが可能となる。
【0016】
一旦、駐車区画が検出された場合には、駐車区画の区画線を包含する追跡ウインドウを設定し、追跡ウインドウ内において走査することにより区画線の検出を行うようにすれば、駐車時の運転操作により駐車区画の区画線からずれた場合でも追跡ウインドウにより区画線を検出し続けることが可能となる。
【0017】
この場合、追跡ウインドウは区画線の位置に追従させるようにすれば、区画線を確実にとらえて検出することが可能となる。
【0018】
更に、報知手段は表示器および特に音声により操舵タイミング、操舵方向、操舵量の少なくとも1つが報知されるようにすれば、ドライバーに対して駐車に関する情報を、後方を目視確認しながらでも提供することが可能になる。
【0019】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
【0020】
図1は、駐車補助装置1のシステム構成図である。この図において駐車補助装置1を制御するコントローラ16には車両の後方を撮影するCCDカメラ(以下、カメラと称す)17、ステアリングホイール(以下、ステアリングと称す)21の操舵角を検出するステアリングセンサ2、トランスミッションのシフトレバーのリバース(後退)状態を検出するシフトレバーリバーススイッチ3、駐車操作時に駐車アシスト機能を動作させる駐車スイッチ4、および、従動輪の左右の車輪速度を検出する車輪速センサ5,6からの信号が入力され、これらの信号を基にコントローラ16はディスプレィ13上に車両の後方画像と後述する走行予想軌跡20を重ねて表示できるようになっている。また、この装置1では音声合成回路7により音声合成出力がスピーカ8からドライバーに対して、音声が発せられ駐車操作時の補助を行えるようになっている。
【0021】
コントローラ16の内部には制御を司るCPU11、ディスプレィ13にグラフィックスを描画するグラフィックス描画回路12、グラフィックス信号とカメラ17からの後方画像を重ね合わせるスーパーインポーズ回路9、カメラ画像から同期信号を抽出してグラフィックス描画回路12へ供給する同期分離回路10、カメラ17からの画像信号を受けて駐車区画30(特に、白線31)の画像認識を行う駐車区画検出用画像認識装置15等が具備されている。
【0022】
ディスプレィ13上にはステアリング21の舵角状態により点灯状態が変化する舵角状態表示(表示マーカー)14が左右対称に設けられ、ステアリング舵角が大きいときに表示マーカー14は転舵している方向に多く点灯したり、中立点では中央のマーカー14のみが点灯するようになっており、ステアリング21がどれだけ転舵されているかが後方画像と共ににわかるようになっている。つまり、表示マーカー14は駐車操作時の操舵タイミング、操舵方向、操舵量が表示され、ドライバーに対して知らせることができる。
【0023】
図2は、駐車補助装置1を車両に取り付けた場合の取付図を示す。後方を撮像するカメラ17は車両後方のナンバープレートの上中央付近に取り付けられ、光軸を下方に向けて設置される。具体的には、図3および図14に示されるように、車両後方の中央に下方(約30度)に向けて取り付けられ、カメラ自体は広角レンズにより左右140度の視野を確保し、後方8m程度までの領域を撮影できるようになっている。
【0024】
また、車両の室内のセンターコンソールにはパネル面にディスプレィ13が備え付けられ、グローブボックス上方にはコントローラ16が内部に取り付けられている。更に、駐車を補助する要求を出す駐車スイッチ4は、ドライバーが操作し易いセンターコンソール近傍に設けられる。
【0025】
ここで、ステアリングセンサ2について図4を参照して説明する。ステアリングセンサ2はステアリング21を転舵した場合の舵角(ステアリング舵角)を検出するものである。これはステアリングコラムシャフト23と一体回転するようにスリット板2aが取付けられており、90°の位相差がついた2組のフォトインタラプタ2c,2bが取付けられている。この構成において、ディスク板2aに円周状に設けられた複数のスリットの回転により、光を通過または遮断してフォトトランジスタをオン/オフさせることにより、A相、B相の2つの信号パルス(図4の(c)参照)を出力している。これは、ステアリング21の回転方向によりA相に対し、B相は90°位相が遅れるか、または、進んで出力されるようになっており、ここでは、ステアリング角度が1°/パルスのものを用いている。
【0026】
次に、図5を参照してコントローラ16の処理について説明する。コントローラ16は電源オン(アクセサリスイッチがオン)により図5に示すプログラムはスタートする。
【0027】
ステップS101ではこの処理に必要なメモリに各種初期値を設定する。その後、ステップS102でシフトリバーススイッチ3の状態をチャックし、リバースでないならば、ディスプレィ13の表示をステップS115でやめ、ステップS102に戻る。一方、シフトリバーススイッチ3がオン(リバースレバーの状態)になるとステップS103を行う。ステップS103ではディスプレィ13をカメラ画像モードに切り換えて、車両後方の画像を生画像で表示できるモードにする。つまり、後方の状態を生画像により正確に表示できるため、後方を横切る人や物等を確認できる。
【0028】
次に、ステップS104において駐車操作時に駐車を補助する駐車スイッチ4をチェックする。ここで、駐車スイッチ4の状態がオフ(駐車補助要求がない状態)であれば、ディスプレィ13のグラフィック画面をステップS112でクリヤしてディスプレィ13には後方の生画像表示のみ(図1において後述する走行予想軌跡20が表示されない状態)とし、ステップS102に戻る。
【0029】
一方、ステップS104において駐車スイッチ4がオン(駐車補助要求がある状態)であるならば、ステップS105に進み、ステップS105では音声合成回路7に予め決められた音声信号出力をし、スピーカ8より音声出力を行う。即ち、駐車操作を開始したことを状況に応じて、「駐車アシストします。軌跡を希望の位置に合わせて、周囲に注意しながらバックして下さい。」、「ただいまより、駐車ガイドを開始いたします。画面の緑(走行予想軌跡)の表示の先端が、駐車区画に向かうように、ハンドルを回して下さい。」、「右(左)にご注意下さい。」等の予め決められた音声メッセージで、ドライバーに対して音声合成により案内を行う。この音声メッセージを聞いて、ドライバーは駐車操作時の補助が開始されたことを知ることができる。
【0030】
次に、ステップS106においてステアリングセンサ2からステアリングセンサ値Nを読み込み、その値を基に駐車操作時の旋回半径Rの算出を行う。具体的には、ステアリングセンサ2の読み込みをA相信号の立ち上がりエッジ検出時にメインプログラムに割り込みを発生させ、図6に示す割り込み処理を実行する。つまり、図6のステップS201においてB相信号の状態をチェックし、B相信号がハイ(H:高電位)なら、ステップS202においてステアリングカウント値Nをインクリメントし、ロー(L:低電位)ならデクリメントしてその値をメモリに記憶する。この場合、ステアリングカウント値Nは、1パルスが1°のため、θ=Nとなる。しかし、上記に示すステアリング値Nのカウントのみではステアリング21の絶対舵角が不定となってしまうため、図7に示す方法によりステアリング舵角の中立点を検出し、N=0として中立点を決める。
【0031】
そこで、図7を参照して中立点決定について説明する。この処理では1秒周期のタイマ割り込みで実行される。ここでは、通常、車輪に備えつけられている公知の左右の車輪速センサ5,6からの信号により車体速度も算出する。ステップS301,ステップS302では左右の車輪速センサ5,6からの信号(パルス)はコントローラ内部のCPU11に内蔵されたハードウェアカウンタによりカウントされ、このタイマ割り込みルーチンで左右の車輪速が読み出され、車輪速センサ値が記憶されるメモリのNR,NLに記憶される。読み出しの後、カウンタ自体はクリアされ、NR,NLは1秒毎のパルス数を示すものとなる。
【0032】
次のステップS303においてNR,NLからその平均値(NR+NL)/2を演算し、この値にタイヤの周長を乗算し、公知の方法により容易に車速Vが求められる。次に、ステアリングセンサ2の基準設定であるが、ステップS304からステップS306では車速V、所定速度(10Km/h)以上の時に左右の車輪速センサ5,6のパルス差がほとんどない状態をもって車両が直進状態であるとみなし、ステップS306でステアリングカウンタNを零にしてリセットすることで、ステアリング舵角の中立点が求められる。
【0033】
ステアリング処理が終了すると、図5のメインルーチンに戻り、ステップS107において走行予想軌跡20のパラメータ演算を行う。走行軌跡パラメータ演算は図11に示される幾何学的な関係から旋回半径Rをステアリング角度θとホイールベースLとから求めるものである。
【0034】
その後、ステップS108においてカメラ17の画像を画像認識装置15に取り込み、ステップS109において区画線検出処理を行う。
【0035】
この区画線検出処理は図8に示される方法によりなされる。カメラ17より入力された画像は、例えば、白黒画像(640×480ドットサイズ)であり、各点は0〜255のグレースケールをもつものとする。
【0036】
ステップS401において公知の技術より駐車区画30の特徴点となる白線31のエッジ検出を行う。具体的には公知のソーベルフィルタにより白線31のエッジを検出し、適当なしきい値を上回っている部分のピークを検出して境界を構成するエッジ点を抽出する方法をとる。この場合、白線の認識が画像認識により駐車区画の特徴点を容易に検出できる。次に、ステップS402においては、これらエッジ点に対し図15に示される路面座標への変換を行なう。この座標系にてステップS403で直線検出を行っている。この直線を求める方法には、公知のHough変換を用いれば検出が可能となる。
【0037】
このHough変換による直線検出は、カメラ17により撮像された駐車区画30の白線31のエッジを検出した後、(X,Z)平面に逆変換されたエッジ点の集合から直線を検出する場合に使用する。つまり、これは公知の技術であり、簡単に説明するとその変換は、各エッジ点を(x,y)とすると、次のようになる。
【0038】
X=x・Hc/(fsinθ−ycosθ)・・・(1)
Z=Hc・(ycosθ+fcosθ)/(fsinθ−ycosθ)・・・(2)
u=X・・・(3)
v=−Z・・・(4)
p=ucosθ+vsinθ・・・(5)
による。即ち、この変換を行うために、先ず各エッジ点を(X,Z)座標で記述するために(1),(2)式の変換を行う。
【0039】
次に、Hough空間として、(ρ,θ)を使用し、各エッジ(X,Z)に対して(3)〜(5)式を使用してρを計算する。この時、(ρ,θ)空間上にθ=−π/2〜π/2の間でHough曲線データを投票する。これは実際にはρ,θ空間を格子状に分割し、2次元マトリックスに対応付けて、θを変化させて対応する各マトリックス値ρをインクリメントする操作に対応する。
【0040】
このようにして、全ての候補エッジ点に対して、マトリックスへの投票を行わせると候補となる線分に対しては曲線の交点が集中する結果、マトリックス値が大きな値をもつようになり、あるしきい値等により適当なマトリックス位置(ρ,θ)が選定され、これに対応して各々1本の直線を抽出することができる。
【0041】
そこで、直線検出後、図8に戻りステップS404においてHough変換により検出された直線から駐車区画30を構成する候補となる線分を抽出する。具体的には図17に示されるように、Lm:車体長さ、Wm:車幅、lm:後輪車軸とカメラとの距離、Rmin:車両の最小回転半径とした場合、図10に示されるように車両後端部中心(カメラ位置)から駐車区画30の入口までの距離D、車両後端部中心(カメラ位置)の駐車場中心に対する横ずれ距離(センターずれ)L、車両と駐車区画との角度(車体角度)θmを幾何学的な関係から求めることができる。
【0042】
ここでは、図17のC,D、E、Fの線分を角度および並びの順序、そして駐車区画幅W1と白線幅W2との比較で、許容範囲内のものを抽出する。
【0043】
次に、ステップS405においては、側線候補(白線)が見つかったか否かをチェックし、側線候補がない場合にはこの処理を終了するが、側線候補有りの場合にはステップS406において、側線に直交する直交成分の検出処理を行う。つまり、これは図17においては、A,Bの仮想線分の探索に対応する。
【0044】
次にステップS407において直交線分候補がない場合には、この処理を終了するが、直交成分候補が有りの場合は、ステップS408においてL,θm,Dを計算して求める。尚、このL,θm,Dを求める具体的な計算方法は図17から幾何学的な関係により算出することができるため、その求め方は省略する。
【0045】
この場合、図8に示されるHough変換を用いて駐車区画30の区画線を検出する以外に、以下に示すように画像処理の負担を減らした方法によっても、駐車区画線の検出が可能である。
【0046】
そこで、画像処理の負担を減らした別の区画線検出処理について説明する。
【0047】
図21において、まず最初にステップS601で駐車区画30が検出されたかが判定される。ここで、駐車区画30が未検出の場合には、ステップS602の駐車区画探索処理を行って駐車区画30の検出を試みるが、既に駐車区画30が検出されている場合には、ステップS603において検出された駐車区画30から、駐車区画追跡処理を実行する。
【0048】
そこで、図24を参照しながら、駐車区画探索処理について説明する。ステップS701では走行予想軌跡パラメータの設定を行う。このパラメータ設定においては、駐車操作時にステアリング舵角を用いて算出を行う走行予想軌跡20は、旋回半径Rを中心として一定の幅を持たせたものであり、駐車区画30の白線31の間隔が通常では2.2m〜2.4m程度であることから、走行予想軌跡20の幅は2.0m〜2.2mに設定する。
【0049】
ステップS702では既に走行予想軌跡20の座標系がわかっていることから走行予想軌跡20の側線座標の演算を行う。次のステップS703では、駐車区画30の白線を検出するウインドウ(探索ウインドウともいう)26の位置と方向を設定し、設定された条件の基でウインドウ26をディスプレィ13の画面上に設定する。尚、ウインドウ26はスイッチ等の外部操作により、ディスプレィ上に直接表示されても、画像処理の中の検出枠のためにディスプレィ上に表示されなくても良い。具体的に、駐車区画30の白線31を検出するウインドウ26の設定は、図22に示される。
【0050】
ウインドウの数は走行予想軌跡20の左右の線20a,20bの上で、2次元または3次元路面上で一定距離間隔となるように左右にウインドウ(右ウインドウ群、左ウインドウ群)26を配置する。ここでは、3次元的にウインドウ26の設定を行っている。
【0051】
また、左右のウインドウ26の長さは3次元路面で走行予想軌跡20の端面から駐車区画30の白線31までの距離(ここでは、50cm)に相当する長さのウインドウ30を画面内に設定する。更に、ウインドウ26の幅はウインドウ26の数にも依存するが、所定以上のサンプル数(例えば、左右それぞれ30個)が確保できる幅とする。
【0052】
次にステップS704では走行予想軌跡20の側線20a,20bの側線勾配が所定角度(例えば、45°)と比較がなされる。ここで、走査方向は走行予想軌跡20の境界線の傾きに応じて決まるものであり、側線勾配の傾きが45°よりも小さければ、ステップS405aにおいて走査方向を垂直方向とし、傾きが45°以上であればステップS706において水平方向に走査する。またこの場合、境界線の傾きに係わりなく、水平/垂直走査の両方を行ない、それぞれの結果を加算してもよい。
【0053】
ステップS709ではエッジ検出、ステップS710では白線検出がなされ、ステップS711において白線を検出した後、ステップS712ではウインドウ26から白線31が外れてしまったかが判定される。つまり、ここでの処理は走行予想軌跡20が湾曲し、走行予想軌跡20の端線上に設定したウインドウ26が白線31から外れてしまった場合、一部の白線31が検出できると、図22の(c)に示めされるように、ステップS713において白線31の延長線上にウインドウ26を設け、ステップS709からの同じ処理で、この新たに設定されたウインドウ内で白線エッジを検出する方法をとる。
【0054】
これは、ウインドウ群(ウインドウA)Wn, Wn-1, Wn-2, Wn-3, ・・・, Wn-iで、白線エッジが検出でき、ウインドウ群Wn-j、・・・・・Wn-kの範囲では白線エッジが検出できなかったことを検出し、ウインドウ群Wn, Wn-1, Wn-2, Wn-3, ・・・Wn-iで検出した白線エッジ点列に直線を当てはめて、直線の方程式を求める。
【0055】
ここで、ウインドウ位置での走行予想軌跡20と、当てはめた直線までの間隔dがWn-j、・・・,Wn-kに向かうほど大きくなっていくときは、走行予想軌跡20の曲率半径が小さいために、ウインドウ26が白線31の存在する位置から外れてしまったと判断し、当てはめた直線上に新たなる Sm、・・・・・Sm-iなるウインドウ26を設定する。ただし、Sm-iは、Wnからの相対距離が最大検出距離(例えば、駐車区画30の白線31の長さ5m)を超えない範囲とする。
【0056】
つまり、画像処理の技術を用いて最初に白線31のエッジ検出を行うのであるが、このエッジ検出は、左ウインドウ群の中の1つのウインドウ内で後述するエッジ検出オペレータを走査させ、プラスとマイナスのエッジペアを検出する。その後、1つのウインドウ内で走査を繰返し、複数のエッジペアを検出し(ウインドウが幅を持っている場合、幅に比例した回数だけ走査する)、左ウインドウ群の他のウインドウにおいても同様に走査し複数のエッジペアを検出し、右ウインドウ群についても同様の走査を行う。この場合、エッジ検出オペレータは、図23の(a)に示されるような1次元のエッジ検出オペレータ、あるいは、(b)に示されるような2次元のエッジ検出オペレータ(プレビッツオペレータ)を用いて検出することが可能である。このエッジオペレータは画像処理の分野においては公知のもので、近傍領域内の濃度の和を求めるため、上下左右の画素に対角線上のものより大きな重みを与えている。また、最適あてはめによるエッジ検出があり、これは検出したエッジの理想的なモデルを想定し、与えられた画像の局所領域内の濃度変化パターンに最もよく合致するようなエッジモデルのパラメータを求め、出力の値は最適なエッジモデルにおける濃度差から計算する方法もある。
【0057】
その後、ステップS712においてウインドウ26から白線31は外れていない場合にはステップS714において駐車区画30の検証を行う。ここでの駐車区画30の検証は、例えば、ウインドウ群で取得したエッジペア群の中で、プラスエッジ群とマイナスエッジ群に対してそれぞれ直線を当てはめる直線あてはめを左右のウインドウ群に対して行う方法をとっており、幾何学的な形状認識も同時に行う。これは、検出された直線を3次元路面上の直線として逆投影変換し、プラスエッジ群に当てはめた直線とマイナスエッジ群に当てはめた直線の間隔を測定する。通常、駐車区画30の白線31は白線間の幅が10cm、または15cmで描かれているため、測定した結果がこの値に一致していれば、白線31であると認める。更に、ここでは、左ウインドウ群から検出した白線31と右ウインドウ群から検出した白線31との間隔が2.2m〜2.4mであれば、それらの2つの白線31が駐車区画30を構成する左右の白線31であると認めるものである
その後、ステップS714では駐車区画30が検出された場合には、ステップS716において、図8のステップS408に示したのと同様の演算を行って、L,θm,Dの算出を行い、駐車区画30に対する車両の位置と姿勢を求める。
【0058】
このように、走行予想軌跡20の表示位置を基準として走行予想軌跡周辺の駐車区画30の白線31を所定領域のウインドウ26で検出する方法をとれば、従来のようにカメラ視野の全領域に対して白線を検出しなくてもよくなるため、画像処理の負担が大きく低減でき、画像認識装置の処理能力は従来に比べ高性能なものは必要なく、画像処理におけるコストを低減できる。また、駐車操作時の走行予想軌跡20に近い駐車区画30の白線31を認識するため、ドライバーがどこの駐車区画30に駐車したかの意図を反映した駐車区画30の検出が行えるものとなる。
【0059】
しかしながら、上記の方法による駐車区画30の白線検出のみでは、駐車操作時のステアリング操作により予想軌跡20を駐車区画30に合わせたときには白線31を検出できるが、予想軌跡20が駐車区画30から外れるようなステアリング操作をした場合には、駐車区画30の白線31が検出途中で急に検出できなくなってしまうことから、図25に示す駐車区画線追跡処理を行う。
【0060】
そこで、次に駐車区画追跡処理について説明する。ここでは、駐車区画30の白線の直線パラメータに基づく追跡ウインドウ27の設定を行うものである。駐車区画探索処理の段階で、既に白線31に対して直線を当てはめており、画面上での直線のパラメータ(位置と勾配)がわかっている。
【0061】
この駐車区画線追跡処理で白線31を検出するために、駐車区画30の1つの白線全体を包含する大きさの追跡ウインドウ27を図26の(a)に示すように設け、この追跡ウインドウ27内で走査することにより白線エッジを検出する方法をとる。この場合、追跡ウインドウ27の勾配と当てはめた直線の勾配とは基本的に一致し、エッジ検出のための走査線の走査方向は、直線勾配が45度以上の場合は水平走査、45度よりも小さい場合は垂直走査とする。
【0062】
追跡ウインドウ27の設定は、具体的には以下の手順で実行するが、ここでは例えば、直線勾配が45度以上の水平走査を行う場合について説明する。
【0063】
図26において前回のサンプリングで測定した白線の始点座標を(Xs,Ys)、終点座標を(Xe,Ye)とすると、追跡ウインドウ27のy方向の上端YwuはYs−α、下端YwlはYe+αとして表わせる。この場合、αは、例えばディスプレィの画面座標値で10〜50の範囲内の固定値、若しくは、3次元路面上で50cm相当等に設定することができ、白線31に対して画面上のどれくらいの範囲で追跡ウインドウ27を表示させたいかは、パラメータにより任意に設定できる。ここでは白線31の長さに着目し、例えば、α=(Ye−Ys)/10とする。一方、追跡ウインドウ27の幅は3次元路面上で所定値(約50cm)、若しくは、2次元画面上で所定値(画面上の白線の幅以上の値)とし、走査線の中央が白線の中央位置にくるように設定する。
【0064】
追跡ウインドウ27が設定されたら、画面上の上から下に向かって順に走査して白線31を検出するのであるが、この場合には、図26の(a)に示すように、追跡ウインドウ内で白線31の両端(白線31の長手方向の端)を始点・終点として検出し、駐車操作時には常に新しい始点・終点を更新し、始点・終点間で検出したエッジ点列に直線を当てはめ、直線パラメータも更新する。
【0065】
得られた新しい始点・終点と直線パラメータ(直線の方程式)は、次の画面でのウインドウ設定時に用いられるが、この操作を繰り返して処理を行なうことにより、追跡ウインドウ27を白線31の位置に常に合わせて移動させ、駐車操作状態に応じて、追跡しながら白線31を検出するため、途中で白線検出が急に途切れることが防止される。
【0066】
尚、この処理において直線の勾配が45度より小さく、垂直走査する場合には、縦横の走査関係を変えれば、同様な処理が可能であることは言うまでもない。また、上記の如く駐車区画30の1本の白線全体を包含する追跡ウインドウ27を設定する。この場合、左右両側に白線31が見えているときには、両側の白線31に追跡ウインドウ27を設定する。追跡ウインドウ内を走査して白線エッジを検出するものに限定されず、図26の(b)に示す如く駐車区画30の1本の白線31に対して探索時に設定するウインドウ26の如く、複数の追跡ウインドウ27を設定して、各追跡ウインドウ27毎に白線エッジの有無を検出する様にしても、図26の(a)と同様の効果を奏する。
【0067】
次に、白線31の端点検出方法を簡単に説明する。白線31のエッジ検出は図27の(a)に示すように、前回の画面で白線31に当てはめた直線を交差する方向(縦方向)に走査し、その直線の両側で白線のエッジ点が検出されたときは、その位置は白線上にある。具体的には、白線が存在しない位置から白線上の位置まで走査線が移動する場合、現走査線位置が白線上になく、順次、走査位置をずらしていったときに白線エッジが検出されたとき、その位置を白線の端点(始点)とみなし、白線上の位置から白線31が存在しない位置まで走査線が移動する場合、現走査線の位置が白線上にあって、順次、走査位置をずらしていったときに白線エッジが検出できなくなったとき、その直前に白線エッジが検出できた位置を白線の端点(終点)とみなす。
【0068】
ここで、白線エッジとは3次元的な換算を行ったときに、実際の白線幅が10cm、または15cmであることから、エッジ間隔が10cm、または15cmであるエッジの組をいう。また、走査して得られた濃度信号の微分により、エッジペアの一方がプラス(+)エッジ、他方がマイナス(−)エッジである組合せから白線を検出しても良い。更に、白線31の検出精度を増すために、白線31の端点(始点/終点)を検出すると、今度がその直交方向に走査して、直行方向の線分を検出し、白線31の端点の境界を検出して、その境界が端点であることを検証する方法も取られる。
【0069】
また、図6の(b)に示すように、それぞれのエッジ点列に当てはめた直線A〜Cの3次元的な配置を測定した後、直線Cが3次元座標において、直線Aおよび直線Bと直交することを検証すれば、より白線認識の精度が向上する。更には、図7の(c)に示すように濃度パターンによる検出方法もとることができる。この方法は、白線31が存在しない場所における走査線1では濃度があまり変化せず、白線31が走査途中に存在する(白線31にかかる)走査線2の位置では、路面(白線に対して暗い)−白線(明るい)−路面(白線に対して暗い)に対応した濃度パターンの変化が表れることで、白線検出をことが可能となる。この場合において、画面の左から右へ走査する場合、まず、白線の左端に差し掛かるまで(+エッジが出現するまで)のa領域の濃度aを測定し、+エッジが出現して次に−エッジが出現するまでのb領域の濃度bを測定する。また、−エッジ以降のc領域の濃度cも測定する。そこで、|濃度a−濃度c|<設定値であり、濃度a<濃度bかつ濃度c<濃度bであることが検証できれば、その濃度分布が生じた走査線上には白線が存在しているとみなすことができる。
【0070】
以上、説明したことをフローチャートに基づいて説明すると、駐車区画線追跡処理のフローチャートは図25のようになる。
【0071】
このフローチャートにおいてステップS801では、直線パラメータに基づく追跡ウインドウ27の設定がなされ、白線31を包含する追跡ウインドウ27が図26に示すような形で設定される。この追跡ウインドウ27はディスプレィ面上にスイッチ操作により表示したり、表示を消したりするように切り替えられるようになっている。次のステップS802において走査線番号にy方向の走査を開始する先頭座標を設定することで、走査開始位置の設定がなされる。その後、ステップS803において走査線番号をインクリメントしてゆき、y方向において上から下への走査がなされる。ステップS804において図27に示す方法により駐車区画30の追跡ウインドウ内における白線エッジの検出がなされ、ステップS805において始点が検出されたかが判定される。この始点検出は、走査線を順に走査してゆき、濃度信号を微分して+エッジおよび−エッジが初めて検出された点を始点Ysとしている。ここで、始点がまだ検出されない場合にはステップS803に戻り、始点Ysが検出されるまでステップS803からの処理を繰り返す。一方、ステップS805において白線31の始点Ysが検出された場合には、ステップS806において新始点位置として白線31の始点位置の走査線番号を設定し、始点位置がメモリに記憶される。この新始点位置の設定により、走査時における白線31の始点位置の設定がなされる。
【0072】
その後、ステップS807において走査線番号をインクリメントし、白線31が存在する位置で走査線を順にy方向に走査してゆき、ステップS808においてステップS804と同様の白線エッジの検出を行う。次に、ステップS809において始点Ysから走査し続けた後、白線31の終点Yeが検出されたかが判定される。ここで、白線31の終点がまだ検出されない場合(白線31を検出し続けている場合)にはステップS807に戻り、白線31の終わりを継続して検出し、終点Yeが検出されるまで白線エッジの検出を行う。一方、終点Yeが検出された場合には、ステップS810において今度は新終点位置として白線31の終点の走査線番号が設定され、終点位置がメモリに記憶される。
【0073】
その後、ステップS811において走査により検出された走査線毎にエッジ点列に対して直線を当てはめ、+エッジから求めた直線と−エッジから求めた直線を算出し、その中間線を求めそれを駐車区画30の白線31の中心線とする。この中心線を駐車操作時において駐車補助を行う場合の基準線とするが、−エッジからの直線を白線31の基準線とすることも可能である。
【0074】
その後、ステップS812において常に最新の追跡ウインドウ27の設定を行うために、直線パラメータの位置方向、長さ、端点位置の更新がなされ、ステップS813においてL,θm,Dが算出され、駐車区画30に対する車両の位置と姿勢を求める。
【0075】
次に、図9を参照して車両の状態判断について説明する。
【0076】
ステップS501において、駐車区画が検出されたか否かをチェックし、区画検出がされていない場合にはステップS512において不明と判断し、不明フラグをセットする。一方、区画検出がされた場合にはステップS502に進み、センターずれL,車体角度θmから、基準となる旋回半径R0を求める。これは図17に示した(条件1)式で示されるもので、駐車区画30の中心軸と車両中心軸とに共に接する円の半径を求めることになる。この場合には、車両の進行方向に向かって右側に旋回中心がある場合には、半径R0は正となる。
【0077】
次に、ステップS503において旋回半径R0を車両の最小回転半径であるRminと比較し、これより小さければ車両は駐車区画30に進入不能となるため、ステップS511において不能と判断し、駐車不能フラグをセットする。ここで、旋回半径R0がRmin以上で駐車可能であれば、ステップS504に進み、図17に図示したdを(条件2)式により計算する。これは旋回のための半径R0の軌跡より駐車区画30内の適切な位置で車両が平行になれるかを判断するものであり、ステップS505においてd<Lm−lmの条件下において駐車が可能であるかを判断する。尚、このステップS505に示す条件が成立しない場合には、車両は駐車区画30に入っても平行にはならないものとなる。
【0078】
次に、ステップS506に進み、条件3をチェックする。つまり、図17の条件3に示す関係式でRxを求める。これは車両が駐車区画30に進入する際に旋回の内側が駐車区画コーナー部と干渉しないかをチェックするものであり、ステップS507においてRx<|R0|−Wm/2の条件が成立すれば、車両の旋回の内側が隣りの車両等と接触する可能性が少なくなるとみなすことができる。しかし、これはあくまで計算上の基準であり、実際には隣接車両のはみ出し等も考えられ、目視での確認が必要となる。よって、以上の条件式(条件1から条件3)が成立すれば、ステップS508に進む。
【0079】
ステップS508においては現在のステアリング舵角に基づく旋回半径Rと基準半径R0とを比較して略一致していれば、ステップS509においてこのままのステアリング舵角で駐車可能とし、駐車可能フラグをセットする。一方、旋回半径Rと基準半径R0が略一致しない場合には、ステップS510においてステアリング修正は必要とみなし、ステアリング修正フラグをセットとする。但し、図20に示すようにR0>Rminの場合には自由度があり、状況によってはステアリング修正は不要となる。
【0080】
この結果を基に、図5のステップS111では音声出力2を行う。ここでの音声出力2は、ステップS110の状態判断によりセットされたフラグにより、予め定められた文章を発してドライバーに対して報知するものである。具体的には、図19に示されるように状態判断により「不明」の場合には、「駐車区画を検出していません」、「不能」の場合には「前に進んでもう一度やり直して下さい」、このままの舵角で駐車が可能な場合には「周囲に注意してそのままバックして下さい」等の音声メッセージを、音声合成回路7からスピーカ8に対して出力する。この場合、走行予想軌跡20をディスプレィ13に表示する場合の場合の色の指定も図19に示される表示色に設定される。
【0081】
次に、ステップS112においてグラフィックス再描画処理を行う。ここでの処理は後方画像に走行予想軌跡20をディスプレィ上に重ねて表示させるものであり、この表示を行うためには路面座標をカメラ座標に変換しなければならないことから、以下に示す座標変換を行う。
【0082】
そこで、この座標変換は図16に示すように、(X,Y,Z):路面座標、(x,y):カメラ座標(CCD素子面)、f:レンズ焦点距離、(x’,y’,z’):レンズ座標(z’は光軸に一致)、θc:カメラ取り付け角度、Hc:路面からの取り付け高さとすると、以下のような関係式が成立する。つまり、
x=f・x’/z’・・・(1’)
y=f・y’/z’・・・(2’)
x’=X・・・(3’)
y’=Zsinθc+(Y−Hc)cosθc・・・(4’)
z’=Zcosθc−(Y−Hc)sinθc・・・(5’)
より、路面上の座標のみに限定すればY=0となり、x,yを求めれば、
x=f・X/(Zcosθc+Hcsinθc)・・(6’)
y=f・(Zsinθc−Hccosθc)/(Zcosθc+Hcsinθc)
・・・(7’)
となる。よって、路面座標上の点(X,Z)をカメラで撮影した場合、グラフィックス画面上(カメラ座標)での座標(x,y)を(6’),(7’)式より求め、後方画像に重ね合せることができる。
【0083】
この場合、上記の方法により求めたx,yの走行予想軌跡20をディスプレィ上に表示するのであるが、その表示方法は図12に示されるように各種の方法が考えられる。つまり、図12の(a)では車両の左右輪が通過する予想轍による表示する方法、(b)では駐車時に車両が走行する走行エリアをベクトル表示する方法、(3)は一定距離間隔(はしご間隔:50cm)がわかるようにしたはしご状に表示する方法等があり、ここでは(c)を用いて、駐車操作時に距離感や各位置での車体の角度が分かり易い方法を採用している。尚、この場合、車両予想軌跡20の長さlは固定長(例えば、3m)にしたり、一定の角度分とし、旋回状態(緑色とする)と直進状態(青色とする)で色を変化させたり、更には、予想軌跡先端部のみを区別し易い表示にしたりする方法をとることもできる。
【0084】
図18はディスプレィ13上での走行予想軌跡20とステアリング舵角の状態を示した表示画面の一例であり、ステアリング舵角に応答して走行予想軌跡20が変化する状態を示したものである。これは車両の後方の生画像をモニタし、駐車スイッチ4がオンしている(駐車補助要求ありの状態)場合にのみ、ステアリング舵角に応じてはしご状になった走行予定軌跡20を重なり合って表示させるようにしている。この場合、後方画像に走行予想軌跡20を表示させることで、ステアリング21をどれだけ転舵しているかわかるようにディスプレィ13の一部に舵角状態を表示する表示マーカー14を一緒に表示させているので、実際にどれだけ転舵しているかがわかる。
【0085】
次のステップS113においては駐車スイッチ4がオン(駐車補助要求あり)されているかが判断される。ここで、駐車スイッチ4がオンされていない(駐車補助要求がない)場合にはステップS102に戻り、ステップS102からの処理を繰り返す。一方、駐車補助要求がありの場合には、ステップS114においてリバース状態であるかをシフトレバーリバーススイッチ3をチェックする。ここでリバース状態でない場合にはステップS102に戻るが、リバース状態の場合にはステップS106からステップS114までの同じ処理を繰り返す。
【0086】
つまり、リバース状態で駐車補助要求がある場合にはディスプレィ上に後方画像と一緒に走行予想軌跡も一緒に表示されるようになるため、ドライバーはこれを見てステアリング21を回し、適切な位置に保持しバックすれば良い。駐車区画内に水平に入った段階でステアリングをまっすぐにし、最終端までバックすれば正しく駐車区画30に入ることができる。これらは音声により指示されるため、後方を見て安全確認しながらの操作が可能となる。
【0087】
【効果】
本発明によれば、車両の後方を撮像するカメラと、車内に設けられカメラからの映像を表示する表示器と、車両の操舵状態を検出する操舵状態検出手段と、カメラからの映像を基に画像認識により駐車区画を識別する駐車区画検出手段と、操舵状態検出手段からの情報により車両の走行予想軌跡を算出する走行予想軌跡算出手段と、走行予想軌跡と駐車区画からの情報により駐車を補助する情報をドライバーに提供する報知手段とを備えた駐車補助装置において、
走行予想軌跡を表示器に表示させ、走行予想軌跡の表示位置を基準として走行予想軌跡周辺の駐車区画白線を所定領域のウインドウで検出するウインドウ手段と、ウインドウ領域内に白線が存在する場合に白線の位置と方向を検出する白線検出手段、白線検出手段の検出結果より白線の特徴や幾何学的配置によって駐車区画を検証する駐車区画検証手段とを備えたものとしたことにより、走行予想軌跡を表示器に表示させ、走行予想軌跡の表示位置を基準として走行予想軌跡周辺の駐車区画白線を所定領域のウインドウで検出し、ウインドウ領域内に白線が存在する場合に白線の位置と方向を検出して、その検出結果より白線の特徴や幾何学的配置によって駐車区画を検証するため、従来のようにカメラ視野の全領域に対して白線を検出しなくてもよくなるため、画像処理の負担が大きく低減できる。このため、画像認識装置の処理能力は従来に比べ高性能なものは必要なく、画像処理におけるコストを低減できる。
【0088】
また、駐車操作時の走行予想軌跡に近い駐車区画の白線を認識するため、ドライバーがどこの駐車区画に駐車したかの意図を反映した駐車区画の検出を行い、ドライバーに対して適切な駐車補助が行える。
【0089】
ウインドウは走行予想軌跡の左右に設けられ、左右一定間隔になるよう設けられるようにすれば、ドライバーがどこの駐車区画に駐車したいかといったドライバーの意志が反映され、走行予想軌跡に対応した領域でウインドウの設定ができる。
【0090】
また、走行予想軌跡が湾曲し、予想軌跡の端線上に設定したウインドウが白線から外れた場合に一部の白線が検出できると、検出された白線の延長線上にウインドウを設けるようにすれば、駐車区画の白線が存在する位置に確実にウインドウを設けることが可能となり、画像処理の負担をより低減することができる。
【0091】
一旦、駐車区画が検出された場合には、駐車区画の白線を包含する追跡ウインドウを設定し、追跡ウインドウ内を走査することにより白線検出を行うようにすれば、駐車時の運転操作により駐車区画の白線からずれた場合でも追跡ウインドウにより白線を検出し続けることができ、白線を急に検出できなくなることが防止できる。
【0092】
この場合、追跡ウインドウは白線の位置に追従させるようにすれば、白線を確実にとらえて検出することができる。
【0093】
更に、報知手段は表示器および特に音声により操舵タイミング、操舵方向、操舵量の少なくとも1つが報知されるようにすれば、ドライバーに対して駐車に関する情報を、後方を目視確認しながらでも提供することができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態における駐車補助装置のシステム構成図である。
【図2】 本発明の一実施形態における駐車補助装置を車両へ取付けた場合の取付図である。
【図3】 本発明の一実施形態における駐車補助装置のカメラの検出範囲を示した図である。
【図4】 本発明の一実施形態におけるステアリングセンサを示し、(a)はステアリングコラムシャフトへ取り付けた場合のステアリングセンサの平面図、(b)はステアリングセンサのスリット板とフォトインタラプタの概要を示した斜視図、(c)はステアリングセンサのA相とB相の出力を示す図である。
【図5】 本発明の一実施形態におけるコントローラの処理を示すフローチャートである。
【図6】 本発明の一実施形態におけるコントローラのステアリングセンサ信号処理を示すフローチャートである。
【図7】 本発明の一実施形態におけるコントローラのステアリングセンサの中立点処理を示すフローチャートである。
【図8】 図5に示す区画線検出処理のフローチャートである。
【図9】 図5に示す状態判断のフローチャートである。
【図10】 本発明の一実施形態における駐車区画と車両との位置関係を示す説明図である。
【図11】 本発明の一実施形態における走行予想軌跡の算出に用いる説明図である。
【図12】 本発明の一実施形態における走行予想軌跡の表示例を示した図であり、(a)は予想轍による表示、(b)は車幅分の走行エリアベルト表示、(c)ははしご状表示を示す図である。
【図13】 本発明の一実施形態におけるカメラおよびディスプレィのグラフィックス表示座標である。
【図14】 本発明の一実施形態における駐車補助装置のカメラを車両へ取り付けた場合の取り付け状態を示した図である。
【図15】 本発明の一実施形態におけるHough変換による直線検出法を示す説明図である。
【図16】 本発明の一実施形態における駐車補助装置の座標変換方法を説明する説明図である。
【図17】 本発明の一実施形態における駐車補助装置の駐車区画の検出と車両位置の関係を示す説明図である。
【図18】 本発明の一実施形態における駐車補助装置のディスプレィ上での表示画面である。
【図19】 本発明の一実施形態における駐車補助装置の音声出力における案内メッセージおよびディスプレィ上での走行予想軌跡の表示色を示す図である。
【図20】 本発明の一実施形態における駐車補助装置の駐車区画への入り方を示した図である。
【図21】 図5に示す区画線検出処理の別のフローチャートである。
【図22】 本発明の一実施形態における駐車補助装置の走行予想軌跡に対してウインドウ群が設けられた状態を示しており、(a)は車両がまっすぐバックしている状態、(b)はステアリングを切りながらバックしている状態、(c)はウインドウ内に白線が存在しなくなった場合にウインドウが設定される状態を示した図である。
【図23】 本発明の一実施形態における駐車補助装置の画像処理におけるエッジ検出オペレータを示し、(a)は1次元、(b)は2次元のエッジオペレータを示す説明図である。
【図24】 図21に示す駐車区画線探索処理のフローチャートである。
【図25】 図21に示す駐車区画線追跡処理のフローチャートである。
【図26】 図25に示す追跡ウインドウの白線に対する設定状態を示し、(a)は1本の白線全体を包含する追跡ウインドウ、(b)は1本に白線に対し複数の追跡ウインドウを設定した図である。
【図27】 本発明の一実施形態における白線認識の認識方法であり、(a)は水平走査を行った後の垂直走査による端点検出、(b)は直線からの角度検出、(c)は白線に対しての走査線の濃度変化に基づく認識方法を示した図である。
【符号の説明】
1 駐車補助装置
2 ステアリングセンサ(操舵状態検出手段)
3 シフトレバーリバーススイッチ
4 駐車スイッチ
5 右車輪速センサ
6 左車輪速センサ
8 スピーカ(報知手段)
11 CPU(走行予想算出手段)
13 ディスプレィ(表示器)
14 舵角状態表示(マーカー表示)
15 駐車区画検出用画像認識装置(駐車区画検出手段,白線検出手段,駐車区画検証手段)
17 CCDカメラ(カメラ)
20 走行予想軌跡
26 ウインドウ(探索ウインドウ)
27 追跡ウインドウ
30 駐車区画
31 白線

Claims (6)

  1. 車両の後方を撮像するカメラと、
    車内に設けられ前記カメラからの映像を表示する表示器と、ドライバーが操作するステアリングホイールの操舵状態を検出する操舵状態検出手段と、前記カメラからの映像を基に画像認識により駐車区画を識別する駐車区画検出手段と、
    前記操舵状態検出手段により検出された前記ステアリングホイールの操舵状態から車両の駐車操作時の走行予想軌跡を算出する走行予想軌跡算出手段と、該走行予想軌跡と前記駐車区画からの情報により駐車を補助する情報をドライバーに提供する報知手段とを備えた駐車補助装置において、
    前記走行予想軌跡を前記カメラからの映像とともに前記表示器に表示させ、前記走行予想軌跡の表示位置を基準として、前記カメラからの映像上の前記走行予想軌跡周辺に所定領域のウインドウを設定するウインドウ手段と、該ウインドウ領域内に区画線が存在する場合に該区画線の位置と方向を検出する区画線検出手段と、該区画線検出手段の検出結果より検出された区画線の幅や区画線同士の間隔によって該区画線が駐車区画を構成するかどうかを検証する駐車区画検証手段とを備えたことを特徴とする駐車補助装置。
  2. 前記ウインドウは、前記走行予想軌跡の左右に設けられ、左右一定間隔になるよう設けられる請求項1に記載の駐車補助装置。
  3. 前記走行予想軌跡が湾曲し、予想軌跡の端線上に設定した前記ウインドウが区画線から外れた場合に一部の区画線が検出できると、検出された区画線の延長線上に前記ウインドウを設ける請求項2に記載の駐車補助装置。
  4. 前記駐車区画が検出された場合には、前記駐車区画の区画線を包含する追跡ウインドウを設定し、該追跡ウインドウ内を走査することにより区画線の検出を行う請求項1に記載の駐車補助装置。
  5. 前記追跡ウインドウは区画線の位置に追従させる請求項4に記載の駐車補助装置。
  6. 前記報知手段は表示器および音声により操舵タイミング、操舵方向、操舵量の少なくとも1つが報知される請求項1に記載の駐車補助装置。
JP21621998A 1998-06-26 1998-07-30 駐車補助装置 Expired - Fee Related JP3951465B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP10-180991 1998-06-26
JP18099198 1998-06-26
JP21621998A JP3951465B2 (ja) 1998-06-26 1998-07-30 駐車補助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21621998A JP3951465B2 (ja) 1998-06-26 1998-07-30 駐車補助装置

Publications (2)

Publication Number Publication Date
JP2000079860A JP2000079860A (ja) 2000-03-21
JP3951465B2 true JP3951465B2 (ja) 2007-08-01

Family

ID=26500334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21621998A Expired - Fee Related JP3951465B2 (ja) 1998-06-26 1998-07-30 駐車補助装置

Country Status (1)

Country Link
JP (1) JP3951465B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183284B2 (ja) 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
US6476730B2 (en) 2000-02-29 2002-11-05 Aisin Seiki Kabushiki Kaisha Assistant apparatus and method for a vehicle in reverse motion
EP1148461B1 (en) 2000-04-05 2004-09-22 Matsushita Electric Industrial Co., Ltd. Driving operation assisting method and system
US6704653B2 (en) 2000-05-12 2004-03-09 Kabushiki Kaisha Toyota Jidoshokki Vehicle backing support apparatus
JP4598239B2 (ja) * 2000-06-07 2010-12-15 アイシン精機株式会社 駐車補助装置
JP4505968B2 (ja) * 2000-09-14 2010-07-21 日産自動車株式会社 駐車時の自車位置検出装置及び自車位置検出方法
JP4615766B2 (ja) * 2000-12-15 2011-01-19 本田技研工業株式会社 駐車支援装置
JP4576772B2 (ja) * 2001-08-24 2010-11-10 日産自動車株式会社 駐車支援装置
JP2003072495A (ja) 2001-09-06 2003-03-12 Yazaki Corp 駐車支援装置および駐車支援方法
JP3729786B2 (ja) * 2002-01-10 2005-12-21 アイシン精機株式会社 駐車支援装置
DE10240682A1 (de) * 2002-09-04 2004-03-18 Adam Opel Ag Head-Up-Display für ein Kraftfahrzeug
JP2006117165A (ja) * 2004-10-22 2006-05-11 Nissan Motor Co Ltd 駐車支援装置
JP4604703B2 (ja) * 2004-12-21 2011-01-05 アイシン精機株式会社 駐車補助装置
KR101125385B1 (ko) 2005-01-18 2012-04-02 현대자동차주식회사 차량의 주차 보조 시스템
JP4507939B2 (ja) * 2005-03-28 2010-07-21 カシオ計算機株式会社 撮影装置及びプログラム
JP4650252B2 (ja) * 2005-12-16 2011-03-16 株式会社デンソー 駐車支援装置
JP2007176244A (ja) * 2005-12-27 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP2008021228A (ja) 2006-07-14 2008-01-31 Renesas Technology Corp データ処理装置
JP5013773B2 (ja) * 2006-08-18 2012-08-29 パナソニック株式会社 車載画像処理装置及びその視点変換情報生成方法
JP4793171B2 (ja) * 2006-08-25 2011-10-12 株式会社デンソー 駐車支援装置
JP4904997B2 (ja) * 2006-08-29 2012-03-28 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP5092330B2 (ja) * 2006-09-27 2012-12-05 アイシン・エィ・ダブリュ株式会社 駐車支援装置および駐車支援方法
JP4967604B2 (ja) * 2006-11-01 2012-07-04 スズキ株式会社 駐車支援システム
JP4635017B2 (ja) * 2007-02-22 2011-02-23 アイシン精機株式会社 駐車支援装置
JP5182545B2 (ja) 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
JP5075674B2 (ja) * 2008-02-26 2012-11-21 本田技研工業株式会社 駐車支援装置
JP4914458B2 (ja) 2009-02-12 2012-04-11 株式会社デンソー 車両周辺表示装置
JP5257689B2 (ja) 2009-03-11 2013-08-07 アイシン精機株式会社 駐車支援装置
DE102010011496A1 (de) * 2010-03-16 2011-09-22 GM Global Technology Operations LLC , (n. d. Ges. d. Staates Delaware) Verfahren zur selektiven Anzeige von Informationen eines Kamerasystems in einer Anzeigevorrichtung eines Fahrzeugs und Fahrzeug mit einem Kamerasystem
JP2013018406A (ja) * 2011-07-12 2013-01-31 Fujitsu Ten Ltd 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム
JP6022907B2 (ja) * 2012-11-27 2016-11-09 クラリオン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2019151109A1 (ja) * 2018-01-31 2019-08-08 パイオニア株式会社 路面情報取得方法

Also Published As

Publication number Publication date
JP2000079860A (ja) 2000-03-21

Similar Documents

Publication Publication Date Title
EP1022903B1 (en) Apparatus for assisting steering of vehicle when backing
US6714139B2 (en) Periphery monitoring device for motor vehicle and recording medium containing program for determining danger of collision for motor vehicle
JP3866328B2 (ja) 車両周辺立体物認識装置
KR100572183B1 (ko) 주차 지원 장치
JP5126069B2 (ja) 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品
US7190282B2 (en) Nose-view monitoring apparatus
DE602004011164T2 (de) Vorrichtung und Methode zur Anzeige von Informationen
US8461976B2 (en) On-vehicle device and recognition support system
KR101119563B1 (ko) 주차지원장치
US6477260B1 (en) Position measuring apparatus using a pair of electronic cameras
US20070273554A1 (en) Parking assist method and parking assist apparatus
US20010030688A1 (en) Steering assist device
DE112010003874B4 (de) Fahrzeugsteuerung
EP1400410A2 (en) Vehicle drive assist system
US7307545B2 (en) Vehicle lane detector
US6654670B2 (en) Parking assisting apparatus
JP4657495B2 (ja) 車両用運転支援装置
US20090121899A1 (en) Parking assistance device
KR20080109871A (ko) 주차지원장치 및 주차지원방법
US20160288833A1 (en) Method for performing an at least semi-autonomous parking process of a motor vehicle in a garage, parking assistance system and motor vehicle
US7930078B2 (en) Parking assist method and a parking assist apparatus
US8410919B2 (en) Driving support apparatus
US9272731B2 (en) Driving-operation assist and recording medium
JP2887039B2 (ja) 車両周辺監視装置
EP1840859B1 (en) Traffic lane deviation preventing system for a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061010

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070416

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140511

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees