JP5126069B2 - 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品 - Google Patents
駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品 Download PDFInfo
- Publication number
- JP5126069B2 JP5126069B2 JP2008552065A JP2008552065A JP5126069B2 JP 5126069 B2 JP5126069 B2 JP 5126069B2 JP 2008552065 A JP2008552065 A JP 2008552065A JP 2008552065 A JP2008552065 A JP 2008552065A JP 5126069 B2 JP5126069 B2 JP 5126069B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- parking
- target
- fixed target
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Combustion & Propulsion (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
Description
この発明は、駐車支援装置に係り、特に車両と目標駐車位置との相対位置関係を確実に認識して駐車支援を行う駐車支援装置に関する。
また、この発明は、カメラに接続することでこのような駐車支援装置を実現する駐車支援装置部品、このような駐車支援を行う駐車支援方法及びコンピュータに実行させる駐車支援プログラムにも関している。
さらに、この発明は、操舵角に対する旋回半径等の車両走行パラメータを算出する方法、この方法をコンピュータに実行させる車両走行パラメータ算出プログラム、車両走行パラメータ算出装置及び車両走行パラメータ算出装置部品にも関している。
また、この発明は、カメラに接続することでこのような駐車支援装置を実現する駐車支援装置部品、このような駐車支援を行う駐車支援方法及びコンピュータに実行させる駐車支援プログラムにも関している。
さらに、この発明は、操舵角に対する旋回半径等の車両走行パラメータを算出する方法、この方法をコンピュータに実行させる車両走行パラメータ算出プログラム、車両走行パラメータ算出装置及び車両走行パラメータ算出装置部品にも関している。
従来、例えば特許文献1に開示されているように、車両後方をCCDカメラで撮像し、得られた画像から後方の駐車区域を認識し、車両の現在停止位置から駐車区域までの目標駐車経路を算出し、この目標駐車経路に沿った一定の操舵角を運転者に指示する駐車補助装置が開発されている。運転者が操舵角を指示された値に一定に保持した状態で車両を後退させ、操舵角を変更すべき地点で車両が一旦停止すると、そこから駐車区域までの目標駐車経路が新たに算出され、この新たな目標駐車経路に沿った一定の操舵角が再び運転者に指示される。運転者は操舵角を新たに指示された値に一定に保持した状態で車両を後退さることにより、目標となる駐車区域へ車両を進入させることができる。
このような駐車の支援を行う際には、目標駐車経路に沿って車両を移動させるために、車両の現在の状態を把握する必要がある。例えば特許文献2には、車両前方あるいは後方を撮影し、路面に水平な所定領域の明度情報を抽出し、この明度情報の明度勾配と時間変化分とに基づいて車両のヨーレートを検出する装置が開示されている。このような装置を用いれば、画像情報から車両のヨーレートを把握することができる。
しかしながら、特許文献1の装置では、操舵角の変更点で一旦停止した際に新たに目標駐車経路を算出することにより駐車精度を高めようとしているものの、CCDカメラで撮像された画像から後方の駐車区域を認識するだけでは、駐車区域と車両の現在位置との相対位置関係を精度よく特定することが困難である。このため、操舵角の変更点で目標駐車経路を算出し直しても、高精度に駐車を完了させることが難しいという問題があった。
また、特許文献2の装置では、車両のヨーレートを検出することはできるが、操舵角に対する旋回半径等の車両走行パラメータを算出することはできず、この車両走行パラメータを実測により求めるのは多大の手間と時間を要するという問題を生じていた。また、実測により求めた車両走行パラメータには、各種の要因により誤差が含まれるという問題もあった。
この発明は、このような従来の問題点に鑑みてなされたものであり、車両を精度よく目標駐車位置に駐車させることができる駐車支援装置を提供することを目的とする。
また、この発明は、カメラに接続することでこのような駐車支援装置を実現する駐車支援装置部品、このような駐車支援を行う駐車支援方法及びコンピュータに実行させる駐車支援プログラムを提供することも目的としている。
さらに、この発明は、容易に且つ正確に車両走行パラメータを得ることができる車両走行パラメータの算出方法、このような算出方法をコンピュータに実行させる車両走行パラメータの算出プログラム、車両走行パラメータ算出装置及び車両走行パラメータ算出装置部品を提供することもまた目的としている。
また、この発明は、カメラに接続することでこのような駐車支援装置を実現する駐車支援装置部品、このような駐車支援を行う駐車支援方法及びコンピュータに実行させる駐車支援プログラムを提供することも目的としている。
さらに、この発明は、容易に且つ正確に車両走行パラメータを得ることができる車両走行パラメータの算出方法、このような算出方法をコンピュータに実行させる車両走行パラメータの算出プログラム、車両走行パラメータ算出装置及び車両走行パラメータ算出装置部品を提供することもまた目的としている。
この発明に係る駐車支援装置は、車両に搭載され、目標駐車位置に対して所定の位置関係を有する所定の場所に固設され且つ少なくとも一つの特徴点を有する固定目標を撮影するためのカメラと、カメラにより撮影された固定目標の画像に基づいて固定目標の特徴点を抽出すると共に固定目標の画像上における特徴点の2次元座標を認識する画像処理手段と、画像処理手段により認識された2組以上の2次元座標に基づいて固定目標を基準とした少なくとも2次元座標とパン角とを含むカメラの位置パラメータを算出する位置パラメータ算出手段と、位置パラメータ算出手段で算出されたカメラの位置パラメータと目標駐車位置に対する固定目標の所定の位置関係とに基づいて車両と目標駐車位置との相対位置関係を特定する相対位置特定手段と、相対位置特定手段により特定された車両と目標駐車位置との相対位置関係に基づいて車両を目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段とを備えたものである。
この発明に係る駐車支援装置部品は、車両に搭載され、目標駐車位置に対して所定の位置関係を有する所定の場所に固設され且つ少なくとも一つの特徴点を有する固定目標を撮影するためのカメラに接続される入力部と、入力部を介して入力されたカメラによる固定目標の画像に基づいて固定目標の特徴点を抽出すると共に固定目標の画像上における特徴点の2次元座標を認識する画像処理手段と、画像処理手段により認識された2組以上の2次元座標に基づいて固定目標を基準とした少なくとも2次元座標とパン角とを含むカメラの位置パラメータを算出する位置パラメータ算出手段と、位置パラメータ算出手段で算出されたカメラの位置パラメータと目標駐車位置に対する固定目標の前記所定の位置関係とに基づいて車両と目標駐車位置との相対位置関係を特定する相対位置特定手段と、相対位置特定手段により特定された車両と目標駐車位置との相対位置関係に基づいて車両を目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段とを備えたものである。
この発明に係る駐車支援方法は、目標駐車位置に対して所定の位置関係を有する所定の場所に固設され且つ少なくとも一つの特徴点を有する固定目標を車両に搭載されたカメラで撮影し、撮影された固定目標の画像に基づいて固定目標の特徴点を抽出すると共に固定目標の画像上における特徴点の2次元座標を認識し、認識された2組以上の2次元座標に基づいて固定目標を基準とした少なくとも2次元座標とパン角とを含むカメラの位置パラメータを算出し、算出されたカメラの位置パラメータと目標駐車位置に対する固定目標の前記所定の位置関係とに基づいて車両と目標駐車位置との相対位置関係を特定し、特定された車両と目標駐車位置との相対位置関係に基づいて車両を目標駐車位置へ誘導するための駐車軌跡を算出する方法である。
この発明に係る駐車支援プログラムは、目標駐車位置に対して所定の位置関係を有する所定の場所に固設され且つ少なくとも一つの特徴点を有する固定目標を車両に搭載されたカメラで撮影するステップと、撮影された固定目標の画像に基づいて固定目標の特徴点を抽出すると共に固定目標の画像上における特徴点の2次元座標を認識するステップと、認識された2組以上の2次元座標に基づいて固定目標を基準とした少なくとも2次元座標とパン角とを含むカメラの位置パラメータを算出するステップと、算出されたカメラの位置パラメータと目標駐車位置に対する固定目標の所定の位置関係とに基づいて車両と目標駐車位置との相対位置関係を特定するステップと、特定された車両と目標駐車位置との相対位置関係に基づいて車両を目標駐車位置へ誘導するための駐車軌跡を算出するステップとを実行させるものである。
この発明に係る車両走行パラメータの算出方法は、車両を走行移動させ、車両走行に係るセンサからの検知信号を取り込み、走行移動の途中の2地点でそれぞれ特徴点を有する車両外部の固定目標を車両に搭載されたカメラで撮影し、撮影された固定目標の画像毎に固定目標の特徴点を抽出すると共に固定目標の画像上における特徴点の2次元座標を認識し、認識された2次元座標に基づいて前記2地点における固定目標を基準とした2次元座標及びパン角を含むカメラの位置パラメータをそれぞれ算出し、算出された少なくとも2組の位置パラメータと取り込まれた検知信号に基づいて車両の走行パラメータを算出する方法である。
この発明に係る車両走行パラメータの算出プログラムは、車両の走行移動時における車両走行に係るセンサからの検知信号を取り込むステップと、走行移動の途中の少なくとも2地点でそれぞれ特徴点を有する車両外部の固定目標を車両に搭載されたカメラで撮影するステップと、撮影された固定目標の画像毎に固定目標の特徴点を抽出すると共に固定目標の画像上における特徴点の2次元座標を認識するステップと、認識された2次元座標に基づいて前記少なくとも2地点における固定目標を基準とした2次元座標及びパン角を含むカメラの位置パラメータをそれぞれ算出するステップと、算出された少なくとも2組の位置パラメータと取り込まれた検知信号に基づいて車両の走行パラメータを算出するステップとを実行させるものである。
この発明に係る車両走行パラメータ算出装置は、車両走行に係る検知信号を得るセンサと、車両に搭載され、特徴点を有する車両外部の固定目標を撮影するためのカメラと、車両の走行移動の途中の少なくとも2地点でカメラにより撮影された固定目標の画像毎に固定目標の特徴点を抽出すると共に固定目標の画像上における特徴点の2次元座標を認識する画像処理手段と、画像処理手段により認識された2次元座標に基づいて少なくとも2地点における固定目標を基準とした2次元座標及びパン角を含む前記カメラの位置パラメータをそれぞれ算出する位置パラメータ算出手段と、位置パラメータ算出手段により算出された少なくとも2組の位置パラメータとセンサにより得られた検知信号に基づいて車両の走行パラメータを算出する車両走行パラメータ算出手段とを備えたものである。
また、この発明に係る車両走行パラメータ算出装置部品は、車両に搭載され、特徴点を有する車両外部の固定目標を撮影するためのカメラに接続される入力部と、車両の走行移動の途中の少なくとも2地点でカメラにより撮影され且つ入力部を介して入力された固定目標の画像毎に固定目標の特徴点を抽出すると共に固定目標の画像上における特徴点の2次元座標を認識する画像処理手段と、画像処理手段により認識された2次元座標に基づいて少なくとも2地点における固定目標を基準とした2次元座標及びパン角を含むカメラの位置パラメータをそれぞれ算出する位置パラメータ算出手段と、車両走行に係る検知信号を得るセンサに接続され且つ位置パラメータ算出手段により算出された少なくとも2組の位置パラメータとセンサにより得られた検知信号に基づいて車両の走行パラメータを算出する車両走行パラメータ算出手段とを備えたものである。
この発明によれば、車両と目標駐車位置との相対位置関係を特定して車両を精度よく目標駐車位置に駐車させることが可能となる。
また、この発明によれば、容易に且つ正確に車両走行パラメータを得ることが可能となる。
また、この発明によれば、容易に且つ正確に車両走行パラメータを得ることが可能となる。
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態1
この発明の実施の形態1に係る駐車支援装置の構成を図1に示す。目標駐車位置となる駐車スペースの床面等に設置されたマークM(固定目標)を撮影するためのカメラ1が車両に搭載されており、カメラ1は駐車支援装置部品P1の入力部Kに接続されている。入力部Kには、カメラ1によりマークMを撮影した画像からマークMの特徴点を抽出して画像上における特徴点の2次元座標を認識する画像処理手段2が接続されている。この画像処理手段2に、マークMを基準としたカメラ1の位置パラメータを算出する位置パラメータ算出手段3が接続され、位置パラメータ算出手段3には、車両と駐車スペースとの相対位置関係を特定する相対位置特定手段4が接続されている。さらに、相対位置特定手段4に、車両を駐車スペースへ誘導するための駐車軌跡を算出する駐車軌跡算出手段5が接続され、これら入力部K、画像処理手段2、位置パラメータ算出手段3、相対位置特定手段4及び駐車軌跡算出手段5によって駐車支援装置部品P1が構成されている。そして、駐車軌跡算出手段5に、運転操作の案内情報を車両の運転者に出力する案内装置6が接続されている。
実施の形態1
この発明の実施の形態1に係る駐車支援装置の構成を図1に示す。目標駐車位置となる駐車スペースの床面等に設置されたマークM(固定目標)を撮影するためのカメラ1が車両に搭載されており、カメラ1は駐車支援装置部品P1の入力部Kに接続されている。入力部Kには、カメラ1によりマークMを撮影した画像からマークMの特徴点を抽出して画像上における特徴点の2次元座標を認識する画像処理手段2が接続されている。この画像処理手段2に、マークMを基準としたカメラ1の位置パラメータを算出する位置パラメータ算出手段3が接続され、位置パラメータ算出手段3には、車両と駐車スペースとの相対位置関係を特定する相対位置特定手段4が接続されている。さらに、相対位置特定手段4に、車両を駐車スペースへ誘導するための駐車軌跡を算出する駐車軌跡算出手段5が接続され、これら入力部K、画像処理手段2、位置パラメータ算出手段3、相対位置特定手段4及び駐車軌跡算出手段5によって駐車支援装置部品P1が構成されている。そして、駐車軌跡算出手段5に、運転操作の案内情報を車両の運転者に出力する案内装置6が接続されている。
図2に示されるように、カメラ1は、車両7に対して所定の位置関係を有する所定の場所、例えば車両7のドアミラー8に内蔵されており、車両7が目標駐車位置となる駐車スペースSの近傍の地点Aに位置するときに、駐車スペースSの床面に設置されたマークMを視野内に含むように設置されている。車両7に対するカメラ1の所定の位置関係は予め把握されているものとする。
また、マークMは、駐車スペースSに対して所定の位置関係を有する所定の場所に固設されており、駐車スペースSに対するマークMの所定の位置関係は予め把握されているものとする。このマークMとしては、例えば図3に示されるように、4つの直角2等辺三角形を互いに当接させた正方形状の外形を有する図形を用いることができる。互いに隣接する直角2等辺三角形が異なる色で塗り分けられており、このマークMは、複数の辺の交点からなる5つの特徴点C1〜C5を有している。
また、マークMは、駐車スペースSに対して所定の位置関係を有する所定の場所に固設されており、駐車スペースSに対するマークMの所定の位置関係は予め把握されているものとする。このマークMとしては、例えば図3に示されるように、4つの直角2等辺三角形を互いに当接させた正方形状の外形を有する図形を用いることができる。互いに隣接する直角2等辺三角形が異なる色で塗り分けられており、このマークMは、複数の辺の交点からなる5つの特徴点C1〜C5を有している。
次に、図4のフローチャートを参照して実施の形態1の作用について説明する。
まず、ステップS1として、図2に示したように目標駐車位置となる駐車スペースSの近傍の地点Aに車両7を位置させてマークMをカメラ1の視野内に入れた状態で、カメラ1によりマークMを撮影する。
カメラ1により撮影された画像は入力部Kを介して画像処理手段2に入力され、続くステップS2で、画像処理手段2は、カメラ1により撮影されたマークMの画像からマークMの5つの特徴点C1〜C5を抽出し、画像上におけるこれら特徴点C1〜C5の2次元座標をそれぞれ認識し取得する。
次に、ステップS3で、画像処理手段2により認識された特徴点C1〜C5のそれぞれの2次元座標に基づき、位置パラメータ算出手段3は、マークMを基準としたカメラ1の3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなる位置パラメータを算出する。
まず、ステップS1として、図2に示したように目標駐車位置となる駐車スペースSの近傍の地点Aに車両7を位置させてマークMをカメラ1の視野内に入れた状態で、カメラ1によりマークMを撮影する。
カメラ1により撮影された画像は入力部Kを介して画像処理手段2に入力され、続くステップS2で、画像処理手段2は、カメラ1により撮影されたマークMの画像からマークMの5つの特徴点C1〜C5を抽出し、画像上におけるこれら特徴点C1〜C5の2次元座標をそれぞれ認識し取得する。
次に、ステップS3で、画像処理手段2により認識された特徴点C1〜C5のそれぞれの2次元座標に基づき、位置パラメータ算出手段3は、マークMを基準としたカメラ1の3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなる位置パラメータを算出する。
ここで、位置パラメータ算出手段3による位置パラメータの算出方法を説明する。
まず、車両7のリヤアクスル中心から路面に対して垂直に下ろした地面上の点を原点Oとし、水平方向にx軸及びy軸、鉛直方向にz軸を設定した路面座標系を想定すると共に、カメラ1により撮影された画像上にX軸とY軸を設定した画像座標系を想定する。
画像座標系におけるマークMの特徴点C1〜C5の座標値Xm及びYm(m=1〜5)は、路面座標系におけるマークMの特徴点C1〜C5の6個の位置パラメータすなわち座標値xm、ym及びzmと上述したチルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の角度パラメータKn(n=1〜3)から、関数F及びGを用いて、
Xm=F(xm,ym,zm,Kn)+DXm
Ym=G(xm,ym,zm,Kn)+DYm
で表される。ここで、DXm及びDYmは関数F及びGを用いて算出された特徴点C1〜C5のX座標及びY座標と画像処理手段2で認識された特徴点C1〜C5の座標値Xm及びYmとの偏差である。
まず、車両7のリヤアクスル中心から路面に対して垂直に下ろした地面上の点を原点Oとし、水平方向にx軸及びy軸、鉛直方向にz軸を設定した路面座標系を想定すると共に、カメラ1により撮影された画像上にX軸とY軸を設定した画像座標系を想定する。
画像座標系におけるマークMの特徴点C1〜C5の座標値Xm及びYm(m=1〜5)は、路面座標系におけるマークMの特徴点C1〜C5の6個の位置パラメータすなわち座標値xm、ym及びzmと上述したチルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の角度パラメータKn(n=1〜3)から、関数F及びGを用いて、
Xm=F(xm,ym,zm,Kn)+DXm
Ym=G(xm,ym,zm,Kn)+DYm
で表される。ここで、DXm及びDYmは関数F及びGを用いて算出された特徴点C1〜C5のX座標及びY座標と画像処理手段2で認識された特徴点C1〜C5の座標値Xm及びYmとの偏差である。
つまり5個の特徴点C1〜C5のX座標及びY座標をそれぞれ表すことにより、6個の位置パラメータ(xm,ym,zm,Kn)に対して計10個の関係式が作成される。
そこで、偏差DXm及びDYmの二乗和
S=Σ(DXm2+DYm2)
を最小とするような位置パラメータ(xm,ym,zm,Kn)を求める。すなわちSを最小化する最適化問題を解く。公知の最適化法たとえばシンプレックス法や、最急降下法、ニュートン法、準ニュートン法などを用いることができる。
そこで、偏差DXm及びDYmの二乗和
S=Σ(DXm2+DYm2)
を最小とするような位置パラメータ(xm,ym,zm,Kn)を求める。すなわちSを最小化する最適化問題を解く。公知の最適化法たとえばシンプレックス法や、最急降下法、ニュートン法、準ニュートン法などを用いることができる。
なお、算出しようとする位置パラメータ(xm,ym,zm,Kn)の個数「6」より多い関係式を作成して位置パラメータを決定しているので、精度よく位置パラメータ(xm,ym,zm,Kn)を得ることができる。
この実施の形態1では、6個の位置パラメータ(xm,ym,zm,Kn)に対して5個の特徴点C1〜C5により10個の関係式を作成したが、関係式の数は算出しようとする位置パラメータ(xm,ym,zm,Kn)の個数より多ければよく、最低3個の特徴点により6個の関係式を作成すれば、6個の位置パラメータ(xm,ym,zm,Kn)を算出することができる。
この実施の形態1では、6個の位置パラメータ(xm,ym,zm,Kn)に対して5個の特徴点C1〜C5により10個の関係式を作成したが、関係式の数は算出しようとする位置パラメータ(xm,ym,zm,Kn)の個数より多ければよく、最低3個の特徴点により6個の関係式を作成すれば、6個の位置パラメータ(xm,ym,zm,Kn)を算出することができる。
このようにして算出されたカメラ1の位置パラメータを用いて、ステップS4で、相対位置特定手段4は、車両7と駐車スペースSとの相対位置関係を特定する。すなわち、位置パラメータ算出手段3で算出された位置パラメータと、予め把握されている駐車スペースSに対するマークMの所定の位置関係とに基づいて、カメラ1と駐車スペースSとの相対位置関係が特定され、車両7に対するカメラ1の所定の位置関係は予め把握されているため、さらに車両7と駐車スペースSとの相対位置関係が特定される。
次に、ステップS5で、駐車軌跡算出手段5は、相対位置特定手段4により特定された車両7と駐車スペースSとの相対位置関係に基づき、車両7を駐車スペースSへ誘導するための駐車軌跡を算出する。
例えば、図5に示されるように、カメラ1によりマークMを撮影した、駐車スペースSの近傍の地点Aから、車両7を所定の第1の操舵角で一旦前進して地点Bで停止した後、所定の第2の操舵角で後退して駐車スペースSに駐車させるような駐車軌跡Lが算出される。ここで、所定の第1の操舵角と所定の第2の操舵角は、互いに絶対値が等しい、例えばフル切り角度(最大操舵角)でもよく、絶対値が異なる角度でもよい。また、1回の旋回の間の操舵角を一定に保持せず、操舵角を変化しながら移動するような駐車軌跡Lとすることもできる。
例えば、図5に示されるように、カメラ1によりマークMを撮影した、駐車スペースSの近傍の地点Aから、車両7を所定の第1の操舵角で一旦前進して地点Bで停止した後、所定の第2の操舵角で後退して駐車スペースSに駐車させるような駐車軌跡Lが算出される。ここで、所定の第1の操舵角と所定の第2の操舵角は、互いに絶対値が等しい、例えばフル切り角度(最大操舵角)でもよく、絶対値が異なる角度でもよい。また、1回の旋回の間の操舵角を一定に保持せず、操舵角を変化しながら移動するような駐車軌跡Lとすることもできる。
最後に、ステップS6で、案内装置6は、駐車軌跡算出手段5により算出された駐車軌跡Lに沿って車両7を走行させるための運転操作の案内情報を車両7の運転者に出力する。これにより、運転者は、案内情報に従って運転操作を行うだけで、車両7を駐車軌跡Lに沿って走行させて駐車スペースSに駐車させることが可能となる。
なお、画像処理手段2、位置パラメータ算出手段3、相対位置特定手段4及び駐車軌跡算出手段5はコンピュータから構成することができ、図4のステップS1〜S5の動作の駐車支援プログラムが記録された記録媒体等からコンピュータに設定することにより、各ステップをコンピュータに実行させることが可能となる。
また、入力部K、画像処理手段2、位置パラメータ算出手段3、相対位置特定手段4及び駐車軌跡算出手段5により構成される駐車支援装置部品P1は、例えば基板モジュール、チップ等の形にまとめて形成することができ、この駐車支援装置部品P1の入力部Kに車載のカメラ1を接続するだけで駐車支援装置が実現される。さらに、駐車支援装置部品P1の駐車軌跡算出手段5に案内装置6を接続すれば、上述したような運転操作の案内情報を車両7の運転者に出力することができる。
また、入力部K、画像処理手段2、位置パラメータ算出手段3、相対位置特定手段4及び駐車軌跡算出手段5により構成される駐車支援装置部品P1は、例えば基板モジュール、チップ等の形にまとめて形成することができ、この駐車支援装置部品P1の入力部Kに車載のカメラ1を接続するだけで駐車支援装置が実現される。さらに、駐車支援装置部品P1の駐車軌跡算出手段5に案内装置6を接続すれば、上述したような運転操作の案内情報を車両7の運転者に出力することができる。
なお、上述した実施の形態1では、マークMを基準としたカメラ1の3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなる位置パラメータを算出しているので、マークMが配置されている駐車スペースSの床面と車両7の現在位置の路面との間に段差や傾きが存在しても、マークMと車両7の相対位置関係を正確に特定して精度の高い駐車支援を行うことができる。
ただし、マークMが配置されている駐車スペースSの床面と車両7の現在位置の路面との間に傾きが存在しない場合には、少なくともマークMを基準としたカメラ1の3次元座標(x,y,z)とパン角(方向角)の4個のパラメータからなる位置パラメータを算出すればマークMと車両7の相対位置関係を特定することができる。この場合には、マークMの最低2個の特徴点の2次元座標により4個の関係式を作成すれば、4個の位置パラメータを求めることができるが、より多くの特徴点の2次元座標を用いて最小二乗法等により精度よく4個の位置パラメータを算出することが好ましい。
さらに、マークMと車両7とが同一平面上にあり、マークMが配置されている駐車スペースSの床面と車両7の現在位置の路面との間に段差も傾きも存在しない場合には、少なくともマークMを基準としたカメラ1の2次元座標(x,y)とパン角(方向角)の3個のパラメータからなる位置パラメータを算出すればマークMと車両7の相対位置関係を特定することができる。この場合にも、マークMの最低2個の特徴点の2次元座標により4個の関係式を作成すれば、3個の位置パラメータを求めることができるが、より多くの特徴点の2次元座標を用いて最小二乗法等により精度よく3個の位置パラメータを算出することが好ましい。
実施の形態2
実施の形態1では、カメラ1が車両7の側部に位置するドアミラー8に内蔵されていたが、図6に示されるように、車両7の後部にカメラ1を設置して車両7の後方を撮影するようにしてもよい。この場合、車両7を適当に走行させて、カメラ1の視野内に駐車スペースSのマークMが入る地点Cまで移動し、ここで、図4に示したステップS1〜S5により駐車軌跡Lを算出する。そして、ステップS6により案内装置6から出力される案内情報に従って運転操作を行うことで車両7を駐車スペースSに駐車させることができる。
実施の形態1では、カメラ1が車両7の側部に位置するドアミラー8に内蔵されていたが、図6に示されるように、車両7の後部にカメラ1を設置して車両7の後方を撮影するようにしてもよい。この場合、車両7を適当に走行させて、カメラ1の視野内に駐車スペースSのマークMが入る地点Cまで移動し、ここで、図4に示したステップS1〜S5により駐車軌跡Lを算出する。そして、ステップS6により案内装置6から出力される案内情報に従って運転操作を行うことで車両7を駐車スペースSに駐車させることができる。
実施の形態3
上記の実施の形態1及び2では、駐車スペースSに並列駐車させる場合を例にとって説明したが、同様にして、図7に示されるように、駐車スペースSに縦列駐車させることもできる。カメラ1の視野内に駐車スペースSのマークMが入る地点Dで、図4に示したステップS1〜S5により駐車軌跡Lを算出し、ステップS6により案内装置6から出力される案内情報に従って運転操作を行うことで、駐車スペースSへの縦列駐車が行われる。
また、図8に示されるように、実施の形態2と同様に、車両7の後部に設置されたカメラ1を用い、カメラ1の視野内に駐車スペースSのマークMが入る地点Eで駐車軌跡Lを算出して縦列駐車を行うこともできる。
上記の実施の形態1及び2では、駐車スペースSに並列駐車させる場合を例にとって説明したが、同様にして、図7に示されるように、駐車スペースSに縦列駐車させることもできる。カメラ1の視野内に駐車スペースSのマークMが入る地点Dで、図4に示したステップS1〜S5により駐車軌跡Lを算出し、ステップS6により案内装置6から出力される案内情報に従って運転操作を行うことで、駐車スペースSへの縦列駐車が行われる。
また、図8に示されるように、実施の形態2と同様に、車両7の後部に設置されたカメラ1を用い、カメラ1の視野内に駐車スペースSのマークMが入る地点Eで駐車軌跡Lを算出して縦列駐車を行うこともできる。
ただし、駐車軌跡算出手段5に、並列駐車及び縦列駐車のいずれを行うのかを指示する必要がある。運転席に並列モードと縦列モードのいずれかを選択うるための選択スイッチを配設し、運転者が選択スイッチを操作するように構成してもよい。あるいは、並列駐車のための駐車スペースと、縦列駐車のための駐車スペースとで、異なるマークを設置し、画像処理手段2が並列駐車のためのマークか縦列駐車のためのマークかを識別して、並列駐車及び縦列駐車のいずれかを自動的に選択するように構成することもできる。
実施の形態4
上記の実施の形態1〜3では、駐車スペースSのマークMをカメラ1で撮影して駐車軌跡Lを算出すると、その駐車軌跡Lに沿って駐車スペースSまで車両7を誘導したが、図9に示されるように、一旦駐車軌跡算出手段5により算出された駐車軌跡Lに従って車両7を移動させることにより車両7と駐車スペースSとの距離が近づいた状態で、再び図4に示したステップS1〜S5を実行して新たな駐車軌跡L’を算出し直すように構成することもできる。
上記の実施の形態1〜3では、駐車スペースSのマークMをカメラ1で撮影して駐車軌跡Lを算出すると、その駐車軌跡Lに沿って駐車スペースSまで車両7を誘導したが、図9に示されるように、一旦駐車軌跡算出手段5により算出された駐車軌跡Lに従って車両7を移動させることにより車両7と駐車スペースSとの距離が近づいた状態で、再び図4に示したステップS1〜S5を実行して新たな駐車軌跡L’を算出し直すように構成することもできる。
すなわち、初めに駐車軌跡算出手段5により算出された駐車軌跡Lに従って地点Cから車両7を移動させた後、地点Fで再びカメラ1により駐車スペースSのマークMを撮影し、画像処理手段2によりマークMの特徴点C1〜C5の新たな2次元座標を認識し、位置パラメータ算出手段3によりカメラ1の新たな位置パラメータを算出し、相対位置特定手段4により車両7と駐車スペースSとの新たな相対位置関係を特定し、駐車軌跡算出手段5により新たな駐車軌跡L’を算出する。そして、この新たな駐車軌跡L’に沿って車両7を走行させるための運転操作の案内情報を案内装置6から運転者に出力する。
車両7と駐車スペースSとの距離が近づくほど、マークMを近くで大きく認識することができ、マークMの特徴点C1〜C5に対する解像度が向上すると共に互いの特徴点C1〜C5間の距離が広がるため、マークMと車両7との相対位置関係をより高精度に特定することができる。したがって、車両7と駐車スペースSとの距離が近づいた状態で新たな駐車軌跡L’を算出し直すことにより、より精度よく駐車を行うことが可能となる。
さらに、所定の時間間隔あるいは移動距離間隔毎に時々刻々、駐車軌跡を算出し直すように構成することができる。このようにすれば、初期のマークMの特徴点C1〜C5の認識誤差、タイヤの減り具合及び車両7の傾き等の車両7の状態、段差及び傾斜等の路面の状態などにほとんど影響されずに、最終的な目標駐車位置である駐車スペースSに精度よく駐車を行うことが可能となる。
図9では、並列駐車の様子を示したが、同様にしてこの実施の形態4を縦列駐車に適用することもできる。
図9では、並列駐車の様子を示したが、同様にしてこの実施の形態4を縦列駐車に適用することもできる。
実施の形態5
実施の形態4では、車両7と駐車スペースSとの距離が近づいた状態で新たな駐車軌跡を算出し直したが、前回算出した駐車軌跡を利用して新たな駐車軌跡を得ることもできる。
例えば、縦列駐車を行う場合に、図10に示されるように、互いに操舵の方向が逆方向となる曲線状の軌跡部分LaとLbからなる駐車軌跡Lを用いるものとすると、駐車軌跡算出手段5により一旦算出された駐車軌跡Lに沿って地点Gから車両7を移動させ、駐車軌跡Lの前半部分である軌跡部分La上の地点Hで再びカメラ1により駐車スペースSのマークMを撮影したときに、未走行の軌跡部分Lbについては前回算出された軌跡部分Lbを補正するだけで新たな駐車軌跡を得ることができる。
実施の形態4では、車両7と駐車スペースSとの距離が近づいた状態で新たな駐車軌跡を算出し直したが、前回算出した駐車軌跡を利用して新たな駐車軌跡を得ることもできる。
例えば、縦列駐車を行う場合に、図10に示されるように、互いに操舵の方向が逆方向となる曲線状の軌跡部分LaとLbからなる駐車軌跡Lを用いるものとすると、駐車軌跡算出手段5により一旦算出された駐車軌跡Lに沿って地点Gから車両7を移動させ、駐車軌跡Lの前半部分である軌跡部分La上の地点Hで再びカメラ1により駐車スペースSのマークMを撮影したときに、未走行の軌跡部分Lbについては前回算出された軌跡部分Lbを補正するだけで新たな駐車軌跡を得ることができる。
図11に示されるように、軌跡部分La上の地点Hで駐車スペースSのマークMを撮影して車両7と駐車スペースSとの相対位置関係を特定したときに、初めの地点Gで算出した駐車軌跡Lに対して駐車スペースSの位置にズレを生じている場合には、地点Hで新たに特定した駐車スペースS’に適合させて前回算出された軌跡部分Lbを回転及び/または平行移動させるだけで新たな軌跡部分Lb’とし、地点Hからこの新たな軌跡部分Lb’につながるように前半の軌跡部分La’を再計算すればよい。
このようにして軌跡部分La’及びLb’からなる新たな駐車軌跡L’を取得すれば、再計算の負担を軽減することができる。
なお、並列駐車においても、複数の曲線状の軌跡部分及び直線状の軌跡部分を組み合わせて駐車軌跡を形成する場合には、同様にしてこの実施の形態5を適用することができる。
なお、並列駐車においても、複数の曲線状の軌跡部分及び直線状の軌跡部分を組み合わせて駐車軌跡を形成する場合には、同様にしてこの実施の形態5を適用することができる。
実施の形態6
上記の実施の形態1〜5では、車両7の側部及び後部のいずれかに設置されたカメラ1を用いて駐車スペースSのマークMを撮影したが、図12に示されるように、車両7の側部にカメラ1を設置すると共に車両7の後部にカメラ9を設置し、これら双方のカメラ1及び9でそれぞれ駐車スペースSのマークMを撮影することもできる。
上記の実施の形態1〜5では、車両7の側部及び後部のいずれかに設置されたカメラ1を用いて駐車スペースSのマークMを撮影したが、図12に示されるように、車両7の側部にカメラ1を設置すると共に車両7の後部にカメラ9を設置し、これら双方のカメラ1及び9でそれぞれ駐車スペースSのマークMを撮影することもできる。
例えば、駐車スペースSの近傍の地点Aで車両7の側部のカメラ1により駐車スペースSのマークMを撮影すれば、マークMを近くで大きく認識することができるため、マークMと車両7との相対位置関係をより高精度に特定することができ、精度のよい駐車軌跡Lを算出することができる。そして、車両7の後部のカメラ9の視野内に駐車スペースSのマークMが入った後は、カメラ9でマークMを撮影することができる。例えば、図12の折り返し地点Bまで車両7が移動すると、駐車スペースSのマークMは車両7の側部のカメラ1の視野からは外れるが、車両7の後部のカメラ9の視野内に入ってくる。そこで、地点Bから車両7を旋回後退させる際にカメラ9でマークMを撮影すれば、実施の形態4及び5のように、車両7と駐車スペースSとの距離が近づいた状態で新たな駐車軌跡を再計算することが可能となる。
これにより、さらに精度のよい駐車支援を行うことができるようになる。
これにより、さらに精度のよい駐車支援を行うことができるようになる。
実施の形態7
上記の実施の形態1〜6では、駐車スペースSのマークMとして、4つの直角2等辺三角形を互いに当接させた正方形状の外形を有する図形を用いたが、これに限るものではなく、例えば図13A〜13Cに示されるような各種のマークを用いることができる。
図13Aに示されるマークM1は、図3に示したマークMの二つの三角形を所定の方向dに伸ばした形状を有し、5つの特徴点C1〜C5を備えている。この方向dを駐車スペースSの入口に向けてマークM1を駐車スペースSの床面に設置すれば、駐車スペースSの近傍の地点で車両7のドアミラーに内蔵されたカメラ1により斜め下方に位置するマークM1を撮影したときに、遠近映像によりほぼ正方形に近い形状の画像を得ることができる。このため、マークM1の画像から5つの特徴点C1〜C5を抽出しやすくなる。
上記の実施の形態1〜6では、駐車スペースSのマークMとして、4つの直角2等辺三角形を互いに当接させた正方形状の外形を有する図形を用いたが、これに限るものではなく、例えば図13A〜13Cに示されるような各種のマークを用いることができる。
図13Aに示されるマークM1は、図3に示したマークMの二つの三角形を所定の方向dに伸ばした形状を有し、5つの特徴点C1〜C5を備えている。この方向dを駐車スペースSの入口に向けてマークM1を駐車スペースSの床面に設置すれば、駐車スペースSの近傍の地点で車両7のドアミラーに内蔵されたカメラ1により斜め下方に位置するマークM1を撮影したときに、遠近映像によりほぼ正方形に近い形状の画像を得ることができる。このため、マークM1の画像から5つの特徴点C1〜C5を抽出しやすくなる。
図13Bに示されるマークM2は、図3に示したマークMの上側の二つの三角形と下側の二つの三角形の位置を互いに入れ替えたもので、7つの特徴点C1〜C7を備えている。
図13Cに示されるマークM3は、図3に示したマークMにさらに二つの三角形を追加したもので、8つの特徴点C1〜C8を備えている。
これらのマークM2及びM3は、図3のマークMと同様に使用することができるが、例えば、図3のマークMは並列駐車のための駐車スペースであることを、マークM2及びM3は縦列駐車のための駐車スペースであることを、それぞれ予め決めておけば、画像処理手段2が駐車スペースのマークを識別することにより、並列駐車及び縦列駐車のいずれを行うかを自動的に判定し、駐車軌跡算出手段5に対応した駐車軌跡を算出させることができる。
例えば、図14に示されるように、駐車スペースSの近傍の地点で車両7のカメラ1により撮影した画像からマークM3を識別すれば、これから縦列駐車を行うと判定する。また、マークM3は、方向dに対して非対称であるため、方向dにおける方向性を示すことができ、駐車の進入方向を制限することもできる。
また、図15に示されるように、矩形状の駐車スペースSに対角線を描き、駐車スペースSの四隅と対角線の交点に特徴点C1〜C5を有するマークM4とすることもできる。
図13Cに示されるマークM3は、図3に示したマークMにさらに二つの三角形を追加したもので、8つの特徴点C1〜C8を備えている。
これらのマークM2及びM3は、図3のマークMと同様に使用することができるが、例えば、図3のマークMは並列駐車のための駐車スペースであることを、マークM2及びM3は縦列駐車のための駐車スペースであることを、それぞれ予め決めておけば、画像処理手段2が駐車スペースのマークを識別することにより、並列駐車及び縦列駐車のいずれを行うかを自動的に判定し、駐車軌跡算出手段5に対応した駐車軌跡を算出させることができる。
例えば、図14に示されるように、駐車スペースSの近傍の地点で車両7のカメラ1により撮影した画像からマークM3を識別すれば、これから縦列駐車を行うと判定する。また、マークM3は、方向dに対して非対称であるため、方向dにおける方向性を示すことができ、駐車の進入方向を制限することもできる。
また、図15に示されるように、矩形状の駐車スペースSに対角線を描き、駐車スペースSの四隅と対角線の交点に特徴点C1〜C5を有するマークM4とすることもできる。
実施の形態8
上記の実施の形態1〜7では、駐車スペースSのマークが3個以上の特徴点を有し、一つの地点でカメラ1または9によりマークを撮影することで、6個以上の関係式を作成し、カメラ1または9の6個の位置パラメータ(xm,ym,zm,Kn)を算出したが、1個または2個の特徴点しか有しないマークを用いることもできる。なお、車両7には、車輪速センサ、ヨーレートセンサ、GPS等、車両7の移動距離及び移動方向を検出する移動量センサが具備されているものとする。
上記の実施の形態1〜7では、駐車スペースSのマークが3個以上の特徴点を有し、一つの地点でカメラ1または9によりマークを撮影することで、6個以上の関係式を作成し、カメラ1または9の6個の位置パラメータ(xm,ym,zm,Kn)を算出したが、1個または2個の特徴点しか有しないマークを用いることもできる。なお、車両7には、車輪速センサ、ヨーレートセンサ、GPS等、車両7の移動距離及び移動方向を検出する移動量センサが具備されているものとする。
例えば、図16に示されるように、駐車スペースSに2個の特徴点C1及びC2しか有しないマークM5を設置し、このマークM5を車両7のカメラ1で撮影するものとする。まず、駐車スペースSの近傍の地点A1でマークM5を撮影することにより、2個の特徴点C1及びC2の画像座標系のX座標及びY座標をそれぞれ表す4個の関係式が得られる。
次に、車両7を地点A2まで移動させる。このとき、地点A2は、カメラ1の視野内にマークM5が捉えられる範囲内であることが必要である。また、地点A1から地点A2までの車両7の移動距離及び移動方向が車両7に具備された移動量センサにより検出されている。この地点A2でカメラ1により再度マークM5を撮影することで、2個の特徴点C1及びC2の画像座標系のX座標及びY座標をそれぞれ表すさらに4個の関係式が得られる。
次に、車両7を地点A2まで移動させる。このとき、地点A2は、カメラ1の視野内にマークM5が捉えられる範囲内であることが必要である。また、地点A1から地点A2までの車両7の移動距離及び移動方向が車両7に具備された移動量センサにより検出されている。この地点A2でカメラ1により再度マークM5を撮影することで、2個の特徴点C1及びC2の画像座標系のX座標及びY座標をそれぞれ表すさらに4個の関係式が得られる。
地点A1で得られた4個の関係式と地点A2で得られた4個の関係式とからなる計8個の関係式と、移動量センサにより検出された地点A1と地点A2との相対位置に基づいて、カメラ1の6個の位置パラメータ(xm,ym,zm,Kn)を算出することができる。これにより、車両7と駐車スペースSとの相対位置関係を特定し、駐車軌跡を算出することが可能となる。
同様にして、1個の特徴点しか有しないマークを駐車スペースSに設置した場合に、少なくとも3地点でそれぞれこのマークを撮影することにより、6個以上の関係式が得られ、カメラ1の6個の位置パラメータ(xm,ym,zm,Kn)を算出することができる。
また、それぞれの視野の少なくとも一部が重複する複数のカメラを車両7に搭載し、これら複数のカメラで同時にマークを撮影することもできる。例えば、2台のカメラで2個の特徴点を有するマークをそれぞれ撮影すれば、1台のカメラで4個の特徴点を有するマークを撮影したのと同等の情報が得られる。また、3台のカメラで1個の特徴点を有するマークをそれぞれ撮影すれば、1台のカメラで3個の特徴点を有するマークを撮影したのと同等の情報が得られる。従って、6個の位置パラメータ(xm,ym,zm,Kn)を算出することが可能となる。
このように、特徴点の個数を減らすことで、マークを小型化することができる。
同様にして、1個の特徴点しか有しないマークを駐車スペースSに設置した場合に、少なくとも3地点でそれぞれこのマークを撮影することにより、6個以上の関係式が得られ、カメラ1の6個の位置パラメータ(xm,ym,zm,Kn)を算出することができる。
また、それぞれの視野の少なくとも一部が重複する複数のカメラを車両7に搭載し、これら複数のカメラで同時にマークを撮影することもできる。例えば、2台のカメラで2個の特徴点を有するマークをそれぞれ撮影すれば、1台のカメラで4個の特徴点を有するマークを撮影したのと同等の情報が得られる。また、3台のカメラで1個の特徴点を有するマークをそれぞれ撮影すれば、1台のカメラで3個の特徴点を有するマークを撮影したのと同等の情報が得られる。従って、6個の位置パラメータ(xm,ym,zm,Kn)を算出することが可能となる。
このように、特徴点の個数を減らすことで、マークを小型化することができる。
実施の形態9
上記の実施の形態1〜8において、並列駐車の場合に、マークを駐車スペースSの入口側に設置すれば、駐車スペースSの近傍に位置する車両7とマークとの距離が短くなるので、マークを認知してその特徴点を認識しやすくなる。ただし、必ずしもマークを駐車スペースSの入口側に設置する必要はなく、図17に示されるように、駐車スペースSの奥側にマークMを設置してもよい。この場合、車両7の後部にカメラが搭載されていると、駐車完了地点の直前までカメラによってマークMを認知することができ、実施の形態4及び5のように、新たな駐車軌跡を再計算することにより、駐車精度を向上させることが可能となる。
また、図18に示されるように、駐車スペースSの床面ではなく、奥の壁面WにマークMを設置してもよい。このようにすれば、車両7の後部にカメラが搭載されている場合に、駐車完了地点までカメラによってマークMを認知することができる。
上記の実施の形態1〜8において、並列駐車の場合に、マークを駐車スペースSの入口側に設置すれば、駐車スペースSの近傍に位置する車両7とマークとの距離が短くなるので、マークを認知してその特徴点を認識しやすくなる。ただし、必ずしもマークを駐車スペースSの入口側に設置する必要はなく、図17に示されるように、駐車スペースSの奥側にマークMを設置してもよい。この場合、車両7の後部にカメラが搭載されていると、駐車完了地点の直前までカメラによってマークMを認知することができ、実施の形態4及び5のように、新たな駐車軌跡を再計算することにより、駐車精度を向上させることが可能となる。
また、図18に示されるように、駐車スペースSの床面ではなく、奥の壁面WにマークMを設置してもよい。このようにすれば、車両7の後部にカメラが搭載されている場合に、駐車完了地点までカメラによってマークMを認知することができる。
さらに、図19に示されるように、駐車スペースSの入口付近の床面と奥部の床面にマークM6及びM7をそれぞれ設置することもできる。このようにすれば、車両7の一部が駐車スペースS内に入って、カメラの視野内から駐車スペースSの入口付近のマークM6が外れても、駐車スペースSの奥部のマークM7をカメラで撮影することにより、車両7と目標駐車位置との相対位置関係を算出することが可能となり、駐車完了地点まで精度よく車両7を誘導することができる。
なお、この発明において用いられるマークは、自然界に存在する形状に対して判別しやすい、特異な形状、色彩等を具備し、画像処理手段2における画像認識により、その存在を認知しやすいものであり、さらに内部に含んでいる特徴点を認識しやすいものが望ましい。
また、マークは、認識された特徴点の2次元座標に基づいて算出される車両7とマークとの相対位置関係の精度と、その相対位置関係に基づいて算出される駐車軌跡の精度とが、目標とする駐車精度を実現し得るように、十分な大きさを有し且つ車両7から認知しやすい場所に設置されることが望まれる。
具体的には、マークは、駐車スペースSの床面や壁面等の所定の場所に直接ペイントする、あるいは、マークが描かれたシートを所定の場所に貼付する等により設置することができる。
また、マークは、認識された特徴点の2次元座標に基づいて算出される車両7とマークとの相対位置関係の精度と、その相対位置関係に基づいて算出される駐車軌跡の精度とが、目標とする駐車精度を実現し得るように、十分な大きさを有し且つ車両7から認知しやすい場所に設置されることが望まれる。
具体的には、マークは、駐車スペースSの床面や壁面等の所定の場所に直接ペイントする、あるいは、マークが描かれたシートを所定の場所に貼付する等により設置することができる。
マークをQRコードで表示したり、駐車スペースSの辺と平行、垂直あるいは駐車スペースSの対角線上に目盛りを付けた二次元バーコードでマークを表示することにより、マークに特徴点だけでなく、駐車スペースS自体に関する情報及び/または駐車スペースSへの駐車方法に関する情報等、以下のような各種の情報を記憶させ、画像処理手段2における画像認識によりこれらの情報を読み取ることもできる。
(1)駐車スペースS自体の特徴(大きさ、斜め、変形、傾斜等)
(2)駐車スペースSの住所、大きな駐車場における枠番号
大きな駐車場では、入口で枠番号の指定が行われ、駐車場内の移動経路も案内される場合があり、マークに記憶された枠番号を識別することで、車両自体が指定された枠であることを認識することができる。また、ナビゲーションシステムと連携することにより、自家用車庫の確認、目的地の車庫の住所の確認が可能となる。
(3)駐車料金
(4)駐車使用制限(使用可能時間帯、資格、身障者用などの使用権限の有無)
(5)駐車場周辺の到達可能範囲、進入制限範囲、障害物の有無と位置、駐車時の条件(前向き駐車指定等)。
(1)駐車スペースS自体の特徴(大きさ、斜め、変形、傾斜等)
(2)駐車スペースSの住所、大きな駐車場における枠番号
大きな駐車場では、入口で枠番号の指定が行われ、駐車場内の移動経路も案内される場合があり、マークに記憶された枠番号を識別することで、車両自体が指定された枠であることを認識することができる。また、ナビゲーションシステムと連携することにより、自家用車庫の確認、目的地の車庫の住所の確認が可能となる。
(3)駐車料金
(4)駐車使用制限(使用可能時間帯、資格、身障者用などの使用権限の有無)
(5)駐車場周辺の到達可能範囲、進入制限範囲、障害物の有無と位置、駐車時の条件(前向き駐車指定等)。
また、マークの代わりに駐車スペースSに対して所定の位置関係を有する所定の場所に看板を立て、この看板に上記の各種の情報を表示して、画像処理手段2における画像認識により情報を読み取ってもよい。
実施の形態10
上記の実施の形態1〜9において、固定目標として使用されたマークを、光によって表示することもできる。例えば、図20に示されるように、光を利用してマークMを表示するための光学的表示装置18に表示制御装置19を接続し、表示制御装置19からの指令に基づいて光学的表示装置18により所定の場所にマークMが表示される。
上記の実施の形態1〜9において、固定目標として使用されたマークを、光によって表示することもできる。例えば、図20に示されるように、光を利用してマークMを表示するための光学的表示装置18に表示制御装置19を接続し、表示制御装置19からの指令に基づいて光学的表示装置18により所定の場所にマークMが表示される。
例えば、図21に示されるように、光学的表示装置18としてプロジェクタ20を用いてマークMを投影により表示することができる。あるいは、図22に示されるように、光学的表示装置18としてレーザスキャナ21を用いてレーザ光をスキャンし、マークMを表示してもよい。さらに、図23に示されるように、予め所定の場所にマークMの形状に沿って多数のLED等の発光体22を配列固定しておき、表示制御装置19により多数の発光体22を発光させてもマークMを表示することができる。また、図24に示されるように、所定の領域内を多数のLED等の発光体22で埋め尽くした、いわゆる電光掲示板状の発光装置23を予め設置し、表示制御装置19により発光装置23内の発光体22を選択して発光させることによりマークMを表示してもよい。図24では、黒く塗られた発光体22のみが発光し、他の発光体22は非発光状態にある。
この実施の形態10のように、光を利用してマークMを表示すれば、ペイントまたはシートによりマークを表示した場合に比べて、マーク設置面の汚れまたは擦れによりマーク形状が損なわれるおそれが少なく、長期間マークMを使用しても、車両7とマークMとの相対位置関係を精度よく検出することができる。
また、表示制御装置19で光学的表示装置18を制御することにより、マークMの表示光度を容易に変更することができる。このため、昼間と夜間等、周辺雰囲気の明るさに合わせて光度を調整することで、常時認識しやすいマークMを表示することが可能となる。
また、表示制御装置19で光学的表示装置18を制御することにより、マークMの表示光度を容易に変更することができる。このため、昼間と夜間等、周辺雰囲気の明るさに合わせて光度を調整することで、常時認識しやすいマークMを表示することが可能となる。
光学的表示装置18としてプロジェクタ20あるいはレーザスキャナ21を使用する場合には、表示制御装置19で光学的表示装置18を制御することにより、表示されるマークMのサイズを容易に変更することができる。このため、車両7がマークMから遠いときは、大きなマークMを表示し、マークMに近づいたら、小さなマークMを表示することで、マークMの特徴点の認識精度が向上する。なお、この場合、マークMのサイズに関する情報を車両7側へ伝達する必要がある。
同様に、光学的表示装置18としてプロジェクタ20あるいはレーザスキャナ21を使用する場合には、表示制御装置19で光学的表示装置18を制御することにより、表示されるマークMの位置を容易に変更することができる。このため、駐車スペースS内の障害物の存在等に応じて目標駐車位置を調整したいときに、マークMの位置を容易に変更して車両7を所望の位置に駐車させることが可能となる。
さらに、図19に示したように、駐車スペースSの入口付近の床面と奥部の床面等に複数のマークを設置する代わりに、車両7の位置に応じて表示されるマークMの位置を移動させてもよい。複数のマークを設置する手間と費用を省くことができる。
なお、このようにマークMの位置を変更する場合も、マークMの位置に関する情報を車両7側へ伝達する必要がある。
さらに、図19に示したように、駐車スペースSの入口付近の床面と奥部の床面等に複数のマークを設置する代わりに、車両7の位置に応じて表示されるマークMの位置を移動させてもよい。複数のマークを設置する手間と費用を省くことができる。
なお、このようにマークMの位置を変更する場合も、マークMの位置に関する情報を車両7側へ伝達する必要がある。
図24に示した電光掲示板状の発光装置23を光学的表示装置18として使用した場合においても、発光体22で埋め尽くされた領域内で上述したマークMのサイズあるいは位置の変更が可能となる。
プロジェクタ20あるいはレーザスキャナ21を使用する場合には、マークMの表示色を容易に変更することができる。このため、周辺雰囲気の変化に合わせて表示色を調整することで、常時認識しやすいマークMを表示することもできる。
また、プロジェクタ20あるいはレーザスキャナ21を使用する場合には、駐車スペースSの床面、側壁等に設置されたスクリーン様の平面上にマークMを表示してもよい。このようにすれば、駐車スペースSの床面、側壁等に凹凸が存在しても、マーク形状を損うことなくマークMを表示して、マークMの特徴点の認識精度を向上させることができる。なお、スクリーン様の平面は、設置面に柔軟なスクリーンを貼り付ける、平板部材を設置する等により、設置箇所に応じた材質や形状を選択して実現することができる。
プロジェクタ20あるいはレーザスキャナ21を使用する場合には、マークMの表示色を容易に変更することができる。このため、周辺雰囲気の変化に合わせて表示色を調整することで、常時認識しやすいマークMを表示することもできる。
また、プロジェクタ20あるいはレーザスキャナ21を使用する場合には、駐車スペースSの床面、側壁等に設置されたスクリーン様の平面上にマークMを表示してもよい。このようにすれば、駐車スペースSの床面、側壁等に凹凸が存在しても、マーク形状を損うことなくマークMを表示して、マークMの特徴点の認識精度を向上させることができる。なお、スクリーン様の平面は、設置面に柔軟なスクリーンを貼り付ける、平板部材を設置する等により、設置箇所に応じた材質や形状を選択して実現することができる。
表示制御装置19で光学的表示装置18を制御することによりマークMの表示光の輝度、波長(色)等を変調し、車両7のカメラで撮影したマークMの画像を復調することもできる。このようにすれば、日光、照明光等によるノイズの影響を排除して、マークMの特徴点の位置を精度よく認識することができる。また、マークMの表示光の変調により、マークMに特徴点だけでなく、実施の形態9に記載したような、駐車スペースS自体に関する情報及び/または駐車スペースSへの駐車方法に関する情報等の各種の情報を重畳させることができる。例えば、車両7の位置に応じてマークMの表示位置を変更させながら、このマークMは目標駐車位置への通過点であるという情報、あるいは、このマークMは駐車完了位置であるという情報を重畳させることもできる。
なお、マークMの表示光は、車両7のカメラで認識可能なものであればよく、赤外線、紫外線等の非可視光を用いることもできる。また、通常の人間の目では認識できないような高速変調された表示光でもよく、さらに、人間の目で認識し得る映像の中に人間の目では認識できないような非常に短い時間でマークMを表示して、いわゆるマークMのすり込みを行うこともできる。このようにしてすり込まれたマークMを車両7のカメラで認識することにより、車両7とマークMとの相対位置関係が検出される。同様にして、上述した各種の情報を映像あるいはマークMの中にすり込むこともできる。
実施の形態11
上記の実施の形態1〜10において、駐車軌跡算出手段5により算出された駐車軌跡Lに従って実際に車両7を駐車させたときに、マークに対する駐車完了位置の相対位置関係を記憶しておき、次回の駐車動作における駐車軌跡Lの算出時に、駐車軌跡算出手段5が、記憶されている前回の駐車完了位置とマークとの相対位置関係に基づいて、車両7が目標とする駐車位置へ誘導されるように補正された駐車軌跡を算出することもできる。
このようにすれば、目標とする駐車位置と実際の駐車完了位置との間に位置ズレが生じた場合に、その位置ズレを補償することができる。また、自家用車庫等において、駐車スペースの中央ではなく偏った場所を目標駐車位置とすることもできる。
なお、駐車完了位置とマークとの相対位置関係は、例えば図18に示したように、駐車スペースSの奥の壁面Wに設置されたマークを車両7の後部のカメラで撮影することにより認識することができる。また、駐車完了位置でなくても、駐車スペースSのマークを車両7のカメラで撮影可能な駐車完了直前の位置とマークとの相対位置関係を記憶して、この相対位置関係に基づき、補正された駐車軌跡を算出してもよい。
上記の実施の形態1〜10において、駐車軌跡算出手段5により算出された駐車軌跡Lに従って実際に車両7を駐車させたときに、マークに対する駐車完了位置の相対位置関係を記憶しておき、次回の駐車動作における駐車軌跡Lの算出時に、駐車軌跡算出手段5が、記憶されている前回の駐車完了位置とマークとの相対位置関係に基づいて、車両7が目標とする駐車位置へ誘導されるように補正された駐車軌跡を算出することもできる。
このようにすれば、目標とする駐車位置と実際の駐車完了位置との間に位置ズレが生じた場合に、その位置ズレを補償することができる。また、自家用車庫等において、駐車スペースの中央ではなく偏った場所を目標駐車位置とすることもできる。
なお、駐車完了位置とマークとの相対位置関係は、例えば図18に示したように、駐車スペースSの奥の壁面Wに設置されたマークを車両7の後部のカメラで撮影することにより認識することができる。また、駐車完了位置でなくても、駐車スペースSのマークを車両7のカメラで撮影可能な駐車完了直前の位置とマークとの相対位置関係を記憶して、この相対位置関係に基づき、補正された駐車軌跡を算出してもよい。
さらに、ナビゲーションシステムと連動させて、ナビゲーションシステムにより特定の駐車スペース、例えば自家用車庫であることを認知したときに、記憶されている前回の駐車完了位置とマークとの相対位置関係に基づいて補正された駐車軌跡を算出するように構成することもできる。このようにすれば、一般の駐車場では規定通りの位置に駐車し、自家用車庫等の特定の駐車スペースに対しては、中央から偏った位置等、特別に設定した状況で駐車を行うことが可能となる。なお、ナビゲーションシステムの代わりにGPSセンサを具備し、GPSセンサからの情報に基づいて特定の駐車スペースであることを認知してもよい。
実施の形態12
上記の実施の形態1〜11において、図25に示されるように、案内装置6を案内情報作成手段10と案内情報出力手段11とから構成することができる。
案内情報作成手段10は、車両走行に係るセンサ、例えば操舵角センサ12、ヨーレートセンサ13及び車速センサ14からの検知信号と、駐車軌跡算出手段5により算出された駐車軌跡Lとに基づいて、車両7を駐車軌跡Lに沿って走行させるための運転操作の案内情報を作成するものであり、コンピュータから構成することができる。
案内情報出力手段11は、案内情報作成手段10で作成された案内情報を出力するもので、例えば、音声、警告音等、運転者の聴覚を通して案内情報を伝達するスピーカやブザーから構成することができる。この他、画像、発光等、視覚を通して案内情報を伝達するディスプレイやランプを案内情報出力手段11として用いてもよい。さらに、振動等、触覚を通して案内情報を伝達するバイブレーター等を案内情報出力手段11として用いることもできる。
上記の実施の形態1〜11において、図25に示されるように、案内装置6を案内情報作成手段10と案内情報出力手段11とから構成することができる。
案内情報作成手段10は、車両走行に係るセンサ、例えば操舵角センサ12、ヨーレートセンサ13及び車速センサ14からの検知信号と、駐車軌跡算出手段5により算出された駐車軌跡Lとに基づいて、車両7を駐車軌跡Lに沿って走行させるための運転操作の案内情報を作成するものであり、コンピュータから構成することができる。
案内情報出力手段11は、案内情報作成手段10で作成された案内情報を出力するもので、例えば、音声、警告音等、運転者の聴覚を通して案内情報を伝達するスピーカやブザーから構成することができる。この他、画像、発光等、視覚を通して案内情報を伝達するディスプレイやランプを案内情報出力手段11として用いてもよい。さらに、振動等、触覚を通して案内情報を伝達するバイブレーター等を案内情報出力手段11として用いることもできる。
案内情報作成手段10は、車両7の走行に伴って操舵角センサ12からの操舵角信号とヨーレートセンサ13からのヨーレート信号と車速センサ14からの車速パルス信号を繰り返し取り込み、これらの信号に基づいて車両7の旋回半径、旋回角及び移動距離を算出する。これにより、図4のステップS4で相対位置特定手段4により特定された車両7と駐車スペースSとの相対位置からの位置の変化量が算出され、現在の車両7の位置及び進行方向が特定される。案内情報作成手段10は、このようにして特定された車両7の位置及び進行方向と図4のステップS5で駐車軌跡算出手段5により算出された駐車軌跡Lとを比較することにより、車両7を駐車軌跡Lに沿って走行させるための運転操作の案内情報を作成する。
なお、予め案内情報作成手段10には、操舵角に対する車両7の旋回半径、ヨーレートセンサ13のゲイン、車速パルス1パルスあたりの移動距離等の車両走行パラメータが設定されており、車両7の旋回半径、旋回角及び移動距離は、操舵角信号、ヨーレート信号及び車速パルス信号とこれらの車両走行パラメータとを用いて算出される。
このようにして作成された運転操作の案内情報が案内情報出力手段11から車両7の運転者に出力される。
このようにして作成された運転操作の案内情報が案内情報出力手段11から車両7の運転者に出力される。
実施の形態13
この発明の実施の形態13に係る車両走行パラメータの算出方法を実施するための装置の構成を図26に示す。路面上に設置された所定形状のマークM(固定目標)を撮影するためのカメラ1が車両に搭載されており、カメラ1は車両走行パラメータ算出装置部品P2の入力部Kに接続されている。入力部Kには、カメラ1によりマークMを撮影した画像からマークMの特徴点を抽出して画像上における特徴点の2次元座標を認識する画像処理手段2が接続されている。この画像処理手段2に、マークMを基準としたカメラ1の位置パラメータを算出する位置パラメータ算出手段3が接続され、位置パラメータ算出手段3には、車両の走行パラメータを算出する車両走行パラメータ算出手段15が接続され、これら入力部K、画像処理手段2、位置パラメータ算出手段3及び車両走行パラメータ算出手段15によって車両走行パラメータ算出装置部品P2が構成されている。車両走行パラメータ算出手段15には、操舵角センサ12、ヨーレートセンサ13及び車速センサ14がそれぞれ接続されている。
なお、この実施の形態13では、車両の走行パラメータとして、操舵角に対する旋回半径R、ヨーレートセンサ13のゲイン、車速パルス1パルスあたりの移動距離を算出するものとする。
この発明の実施の形態13に係る車両走行パラメータの算出方法を実施するための装置の構成を図26に示す。路面上に設置された所定形状のマークM(固定目標)を撮影するためのカメラ1が車両に搭載されており、カメラ1は車両走行パラメータ算出装置部品P2の入力部Kに接続されている。入力部Kには、カメラ1によりマークMを撮影した画像からマークMの特徴点を抽出して画像上における特徴点の2次元座標を認識する画像処理手段2が接続されている。この画像処理手段2に、マークMを基準としたカメラ1の位置パラメータを算出する位置パラメータ算出手段3が接続され、位置パラメータ算出手段3には、車両の走行パラメータを算出する車両走行パラメータ算出手段15が接続され、これら入力部K、画像処理手段2、位置パラメータ算出手段3及び車両走行パラメータ算出手段15によって車両走行パラメータ算出装置部品P2が構成されている。車両走行パラメータ算出手段15には、操舵角センサ12、ヨーレートセンサ13及び車速センサ14がそれぞれ接続されている。
なお、この実施の形態13では、車両の走行パラメータとして、操舵角に対する旋回半径R、ヨーレートセンサ13のゲイン、車速パルス1パルスあたりの移動距離を算出するものとする。
路面上に設置されたマークMは、実施の形態1で用いられたものと同じもので、図3に示したように、4つの直角2等辺三角形を互いに当接させた正方形状の外形を有する図形を用いることができる。互いに隣接する直角2等辺三角形が異なる色で塗り分けられており、このマークMは、複数の辺の交点からなる5つの特徴点C1〜C5を有している。
次に、図27のフローチャートを参照して実施の形態13に係る車両走行パラメータの算出方法を説明する。
まず、ステップS11として、図28に示されるようにマークMの近傍の地点A3に車両7を位置させてマークMをカメラ1の視野内に入れる。なお、カメラ1は、例えば車両7のドアミラー8に内蔵されており、車両7に対するカメラ1の所定の位置関係は予め把握されているものとする。この状態で、カメラ1によりマークMを撮影する。
カメラ1により撮影された画像は入力部Kを介して画像処理手段2に入力され、続くステップS12で、画像処理手段2は、カメラ1により撮影されたマークMの画像からマークMの5つの特徴点C1〜C5を抽出し、画像上におけるこれら特徴点C1〜C5の2次元座標をそれぞれ認識し取得する。
次に、ステップS13で、画像処理手段2により認識された特徴点C1〜C5のそれぞれの2次元座標に基づき、位置パラメータ算出手段3は、マークMを基準としたカメラ1の3次元座標(x,y,z)及びパン角(方向角)Kの4個のパラメータからなる位置パラメータを算出する。
まず、ステップS11として、図28に示されるようにマークMの近傍の地点A3に車両7を位置させてマークMをカメラ1の視野内に入れる。なお、カメラ1は、例えば車両7のドアミラー8に内蔵されており、車両7に対するカメラ1の所定の位置関係は予め把握されているものとする。この状態で、カメラ1によりマークMを撮影する。
カメラ1により撮影された画像は入力部Kを介して画像処理手段2に入力され、続くステップS12で、画像処理手段2は、カメラ1により撮影されたマークMの画像からマークMの5つの特徴点C1〜C5を抽出し、画像上におけるこれら特徴点C1〜C5の2次元座標をそれぞれ認識し取得する。
次に、ステップS13で、画像処理手段2により認識された特徴点C1〜C5のそれぞれの2次元座標に基づき、位置パラメータ算出手段3は、マークMを基準としたカメラ1の3次元座標(x,y,z)及びパン角(方向角)Kの4個のパラメータからなる位置パラメータを算出する。
ここで、位置パラメータ算出手段3による位置パラメータの算出方法を説明する。
まず、車両7のリヤアクスル中心O1から路面に対して垂直に下ろした地面上の点を原点とし、水平方向にx軸及びy軸、鉛直方向にz軸を設定した路面座標系を想定すると共に、カメラ1により撮影された画像上にX軸とY軸を設定した画像座標系を想定する。
画像座標系におけるマークMの特徴点C1〜C5の座標値Xm及びYm(m=1〜5)は、上述した4個の位置パラメータxm、ym、zm、Kから、関数F及びGを用いて、
Xm=F(xm,ym,zm,K)+DXm
Ym=G(xm,ym,zm,K)+DYm
で表される。ここで、DXm及びDYmは関数F及びGを用いて算出された特徴点C1〜C5のX座標及びY座標と画像処理手段2で認識された特徴点C1〜C5の座標値Xm及びYmとの偏差である。
まず、車両7のリヤアクスル中心O1から路面に対して垂直に下ろした地面上の点を原点とし、水平方向にx軸及びy軸、鉛直方向にz軸を設定した路面座標系を想定すると共に、カメラ1により撮影された画像上にX軸とY軸を設定した画像座標系を想定する。
画像座標系におけるマークMの特徴点C1〜C5の座標値Xm及びYm(m=1〜5)は、上述した4個の位置パラメータxm、ym、zm、Kから、関数F及びGを用いて、
Xm=F(xm,ym,zm,K)+DXm
Ym=G(xm,ym,zm,K)+DYm
で表される。ここで、DXm及びDYmは関数F及びGを用いて算出された特徴点C1〜C5のX座標及びY座標と画像処理手段2で認識された特徴点C1〜C5の座標値Xm及びYmとの偏差である。
つまり5個の特徴点C1〜C5のX座標及びY座標をそれぞれ表すことにより、4個の位置パラメータ(xm,ym,zm,K)に対して計10個の関係式が作成される。
そこで、偏差DXm及びDYmの二乗和
S=Σ(DXm2+DYm2)
を最小とするような位置パラメータ(xm,ym,zm,K)を求める。すなわちSを最小化する最適化問題を解く。公知の最適化法たとえばシンプレックス法や、最急降下法、ニュートン法、準ニュートン法などを用いることができる。
そこで、偏差DXm及びDYmの二乗和
S=Σ(DXm2+DYm2)
を最小とするような位置パラメータ(xm,ym,zm,K)を求める。すなわちSを最小化する最適化問題を解く。公知の最適化法たとえばシンプレックス法や、最急降下法、ニュートン法、準ニュートン法などを用いることができる。
なお、算出しようとする位置パラメータ(xm,ym,zm,K)の個数「4」より多い関係式を作成して位置パラメータを決定しているので、精度よく位置パラメータ(xm,ym,zm,K)を得ることができる。
この実施の形態13では、4個の位置パラメータ(xm,ym,zm,K)に対して5個の特徴点C1〜C5により10個の関係式を作成したが、関係式の数は算出しようとする位置パラメータ(xm,ym,zm,K)の個数より多ければよく、最低2個の特徴点により4個の関係式を作成すれば、4個の位置パラメータ(xm,ym,zm,K)を算出することができる。
また、カメラ1の取り付け高さに係るパラメータzmを既知の定数とし、残りのxm、ym及びパン角(方向角)Kの3個の位置パラメータを算出するようにしてもよい。
この実施の形態13では、4個の位置パラメータ(xm,ym,zm,K)に対して5個の特徴点C1〜C5により10個の関係式を作成したが、関係式の数は算出しようとする位置パラメータ(xm,ym,zm,K)の個数より多ければよく、最低2個の特徴点により4個の関係式を作成すれば、4個の位置パラメータ(xm,ym,zm,K)を算出することができる。
また、カメラ1の取り付け高さに係るパラメータzmを既知の定数とし、残りのxm、ym及びパン角(方向角)Kの3個の位置パラメータを算出するようにしてもよい。
次に、ステップS14で、ハンドルの操舵角を一定にして車両7の走行を開始し、ステップS15で、地点A3から所定距離だけ走行したか否かを判定する。このとき、「所定距離」は、地点A3から所定距離だけ移動した地点A4が、車両7のカメラ1の視野内にマークMが入っている地点であることが必要である。この「所定距離」は、車速センサ14からの車速パルス信号等を用いて計測してもよく、あるいは運転者の目分量または感覚で適当量だけ走行移動するものでもよい。そして、まだ所定距離だけ走行していない場合には、ステップS16で、操舵角センサ12からの操舵角信号を取り込み、ステップS17で、ヨーレートセンサ13からのヨーレート信号を取り込み、ステップS18で、車速センサ14からの車速パルス信号を取り込んだ後、ステップS15に戻って所定距離だけ走行したか否かを判定する。このようにして、車両7が所定距離だけ走行する間に、操舵角信号、ヨーレート信号及び車速パルス信号が繰り返し取り込まれる。
ステップS15で所定距離だけ走行したと判定されると、ステップS19に進み、車両7の走行を終了して車両7を地点A4に停止させる。この状態で、ステップS20により、再びカメラ1によりマークMを撮影する。
ステップS15で所定距離だけ走行したと判定されると、ステップS19に進み、車両7の走行を終了して車両7を地点A4に停止させる。この状態で、ステップS20により、再びカメラ1によりマークMを撮影する。
そして、ステップS21で、画像処理手段2は、カメラ1により撮影されたマークMの画像からマークMの5つの特徴点C1〜C5を抽出すると共に画像上におけるこれら特徴点C1〜C5の2次元座標をそれぞれ認識取得し、続くステップS22で、位置パラメータ算出手段3は、画像処理手段2により認識された特徴点C1〜C5のそれぞれの2次元座標に基づき、マークMを基準としたカメラ1の路面上における3次元座標(x,y,z)及びパン角(方向角)Kの4個のパラメータからなる位置パラメータを算出する。
このようにして地点A3と地点A4の2地点における位置パラメータを算出すると、ステップS23に進み、車両走行パラメータ算出手段15は、ステップS13及びS22で算出された2地点における位置パラメータに基づき、地点A3から地点A4までの移動に伴う車両7の旋回半径R、旋回角θ及び移動距離ARを算出する。
ここで、図28を用いて、旋回半径R、旋回角θ及び移動距離ARの算出方法を説明する。
位置パラメータ算出手段3により算出された位置パラメータは、マークMを基準としたカメラ1の路面上における3次元座標(x,y,z)及びパン角(方向角)Kの4個のパラメータを有しているため、双方の地点A3及びA4における車両7の位置及び方位を把握することができる。そこで、地点A3において、車両7のリヤアクスル中心O1を通り且つ車両7の中心線CL1に対して垂直な直線SL1を算出する。同様に、地点A4において、車両7のリヤアクスル中心O2を通り且つ車両7の中心線CL2に対して垂直な直線SL2を算出する。そして、これらの直線SL1及びSL2の交点を求めれば、これが車両7の旋回中心CPとなり、直線SL1及びSL2の交差角度を求めれば、これが車両7の旋回角θとなる。また、旋回中心CPから地点A3またはA4における車両7のリヤアクスル中心O1またはO2までの距離を算出すれば、これが旋回半径Rとなる。旋回中心CPの座標と旋回半径Rとから車両7の移動により描かれる旋回円弧Qが算出され、この円弧Qの旋回角θに対する円弧長が車両7の移動距離ARとなる。
位置パラメータ算出手段3により算出された位置パラメータは、マークMを基準としたカメラ1の路面上における3次元座標(x,y,z)及びパン角(方向角)Kの4個のパラメータを有しているため、双方の地点A3及びA4における車両7の位置及び方位を把握することができる。そこで、地点A3において、車両7のリヤアクスル中心O1を通り且つ車両7の中心線CL1に対して垂直な直線SL1を算出する。同様に、地点A4において、車両7のリヤアクスル中心O2を通り且つ車両7の中心線CL2に対して垂直な直線SL2を算出する。そして、これらの直線SL1及びSL2の交点を求めれば、これが車両7の旋回中心CPとなり、直線SL1及びSL2の交差角度を求めれば、これが車両7の旋回角θとなる。また、旋回中心CPから地点A3またはA4における車両7のリヤアクスル中心O1またはO2までの距離を算出すれば、これが旋回半径Rとなる。旋回中心CPの座標と旋回半径Rとから車両7の移動により描かれる旋回円弧Qが算出され、この円弧Qの旋回角θに対する円弧長が車両7の移動距離ARとなる。
続くステップS24で、車両走行パラメータ算出手段15は、ステップS16〜18で取り込まれた操舵角信号、ヨーレート信号及び車速パルス信号に基づき、地点A3から地点A4までの移動に伴う車両7の旋回半径R、旋回角θ及び移動距離ARを算出する。
予め車両7には、操舵角に対する車両7の旋回半径Rがマップ形式あるいは関係式で設定されており、車両走行パラメータ算出手段15は、操舵角センサ12からの操舵角信号に基づき、上記のマップあるいは関係式を用いて車両7の旋回半径Rを算出する。
また、ヨーレートセンサ13からのヨーレート信号を積分処理し、予め設定されているヨーレートセンサ13のゲインを乗じることにより、車両7のヨー角が検出される。そこで、双方の地点A3及びA4におけるヨー角の差分をとることで、地点A3から地点A4までの車両7の旋回角θが算出される。
さらに、地点A3から地点A4までに車速センサ14で得られる車速パルス信号のパルス数に、予め設定されている車速パルス1パルスあたりの移動距離を乗じることにより、車両7の移動距離ARが算出される。
予め車両7には、操舵角に対する車両7の旋回半径Rがマップ形式あるいは関係式で設定されており、車両走行パラメータ算出手段15は、操舵角センサ12からの操舵角信号に基づき、上記のマップあるいは関係式を用いて車両7の旋回半径Rを算出する。
また、ヨーレートセンサ13からのヨーレート信号を積分処理し、予め設定されているヨーレートセンサ13のゲインを乗じることにより、車両7のヨー角が検出される。そこで、双方の地点A3及びA4におけるヨー角の差分をとることで、地点A3から地点A4までの車両7の旋回角θが算出される。
さらに、地点A3から地点A4までに車速センサ14で得られる車速パルス信号のパルス数に、予め設定されている車速パルス1パルスあたりの移動距離を乗じることにより、車両7の移動距離ARが算出される。
最後に、ステップS25で、車両走行パラメータ算出手段15は、ステップS23においてカメラ1の位置パラメータから算出された旋回半径R、旋回角θ及び移動距離ARとステップS24において各種センサの検知信号から算出された旋回半径R、旋回角θ及び移動距離ARとを比較して車両7の走行パラメータを算出する。
すなわち、ステップS24で得られた旋回半径Rの値がステップS23で得られた旋回半径Rの値となるように、操舵角に対する旋回半径Rのマップまたは関係式を算出する、あるいは予め設定されている操舵角に対する旋回半径Rのマップまたは関係式を補正する。
また、ステップS24で得られた旋回角θの値がステップS23で得られた旋回角θの値となるように、ヨーレートセンサ13のゲインを算出する、あるいは予め設定されているヨーレートセンサ13のゲインを補正する。
さらに、ステップS24で得られた移動距離ARの値がステップS23で得られた移動距離ARの値となるように、車速パルス1パルスあたりの移動距離を算出する、あるいは予め設定されている車速パルス1パルスあたりの移動距離を補正する。
すなわち、ステップS24で得られた旋回半径Rの値がステップS23で得られた旋回半径Rの値となるように、操舵角に対する旋回半径Rのマップまたは関係式を算出する、あるいは予め設定されている操舵角に対する旋回半径Rのマップまたは関係式を補正する。
また、ステップS24で得られた旋回角θの値がステップS23で得られた旋回角θの値となるように、ヨーレートセンサ13のゲインを算出する、あるいは予め設定されているヨーレートセンサ13のゲインを補正する。
さらに、ステップS24で得られた移動距離ARの値がステップS23で得られた移動距離ARの値となるように、車速パルス1パルスあたりの移動距離を算出する、あるいは予め設定されている車速パルス1パルスあたりの移動距離を補正する。
なお、画像処理手段2、位置パラメータ算出手段3及び車両走行パラメータ算出手段15はコンピュータから構成することができ、図27のステップS11〜S25の動作の車両走行パラメータの算出プログラムが記録された記録媒体等からコンピュータに設定することにより、各ステップをコンピュータに実行させることが可能となる。
また、入力部K、画像処理手段2、位置パラメータ算出手段3及び車両走行パラメータ算出手段15により構成される車両走行パラメータ算出装置部品P2は、例えば基板モジュール、チップ等の形にまとめて形成することができ、この車両走行パラメータ算出装置部品P2の入力部Kに車載のカメラ1を接続し、車両走行パラメータ算出手段15に操舵角センサ12、ヨーレートセンサ13及び車速センサ14を接続するだけで車両走行パラメータ算出装置が実現される。
また、入力部K、画像処理手段2、位置パラメータ算出手段3及び車両走行パラメータ算出手段15により構成される車両走行パラメータ算出装置部品P2は、例えば基板モジュール、チップ等の形にまとめて形成することができ、この車両走行パラメータ算出装置部品P2の入力部Kに車載のカメラ1を接続し、車両走行パラメータ算出手段15に操舵角センサ12、ヨーレートセンサ13及び車速センサ14を接続するだけで車両走行パラメータ算出装置が実現される。
上記の実施の形態13では、2地点A3及びA4における車両7の位置と方位に基づいて旋回半径R、旋回角θ及び移動距離ARを算出したが、3地点におけるそれぞれの車両7の位置が分かれば、旋回時の円弧軌道を特定することができるので、3地点における車両7の位置からこれら旋回半径R、旋回角θ及び移動距離ARを算出することも可能である。
また、上記の実施の形態13では、車両の走行パラメータとして、操舵角に対する旋回半径R、ヨーレートセンサ13のゲイン、及び車速パルス1パルスあたりの移動距離をそれぞれ算出したが、これらのうちいずれか1つあるいは2つのみを算出するように構成してもよい。
2つの地点A3及び地点A4でそれぞれ停止状態の車両7のカメラ1でマークMを撮影したが、地点A3と地点A4の間で車両7が移動していればよく、車両7の走行中の2地点でそれぞれマークMを撮影してもよい。
2つの地点A3及び地点A4でそれぞれ停止状態の車両7のカメラ1でマークMを撮影したが、地点A3と地点A4の間で車両7が移動していればよく、車両7の走行中の2地点でそれぞれマークMを撮影してもよい。
また、路面上に設置されるマークMとして、図3に示したような5個の特徴点C1〜C5を有する図形を用いたが、これに限るものではなく、少なくとも2つの特徴点を有する図形を車両外部の固定目標として用いれば、カメラ1で撮影することで、各特徴点の画像座標系のX座標及びY座標をそれぞれ表すことにより、4個の関係式を作成し、3次元座標(x,y,z)及びパン角(方向角)Kの4個の位置パラメータを算出することができる。
さらに、3個以上の特徴点を有するマークMを用いれば、各特徴点の画像座標系のX座標及びY座標をそれぞれ表すことにより、6個以上の関係式を作成することができるため、3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなるカメラ1の位置パラメータの算出が可能となる。その結果、路面の高低差等があっても車両7の旋回半径R、旋回角θ及び移動距離ARを精度よく算出することができ、車両7の走行パラメータの算出精度が向上する。
上記の実施の形態13は、一つのカメラ1のみを用いた構成であったが、それぞれの視野の少なくとも一部が重複する2台のカメラを車両7に搭載し、双方のカメラで重複する視野内のマークMを同時に撮影することもできる。この場合、1つの特徴点から4個の関係式を作成することができるため、マークMに特徴点が1つあれば3次元座標(x,y,z)及びパン角(方向角)の4個のパラメータからなるカメラ1の位置パラメータを算出することができ、特徴点が2つあれば3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなるカメラ1の位置パラメータの算出が可能となる。さらに3つ以上のカメラを用いる構成であってもよい。
2つの地点A3及び地点A4だけでなく、より多数の地点でそれぞれマークMを撮影すると共にそれらの地点の間で各種センサからの検知信号を繰り返し取り込んで車両7の走行パラメータを算出することができる。この場合、多数の地点において、各種センサの検知信号から得られた旋回半径R、旋回角θ及び移動距離ARの値が、カメラ1の位置パラメータから算出された旋回半径R、旋回角θ及び移動距離ARの値に対して最も合理的な値となるように、操舵角に対する旋回半径R、ヨーレートセンサ13のゲイン、及び車速パルス1パルスあたりの移動距離等の走行パラメータを算出あるいは補正すればよい。
さらに、車両7の走行移動時に連続的にマークMを撮影すると共に各種センサからの検知信号を取り込んで車両7の走行パラメータを算出することもできる。この場合、操舵角を変化させながら車両を移動させることにより、変化する操舵角に応じた車両挙動を基に走行パラメータを算出あるいは補正してもよい。
実施の形態14
上記の実施の形態13では、路面上にマークMを配置して車両外部の固定目標としたが、図29に示されるように、路面上に格子図形Nを配置し、この格子図形Nを車両外部の固定目標として使用することもできる。この場合、格子の交点をそれぞれ特徴点とすることができる。2つの交点をそれぞれ特徴点として用いれば、3次元座標(x,y,z)及びパン角(方向角)Kの4個のパラメータからなるカメラ1の位置パラメータを算出することができ、3個以上の交点をそれぞれ特徴点として用いれば、3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなるカメラ1の位置パラメータの算出が可能となる。
上記の実施の形態13では、路面上にマークMを配置して車両外部の固定目標としたが、図29に示されるように、路面上に格子図形Nを配置し、この格子図形Nを車両外部の固定目標として使用することもできる。この場合、格子の交点をそれぞれ特徴点とすることができる。2つの交点をそれぞれ特徴点として用いれば、3次元座標(x,y,z)及びパン角(方向角)Kの4個のパラメータからなるカメラ1の位置パラメータを算出することができ、3個以上の交点をそれぞれ特徴点として用いれば、3次元座標(x,y,z)、チルト角(伏せ角)、パン角(方向角)、スイング角(回転角)の6個のパラメータからなるカメラ1の位置パラメータの算出が可能となる。
上記の実施の形態13及び14では、カメラ1が車両7の側部に位置するドアミラー8に内蔵されていたが、これに限るものではなく、例えば車両7の後部にカメラ1を設置して車両7の後方を撮影するようにしてもよい。
車両7を旋回走行させて走行パラメータを求める場合には、左旋回と右旋回とでそれぞれ独立して走行パラメータを算出あるいは補正することが好ましい。また、車速パルス1パルスあたりの移動距離は、旋回時と直進時とで異なる場合もあるので、旋回走行時だけでなく、車両7を直進走行させた場合の値を算出することが好ましい。
車両7を旋回走行させて走行パラメータを求める場合には、左旋回と右旋回とでそれぞれ独立して走行パラメータを算出あるいは補正することが好ましい。また、車速パルス1パルスあたりの移動距離は、旋回時と直進時とで異なる場合もあるので、旋回走行時だけでなく、車両7を直進走行させた場合の値を算出することが好ましい。
実施の形態15
実施の形態15に係る駐車支援装置の構成を図30に示す。この実施の形態15は、図25に示した実施の形態12の装置において、位置パラメータ算出手段3と操舵角センサ12、ヨーレートセンサ13及び車速センサ14との間に実施の形態13及び14で用いた車両走行パラメータ算出手段15を接続したものである。
実施の形態13及び14では、車両走行パラメータを算出するための特別なシーケンスに従って車両7を走行させると共にマークMまたは格子図形Nを撮影したが、この実施の形態14では、案内装置6から提供される案内情報に基づいて車両7を駐車スペースに駐車させる中で車両走行パラメータ算出手段15により車両走行パラメータが算出される。
実施の形態15に係る駐車支援装置の構成を図30に示す。この実施の形態15は、図25に示した実施の形態12の装置において、位置パラメータ算出手段3と操舵角センサ12、ヨーレートセンサ13及び車速センサ14との間に実施の形態13及び14で用いた車両走行パラメータ算出手段15を接続したものである。
実施の形態13及び14では、車両走行パラメータを算出するための特別なシーケンスに従って車両7を走行させると共にマークMまたは格子図形Nを撮影したが、この実施の形態14では、案内装置6から提供される案内情報に基づいて車両7を駐車スペースに駐車させる中で車両走行パラメータ算出手段15により車両走行パラメータが算出される。
まず、図4に示した実施の形態1の動作と同様にして駐車支援が行われる。すなわち、駐車スペースSの近傍に車両7を位置させて床面等に設置されたマークMをカメラ1で撮影し、画像処理手段2によりマークMの5つの特徴点C1〜C5の画像上における2次元座標が認識され、位置パラメータ算出手段3によりカメラ1の位置パラメータが算出される。
算出された位置パラメータは、車両走行パラメータ算出手段15に送られると共に、相対位置特定手段4に送られ、相対位置特定手段4によって車両7と駐車スペースSとの相対位置関係が特定される。さらに、この相対位置関係に基づいて駐車軌跡算出手段5により車両7を駐車スペースSへ誘導するための駐車軌跡が算出され、案内装置6の案内情報作成手段10で案内情報が作成され、案内情報出力手段11から運転者に出力される。
算出された位置パラメータは、車両走行パラメータ算出手段15に送られると共に、相対位置特定手段4に送られ、相対位置特定手段4によって車両7と駐車スペースSとの相対位置関係が特定される。さらに、この相対位置関係に基づいて駐車軌跡算出手段5により車両7を駐車スペースSへ誘導するための駐車軌跡が算出され、案内装置6の案内情報作成手段10で案内情報が作成され、案内情報出力手段11から運転者に出力される。
案内情報に従って、車両7の走行が開始されると、車両走行パラメータ算出手段15は、操舵角センサ12からの操舵角信号とヨーレートセンサ13からのヨーレート信号と車速センサ14からの車速パルス信号を繰り返し取り込み、これらの信号に基づいて車両7の移動距離を測定し、所定距離だけ走行した地点で、再びカメラ1によりマークMの撮影が行われる。そして、画像処理手段2によりマークMの特徴点C1〜C5の画像上における2次元座標が認識され、位置パラメータ算出手段3によりカメラ1の位置パラメータが算出されて車両走行パラメータ算出手段15に送られる。
このようにして2地点におけるカメラ1の位置パラメータが車両走行パラメータ算出手段15に送られると、車両走行パラメータ算出手段15は、これらの位置パラメータに基づき、2地点間の移動に伴う車両7の旋回半径R、旋回角θ及び移動距離ARを算出する。
次に、車両走行パラメータ算出手段15は、繰り返し取り込まれた操舵角センサ12からの操舵角信号とヨーレートセンサ13からのヨーレート信号と車速センサ14からの車速パルス信号に基づいて、2地点間の移動に伴う車両7の旋回半径R、旋回角θ及び移動距離ARを算出する。
次に、車両走行パラメータ算出手段15は、繰り返し取り込まれた操舵角センサ12からの操舵角信号とヨーレートセンサ13からのヨーレート信号と車速センサ14からの車速パルス信号に基づいて、2地点間の移動に伴う車両7の旋回半径R、旋回角θ及び移動距離ARを算出する。
さらに、カメラ1の位置パラメータから算出された旋回半径R、旋回角θ及び移動距離ARと各種センサの検知信号から算出された旋回半径R、旋回角θ及び移動距離ARとを比較することにより、操舵角に対する旋回半径R、ヨーレートセンサ13のゲイン、車速パルス1パルスあたりの移動距離等の車両7の走行パラメータが算出される。
算出された走行パラメータは、車両走行パラメータ算出手段15から案内装置6の案内情報作成手段10に送られ、更新される。
算出された走行パラメータは、車両走行パラメータ算出手段15から案内装置6の案内情報作成手段10に送られ、更新される。
このように、案内情報に基づいた駐車のシーケンスの中で車両7の走行パラメータの算出を行うことができると共に、算出された走行パラメータを用いて案内情報作成手段10が案内情報を作成することができるため、駐車スペースSに初めて駐車する場合であっても精度の高い駐車案内を行うことが可能となる。
画像処理手段2、位置パラメータ算出手段3、相対位置特定手段4、駐車軌跡算出手段5及び車両走行パラメータ算出手段15はコンピュータから構成することができ、上述した動作の駐車支援プログラムが記録された記録媒体等からコンピュータに設定することにより、各ステップをコンピュータに実行させることが可能となる。
また、入力部K、画像処理手段2、位置パラメータ算出手段3、相対位置特定手段4、駐車軌跡算出手段5及び車両走行パラメータ算出手段15により駐車支援装置部品P3が構成され、この駐車支援装置部品P3を例えば基板モジュール、チップ等の形にまとめて形成することができる。
画像処理手段2、位置パラメータ算出手段3、相対位置特定手段4、駐車軌跡算出手段5及び車両走行パラメータ算出手段15はコンピュータから構成することができ、上述した動作の駐車支援プログラムが記録された記録媒体等からコンピュータに設定することにより、各ステップをコンピュータに実行させることが可能となる。
また、入力部K、画像処理手段2、位置パラメータ算出手段3、相対位置特定手段4、駐車軌跡算出手段5及び車両走行パラメータ算出手段15により駐車支援装置部品P3が構成され、この駐車支援装置部品P3を例えば基板モジュール、チップ等の形にまとめて形成することができる。
実施の形態16
実施の形態16に係る駐車支援装置の構成を図31に示す。この実施の形態16は、図1に示した実施の形態1の装置において、案内装置6の代わりに自動操舵装置16を駐車軌跡算出手段5に接続したものである。自動操舵装置16は、運転者のブレーキ操作、アクセル操作による車両7の移動に対応させてハンドルを自動的に操舵するように操舵信号を作成し、電気式パワーステアリング装置(EPS)に送出するものである。
この実施の形態16の作用を図32のフローチャートに示す。ステップS5で駐車軌跡算出手段5により駐車軌跡Lが算出されると、続くステップS7で自動操舵装置16により駐車軌跡Lに沿って車両7を走行させるための操舵が自動的に行われる。したがって、運転者は、車両7の周辺の障害物等に注意を払いながらブレーキ操作及びアクセル操作を行うだけで駐車スペースSへの駐車を行うことが可能となる。
なお、実施の形態2〜12に対しても同様にこの実施の形態16を適用して自動操舵を行わせることができる。
実施の形態16に係る駐車支援装置の構成を図31に示す。この実施の形態16は、図1に示した実施の形態1の装置において、案内装置6の代わりに自動操舵装置16を駐車軌跡算出手段5に接続したものである。自動操舵装置16は、運転者のブレーキ操作、アクセル操作による車両7の移動に対応させてハンドルを自動的に操舵するように操舵信号を作成し、電気式パワーステアリング装置(EPS)に送出するものである。
この実施の形態16の作用を図32のフローチャートに示す。ステップS5で駐車軌跡算出手段5により駐車軌跡Lが算出されると、続くステップS7で自動操舵装置16により駐車軌跡Lに沿って車両7を走行させるための操舵が自動的に行われる。したがって、運転者は、車両7の周辺の障害物等に注意を払いながらブレーキ操作及びアクセル操作を行うだけで駐車スペースSへの駐車を行うことが可能となる。
なお、実施の形態2〜12に対しても同様にこの実施の形態16を適用して自動操舵を行わせることができる。
実施の形態17
実施の形態17に係る駐車支援装置の構成を図33に示す。この実施の形態17は、図30に示した実施の形態15の装置において、案内装置6の代わりに自動操舵装置16を駐車軌跡算出手段5、車両走行パラメータ算出手段15、操舵角センサ12、ヨーレートセンサ13及び車速センサ14に接続したものである。
予め自動操舵装置16には、操舵角に対する車両7の旋回半径、ヨーレートセンサ13のゲイン、車速パルス1パルスあたりの移動距離等の車両走行パラメータが設定されており、自動操舵装置16は、操舵角センサ12、ヨーレートセンサ13及び車速センサ14からの検知信号と駐車軌跡算出手段5により算出された駐車軌跡とに基づき、車両7が駐車軌跡に沿って走行し得るようにハンドルを自動的に操舵する操舵信号を作成する。
そして、自動操舵装置16により操舵されつつブレーキ操作及びアクセル操作を行って駐車スペースSへ車両7を移動させる中で、車両走行パラメータ算出手段15により車両走行パラメータが算出され、車両走行パラメータ算出手段15から自動操舵装置16に送られて更新される。このため、精度の高い駐車を行うことが可能となる。
実施の形態17に係る駐車支援装置の構成を図33に示す。この実施の形態17は、図30に示した実施の形態15の装置において、案内装置6の代わりに自動操舵装置16を駐車軌跡算出手段5、車両走行パラメータ算出手段15、操舵角センサ12、ヨーレートセンサ13及び車速センサ14に接続したものである。
予め自動操舵装置16には、操舵角に対する車両7の旋回半径、ヨーレートセンサ13のゲイン、車速パルス1パルスあたりの移動距離等の車両走行パラメータが設定されており、自動操舵装置16は、操舵角センサ12、ヨーレートセンサ13及び車速センサ14からの検知信号と駐車軌跡算出手段5により算出された駐車軌跡とに基づき、車両7が駐車軌跡に沿って走行し得るようにハンドルを自動的に操舵する操舵信号を作成する。
そして、自動操舵装置16により操舵されつつブレーキ操作及びアクセル操作を行って駐車スペースSへ車両7を移動させる中で、車両走行パラメータ算出手段15により車両走行パラメータが算出され、車両走行パラメータ算出手段15から自動操舵装置16に送られて更新される。このため、精度の高い駐車を行うことが可能となる。
実施の形態18
実施の形態18に係る駐車支援装置の構成を図34に示す。この実施の形態18は、図1に示した実施の形態1の装置において、案内装置6の代わりに自動走行装置17を駐車軌跡算出手段5に接続したものである。自動走行装置11は、ハンドル操舵のための操舵信号と併せてブレーキ制御信号、アクセル制御信号、シフト制御信号等の走行信号を出力して車両7を自動走行させるものである。
この実施の形態18の作用を図35のフローチャートに示す。ステップS5で駐車軌跡算出手段5により駐車軌跡Lが算出されると、続くステップS8で自動走行装置17により駐車軌跡Lに沿って車両7が自動走行される。したがって、運転者は、駐車のための運転操作を何ら行うことなく、車両7の周辺の障害物等に注意を払うだけで、駐車スペースSへの自動駐車を行うことが可能となる。
なお、実施の形態2〜12に対しても同様にこの実施の形態18を適用して自動駐車を行わせることができる。
実施の形態18に係る駐車支援装置の構成を図34に示す。この実施の形態18は、図1に示した実施の形態1の装置において、案内装置6の代わりに自動走行装置17を駐車軌跡算出手段5に接続したものである。自動走行装置11は、ハンドル操舵のための操舵信号と併せてブレーキ制御信号、アクセル制御信号、シフト制御信号等の走行信号を出力して車両7を自動走行させるものである。
この実施の形態18の作用を図35のフローチャートに示す。ステップS5で駐車軌跡算出手段5により駐車軌跡Lが算出されると、続くステップS8で自動走行装置17により駐車軌跡Lに沿って車両7が自動走行される。したがって、運転者は、駐車のための運転操作を何ら行うことなく、車両7の周辺の障害物等に注意を払うだけで、駐車スペースSへの自動駐車を行うことが可能となる。
なお、実施の形態2〜12に対しても同様にこの実施の形態18を適用して自動駐車を行わせることができる。
実施の形態19
実施の形態19に係る駐車支援装置の構成を図36に示す。この実施の形態19は、図30に示した実施の形態15の装置において、案内装置6の代わりに自動走行装置17を駐車軌跡算出手段5、車両走行パラメータ算出手段15、操舵角センサ12、ヨーレートセンサ13及び車速センサ14に接続したものである。
予め自動走行装置17には、操舵角に対する車両7の旋回半径、ヨーレートセンサ13のゲイン、車速パルス1パルスあたりの移動距離等の車両走行パラメータが設定されており、自動走行装置16は、操舵角センサ12、ヨーレートセンサ13及び車速センサ14からの検知信号と駐車軌跡算出手段5により算出された駐車軌跡とに基づき、車両7を駐車軌跡に沿って自動的に走行させるための走行信号を作成する。
そして、自動走行装置17により駐車スペースSへ車両7が自動走行する中で、車両走行パラメータ算出手段15により車両走行パラメータが算出され、車両走行パラメータ算出手段15から自動走行装置17に送られて更新される。このため、精度の高い自動駐車を行うことが可能となる。
実施の形態19に係る駐車支援装置の構成を図36に示す。この実施の形態19は、図30に示した実施の形態15の装置において、案内装置6の代わりに自動走行装置17を駐車軌跡算出手段5、車両走行パラメータ算出手段15、操舵角センサ12、ヨーレートセンサ13及び車速センサ14に接続したものである。
予め自動走行装置17には、操舵角に対する車両7の旋回半径、ヨーレートセンサ13のゲイン、車速パルス1パルスあたりの移動距離等の車両走行パラメータが設定されており、自動走行装置16は、操舵角センサ12、ヨーレートセンサ13及び車速センサ14からの検知信号と駐車軌跡算出手段5により算出された駐車軌跡とに基づき、車両7を駐車軌跡に沿って自動的に走行させるための走行信号を作成する。
そして、自動走行装置17により駐車スペースSへ車両7が自動走行する中で、車両走行パラメータ算出手段15により車両走行パラメータが算出され、車両走行パラメータ算出手段15から自動走行装置17に送られて更新される。このため、精度の高い自動駐車を行うことが可能となる。
その他の実施の形態
上記の各実施の形態において、車両7に超音波センサ等の障害物センサを搭載し、周辺の障害物の存在を認識して警報を発したり、障害物を回避する操作を行えば、より安全な駐車支援となる。
駐車スペースに対して所定の位置関係を有する所定の場所にマークを設置する代わりに、輪留め、車庫の壁面の模様等、駐車スペースの周辺に元々存在するものを固定目標として用いることもできる。ただし、その存在を認知しやすいものであり、内部に含まれる特徴点を認識しやすいものが望まれる。
車高を検知するセンサを車両7に具備させれば、乗員、燃料、積載物の増減、サスペンションの経年変化等によるカメラの設置高さの変動を補償することが可能となる。
上記の各実施の形態において、車両7に超音波センサ等の障害物センサを搭載し、周辺の障害物の存在を認識して警報を発したり、障害物を回避する操作を行えば、より安全な駐車支援となる。
駐車スペースに対して所定の位置関係を有する所定の場所にマークを設置する代わりに、輪留め、車庫の壁面の模様等、駐車スペースの周辺に元々存在するものを固定目標として用いることもできる。ただし、その存在を認知しやすいものであり、内部に含まれる特徴点を認識しやすいものが望まれる。
車高を検知するセンサを車両7に具備させれば、乗員、燃料、積載物の増減、サスペンションの経年変化等によるカメラの設置高さの変動を補償することが可能となる。
実施の形態4において、車両7に移動距離及び移動方向を検出する移動量センサを具備させ、予測した車両位置と認識したマークMによる車両位置との間に誤差がある場合、誤差が出ないように車両7のパラメータ(操舵角に対する旋回半径、車速パルス1パルスあたりの移動距離、ヨーレートセンサのゲイン等)を補正することもできる。左側駐車と右側駐車との間に差がある場合も、左右を区別して補正することが好ましい。補正後には、算出される軌道の誤差がほとんど出ないため、実際に走行する軌道が蛇行等のないスムーズな軌道となり、安全で且つ精度の高い駐車を行うことが可能となる。この補正は、駐車動作の毎に行わなくてもよく、適当なサイクルで実施すればよい。また、そのサイクルを、マークと車両7の距離に応じて定めてもよい。例えば、距離が遠いときは補正実施のサイクルを長くすると、計算の負荷が軽減される。
Claims (36)
- 車両に搭載され、目標駐車位置に対して所定の位置関係を有する所定の場所に固設され且つ少なくとも一つの特徴点を有する固定目標を撮影するためのカメラと、
前記カメラにより撮影された前記固定目標の画像に基づいて前記固定目標の前記特徴点を抽出すると共に前記固定目標の画像上における前記特徴点の2次元座標を認識する画像処理手段と、
前記画像処理手段により認識された2組以上の前記2次元座標に基づいて前記固定目標を基準とした少なくとも2次元座標とパン角とを含む前記カメラの位置パラメータを算出する位置パラメータ算出手段と、
前記位置パラメータ算出手段で算出された前記カメラの位置パラメータと前記目標駐車位置に対する前記固定目標の前記所定の位置関係とに基づいて前記車両と前記目標駐車位置との相対位置関係を特定する相対位置特定手段と、
前記相対位置特定手段により特定された前記車両と前記目標駐車位置との相対位置関係に基づいて前記車両を前記目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段と
を備えたことを特徴とする駐車支援装置。 - 前記駐車軌跡算出手段により算出された駐車軌跡に従って前記車両を移動させることにより前記車両と前記目標駐車位置との距離が近づいた状態で、前記カメラにより前記固定目標を撮影し、前記画像処理手段により前記特徴点の新たな2次元座標を認識し、前記位置パラメータ算出手段により前記カメラの新たな位置パラメータを算出し、前記相対位置特定手段により前記車両と前記目標駐車位置との新たな相対位置関係を特定し、前記駐車軌跡算出手段により新たな駐車軌跡を算出する請求項1に記載の駐車支援装置。
- 前記駐車軌跡算出手段により算出された駐車軌跡に従って実際に前記車両を駐車させたときの駐車完了位置の前記目標駐車位置に対する相対位置関係に基づいて、前記駐車軌跡算出手段は次回の駐車軌跡の算出時に前記車両が前記目標駐車位置へ誘導されるように補正された駐車軌跡を算出する請求項1に記載の駐車支援装置。
- 前記車両に搭載された複数の前記カメラを備え、
これらのカメラでそれぞれ前記固定目標を撮影する請求項1に記載の駐車支援装置。 - 複数の前記カメラは、それぞれの視野の少なくとも一部が重複している請求項4に記載の駐車支援装置。
- 前記駐車軌跡算出手段により算出された駐車軌跡に沿って走行するための運転操作の案内情報を前記車両の運転者に出力する案内装置をさらに備えた請求項1に記載の駐車支援装置。
- 車両走行に係るセンサをさらに備え、
前記案内装置は、車両走行に係る前記センサからの検知信号と前記駐車軌跡算出手段により算出された駐車軌跡とに基づいて運転操作の案内情報を作成する案内情報作成手段と、前記案内情報作成手段で作成された案内情報を出力する案内情報出力手段とを含む請求項6に記載の駐車支援装置。 - 前記駐車軌跡算出手段により算出された駐車軌跡に沿って走行するために前記車両を自動的に操舵する自動操舵装置をさらに備えた請求項1に記載の駐車支援装置。
- 車両走行に係るセンサをさらに備え、
前記自動操舵装置は、車両走行に係る前記センサからの検知信号と前記駐車軌跡算出手段により算出された駐車軌跡とに基づいて前記車両を自動的に操舵するための操舵信号を作成する請求項8に記載の駐車支援装置。 - 前記駐車軌跡算出手段により算出された駐車軌跡に沿って走行するために前記車両を自動的に走行させる自動走行装置をさらに備えた請求項1に記載の駐車支援装置。
- 車両走行に係るセンサをさらに備え、
前記自動走行装置は、車両走行に係る前記センサからの検知信号と前記駐車軌跡算出手段により算出された駐車軌跡とに基づいて前記車両を自動的に走行させるための走行信号を作成する請求項10に記載の駐車支援装置。 - 前記駐車軌跡算出手段により算出された駐車軌跡に沿った走行移動の途中の少なくとも2地点で前記カメラにより撮影された前記固定目標の画像から前記位置パラメータ算出手段により算出された少なくとも2組の前記位置パラメータと車両走行に係る前記センサにより得られた前記検知信号に基づいて前記車両の走行パラメータを算出する車両走行パラメータ算出手段をさらに備えた請求項7に記載の駐車支援装置。
- 前記固定目標は、2つ以上の特徴点を備え、前記カメラにより撮影された前記固定目標の一つの画像に基づいて前記画像処理手段は2組以上の前記特徴点の前記2次元座標を認識する請求項1に記載の駐車支援装置。
- 前記固定目標は、所定形状のマークからなる請求項13に記載の駐車支援装置。
- 前記車両の移動距離及び移動方向を検出する移動量センサをさらに備え、
前記固定目標は、1または複数の特徴点を備え、前記車両の移動に伴って前記カメラにより撮影された前記固定目標の複数の画像並びに前記移動量センサにより検出された前記車両の移動距離及び移動方向に基づいて前記画像処理手段は2組以上の前記特徴点の前記2次元座標を認識する請求項1に記載の駐車支援装置。 - 車両走行に係る前記センサは、前記車両の移動距離及び移動方向を検出する移動量センサを含み、
前記固定目標は、1または複数の特徴点を備え、前記車両の移動に伴って前記カメラにより撮影された前記固定目標の複数の画像並びに前記移動量センサにより検出された前記車両の移動距離及び移動方向に基づいて前記画像処理手段は2組以上の前記特徴点の前記2次元座標を認識する請求項7に記載の駐車支援装置。 - 前記固定目標は、前記目標駐車位置自体に関する情報及び/または前記目標駐車位置への駐車方法に関する情報に対応する形状のマークからなり、
前記画像処理手段は、前記固定目標の画像から前記固定目標の形状に対応する情報を得る請求項1に記載の駐車支援装置。 - 前記固定目標は、光を用いて前記所定の場所に表示された請求項1に記載の駐車支援装置。
- 前記固定目標は、光の投影またはスキャンにより表示される請求項18に記載の駐車支援装置。
- 前記固定目標は、自ら発光するものである請求項18に記載の駐車支援装置。
- 車両に搭載され、目標駐車位置に対して所定の位置関係を有する所定の場所に固設され且つ少なくとも一つの特徴点を有する固定目標を撮影するためのカメラに接続される入力部と、
前記入力部を介して入力された前記カメラによる前記固定目標の画像に基づいて前記固定目標の前記特徴点を抽出すると共に前記固定目標の画像上における前記特徴点の2次元座標を認識する画像処理手段と、
前記画像処理手段により認識された2組以上の前記2次元座標に基づいて前記固定目標を基準とした少なくとも2次元座標とパン角とを含む前記カメラの位置パラメータを算出する位置パラメータ算出手段と、
前記位置パラメータ算出手段で算出された前記カメラの位置パラメータと前記目標駐車位置に対する前記固定目標の前記所定の位置関係とに基づいて前記車両と前記目標駐車位置との相対位置関係を特定する相対位置特定手段と、
前記相対位置特定手段により特定された前記車両と前記目標駐車位置との相対位置関係に基づいて前記車両を前記目標駐車位置へ誘導するための駐車軌跡を算出する駐車軌跡算出手段と
を備えたことを特徴とする駐車支援装置部品。 - 目標駐車位置に対して所定の位置関係を有する所定の場所に固設され且つ少なくとも一つの特徴点を有する固定目標を車両に搭載されたカメラで撮影し、
撮影された前記固定目標の画像に基づいて前記固定目標の前記特徴点を抽出すると共に前記固定目標の画像上における前記特徴点の2次元座標を認識し、
認識された2組以上の前記2次元座標に基づいて前記固定目標を基準とした少なくとも2次元座標とパン角とを含む前記カメラの位置パラメータを算出し、
算出された前記カメラの位置パラメータと前記目標駐車位置に対する前記固定目標の前記所定の位置関係とに基づいて前記車両と前記目標駐車位置との相対位置関係を特定し、
特定された前記車両と前記目標駐車位置との相対位置関係に基づいて前記車両を前記目標駐車位置へ誘導するための駐車軌跡を算出する
ことを特徴とする駐車支援方法。 - 目標駐車位置に対して所定の位置関係を有する所定の場所に固設され且つ少なくとも一つの特徴点を有する固定目標を車両に搭載されたカメラで撮影するステップと、
撮影された前記固定目標の画像に基づいて前記固定目標の前記特徴点を抽出すると共に前記固定目標の画像上における前記特徴点の2次元座標を認識するステップと、
認識された2組以上の前記2次元座標に基づいて前記固定目標を基準とした少なくとも2次元座標とパン角と含む前記カメラの位置パラメータを算出するステップと、
算出された前記カメラの位置パラメータと前記目標駐車位置に対する前記固定目標の前記所定の位置関係とに基づいて前記車両と前記目標駐車位置との相対位置関係を特定するステップと、
特定された前記車両と前記目標駐車位置との相対位置関係に基づいて前記車両を前記目標駐車位置へ誘導するための駐車軌跡を算出するステップと
を実行させることを特徴とする駐車支援プログラム。 - 車両を走行移動させ、
車両走行に係るセンサからの検知信号を取り込み、
走行移動の途中の少なくとも2地点でそれぞれ特徴点を有する車両外部の固定目標を車両に搭載されたカメラで撮影し、
撮影された前記固定目標の画像毎に前記固定目標の前記特徴点を抽出すると共に前記固定目標の画像上における前記特徴点の2次元座標を認識し、
認識された前記2次元座標に基づいて前記少なくとも2地点における前記固定目標を基準とした2次元座標及びパン角を含む前記カメラの位置パラメータをそれぞれ算出し、
算出された少なくとも2組の前記位置パラメータと取り込まれた前記検知信号に基づいて車両の走行パラメータを算出する
ことを特徴とする車両走行パラメータの算出方法。 - 前記検知信号は、車両の操舵角、ヨーレート及び移動距離に係る信号であり、
前記走行パラメータとして、操舵角に対する車両の旋回半径を算出する請求項24に記載の車両走行パラメータの算出方法。 - 前記検知信号は、車両のヨーレートに係る信号であり、
前記走行パラメータとして、ヨーレートセンサのゲインを算出する請求項24に記載の車両走行パラメータの算出方法。 - 前記検知信号は、車両の移動距離に係る信号であり、
前記走行パラメータとして、車速パルス1パルスあたりの移動距離を算出する請求項24に記載の車両走行パラメータの算出方法。 - 前記固定目標として、路面に配置された所定形状のマークを用いる請求項24に記載の車両走行パラメータの算出方法。
- 前記固定目標として、路面に配置された格子図形を用い、格子の交点が前記特徴点を形成する請求項24に記載の車両走行パラメータの算出方法。
- 請求項24に記載の車両走行パラメータの算出方法を含むことを特徴とする駐車支援方法。
- 車両の走行移動時における車両走行に係るセンサからの検知信号を取り込むステップと、
走行移動の途中の少なくとも2地点でそれぞれ特徴点を有する車両外部の固定目標を車両に搭載されたカメラで撮影するステップと、
撮影された前記固定目標の画像毎に前記固定目標の前記特徴点を抽出すると共に前記固定目標の画像上における前記特徴点の2次元座標を認識するステップと、
認識された前記2次元座標に基づいて前記少なくとも2地点における前記固定目標を基準とした2次元座標及びパン角を含む前記カメラの位置パラメータをそれぞれ算出するステップと、
算出された少なくとも2組の前記位置パラメータと取り込まれた前記検知信号に基づいて車両の走行パラメータを算出するステップと
を実行させることを特徴とする車両走行パラメータの算出プログラム。 - 請求項31に記載の車両走行パラメータの算出プログラムを含むことを特徴とする駐車支援プログラム。
- 車両走行に係る検知信号を得るセンサと、
車両に搭載され、特徴点を有する車両外部の固定目標を撮影するためのカメラと、
車両の走行移動の途中の少なくとも2地点で前記カメラにより撮影された前記固定目標の画像毎に前記固定目標の前記特徴点を抽出すると共に前記固定目標の画像上における前記特徴点の2次元座標を認識する画像処理手段と、
前記画像処理手段により認識された前記2次元座標に基づいて前記少なくとも2地点における前記固定目標を基準とした2次元座標及びパン角を含む前記カメラの位置パラメータをそれぞれ算出する位置パラメータ算出手段と、
前記位置パラメータ算出手段により算出された少なくとも2組の前記位置パラメータと前記センサにより得られた前記検知信号に基づいて車両の走行パラメータを算出する車両走行パラメータ算出手段と
を備えたことを特徴とする車両走行パラメータ算出装置。 - 請求項33に記載の車両走行パラメータ算出装置を含むことを特徴とする駐車支援装置。
- 車両に搭載され、特徴点を有する車両外部の固定目標を撮影するためのカメラに接続される入力部と、
車両の走行移動の途中の少なくとも2地点で前記カメラにより撮影され且つ前記入力部を介して入力された前記固定目標の画像毎に前記固定目標の前記特徴点を抽出すると共に前記固定目標の画像上における前記特徴点の2次元座標を認識する画像処理手段と、
前記画像処理手段により認識された前記2次元座標に基づいて前記少なくとも2地点における前記固定目標を基準とした2次元座標及びパン角を含む前記カメラの位置パラメータをそれぞれ算出する位置パラメータ算出手段と、
車両走行に係る検知信号を得るセンサに接続され且つ前記位置パラメータ算出手段により算出された少なくとも2組の前記位置パラメータと前記センサにより得られた前記検知信号に基づいて車両の走行パラメータを算出する車両走行パラメータ算出手段と
を備えたことを特徴とする車両走行パラメータ算出装置部品。 - 請求項35に記載の車両走行パラメータ算出装置部品を含むことを特徴とする駐車支援装置部品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008552065A JP5126069B2 (ja) | 2006-12-28 | 2007-11-19 | 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品 |
Applications Claiming Priority (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006355498 | 2006-12-28 | ||
JP2006355498 | 2006-12-28 | ||
JP2007005984 | 2007-01-15 | ||
JP2007005984 | 2007-01-15 | ||
JP2007119359 | 2007-04-27 | ||
JP2007119359 | 2007-04-27 | ||
JP2007260800 | 2007-10-04 | ||
JP2007260800 | 2007-10-04 | ||
PCT/JP2007/072358 WO2008081655A1 (ja) | 2006-12-28 | 2007-11-19 | 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品 |
JP2008552065A JP5126069B2 (ja) | 2006-12-28 | 2007-11-19 | 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2008081655A1 JPWO2008081655A1 (ja) | 2010-04-30 |
JP5126069B2 true JP5126069B2 (ja) | 2013-01-23 |
Family
ID=39588339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008552065A Expired - Fee Related JP5126069B2 (ja) | 2006-12-28 | 2007-11-19 | 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20100066515A1 (ja) |
EP (1) | EP2100778A1 (ja) |
JP (1) | JP5126069B2 (ja) |
KR (1) | KR101125488B1 (ja) |
CN (1) | CN101573257B (ja) |
AU (1) | AU2007340727A1 (ja) |
TW (1) | TWI334832B (ja) |
WO (1) | WO2008081655A1 (ja) |
Families Citing this family (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007009745A1 (de) * | 2007-02-28 | 2008-09-04 | Continental Automotive Gmbh | Einparkhalbautomat |
DE102007055391A1 (de) * | 2007-11-20 | 2009-05-28 | Valeo Schalter Und Sensoren Gmbh | Verfahren und Vorrichtung zur Bahnplanung beim Einparken eines Fahrzeugs |
US8131424B2 (en) * | 2008-01-16 | 2012-03-06 | GM Global Technology Operations LLC | Methods and systems for calculating yaw gain for use in controlling a vehicle |
JP4582151B2 (ja) * | 2008-01-18 | 2010-11-17 | 株式会社デンソー | 表示制御装置 |
JP4706711B2 (ja) * | 2008-03-25 | 2011-06-22 | パナソニック電工株式会社 | 駐車空間監視装置 |
JP2009286234A (ja) * | 2008-05-28 | 2009-12-10 | Funai Electric Co Ltd | 車載用サイドビューカメラ |
JP2010064546A (ja) * | 2008-09-09 | 2010-03-25 | Toyota Industries Corp | 駐車支援装置 |
JP2010149723A (ja) * | 2008-12-25 | 2010-07-08 | Toyota Industries Corp | 駐車支援装置 |
JP2010163103A (ja) * | 2009-01-16 | 2010-07-29 | Denso Corp | 駐車支援装置および駐車支援システム |
JP5067377B2 (ja) * | 2009-02-10 | 2012-11-07 | 株式会社デンソー | 駐車支援システム、車載駐車支援装置 |
JP5404095B2 (ja) * | 2009-02-26 | 2014-01-29 | トヨタホーム株式会社 | 駐車設備 |
JP2010211277A (ja) * | 2009-03-06 | 2010-09-24 | Toyota Industries Corp | 駐車支援装置および駐車支援方法 |
JP2010208358A (ja) * | 2009-03-06 | 2010-09-24 | Toyota Industries Corp | 駐車支援装置 |
DE102009027547A1 (de) * | 2009-07-08 | 2011-01-13 | Robert Bosch Gmbh | Assistenzsystem für ein Kraftfahrzeug |
DE102009028251A1 (de) * | 2009-08-05 | 2011-02-10 | Robert Bosch Gmbh | Verfahren zum unterstützen Einparken in eine Parklücke und Vorrichtung hierzu |
CN102085864B (zh) * | 2009-12-04 | 2013-07-24 | 财团法人工业技术研究院 | 控制车辆停车的方法与控制车辆停车系统 |
JP5633376B2 (ja) * | 2010-01-27 | 2014-12-03 | 株式会社デンソーアイティーラボラトリ | 駐車支援システム |
DE102010028330A1 (de) * | 2010-04-28 | 2011-11-03 | Robert Bosch Gmbh | Einparksystemen mit Längs- und Querführung |
JP5010715B2 (ja) * | 2010-06-17 | 2012-08-29 | トヨタ自動車株式会社 | 車両の駐車支援装置およびそれを備える電動車両 |
DE102010038966A1 (de) * | 2010-08-05 | 2012-02-09 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Unterstützen eines Einparkvorgangs eines Fahrzeugs |
US8825295B2 (en) * | 2010-08-16 | 2014-09-02 | Honda Motor Co., Ltd. | System and method for determining a steering angle for a vehicle and system and method for controlling a vehicle based on same |
JP5803184B2 (ja) * | 2010-11-19 | 2015-11-04 | 株式会社リコー | 画像投影装置、メモリアクセス方法 |
US8078349B1 (en) * | 2011-05-11 | 2011-12-13 | Google Inc. | Transitioning a mixed-mode vehicle to autonomous mode |
DE102011080148B4 (de) * | 2011-07-29 | 2023-01-12 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einem Ausparkmanöver |
DE102011111051A1 (de) | 2011-08-24 | 2012-03-22 | Daimler Ag | Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei der Steuerung eines Fahrzeugs |
DE102012003992A1 (de) * | 2012-02-28 | 2013-08-29 | Wabco Gmbh | Zielführungssystem für Kraftfahrzeuge |
TWI488767B (zh) * | 2012-05-03 | 2015-06-21 | E Lead Electronic Co Ltd | 倒車停車指揮系統的倒車導引方法 |
DE102012208132A1 (de) * | 2012-05-15 | 2013-11-21 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Fahrzeuglokalisierung |
JP2014031104A (ja) * | 2012-08-03 | 2014-02-20 | Denso Corp | 駐車状態検出装置、図形コード配置方法、および駐車場 |
US20140058656A1 (en) * | 2012-08-27 | 2014-02-27 | Stephen Chen | Method for calculating a parking path |
CN102862531A (zh) * | 2012-10-23 | 2013-01-09 | 浙江海康集团有限公司 | 一种轨迹连续变化的可视泊车辅助系统及其控制方法 |
JP5915769B2 (ja) * | 2012-11-27 | 2016-05-11 | 日産自動車株式会社 | 車両用加速抑制装置及び車両用加速抑制方法 |
JP6021689B2 (ja) * | 2013-02-26 | 2016-11-09 | 三菱重工メカトロシステムズ株式会社 | 車両諸元計測処理装置、車両諸元計測方法及びプログラム |
WO2014192136A1 (ja) * | 2013-05-31 | 2014-12-04 | 株式会社Ihi | 車両給電システム |
JP2015006833A (ja) * | 2013-06-25 | 2015-01-15 | 日産自動車株式会社 | 自車位置測定システム |
KR102003776B1 (ko) | 2013-08-13 | 2019-07-26 | 한화테크윈 주식회사 | 감시용 카메라의 자세 검출 방법 및 장치 |
US9187006B2 (en) | 2013-09-05 | 2015-11-17 | Volkswagen Ag | Vehicle positioning for wireless charging systems |
CN104516359A (zh) * | 2013-09-27 | 2015-04-15 | 中兴通讯股份有限公司 | 一种汽车定位方法和设备 |
BR112016007088B1 (pt) | 2013-09-30 | 2021-08-17 | Nissan Motor Co., Ltd. | Dispositivo de fornecimento de energia sem fio e dispositivo assistente de estacionamento |
DE102013222092A1 (de) * | 2013-10-30 | 2015-04-30 | Bayerische Motoren Werke Aktiengesellschaft | Erkennung von Maschinen-Codes mit einer On-Board-Kamera eines Fahrzeugs |
US9207677B2 (en) * | 2014-01-02 | 2015-12-08 | Automotive Research & Testing Center | Vehicle positioning method and its system |
US9956914B2 (en) | 2014-01-30 | 2018-05-01 | Nissan Motor Co., Ltd. | Parking assistance device and parking assistance method |
WO2015114796A1 (ja) | 2014-01-31 | 2015-08-06 | 日産自動車株式会社 | 非接触給電システム及び送電装置 |
DE102014202324A1 (de) * | 2014-02-10 | 2015-08-13 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zum sicheren Parken eines Fahrzeugs |
JP6206258B2 (ja) * | 2014-03-06 | 2017-10-04 | 富士通株式会社 | 軌跡推定装置、軌跡推定方法およびプログラム |
DE102014211557A1 (de) * | 2014-06-17 | 2015-12-31 | Robert Bosch Gmbh | Valet Parking Verfahren und System |
DE102014011108A1 (de) * | 2014-07-26 | 2016-01-28 | Audi Ag | Verfahren zum Betrieb eines Fahrerassistenzsystems zur Unterstützung eines Parkvorgangs sowie zugeordnetes Kraftfahrzeug |
JP6340981B2 (ja) * | 2014-07-31 | 2018-06-13 | 富士通株式会社 | 車両移動量算出装置,プログラム及び方法 |
JP6022517B2 (ja) * | 2014-09-12 | 2016-11-09 | アイシン精機株式会社 | 車両の制御装置 |
DE102014222000A1 (de) * | 2014-10-29 | 2016-05-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Bodeneinheit zum induktiven Laden von Elektro- und Hybridfahrzeugen |
US9725116B2 (en) * | 2015-03-27 | 2017-08-08 | Ford Global Technologies, Llc | Vehicle and vehicle parking system |
WO2016162937A1 (ja) * | 2015-04-07 | 2016-10-13 | 日産自動車株式会社 | 駐車支援システム及び駐車支援装置 |
CN104843066B (zh) * | 2015-05-12 | 2018-02-06 | 上海寅喆计算机科技有限公司 | 一种自动泊车方法及系统 |
KR101730728B1 (ko) | 2015-10-01 | 2017-05-11 | 현대자동차주식회사 | 무선 충전 시스템의 그라운드 어셈블리 탐지 방법 및 장치 |
KR101795151B1 (ko) * | 2015-10-05 | 2017-12-01 | 현대자동차주식회사 | 주차안내 장치 및 방법 |
DE102015219439A1 (de) * | 2015-10-07 | 2017-04-13 | Db Systel Gmbh | Verfahren zur Steuerung eines Fahrzeuges sowie Steuerungsvorrichtung eines Fahrzeuges |
JP6717929B2 (ja) * | 2016-03-18 | 2020-07-08 | 京セラ株式会社 | 駐車支援装置、車載カメラ、車両および駐車支援方法 |
DE102016212426B4 (de) | 2016-07-07 | 2018-08-16 | Audi Ag | Verfahren zur Bestimmung einer Position und/oder einer Orientierung eines Kraftfahrzeugs |
JP6805733B2 (ja) * | 2016-10-31 | 2020-12-23 | オムロン株式会社 | 制御システム、その制御方法およびそのコンピュータ読取可能な記憶媒体 |
JP6673181B2 (ja) | 2016-12-19 | 2020-03-25 | 株式会社Soken | 駐車支援装置およびその制御部 |
US10403144B1 (en) * | 2017-05-08 | 2019-09-03 | Open Invention Network Llc | Mobile device transport parking notification and movement tracking |
US9892642B1 (en) | 2017-05-08 | 2018-02-13 | Open Invention Network Llc | Mobile device transport parking notification and movement tracking |
CN109029438B (zh) * | 2017-06-12 | 2023-05-05 | 广州英卓电子科技有限公司 | 一种在有限区域内的车辆定位方法 |
JP6843712B2 (ja) * | 2017-07-27 | 2021-03-17 | フォルシアクラリオン・エレクトロニクス株式会社 | 車載処理装置 |
TWI656519B (zh) * | 2017-12-12 | 2019-04-11 | 財團法人工業技術研究院 | 停車導引系統及其方法與自動停車系統 |
CN109102714B (zh) * | 2017-12-15 | 2021-03-23 | 上海蔚来汽车有限公司 | 自动泊车的方法和设备、智能汽车以及计算机存储介质 |
CN109933054A (zh) * | 2017-12-15 | 2019-06-25 | 蔚来汽车有限公司 | 用于车辆自动泊入换电站内的换电车位的系统及方法、电动车辆 |
JP7067567B2 (ja) * | 2017-12-20 | 2022-05-16 | 日産自動車株式会社 | 駐車制御方法及び駐車制御装置 |
CN110542416B (zh) * | 2018-05-28 | 2023-07-21 | 上海汽车集团股份有限公司 | 一种地下车库自动定位系统及方法 |
JP7070235B2 (ja) * | 2018-08-21 | 2022-05-18 | トヨタ自動車株式会社 | 自動駐車装置 |
FR3087568A1 (fr) * | 2018-10-23 | 2020-04-24 | Psa Automobiles Sa | Procede de localisation d’un vehicule dans une structure |
CN109703553B (zh) * | 2019-01-30 | 2020-08-04 | 长安大学 | 一种基于牵引点跟踪的自动泊车方法 |
JP2020166758A (ja) * | 2019-03-29 | 2020-10-08 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
CN109974734A (zh) * | 2019-04-02 | 2019-07-05 | 百度在线网络技术(北京)有限公司 | 一种用于ar导航的事件上报方法、装置、终端及存储介质 |
US11247724B2 (en) * | 2019-08-16 | 2022-02-15 | Ford Global Technologies, Llc | Vehicle parking control |
JP7256463B2 (ja) | 2019-10-11 | 2023-04-12 | トヨタ自動車株式会社 | 車両駐車支援装置 |
CN111241923B (zh) * | 2019-12-29 | 2024-04-09 | 的卢技术有限公司 | 一种实时检测立体车库的方法和系统 |
JP7176651B2 (ja) * | 2020-02-10 | 2022-11-22 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
US11427184B2 (en) * | 2020-03-11 | 2022-08-30 | Black Sesame Technologies Inc. | Breadth first search-depth first search three dimensional rapid exploring random tree search with physical constraints |
CN113561963B (zh) * | 2020-04-29 | 2023-05-05 | 华为技术有限公司 | 一种泊车方法、装置及车辆 |
CN111652072A (zh) * | 2020-05-08 | 2020-09-11 | 北京嘀嘀无限科技发展有限公司 | 轨迹获取方法、轨迹获取装置、存储介质和电子设备 |
JP7465726B2 (ja) * | 2020-05-28 | 2024-04-11 | フォルシアクラリオン・エレクトロニクス株式会社 | 駐車支援装置、及び駐車支援装置の制御方法 |
KR20220012445A (ko) * | 2020-07-22 | 2022-02-04 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
TWI747651B (zh) * | 2020-12-08 | 2021-11-21 | 輝創電子股份有限公司 | 自動駕駛輔助系統 |
CN112733436B (zh) * | 2020-12-29 | 2023-11-28 | 久融新能源科技有限公司 | 一种基于二维运动导引的充电及停车位识别方法 |
JP7522389B2 (ja) | 2021-01-27 | 2024-07-25 | トヨタ自動車株式会社 | 駐車支援装置 |
KR20220124324A (ko) * | 2021-03-02 | 2022-09-14 | 현대자동차주식회사 | 차로 유지 제어 장치, 그를 포함한 차량 시스템 및 그 방법 |
JP7341182B2 (ja) * | 2021-04-16 | 2023-09-08 | 本田技研工業株式会社 | サーバ、携帯端末、駐車管理方法、およびプログラム |
CN113781830B (zh) * | 2021-09-15 | 2023-01-24 | 兰昀正 | 一种自动化智能停车管理系统及方法 |
IT202200009620A1 (it) * | 2022-05-10 | 2023-11-10 | Fiat Ricerche | "Sistema di assistenza alla guida di un autoveicolo, e corrispondente procedimento" |
CN117765417B (zh) * | 2023-12-20 | 2024-07-09 | 城市大脑(广州)科技有限公司 | 一种基于无人机的共享车辆巡检方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04151562A (ja) * | 1990-10-15 | 1992-05-25 | Mazda Motor Corp | 車両のヨー運動検出装置 |
JP2001343212A (ja) * | 2000-05-31 | 2001-12-14 | Aisin Seiki Co Ltd | 相対位置検出装置及びその相対位置検出装置を備えた駐車補助装置 |
JP2002172988A (ja) * | 2000-12-05 | 2002-06-18 | Mitsubishi Motors Corp | 駐車補助装置 |
JP2006298227A (ja) * | 2005-04-22 | 2006-11-02 | Toyota Motor Corp | 目標位置設定装置およびそれを備えた駐車支援装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031799A (ja) * | 1996-07-15 | 1998-02-03 | Toyota Motor Corp | 自動走行制御装置 |
JP3266828B2 (ja) * | 1997-07-16 | 2002-03-18 | 本田技研工業株式会社 | 車両の自動操舵装置 |
DE59809476D1 (de) * | 1997-11-03 | 2003-10-09 | Volkswagen Ag | Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges |
JP3102478B2 (ja) * | 1998-08-17 | 2000-10-23 | 日本電気株式会社 | 線状マーク検出方法および装置 |
KR100387464B1 (ko) * | 1999-12-23 | 2003-06-18 | 현대자동차주식회사 | 차량용 자동 주차 제어장치 및 방법 |
KR200199742Y1 (ko) | 2000-05-29 | 2000-10-02 | 허광영 | 자동차용 주차메모 표시장치 |
ATE350265T1 (de) * | 2000-06-27 | 2007-01-15 | Toyota Jidoshokki Kk | Einparkhilfe |
JP2002170103A (ja) * | 2000-12-01 | 2002-06-14 | Nissan Motor Co Ltd | 駐車スペース地図作成装置および駐車スペース地図表示装置 |
JP4576772B2 (ja) * | 2001-08-24 | 2010-11-10 | 日産自動車株式会社 | 駐車支援装置 |
JP4700899B2 (ja) * | 2003-04-14 | 2011-06-15 | 株式会社豊田自動織機 | 駐車支援装置 |
JP3818653B2 (ja) * | 2003-06-26 | 2006-09-06 | トヨタ自動車株式会社 | 車両用走行支援装置 |
JP4345391B2 (ja) * | 2003-08-29 | 2009-10-14 | トヨタ自動車株式会社 | 駐車支援装置 |
JP4151562B2 (ja) * | 2003-10-30 | 2008-09-17 | 株式会社デンソー | 端末検出システム及び携帯検出センタ |
-
2007
- 2007-11-19 JP JP2008552065A patent/JP5126069B2/ja not_active Expired - Fee Related
- 2007-11-19 AU AU2007340727A patent/AU2007340727A1/en not_active Abandoned
- 2007-11-19 CN CN2007800485034A patent/CN101573257B/zh not_active Expired - Fee Related
- 2007-11-19 US US12/521,101 patent/US20100066515A1/en not_active Abandoned
- 2007-11-19 WO PCT/JP2007/072358 patent/WO2008081655A1/ja active Application Filing
- 2007-11-19 KR KR1020097015720A patent/KR101125488B1/ko not_active IP Right Cessation
- 2007-11-19 EP EP07832088A patent/EP2100778A1/en not_active Withdrawn
- 2007-12-25 TW TW096149823A patent/TWI334832B/zh not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04151562A (ja) * | 1990-10-15 | 1992-05-25 | Mazda Motor Corp | 車両のヨー運動検出装置 |
JP2001343212A (ja) * | 2000-05-31 | 2001-12-14 | Aisin Seiki Co Ltd | 相対位置検出装置及びその相対位置検出装置を備えた駐車補助装置 |
JP2002172988A (ja) * | 2000-12-05 | 2002-06-18 | Mitsubishi Motors Corp | 駐車補助装置 |
JP2006298227A (ja) * | 2005-04-22 | 2006-11-02 | Toyota Motor Corp | 目標位置設定装置およびそれを備えた駐車支援装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2100778A1 (en) | 2009-09-16 |
TWI334832B (en) | 2010-12-21 |
CN101573257B (zh) | 2011-08-10 |
CN101573257A (zh) | 2009-11-04 |
TW200846219A (en) | 2008-12-01 |
JPWO2008081655A1 (ja) | 2010-04-30 |
KR101125488B1 (ko) | 2012-03-22 |
KR20090096736A (ko) | 2009-09-14 |
WO2008081655A1 (ja) | 2008-07-10 |
AU2007340727A1 (en) | 2008-07-10 |
US20100066515A1 (en) | 2010-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5126069B2 (ja) | 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品 | |
KR101084025B1 (ko) | 주차 지원 장치, 주차 지원 장치의 차량측 장치, 주차 지원 방법 및 주차 지원 프로그램 | |
JP2008174000A (ja) | 駐車支援装置、駐車支援装置部品、駐車支援方法及び駐車支援プログラム | |
WO2010100791A1 (ja) | 駐車支援装置 | |
US8089512B2 (en) | Driving support device, driving support method and computer program | |
KR102639078B1 (ko) | 노면상으로 정보를 표시하는 자동차 및 그 제어 방법 | |
KR101137817B1 (ko) | 주차 지원장치 | |
WO2010101067A1 (ja) | 駐車支援装置および駐車支援方法 | |
US20100060486A1 (en) | Parking assist apparatus | |
JP6926976B2 (ja) | 駐車支援装置及びコンピュータプログラム | |
JP4715790B2 (ja) | 運転支援方法及び運転支援装置 | |
US20010030688A1 (en) | Steering assist device | |
JP2006298115A (ja) | 運転支援方法及び運転支援装置 | |
JPWO2006064544A1 (ja) | 自動車庫入れ装置 | |
JP2008222153A (ja) | 合流支援装置 | |
WO2010103961A1 (ja) | 駐車支援装置 | |
JP4997183B2 (ja) | 駐車を支援するための装置 | |
JP4848991B2 (ja) | 運転支援方法及び運転支援装置 | |
JP2001277969A (ja) | 車両誘導方法、車両誘導システムおよびコンピュータ読取り可能な記憶媒体 | |
JP2007161118A (ja) | 駐車支援システム、駐車施設装置、及び駐車支援装置 | |
JP7078343B2 (ja) | 無人飛行体および無人搬送システム | |
JP2015006833A (ja) | 自車位置測定システム | |
JP4006272B2 (ja) | 運転支援装置 | |
JP2515733B2 (ja) | 無人移動体の誘導方法 | |
JP2019215789A (ja) | カメラパラメータのキャリブレーション方法及びカメラパラメータのキャリブレーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121002 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121015 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151109 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |