JP4724043B2 - 対象物認識装置 - Google Patents

対象物認識装置 Download PDF

Info

Publication number
JP4724043B2
JP4724043B2 JP2006138256A JP2006138256A JP4724043B2 JP 4724043 B2 JP4724043 B2 JP 4724043B2 JP 2006138256 A JP2006138256 A JP 2006138256A JP 2006138256 A JP2006138256 A JP 2006138256A JP 4724043 B2 JP4724043 B2 JP 4724043B2
Authority
JP
Japan
Prior art keywords
vehicle
recognition
recognized
positioning
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006138256A
Other languages
English (en)
Other versions
JP2007309757A (ja
Inventor
清和 岡田
元裕 中村
正樹 中村
信 蓮沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Priority to JP2006138256A priority Critical patent/JP4724043B2/ja
Priority to US12/067,100 priority patent/US7898437B2/en
Priority to EP07743414.0A priority patent/EP2019288B1/en
Priority to CN2007800009771A priority patent/CN101346603B/zh
Priority to PCT/JP2007/059979 priority patent/WO2007132860A1/ja
Priority to KR1020087006354A priority patent/KR101018620B1/ko
Publication of JP2007309757A publication Critical patent/JP2007309757A/ja
Application granted granted Critical
Publication of JP4724043B2 publication Critical patent/JP4724043B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Description

本発明は、対象物認識装置に係り、特に、自車両において道路上の対象物を認識するうえで好適な対象物認識装置に関する。
従来から、移動体である車両において道路標識等の静止対象物を認識する対象物認識装置が知られている(例えば、特許文献1参照)。この対象物認識装置は、車両周囲の道路を撮影するカメラを備えており、かかるカメラの撮影した画像情報に基づいて道路上の静止対象物を認識することとしている。
特開2000−346653号公報
ところで、上記の如くカメラ撮像画像から認識される静止対象物は、道路上に設置され或いは描かれる道路標識や路面標示であって、道路上に点在する。また、その静止対象物の位置は、絶対的に或いは交差点などの地図上固定物に対して相対的に定められることが多い。この点、車両の認識すべき静止対象物の位置情報を予め格納したデータベースを有する車載側において、道路上の対象物を認識する際に、常にカメラにより車両周囲の道路を撮影しかつその撮像画像を処理するものとすると、その認識処理負荷が増大することとなり、その結果、対象物の認識に時間がかかり、或いは、高速処理可能な高価な装置が必要となる不都合が生じてしまう。
本発明は、上述の点に鑑みてなされたものであり、道路上の対象物の認識に要する処理負荷を軽減させた対象物認識装置を提供することを目的とする。
上記の目的は、所定の手法に従って自車両の位置を測位する測位手段と、自車両の位置を測位するうえでの測位精度を算出する測位精度算出手段と、予め自車両の認識すべき道路上の対象物の位置情報を格納する格納手段と、前記測位手段により測位された自車両の位置、前記格納手段に格納された前記対象物の位置、及び前記測位精度算出手段により算出された前記測位精度に基づいて、該対象物を認識すべき道路の認識範囲を設定する認識範囲設定手段と、前記認識範囲設定手段により設定された前記認識範囲において前記対象物を認識する対象物認識手段と、を備える対象物認識装置により達成される。
この態様の発明においては、自車両の位置、対象物の位置、及び自車両の位置を測位するうえでの測位精度に基づいて、自車両において対象物を認識すべき道路の認識範囲が設定される。そして、その設定された認識範囲において対象物の認識処理が行われる。かかる構成においては、設定された認識範囲以外において対象物の認識処理は行われない。このため、本発明によれば、対象物の認識処理を常に行う構成に比べて、対象物の認識に要する処理負荷を軽減することができる。
また、対象物の位置は、予め格納手段にその情報が格納されているため、ある程度正確である一方、自車両の位置は、所定の手法に従って測位されるため、その測位精度に応じた誤差を有するものとなる。この点、測位誤差が生じなければ、測位された自車両の位置が対象物の位置に一致した際にその対象物の認識処理を行うこととすれば十分であるが、実際は測位誤差が生ずるため、測位された自車両の位置が対象物の位置に一致した際にのみその対象物の認識処理を行うこととすると、認識処理を行った際には既に自車両がその対象物を通過している事態も生じ得、対象物を認識できないことが起こり得る。これに対して、上記した態様の発明においては、自車両位置の測位精度を考慮して対象物を認識すべき認識範囲が設定されるため、自車両の認識すべき対象物を認識できなくなるのを防止することができる。
自車位置の測位誤差の範囲は、測位精度が高いときは小さいが、測位精度が低いときは大きくなる。従って、上記した対象物認識装置において、前記認識範囲設定手段は、前記測位精度算出手段により算出される前記測位精度が低いほどより広い前記認識範囲を設定することとすればよい。
また、例えば車速,舵角等による走行軌跡に基づいて自車両の位置が測位される場合、走行距離が長くなるほど、測位誤差が大きくなり、測位精度が低くなる。従って、上記した対象物認識装置において、前記認識範囲設定手段は、前記測位手段により測位された自車両の位置から前記格納手段に情報格納された前記対象物の位置までの距離が長いほどより広い前記認識範囲を設定することとすればよい。
尚、上記した対象物認識装置において、前記測位手段は、前記対象物認識手段により前記認識範囲において前記対象物が認識される場合、該認識結果に基づいて、自車両の位置をGPS又は自車両の走行軌跡に基づいたものから補正することとすれば、認識した対象物を用いることで、自車両の位置を正確に測位することが可能となる。
この場合、上記した対象物認識装置において、前記測位精度算出手段は、前記測位精度を、前記測位手段により前記対象物の認識結果に基づいた自車両位置の補正を行った時点におけるものから、以後少なくとも走行距離に応じて低下するように算出することとすれば、少なくとも走行距離に応じて低下する測位精度を対象物の認識結果に基づいた自車両位置の補正ごとに高めることが可能となる。
また、上記した対象物認識装置において、前記格納手段に位置情報が格納される全対象物のうち自車両の走行経路上に存在する特定の対象物を、認識すべき対象物として設定する認識対象物設定手段を備え、前記対象物認識手段は、前記認識対象物設定手段により設定される認識すべき対象物のみを認識することとしてもよく、また、自車両位置に応じた支援制御を実行する支援制御装置に要求される前記測位精度を該支援制御の実行時に満たす必要がある場合、前記格納手段に位置情報が格納される全対象物のうち、前記測位手段による認識結果に基づいた自車両位置の補正により前記支援制御装置に要求される前記測位精度を前記支援制御の実行時に満たすことが可能となる自車両の走行経路上に存在する対象物を、認識すべき対象物として設定する認識対象物設定手段を備え、前記対象物認識手段は、前記認識対象物設定手段により設定される認識すべき対象物のみを認識することとしてもよい。
更に、上記した対象物認識装置において、前記対象物認識手段は、自車両の所定位置に配設された撮像手段により撮影される前記認識範囲設定手段による前記認識範囲における画像情報を用いて、前記対象物を認識することとすればよい。
本発明によれば、道路上の対象物の認識に要する処理負荷を軽減することができる。
図1は、本発明の一実施例である車両に搭載されるシステムの構成図を示す。図1に示す如く、本実施例のシステムは、自車両の位置を測位するための測位部12と、自車両の走行等を制御するための支援制御部14と、を備えており、自車両の位置を測位部12で測位すると共に、その測位される自車両の位置に応じて自車両を走行させるうえでの所定の支援制御を支援制御部14で実行するシステムである。
測位部12は、GPS(Global Positioning System)衛星から送信されるGPS信号を受信して自車両の存在する位置の緯度及び経度を検知するGPS受信機16、旋回角や地磁気を用いて自車両のヨー角(方位)を検知する方位センサ18、加減速度を検知するGセンサ20、車速を検知する車速センサ22、並びに、それら各受信機やセンサ16〜22の出力が接続されている主にマイクロコンピュータにより構成された推測航法部24を有している。各受信機やセンサ16〜22の出力信号はそれぞれ、推測航法部24に供給される。推測航法部24は、GPS受信機16からの情報に基づいて自車両の位置の緯度及び経度(初期座標)を検出すると共に、センサ18〜22からの情報に基づいて自車両の進行方位、車速、及び加減速度の走行状態を検出して、自車両位置の初期座標からの車両の走行軌跡(推測軌跡)を作成する。
測位部12は、また、上記した推測航法部24に接続されている主にマイクロコンピュータにより構成されたマップマッチング部28を有している。マップマッチング部28には、また、地図データベース30が接続されている。地図データベース30は、車両に搭載され或いはセンタに設けられたハードディスク(HDD)やDVD,CDなどにより構成されており、経路案内や地図表示に必要な道路自体のリンクデータ等や道路に描かれ或いは設置される静止対象物や車線レーンの位置情報などを格納している。
具体的には、この地図データベース30には、道路を表す緯度・経度や曲率,勾配,車線数,車線幅,コーナー有無などのレーン形状や道路種別のデータや、各交差点やノード点に関する情報、地図表示を行うための建物などに関する情報などが格納されると共に、道路路面上に描かれる横断歩道や一時停止線,進行方向矢印,「横断歩道あり」の菱形標示,最高速度標示,回転禁止標示などの静止対象物ごとに、形状データやペイントデータ,位置データ,特徴量の大きさ,前後にある他の対象物との距離データ,擦れ易さの度合いを示すデータ,車両進行方向の目標となる対象物との距離データなどが格納される。また、この地図データベース30は、ディスクの交換や更新条件の成立により格納する地図データを最新のものに更新可能である。
マップマッチング部28には、推測航法部24において検出・作成された自車両位置の初期座標及びその初期座標からの推測軌跡の情報が供給される。マップマッチング部28は、推測航法部24から情報供給される自車両のGPSに基づく初期座標および推測軌跡に基づいて、自車両の位置を地図データベース30に格納されている道路自体のリンク情報を利用してその道路リンク上に補正するマップマッチング(第1マップマッチング)を行うと共に、その第1マップマッチングの結果として検出された自車両の位置の精度を示す位置精度レベルを算出する機能を有している。
マップマッチング部28は、上記の如く第1マップマッチングの結果得られた自車両の現在位置から所定範囲内の道路路面上にある対象物データを地図データベース30から読み出すと共に、その自車位置から所定道路範囲内にある対象物を自車両において認識すべき対象物として設定する。そして、その設定後、測位検出される自車両の位置に基づいて、後述のバックカメラ32による撮像画像を用いてその設定された対象物を認識すべきか否かを判別する。
測位部12は、また、マップマッチング部28に接続するバックカメラ32を有している。バックカメラ32は、車両後部バンパなどに配設されており、その配設位置から車両後方の道路路面を含む所定領域の外界を撮影することができる。バックカメラ32の撮像画像は、マップマッチング部28に供給される。
マップマッチング部28は、バックカメラ32による撮像画像の認識を行うべきと判別する場合において、バックカメラ32から撮像画像が供給されたとき、その撮像画像についてエッジ抽出などの画像処理を行うことにより、道路路面に描かれる上記の対象物や走行レーンを検出すると共に、それら対象物や走行レーンと自車両との相対位置関係を把握する。
マップマッチング部28は、バックカメラ32の撮像画像からの走行レーンの検出結果に基づいて、自車両が現に走行する道路上における自車両に対する自レーンの位置を算出する。また、対象物の検出結果に基づいて、自車両と自車両の道路後方に存在する認識した対象物との相対関係(具体的には、自車両から認識対象物までの距離)を測定すると共に、その測定結果と地図データベース30に格納されているその認識対象物の位置データとに基づいて、自車両の位置(特に車両前後方向の位置)を認識対象物に対してその相対位置関係にある位置に補正するマップマッチング(第2マップマッチング)を行う。
このように、マップマッチング部28は、上記の如く、推測航法部24から推測軌跡の情報が供給されるごとに、自車両の現在位置を地図データベース30に格納されている道路リンク上に補正する第1マップマッチングを行うと共に、更に、バックカメラ32の撮像画像から認識すべき対象物が認識された際にも、その認識結果による認識対象物に基づく位置へ自車両の位置を補正する第2マップマッチングを行う。マップマッチング部28は、上記したマップマッチングの結果として測位される自車両の現在位置の精度を示す正確性(すなわち自信度)を算出する。
マップマッチング部28は、また、マップマッチングにより測位した自車両の位置を地図データベース30に格納されている地図データと照合することにより、自車両の進行方向の所定範囲前方に支援制御を実行するのに必要な制御対象である目標の対象物(例えば、停止線や交差点,カーブ進入口等)が存在することとなるときは、以後、測位ごとに、測位した自車両の位置と地図データベース30に格納されているその目標対象物の位置との関係に基づいて、自車両から進行方向前方の目標対象物までの走行レーンの中心線に沿った距離(以下、道なり残距離と称す)を算出する。
測位部12と支援制御部14とは、互いに接続されている。測位部12で測位検知された自車両の位置や道なり残距離の情報は、例えば車内に設けられた乗員の視認可能な表示ディスプレイに供給されて、画面上に映し出されている道路地図に模式的に重畳表示されると共に、支援制御部14に供給される。
支援制御部14は、マイクロコンピュータを主体に構成された電子制御ユニット(以下、支援ECUと称す)40を備えており、支援ECU40により自車両を道路上で走行させるうえでの運転者の操作を支援するための支援制御を実行する。この支援制御は、自車両の位置に応じて具体的には上記した自車両から目標対象物までの道なり残距離に応じて実行される例えば、特に運転者によるブレーキ操作が行われていないときや遅れているときなどに自車両を道路上の目標対象物である一時停止線や踏み切り線などの手前で停車させるための運転支援制御である一時停止制御、自車両を道路上の目標対象物となる交差点で交差すると予測される他車両と交錯させないための運転支援制御である交差点制御、自車両を対象物であるカーブ(コーナー)に対して適切な速度で走行させるための速度制御、目標対象物までの相対距離について音声による経路案内を行うための案内制御などである。
支援ECU40には、自車両に適当な制動力を発生させるためのブレーキアクチュエータ42、自車両に適当な駆動力を付与するためのスロットルアクチュエータ44、自車両の自動変速機の変速段を切り替えるためのシフトアクチュエータ46、自車両に適当な操舵角を付与するためのステアアクチュエータ48、及び車室内に向けてブザー吹鳴や警報出力,スピーカ出力を行うためのブザー警報器50が接続されている。支援ECU40は、上記した支援制御を実行すべく、測位部12で測位された自車両の位置や自車両と目標対象物との相対関係に基づいて、各アクチュエータ42〜50に対して適当な駆動指令を行う。各アクチュエータ42〜50は、支援ECU40から供給される駆動指令に従って駆動される。
次に、本実施例のシステムにおける具体的な動作について説明する。車両運転者は、支援制御部14による支援制御の実行を希望する場合、本実施例のシステムを作動可能な状態に操作する。本実施例のシステムにおいて、測位部12は、推測航法部24において、所定時間ごとに、各受信機やセンサ16〜22の出力信号に基づいて、自車両の初期座標からの走行軌跡を作成する。そして、マップマッチング部28において、推測航法部24による自車両の初期座標位置および推測軌跡を、地図データベース30に地図データとして格納されている道路のリンク情報と照らし合わせることにより、自車両の位置をその道路リンク上に補正する第1マップマッチングを行う。
マップマッチング部28は、自車位置を検出した場合、その自車位置を乗員の視認可能な表示ディスプレイの表示画面上に道路地図に重ねて表示させると共に、更に、その自車位置から自車両が今後所定時間若しくは所定距離だけ走行したときの位置まで又は支援制御の制御対象である目標対象物の位置までの道路範囲(複数レーンのときはすべてのレーン)の対象物のデータを地図データベース30から読み出す。そして、その所定道路範囲における対象物をバックカメラ32により認識すべき対象物として設定し、その後は、後に詳述する如く、その設定された認識すべき対象物の位置と常時更新される自車両の位置とに基づいて、自車位置がその認識すべき対象物の位置近傍に達したか否かを判別することにより、バックカメラ32の撮像画像を処理してその設定された認識すべき対象物の認識を行うべきか否かを判別する。
マップマッチング部28は、上記の判別の結果、認識すべき対象物の認識を行うべきときは、バックカメラ32により撮像される車両後方の撮像画像の供給を受けて、その撮像画像についてエッジ抽出などの画像処理を行う。そして、その画像処理の結果と認識すべき対象物の形状データや位置データなどの特徴データとを比較して、その認識すべき対象物が画像処理により認識されるかを判定する。
マップマッチング部28は、認識すべき対象物を認識したときは、その画像処理により特定される自車両と認識対象物との相対関係に基づいて、自車両から車両後方に存在する認識対象物までの相対位置及び距離を検出すると共に、地図データベース30にアクセスしてその認識対象物の位置データを読み出す。そして、認識対象物までの相対距離とその認識対象物の位置データとに基づいて、自車両の位置(特に車両前後方向の位置)を認識対象物の位置と検出相対関係にある位置へ補正する第2マップマッチングを行う。
マップマッチング部28は、上記の第2マップマッチングを行うと、地図データベース30にアクセスしてその認識対象物から支援制御の対象である目標対象物までの道路走行上の距離を取得し、そして、自車両の位置と認識対象物から目標対象物までの距離とに基づいて、自車両から目標対象物までの道なり残距離の初期値を算出する。
また、マップマッチング部28は、所定道路範囲内の認識すべき対象物を認識したときは、バックカメラ32からの撮像画像の画像処理を行うことで道路上の走行レーンの情報を取得・認識して、その走行レーンの自車両に対する相対関係を把握する。そして、地図データベース30にアクセスして自車位置近傍での走行レーンのレーン幅やレーン数,形状等を取得して、自車両に対する走行レーンの相対関係や地図データベース30から取得したレーン数等に基づいて、自車両が現時点で走行する道路での自レーンの位置を特定する。目標対象物は走行レーンごとに異なることがあるが、上記の如く自レーンの位置が特定されると、自レーン上に存在する自車両が通過すべき進行方向前方の目標対象物が具体的に特定されるので、自レーン上の目標対象物を基準にした上記の道なり算距離を算出することが可能となる。
推測航法部24は、所定時間ごとに、GPS受信機16並びに各種センサ18〜22を用いて自車位置の推測軌跡を作成し、その軌跡情報をマップマッチング部28に対して送信する。マップマッチング部28は、上記の如く対象物認識に伴う第2マップマッチングを行うと、以後、推測航法部24からの推測軌跡情報を受信するごとに、まず、その第2マップマッチング時点からの推測軌跡と自レーンの位置とに基づいて自レーンの中心線上での認識対象物の位置座標に対する自車両の位置(特に前後方向の距離)を算出する。そして、その前後方向距離、及び、自レーン上での上記した認識対象物と目標対象物との距離に基づいて、自車両の現在位置からその目標対象物までの道なり残距離を算出する。
測位部12において検知された自車位置の情報および道なり残距離の情報は、表示ディスプレイに供給されると共に、支援制御部14に供給される。表示ディスプレイは、測位部12からの情報に従って、表示画面上に映し出された道路地図に重畳してその自車位置や道なり残距離を模式的に表示する。
支援制御部14の支援ECU40は、測位部12から供給される支援制御の制御対象である一時停止線や交差点などの目標対象物までの道路走行上の距離に基づいて、支援制御ごとに、その制御に定められている制御開始条件が成立するか否かをそれぞれ判別する。そして、制御開始条件が成立した場合はその支援制御を開始する。
例えば一時停止制御においては、測位される自車両から目標対象物である一時停止線までの距離が例えば30メートル(自車速に応じて変化する距離であってもよい。)になった時点でブレーキアクチュエータ42による自動ブレーキを開始して、自車両をその一時停止線で停車させる。尚、この際、ブレーキアクチュエータ42による自動的な制動ブレーキを開始する前に、運転者に対してその自動的な制動ブレーキが行われることを知らせる音声案内などを行うこととしてもよい。また、音声による経路案内制御においては、測位される自車両から交差点などの目標対象物までの距離が例えば100メートルになった時点でブザー警報器50によるスピーカ出力によって、運転者に車両前方に目標対象物が存在することを知らせる案内を行う。
このように、本実施例のシステムにおいては、測位部12においてGPS受信機16に受信されるGPS信号や各種センサ18〜22の出力を用いた推測軌跡に基づいて自車両の位置を地図データベース30に格納されている地図データの道路リンク上に測位することができる。また、バックカメラ32の撮影する画像の処理により道路に描かれ或いは設置される対象物を認識すると共に、その認識対象物の地図データベース30に予め情報格納されている位置および自車両とその認識対象物との相対関係に基づいて自車両の位置を測位することができる。
ここで、上記した自車位置の測位や自車両から目標対象物までの道なり残距離の算出には、GPS受信機16や方位センサ18,Gセンサ20,車速センサ22,バックカメラ32が用いられる。しかし、この測位計算には、受信機や各種センサ16〜22,カメラ32における検出パラメータの誤差や測位時の各種計算に含まれる誤差(例えばタイミングの丸め込み誤差)などが発生するため、車両位置の測位結果に誤差が生ずる。この測位誤差には車両の移動に伴って積算されるものが含まれているので、車両の移動距離が長くなるほど自車位置を測位するうえでの誤差が大きくなり、測位精度が低下する(図2参照)。一方、地図データベース30に格納されている対象物の位置情報は一般に実測されたものであって極めて高い精度を有するので、かかる対象物の位置情報を用いれば、自車位置を測位するうえでの誤差は小さくなり、その測位精度が高くなる。
従って、本実施例のシステムによれば、自車位置の測位を上記した手法に従って行うことで、具体的には、通常はGPSやセンサ出力を用いた車両の推測軌跡に基づいて第1マップマッチングを行い、一方、カメラ撮像画像を用いた対象物の認識時はその認識結果に基づいて第2マップマッチングを行うことで、道路に描かれ或いは設置される対象物をバックカメラ32による撮像画像により認識する前には自車両の移動量が多くなるほど、測位する自車位置の精度は低下するが、その対象物を認識するごとに、測位する自車位置の精度を向上させることが可能である。
また、本実施例のシステムにおいては、測位部12で測位された自車位置(具体的には自車両から支援制御の対象である目標対象物までの距離)に応じて支援制御を実行することができる。位置測位の結果として自車両が目標対象物に対して所定の相対位置関係に至る前は支援制御を行わないが、その相対位置関係に至った場合は支援制御を実行することができる。このため、本実施例のシステムによれば、自車両の測位結果に応じた一時停止制御や交差点制御,速度制御,案内制御を実施して、自車両を道路上で走行させるうえでの運転者の操作を支援することで、自車両を安全かつ適切に走行させることが可能である。
ところで、本実施例においては、自車位置を補正すべくバックカメラ32の撮像画像の処理によって道路上の対象物が認識されるが、その対象物は停止線や横断歩道,矢印,回転禁止,菱形標示,文字列,減速帯などであって道路上に点在するものであるので、常にその対象物認識処理を行う必要はない。また、認識すべき対象物の位置情報は予め地図データベース30に格納されており、その位置はある程度の正確性を有する一方、自車両の位置は上記の手法に従って測位されるため、測位精度に応じた誤差を有するものとなる。この点、自車位置の測位誤差が生じなければ、測位された自車位置が地図データベース30に格納されている対象物の位置に一致した際或いはその位置近傍に至った際のタイミングでカメラ撮像画像を用いた対象物の認識処理を行うこととすれば十分であるが、実際は上記の如く自車位置に図3に示す如き測位誤差が生ずるため、上記したタイミングでのみ対象物の認識処理を行うこととすると、その認識処理時には既に自車両がその対象物を通過していることもあり、対象物を認識できない事態が起こり得る。
また、自車位置の測位は、GPS受信機や各種センサ16〜22の出力を用いた推測軌跡に基づいて行われ得るため、自車位置の測位誤差は車両の移動距離が長くなるほど大きくなる。しかし、かかる構成において、自車位置と対象物の位置との走行レーン上の相対関係を考慮することなく対象物を認識すべき範囲を設定することとすると、その設定後、位置測位された自車両がその設定範囲に入ったと判断されるときにも、実際は車両移動に伴って増大した測位誤差によってその設定範囲に入っていない事態も起こり得、その結果、対象物が認識されないおそれもある。
そこで、本実施例のシステムは、自車位置と認識すべき対象物の位置との相対関係及び自車位置の測位精度に基づいて、対象物を認識すべき認識範囲(本実施例においては、具体的には、車両側においてその対象物を認識して自車位置の補正を行う前に測位される自車位置を基準にして推測される道路の位置範囲であって、測位される自車位置に許容される最大の測位誤差が生じてもその範囲内で認識処理を行えば確実に対象物を認識できる領域範囲のことである。)を設定することとしている。以下、図4乃至図7を参照して、本実施例の特徴部について説明する。
図4は、本実施例のシステムにおいて自車位置の測位精度に応じて対象物を認識すべき道路の認識範囲を設定する手法を説明するための図を示す。図5は、本実施例のシステムにおいて自車両と対象物との相対距離に応じて対象物を認識すべき道路の認識範囲を設定する手法を説明するための図を示す。図6は、本実施例のシステムにおいて対象物を認識すべき道路の認識範囲を設定するうえで用いられるマップを表した図を示す。また、図7は、本実施例のシステムにおいてマップマッチング部28が実行する制御ルーチンの一例のフローチャートを示す。
一般に、自車位置の測位精度が極めて高いときは、測位される自車位置が正確であるため、その測位位置と地図データベース30に格納されている認識すべき対象物の位置との関係から、実道路上で自車両が認識すべき対象物を認識できるまでのタイミングを正確に把握することができ、この点で、バックカメラ32の撮像画像を用いて認識すべき対象物を認識するうえでは、その認識のための道路認識範囲が極めて狭くても十分である。一方、自車位置の測位精度が低いほど、測位される自車位置の誤差は大きくなるため、その測位位置からでは、実道路上で自車両が認識すべき対象物を認識できるまでのタイミングを正確に把握することができず、この点で、バックカメラ32の撮像画像を用いて認識すべき対象物を認識するうえでは、その認識のための道路認識範囲を広くすることが必要となる(図4参照)。
また、自車位置の測位誤差が車両の移動距離が長くなるほど大きくなると、ある時点での自車位置の測位精度が同じであっても、その時点での自車位置が走行レーン上における前方の対象物の位置から遠いものであるほど、自車両がその対象物に接近するまでに測位誤差は大きくなる。この点で、バックカメラ32の撮像画像を用いて認識すべき対象物を認識するうえでは、その認識のための道路認識範囲を、自車位置と対象物位置との走行レーン上での相対距離(道なりの走行距離)が小さい(短い)ほど狭くし、その相対距離が大きい(長い)ほど広くすることが適切である(図5参照)。
本実施例のシステムにおいて、測位部12のマップマッチング部28は、GPSやセンサ出力を用いた車両の推測軌跡に基づいて或いはカメラ撮像画像を用いた対象物の認識結果に基づいて自車位置を測位して、自車両の位置を取得する(ステップ100)。そして、その自車位置から自車両が今後所定時間若しくは所定距離だけ走行したときの位置まで又は自車両において実行可能な支援制御の制御対象である直近の目標対象物の位置までの道路範囲上のすべての対象物候補のデータを地図データベース30から読み出して、その道路範囲における対象物をバックカメラ32により認識すべき対象物として設定する(ステップ102)。
尚、この際、全対象物候補の中から設定されるカメラ32を用いて認識すべき対象物は、地図データベース30に位置データが格納されているその道路範囲上のすべての対象物である必要はなく、例えば、支援制御の目標対象物からその手前所定距離(例えば1kmや700m)の範囲内にあるものに限定することとしてもよく、カメラ撮像画像から形状が特定し易いものや標示擦れが生じ難いもの、自車位置から支援制御の目標対象物までの走行道路の種類に応じた配置パターンに従ったものだけでもよいし、或いは、その対象物をカメラ撮像画像により認識して自車位置の補正を行えば自車両において実行され得る支援制御に要求される測位精度を維持しつつその支援制御の実行により自車両をその目標対象物に到達させることができるものだけでもよい。この場合、例えば、一時停止制御により自車両を目標対象物である一時停止線に停車させるうえで要求される一時停止線到達時における測位精度を満足させるのに、自車位置の補正を実施すべき、その一時停止線手前の走行レーン上に存在する対象物を、その支援制御を適切に実行するのに要求される測位精度、並びに現状の測位精度、自車両との相対距離、及び目標対象物との相対距離に基づいて選定する。
マップマッチング部28は、上記ステップ102でバックカメラ32により認識すべき対象物を設定すると、その認識すべき対象物の位置データを地図データベース30から取得する(ステップ104)。尚、設定された認識すべき対象物が複数あるときは、少なくとも自車位置に直近の対象物の位置データを取得する。そして、上記ステップ100で取得した自車位置とかかるステップ104で取得した認識すべき対象物の位置との走行レーンに沿った道なりの相対距離を算出する(ステップ106)。
マップマッチング部28は、自車位置を測位するうえでの現在の測位精度を算出する(ステップ108)。この算出は、予め実験的に定められた所定の式にパラメータを代入するものであればよく、例えば、初期値を車両の移動距離に応じて累積されないGPSの精度誤差などに対応したものとしたうえで、カメラ撮像画像での対象物認識に基づいた自車位置の補正(第2マップマッチング)が行われるごとに最も高い精度が得られ、その第2マップマッチング後の車両の移動距離に応じて所定勾配(予め定められたものでよい。)で低下してその移動距離が長くなるほど低くなる精度が得られるものとすればよい。
マップマッチング部28は、上記ステップ106で算出された自車両と認識すべき対象物との相対距離及び上記ステップ108で算出された自車位置の測位精度に基づいて、バックカメラ32を用いて道路上の対象物を認識すべき道路の認識範囲を設定する(ステップ110)。
マップマッチング部28は、予め、自車両と認識すべき対象物との相対距離及び測位精度から対象物を認識すべき道路の認識範囲を設定するうえで用いられる図6に示す如きマップを記憶している。このマップは、自車位置の測位精度が高いほど道路の認識範囲が狭く、その測位精度が低いほど道路の認識範囲が広くなるように、かつ、自車両と認識すべき対象物との走行レーン上の相対距離が短いほど道路の認識範囲が狭く、その相対距離が長いほど道路の認識範囲が広くなるように設定されている。尚、この設定される道路の認識範囲の広さは、測位精度に対応した測位誤差に対応したものであればよく、また、自車両が認識すべき対象物との相対距離を走行した際に生じ得る最大の測位誤差に対応したものであればよい。マップマッチング部28は、上記図6に示す如きマップを参照して上記ステップ110における道路の認識範囲の設定を行う。
マップマッチング部28は、上記の如くステップ110において対象物を認識すべき道路の認識範囲を設定した場合、その後は、更新される自車位置とその設定された認識範囲とを比較して、自車両がその設定道路認識範囲に進入したか否かを判別し、肯定判定がなされるまで繰り返しかかる判別を行う。そして、自車両が設定道路認識範囲に進入したと判別した場合は、認識すべき対象物をバックカメラ32の撮像画像の処理によって認識すべき状況にあると判断し、以後、バックカメラ32から撮像される車両後方の撮像画像の供給を受けて、その撮像画像についてエッジ抽出などの画像処理を行い(ステップ112)、その画像処理結果と認識すべき対象物の特徴データとを比較してその認識すべき対象物を認識する処理を行う(ステップ114)。
その処理の結果、マップマッチング部28は、自車両が設定道路認識範囲内に位置する状況において認識すべき対象物を認識したとき(ステップ114における肯定判定時)は、道路の認識範囲内に認識すべき対象物が存在したと判断して(ステップ116)、その画像処理により特定される自車両と認識対象物との相対関係を把握し、その認識対象物の位置に対してその相対関係にある位置へ自車位置を補正する第2マップマッチングを実施する。
一方、マップマッチング部28は、自車両が設定道路認識範囲内に位置する状況において認識すべき対象物を認識せず、更新される自車位置とその設定された道路の認識範囲との比較結果に基づいて自車両がその設定道路認識範囲から進出したと判別したとき(ステップ114における否定判定時)は、道路の認識範囲内に認識すべき対象物が存在しなかったと判断して(ステップ118)、上記の第2マップマッチングを実施することなく処理を終了する。
以後、マップマッチング部28は、自車両が支援制御の目標対象物又はその近傍に到達するまで、設定された認識すべき対象物ごとに位置データを取得して、その認識処理を行うべき道路の認識範囲を設定したうえで上記処理と同様の処理を実行する。
このように、本実施例のシステムによれば、自車位置の測位精度、並びに、実際に測位される自車位置及び予め地図データベース30に格納されている認識すべき対象物の位置(具体的には、自車両と認識すべき対象物との走行レーン上での相対距離)に基づいて、バックカメラ32の撮像画像を用いて認識すべき道路上の対象物の認識処理を行うべき道路の認識範囲を設定することができる。具体的には、測位精度が高いほどより狭い道路の認識範囲を設定し、測位精度が低いほどより広い道路の認識範囲を設定する。また、自車両と認識すべき対象物との走行レーン上の相対距離が短いほどより狭い道路の認識範囲を設定し、その相対距離が長いほどより広い道路の認識範囲を設定する。そして、その道路認識範囲においてバックカメラ32の撮像画像を用いた対象物の認識処理を行う。
すなわち、本実施例のシステムにおいて、バックカメラ32の撮像画像を用いて対象物の認識処理を行うのは、上記の如く自車両と認識すべき対象物との相対距離及び自車位置の測位精度に基づいて設定される所定の道路認識範囲内を車両が走行する際に限られ、その範囲以外においてはかかる対象物の認識処理は行われない。このため、本実施例のシステムによれば、バックカメラ32の撮像画像を用いた対象物の認識処理を常に行うシステムに比べて、その対象物の認識に要する処理負荷を軽減することが可能となっている。
尚、自車位置の測位誤差の範囲は、測位精度が高いときは小さいが、測位精度が低いときは大きくなる。また、車速,舵角等による走行軌跡に基づいて自車両の位置が測位される場合、車両の走行移動距離が長くなるほど、測位精度が低くなり、測位誤差の範囲は広がって大きくなる。従って、本実施例のシステムの如く、自車位置の測位精度が低いほどより広い道路の認識範囲を設定し、また、自車両と認識すべき対象物との走行レーン上の相対距離が長いほどより広い道路の認識範囲を設定することとすれば、対象物の認識処理が常に行われるものでなくそのタイミングが限定されるものであっても、自車両の認識すべき対象物が認識不可となるのを防止することができ、対象物認識の性能低下を抑止することが可能である。
また、本実施例においては、設定された道路認識範囲においてバックカメラ32の撮像画像を用いた認識処理により対象物が認識されると、予め地図データベース30に格納されているその対象物の位置データを利用して自車両の位置を補正する第2マップマッチングが実行される。地図データベース30に格納されている対象物の位置データは、極めて精度が高く、その誤差がほとんど生じないデータである。従って、本実施例のシステムの如く認識対象物に基づいた位置へ自車位置を補正することとすれば、その補正に際しバックカメラ32の撮像画像から認識した対象物の位置データを用いることとなるので、自車両の位置を正確に測位することが可能となり、対象物の認識ごとに自車位置の測位精度を高めることが可能となる。
また、本実施例においては、自車両が今後走行する目標対象物までの道路上の全対象物をその都度バックカメラ32の撮像画像の処理により認識してその全対象物の認識ごとに自車位置補正を実施することとしてもよいが、これに代えて、その全対象物のうち特定の一部の対象物のみを画像処理により認識してその特定の対象物の認識ごとにのみ自車位置補正を実施することとしてもよい。
例えば、自車両において実行可能な支援制御を適切に行ううえで要求される測位精度を確保するのに必要な対象物を、その支援制御を適切に実行するのに要求される測位精度、並びに現状の測位精度、自車両との相対距離、及び目標対象物との相対距離に基づいて選定した上で、その選定した対象物を画像処理により認識して自車位置補正(第2マップマッチング)を実施するうえでの基準とする。かかる構成によれば、カメラ撮像画像からの対象物認識を行う回数やその認識対象物に基づく自車位置補正を行う回数を削減することができ、対象物認識や自車位置補正を行ううえでの処理負担を軽減することができると共に、更に、自車位置の精度をある程度高精度に維持して自車位置に応じた支援制御を適切に実行可能することが可能となる。
尚、上記の実施例においては、測位部12が特許請求の範囲に記載した「対象物認識装置」に、対象物の位置データを格納する地図データベース30が特許請求の範囲に記載した「格納手段」に、バックカメラ32が特許請求の範囲に記載した「撮像手段」に、GPS及び自車両の走行軌跡の双方に基づいて並びにカメラ撮像画像を用いた対象物の認識結果に基づいて自車位置を測位することが特許請求の範囲に記載した「所定の手法」に、それぞれ相当している。
また、上記の実施例においては、マップマッチング部28が、図7に示すルーチン中ステップ100の処理を実行することにより特許請求の範囲に記載した「測位手段」が、ステップ108の処理を実行することにより特許請求の範囲に記載した「測位精度算出手段」が、ステップ110の処理を実行することにより特許請求の範囲に記載した「認識範囲設定手段」が、ステップ112において設定された道路範囲において認識すべき対象物を認識することにより特許請求の範囲に記載した「対象物認識手段」が、ステップ102の処理を実行することにより特許請求の範囲に記載した「認識対象物設定手段」が、それぞれ実現されている。
ところで、上記の実施例においては、車両の後部に配設されたバックカメラ32の撮像画像を用いて道路上の対象物を認識することとしているが、本発明はこれに限定されるものではなく、かかる対象物の認識を、車両の前部に配設されたカメラの撮像画像や外部インフラから送られてくる情報に基づいて行うこととしてもよい。
また、上記の実施例においては、バックカメラ32の撮像画像を用いて認識すべき対象物の認識処理を行うべき道路の認識範囲の設定を、ある時点において算出される自車位置の測位精度、並びに、測位される自車位置及び予め地図データベース30に格納されている認識すべき対象物の位置(具体的には、両者の走行レーン上での相対距離)に基づいて行うこととし、その設定後は自車両がその認識範囲内に進入する前であっても、その認識範囲の再設定を行うことはしていないが、その設定後、自車両がその設定された認識範囲内に進入するまで例えば所定時間ごとに、更新される自車位置の測位精度、更新される自車位置、及び対象物の位置に基づいて上記した認識範囲を再設定することとしてもよい。かかる構成においては、測位精度が前回設定時におけるものから低下する一方で、自車両と対象物との相対距離が前回設定時におけるものから短くなるため、今回設定時と前回設定時とで、設定される道路の認識範囲が大きく変化することはほとんどなく、ほぼ一致したものとなる。尚、車両移動に伴って測位精度が低下するときは、その移動距離分だけ自車両と認識すべき対象物との相対距離が短くなるが、逆に上記の作用を効果的に実現するためには、上記した現象の発生前後で対象物の認識処理を行うべき道路の認識範囲があまり大きく変化しないように図6に示す如きマップを設定することが適切である。
また、上記の実施例においては、自車両が今後走行する道路上の対象物を自車位置補正のために認識すべき対象物として設定するが、この自車位置補正のための認識対象物設定について、道路走行レーンに沿った前後方向の補正と、道路走行レーンに垂直な左右方向の補正とをそれぞれ別個に分けて独立して行うこととしてもよい。自車位置の前後方向の補正を行ううえで有効となる対象物の種類と左右方向の補正を行ううえで有効となる対象物の種類とは、異なることが多い。従って、このように前後方向補正と左右方向補正とを区別して自車位置補正のための認識対象物設定を行うこととすれば、自車位置補正を行ううえでの効率化や処理負担の軽減を図ることが可能となる。
また、上記の実施例においては、カメラ撮像画像を用いて認識した道路上の対象物を、自車位置をGPSや車速,舵角などによる走行軌跡に基づいたものから補正する第2マップマッチングに必要なものとして利用することとしているが、本発明はこれに限定されるものではなく、例えばその対象物が車両の進入を禁止する区域を表す道路標示として設けられている場合において車両がその区域に進入したら車両警報を発するシステムなど、マップマッチング以外の他の用途に利用するものであってもよい。
また、上記の実施例においては、地図データベース30を車両に搭載するものとしたが、センタに設けるものとし、車両がその都度通信アクセスしてその地図データベースに格納するデータを読み出せるようにしてもよい。
更に、上記の実施例においては、支援制御として一時停止制御、交差点制御、速度制御、案内制御を挙げたが、自車両の位置に応じて実行される他の制御を行うシステムに適用することも可能である。
本発明の一実施例である車両に搭載されるシステムの構成図である。 車両の移動距離と測位誤差との関係を表した図である。 測位される自車位置と実道路上における自車位置とに生ずる誤差を説明するための図である。 本実施例のシステムにおいて自車位置の測位精度に応じて対象物を認識すべき道路の認識範囲を設定する手法を説明するための図である。 本実施例のシステムにおいて自車両と対象物との相対距離に応じて対象物を認識すべき道路の認識範囲を設定する手法を説明するための図である。 本実施例のシステムにおいて対象物を認識すべき道路の認識範囲を設定するうえで用いられるマップを表した図である。 本実施例のシステムにおいて実行される制御ルーチンの一例のフローチャートである。
符号の説明
12 測位部
14 支援制御部
16 GPS受信機
18 方位センサ
20 Gセンサ
22 車速センサ
24 推測航法部
28 マップマッチング部
30 地図データベース
32 バックカメラ

Claims (8)

  1. 所定の手法に従って自車両の位置を測位する測位手段と、
    自車両の位置を測位するうえでの測位精度を算出する測位精度算出手段と、
    予め自車両の認識すべき道路上の対象物の位置情報を格納する格納手段と、
    前記測位手段により測位された自車両の位置、前記格納手段に格納された前記対象物の位置、及び前記測位精度算出手段により算出された前記測位精度に基づいて、該対象物を認識すべき道路の認識範囲を設定する認識範囲設定手段と、
    前記認識範囲設定手段により設定された前記認識範囲において前記対象物を認識する対象物認識手段と、
    を備えることを特徴とする対象物認識装置。
  2. 前記認識範囲設定手段は、前記測位精度算出手段により算出される前記測位精度が低いほどより広い前記認識範囲を設定することを特徴とする請求項1記載の対象物認識装置。
  3. 前記認識範囲設定手段は、前記測位手段により測位された自車両の位置から前記格納手段に情報格納された前記対象物の位置までの距離が長いほどより広い前記認識範囲を設定することを特徴とする請求項1又は2記載の対象物認識装置。
  4. 前記測位手段は、前記対象物認識手段により前記認識範囲において前記対象物が認識される場合、該認識結果に基づいて、自車両の位置をGPS又は自車両の走行軌跡に基づいたものから補正することを特徴とする請求項1乃至3の何れか一項記載の対象物認識装置。
  5. 前記測位精度算出手段は、前記測位精度を、前記測位手段により前記対象物の認識結果に基づいた自車両位置の補正を行った時点におけるものから、以後少なくとも走行距離に応じて低下するように算出することを特徴とする請求項4記載の対象物認識装置。
  6. 前記格納手段に位置情報が格納される全対象物のうち自車両の走行経路上に存在する特定の対象物を、認識すべき対象物として設定する認識対象物設定手段を備え、
    前記対象物認識手段は、前記認識対象物設定手段により設定される認識すべき対象物のみを認識することを特徴とする請求項1乃至5の何れか一項記載の対象物認識装置。
  7. 自車両位置に応じた支援制御を実行する支援制御装置に要求される前記測位精度を該支援制御の実行時に満たす必要がある場合、前記格納手段に位置情報が格納される全対象物のうち、前記測位手段による認識結果に基づいた自車両位置の補正により前記支援制御装置に要求される前記測位精度を前記支援制御の実行時に満たすことが可能となる自車両の走行経路上に存在する対象物を、認識すべき対象物として設定する認識対象物設定手段を備え、
    前記対象物認識手段は、前記認識対象物設定手段により設定される認識すべき対象物のみを認識することを特徴とする請求項1乃至5の何れか一項記載の対象物認識装置。
  8. 前記対象物認識手段は、自車両の所定位置に配設された撮像手段により撮影される前記認識範囲設定手段による前記認識範囲における画像情報を用いて、前記対象物を認識することを特徴とする請求項1乃至7の何れか一項記載の対象物認識装置。
JP2006138256A 2006-05-17 2006-05-17 対象物認識装置 Active JP4724043B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006138256A JP4724043B2 (ja) 2006-05-17 2006-05-17 対象物認識装置
US12/067,100 US7898437B2 (en) 2006-05-17 2007-05-15 Object recognition device
EP07743414.0A EP2019288B1 (en) 2006-05-17 2007-05-15 Object recognition device
CN2007800009771A CN101346603B (zh) 2006-05-17 2007-05-15 对象物识别装置
PCT/JP2007/059979 WO2007132860A1 (ja) 2006-05-17 2007-05-15 対象物認識装置
KR1020087006354A KR101018620B1 (ko) 2006-05-17 2007-05-15 대상물 인식 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006138256A JP4724043B2 (ja) 2006-05-17 2006-05-17 対象物認識装置

Publications (2)

Publication Number Publication Date
JP2007309757A JP2007309757A (ja) 2007-11-29
JP4724043B2 true JP4724043B2 (ja) 2011-07-13

Family

ID=38693949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006138256A Active JP4724043B2 (ja) 2006-05-17 2006-05-17 対象物認識装置

Country Status (6)

Country Link
US (1) US7898437B2 (ja)
EP (1) EP2019288B1 (ja)
JP (1) JP4724043B2 (ja)
KR (1) KR101018620B1 (ja)
CN (1) CN101346603B (ja)
WO (1) WO2007132860A1 (ja)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009915A (ja) * 2006-06-30 2008-01-17 Pioneer Electronic Corp 道路標識判定装置、方法及びプログラム
JP4724079B2 (ja) * 2006-09-13 2011-07-13 トヨタ自動車株式会社 対象物認識装置
JP4980118B2 (ja) * 2007-04-06 2012-07-18 アルパイン株式会社 車載用ナビゲーション装置
JP2009043186A (ja) * 2007-08-10 2009-02-26 Denso Corp 情報記憶装置、及び走行環境情報認識装置
JP2009180631A (ja) * 2008-01-31 2009-08-13 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法およびプログラム
JP5385893B2 (ja) * 2008-03-11 2014-01-08 パナソニック株式会社 位置特定システムおよびセンサ装置
JP5001911B2 (ja) * 2008-06-30 2012-08-15 アイシン・エィ・ダブリュ株式会社 停止義務地点学習装置及び停止義務地点学習プログラム、並びにこれを用いたナビゲーション装置
WO2010044188A1 (ja) * 2008-10-17 2010-04-22 三菱電機株式会社 ナビゲーション装置
TWI387775B (zh) * 2008-12-18 2013-03-01 Ind Tech Res Inst 定位系統與定位方法
WO2011039977A1 (ja) * 2009-09-29 2011-04-07 パナソニック株式会社 横断歩道標示検出方法および横断歩道標示検出装置
JP5062497B2 (ja) 2010-03-31 2012-10-31 アイシン・エィ・ダブリュ株式会社 風景画像認識を用いた自車位置検出システム
US9140792B2 (en) * 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
JP5742559B2 (ja) * 2011-08-01 2015-07-01 アイシン・エィ・ダブリュ株式会社 位置判定装置およびナビゲーション装置並びに位置判定方法,プログラム
EP2749468B1 (en) * 2011-08-25 2019-02-27 Nissan Motor Co., Ltd Autonomous driving control system for vehicle
US9235766B2 (en) 2011-10-20 2016-01-12 International Business Machines Corporation Optimizing the detection of objects in images
KR101919366B1 (ko) * 2011-12-22 2019-02-11 한국전자통신연구원 차량 내부 네트워크 및 영상 센서를 이용한 차량 위치 인식 장치 및 그 방법
WO2013101045A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Navigation systems and associated methods
JP2013217799A (ja) * 2012-04-10 2013-10-24 Honda Elesys Co Ltd 物体検知装置、物体検知方法、物体検知プログラム、及び動作制御システム
US9111173B2 (en) 2012-04-23 2015-08-18 Honda Motor Co., Ltd. Learning part-based models of objects
US9123152B1 (en) 2012-05-07 2015-09-01 Google Inc. Map reports from vehicles in the field
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JP5895815B2 (ja) * 2012-10-30 2016-03-30 トヨタ自動車株式会社 残距離算出装置、残距離算出方法及び運転支援装置
US9495602B2 (en) * 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
DE102014002150B3 (de) * 2014-02-15 2015-07-23 Audi Ag Verfahren zur Ermittlung der absoluten Position einer mobilen Einheit und mobile Einheit
US9465388B1 (en) 2014-03-03 2016-10-11 Google Inc. Remote assistance for an autonomous vehicle in low confidence situations
US9720410B2 (en) 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9547989B2 (en) 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
JP6496982B2 (ja) * 2014-04-11 2019-04-10 株式会社デンソー 認知支援システム
BR112016026372B1 (pt) * 2014-05-20 2022-03-03 Nissan Motor Co. Ltd Aparelho de detecção de alvo e método de detecção de alvo
WO2015177864A1 (ja) * 2014-05-20 2015-11-26 日産自動車株式会社 信号機認識装置及び信号機認識方法
JP5984154B2 (ja) * 2014-09-24 2016-09-06 三菱電機株式会社 運転支援装置
CN107076564B (zh) * 2014-10-22 2018-11-13 日产自动车株式会社 行驶路径运算装置
MX359043B (es) * 2014-10-22 2018-09-13 Nissan Motor Dispositivo de cálculo de la ruta de desplazamiento.
US9569693B2 (en) * 2014-12-31 2017-02-14 Here Global B.V. Method and apparatus for object identification and location correlation based on received images
CN111351494A (zh) * 2015-02-10 2020-06-30 御眼视觉技术有限公司 导航系统及计算机可读介质
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
US10260889B2 (en) 2015-05-28 2019-04-16 Nissan Motor Co., Ltd. Position estimation device and position estimation method
BR112017027773B1 (pt) 2015-06-26 2022-06-21 Nissan Motor Co., Ltd Aparelho de determinação de posição de veículo e método de determinação de posição de veículo
JP6376059B2 (ja) * 2015-07-06 2018-08-22 トヨタ自動車株式会社 自動運転車両の制御装置
KR20180021159A (ko) * 2015-07-13 2018-02-28 닛산 지도우샤 가부시키가이샤 신호기 인식 장치 및 신호기 인식 방법
CN106569245B (zh) * 2015-10-10 2021-01-05 腾讯科技(深圳)有限公司 一种车辆定位方法及装置
CN105355071B (zh) * 2015-11-16 2017-09-29 北京握奇智能科技有限公司 一种车载终端实路动态定位精度的自动化评估系统和方法
US9494438B1 (en) 2015-12-15 2016-11-15 Honda Motor Co., Ltd. System and method for verifying map data for a vehicle
CN106996785B (zh) * 2016-01-25 2019-12-10 北京四维图新科技股份有限公司 一种对导航数据进行更新的方法及装置
JP6536698B2 (ja) * 2016-01-29 2019-07-03 日産自動車株式会社 車両の走行制御方法および車両の走行制御装置
MX2018008988A (es) * 2016-01-29 2018-11-19 Nissan Motor Metodo de control de desplazamiento de vehiculo, y dispositivo para control de desplazamiento de vehiculo.
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
DE102016208488A1 (de) * 2016-05-18 2017-11-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs
JP6432116B2 (ja) * 2016-05-23 2018-12-05 本田技研工業株式会社 車両位置特定装置、車両制御システム、車両位置特定方法、および車両位置特定プログラム
JP6645910B2 (ja) * 2016-05-31 2020-02-14 株式会社デンソー 位置推定装置
DE102016211420A1 (de) * 2016-06-27 2017-12-28 Robert Bosch Gmbh Verfahren zum Bereitstellen einer Lokalisierungsinformation zum Lokalisieren eines Fahrzeugs an einem Lokalisierungsort und Verfahren zum Bereitstellen zumindest einer Information zum Lokalisieren eines Fahrzeugs durch ein anderes Fahrzeug
US10133942B2 (en) 2016-07-05 2018-11-20 Nauto Global Limited System and method for automatic driver identification
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
EP3535646A4 (en) 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
DE102016015513A1 (de) * 2016-12-23 2018-06-28 Lucas Automotive Gmbh Fahrassistenz-System eines Kraftfahrzeugs
WO2018138782A1 (ja) * 2017-01-24 2018-08-02 富士通株式会社 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法
JP6579119B2 (ja) * 2017-01-24 2019-09-25 トヨタ自動車株式会社 車両制御装置
GB2559196B (en) * 2017-01-31 2021-11-17 Sony Europe Bv Determining a position of a vehicle on a track
CN108303103B (zh) * 2017-02-07 2020-02-07 腾讯科技(深圳)有限公司 目标车道的确定方法和装置
JP6589926B2 (ja) * 2017-04-07 2019-10-16 トヨタ自動車株式会社 物体検出装置
DE102018108572B4 (de) * 2017-04-12 2023-05-04 Toyota Jidosha Kabushiki Kaisha Spurwechselunterstützungsvorrichtung für ein fahrzeug
US10262234B2 (en) * 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
US11519727B2 (en) 2017-05-19 2022-12-06 Pioneer Corporation Measurement device, measurement method and program
WO2018221453A1 (ja) * 2017-05-31 2018-12-06 パイオニア株式会社 出力装置、制御方法、プログラム及び記憶媒体
JP2018203017A (ja) * 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
CN107339996A (zh) * 2017-06-30 2017-11-10 百度在线网络技术(北京)有限公司 车辆自定位方法、装置、设备及存储介质
EP3428577A1 (en) * 2017-07-12 2019-01-16 Veoneer Sweden AB A driver assistance system and method
WO2019021421A1 (ja) * 2017-07-27 2019-01-31 日産自動車株式会社 運転支援車両の自己位置補正方法及び自己位置補正装置
JP7013727B2 (ja) * 2017-08-25 2022-02-01 株式会社デンソー 車両制御装置
JP6533269B2 (ja) * 2017-10-27 2019-06-19 三菱電機株式会社 車両走行制御装置および車両走行制御方法
JP6859927B2 (ja) * 2017-11-06 2021-04-14 トヨタ自動車株式会社 自車位置推定装置
CN108010355B (zh) * 2018-01-02 2020-08-04 湖北汽车工业学院 交通灯匹配过程中运动车辆定位滤波及预测方法
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
JP6881369B2 (ja) * 2018-03-26 2021-06-02 トヨタ自動車株式会社 自車位置推定装置
JP7054878B2 (ja) * 2018-03-28 2022-04-15 パナソニックIpマネジメント株式会社 管理装置、管理システム、および位置補正方法
CN111936820A (zh) * 2018-03-30 2020-11-13 丰田自动车欧洲公司 用于调整车辆外部位置信息的系统和方法
CN110553639B (zh) * 2018-06-04 2021-04-27 百度在线网络技术(北京)有限公司 用于生成位置信息的方法和装置
JP2019212187A (ja) * 2018-06-08 2019-12-12 スズキ株式会社 車両用運転支援装置
CN110717350A (zh) * 2018-07-11 2020-01-21 沈阳美行科技有限公司 一种行车轨迹的校正方法及校正装置
US11829143B2 (en) * 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
CN110379191B (zh) * 2018-11-08 2020-12-22 北京京东尚科信息技术有限公司 一种为无人设备推送道路信息的方法和装置
CN111212375B (zh) 2018-11-20 2021-08-03 华为技术有限公司 定位位置调整方法及其装置
US11630197B2 (en) * 2019-01-04 2023-04-18 Qualcomm Incorporated Determining a motion state of a target object
JP7120036B2 (ja) * 2019-01-16 2022-08-17 トヨタ自動車株式会社 自動駐車管理装置
US20220101509A1 (en) * 2019-01-30 2022-03-31 Nec Corporation Deterioration diagnostic device, deterioration diagnostic system, deterioration diagnostic method, and recording medium
JP2020138653A (ja) * 2019-02-28 2020-09-03 本田技研工業株式会社 車両の車線逸脱防止支援装置
CN112149659B (zh) * 2019-06-27 2021-11-09 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
CN112229417B (zh) * 2019-07-17 2023-03-24 北京国家新能源汽车技术创新中心有限公司 车辆定位方法、装置、计算机设备和存储介质
KR102332494B1 (ko) 2019-09-11 2021-11-30 한국도로공사 영상과 정밀지도에 기반한 정밀 측위정보와 gnss 측위정보 간의 측위차이에 대한 배포정보 생성 장치 및 방법
EP3825731B1 (de) * 2019-11-21 2022-01-05 Sick Ag Optoelektronischer sicherheitssensor und verfahren zur sicheren bestimmung der eigenen position
EP3875908B1 (de) * 2020-03-05 2022-02-23 Sick Ag Navigieren eines fahrzeugs und virtuelle spurführungsvorrichtung
JP7467299B2 (ja) 2020-09-17 2024-04-15 株式会社東芝 位置管理システム、位置特定装置、および、位置特定方法
JP7287373B2 (ja) * 2020-10-06 2023-06-06 トヨタ自動車株式会社 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
CN113096150A (zh) * 2021-03-31 2021-07-09 北京万集科技股份有限公司 行驶轨迹的生成方法和系统、存储介质及电子装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69219006T2 (de) * 1991-05-21 1997-11-13 Matsushita Electric Ind Co Ltd Fahrzeugpositionsbestimmungsvorrichtung
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
KR100224326B1 (ko) * 1995-12-26 1999-10-15 모리 하루오 차량용 네비게이션장치
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JPH1137776A (ja) * 1997-07-24 1999-02-12 Denso Corp 車両用ナビゲーション装置
JPH11137776A (ja) 1997-11-08 1999-05-25 Takasago Electric Ind Co Ltd スロットマシン
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
DE19855400A1 (de) * 1998-12-01 2000-06-15 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bestimmung eines zukünftigen Kursbereichs eines Fahrzeugs
US6246363B1 (en) * 1998-12-10 2001-06-12 Hughes Electronics Corporation Method and system for incorporating two-way ranging navigation as a calibration reference for GPS
JP2000246653A (ja) 1999-02-24 2000-09-12 Amada Co Ltd バリ取り具
JP2000346653A (ja) 1999-06-01 2000-12-15 Matsushita Electric Ind Co Ltd 車両走行支援方法及び車両走行支援装置
AU6894100A (en) * 1999-08-06 2001-03-05 Roadrisk Technologies, Llc Methods and apparatus for stationary object detection
US6587692B1 (en) * 2000-03-30 2003-07-01 Lucent Technologies Inc. Location determination using weighted ridge regression
JP2001289654A (ja) * 2000-04-11 2001-10-19 Equos Research Co Ltd ナビゲーション装置、ナビゲーション装置の制御方法、及びそのプログラムを記録した記録媒体
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US20050149251A1 (en) * 2000-07-18 2005-07-07 University Of Minnesota Real time high accuracy geospatial database for onboard intelligent vehicle applications
US6891960B2 (en) * 2000-08-12 2005-05-10 Facet Technology System for road sign sheeting classification
CN1372127A (zh) * 2001-01-23 2002-10-02 林清芳 改进的定位和数据集成方法及其系统
JP3598986B2 (ja) * 2001-03-22 2004-12-08 日産自動車株式会社 地図情報提供装置及び地図情報提供方法
JP4613451B2 (ja) 2001-06-29 2011-01-19 信越半導体株式会社 エピタキシャルウェーハの製造方法
JP2003123197A (ja) 2001-10-16 2003-04-25 Alpine Electronics Inc 道路標示等認識装置
EP1502079A2 (en) * 2002-04-30 2005-02-02 Telmap Ltd. Dynamic navigation system
KR100495635B1 (ko) * 2002-09-02 2005-06-16 엘지전자 주식회사 네비게이션 시스템의 위치오차 보정방법
US6927699B2 (en) * 2002-12-05 2005-08-09 Denso Corporation Object recognition apparatus for vehicle, and inter-vehicle distance control unit
JP3772838B2 (ja) * 2003-02-12 2006-05-10 トヨタ自動車株式会社 車両用運転支援装置及び車両用制御装置
JP4086298B2 (ja) * 2003-06-17 2008-05-14 アルパイン株式会社 物体検出方法及び装置
JP2005017054A (ja) 2003-06-25 2005-01-20 Shimadzu Corp 3点曲げ試験による破壊靱性値測定装置
JP4321142B2 (ja) 2003-07-02 2009-08-26 日産自動車株式会社 標識認識装置
US20050107946A1 (en) * 2003-11-13 2005-05-19 Takanori Shimizu Vehicle navigation apparatus
JP4134894B2 (ja) 2003-12-09 2008-08-20 株式会社デンソー 車両運転支援装置
CN1641712A (zh) * 2004-01-15 2005-07-20 于君 车辆定位系统及其专用的车载装置和路边设施
JP4483305B2 (ja) * 2004-01-16 2010-06-16 トヨタ自動車株式会社 車両周辺監視装置
DE102004010197B4 (de) * 2004-03-02 2015-04-16 Sick Ag Verfahren zur Funktionskontrolle einer Positionsermittlungs- oder Umgebungserfassungseinrichtung eines Fahrzeugs oder zur Kontrolle einer digitalen Karte
JP4277717B2 (ja) * 2004-03-17 2009-06-10 株式会社日立製作所 車両位置推定装置およびこれを用いた運転支援装置
US7486802B2 (en) * 2004-06-07 2009-02-03 Ford Global Technologies Llc Adaptive template object classification system with a template generator
JP4365306B2 (ja) 2004-11-12 2009-11-18 株式会社パイオラックス フューエルゲージ取付け構造
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
JP4557288B2 (ja) * 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
KR101047719B1 (ko) * 2005-02-16 2011-07-08 엘지전자 주식회사 네비게이션 시스템에서 이동체의 주행경로 안내방법 및 장치
US7451041B2 (en) * 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
US20070055441A1 (en) * 2005-08-12 2007-03-08 Facet Technology Corp. System for associating pre-recorded images with routing information in a navigation system
KR100721560B1 (ko) * 2005-11-30 2007-05-23 한국전자통신연구원 임의 시점을 가지는 3차원 차량정보 제공 시스템 및 그방법
JP4935145B2 (ja) * 2006-03-29 2012-05-23 株式会社デンソー カーナビゲーション装置
US20080243378A1 (en) * 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
RU2010136929A (ru) * 2008-02-04 2012-03-20 Теле Атлас Норт Америка Инк. (Us) Способ для согласования карты с обнаруженными датчиком объектами

Also Published As

Publication number Publication date
KR20080037712A (ko) 2008-04-30
JP2007309757A (ja) 2007-11-29
CN101346603B (zh) 2011-08-03
WO2007132860A1 (ja) 2007-11-22
KR101018620B1 (ko) 2011-03-03
US7898437B2 (en) 2011-03-01
EP2019288B1 (en) 2013-12-18
US20100061591A1 (en) 2010-03-11
EP2019288A1 (en) 2009-01-28
CN101346603A (zh) 2009-01-14
EP2019288A4 (en) 2012-03-28

Similar Documents

Publication Publication Date Title
JP4724043B2 (ja) 対象物認識装置
JP4938351B2 (ja) 車両用測位情報更新装置
JP4680131B2 (ja) 自車位置測定装置
JP5162103B2 (ja) 支援制御装置
JP4370869B2 (ja) 地図データ更新方法および地図データ更新装置
JP4977218B2 (ja) 自車位置測定装置
JP2007309670A (ja) 車両位置検出装置
KR20190051786A (ko) 자차 위치 추정 장치
JP6941178B2 (ja) 自動運転制御装置及び方法
JP4724079B2 (ja) 対象物認識装置
JP6943127B2 (ja) 位置補正方法、車両制御方法及び位置補正装置
KR101965043B1 (ko) 정밀지도 생성 지역 결정 방법 및 장치
JP4703544B2 (ja) 運転支援装置
JP2018159752A (ja) 地図情報学習方法及び地図情報学習装置
JP2022071741A (ja) 自己位置推定装置
JP2023151311A (ja) 走行制御方法及び走行制御装置
JPH1164020A (ja) 車両用走行車線推定装置、車両用走行制御装置、車両用走行車線推定方法、及び車両用走行車線推定のためのプログラムを記憶した媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250