JP4953015B2 - 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置 - Google Patents
自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置 Download PDFInfo
- Publication number
- JP4953015B2 JP4953015B2 JP2007281873A JP2007281873A JP4953015B2 JP 4953015 B2 JP4953015 B2 JP 4953015B2 JP 2007281873 A JP2007281873 A JP 2007281873A JP 2007281873 A JP2007281873 A JP 2007281873A JP 4953015 B2 JP4953015 B2 JP 4953015B2
- Authority
- JP
- Japan
- Prior art keywords
- intersection
- information
- vehicle position
- vehicle
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000009795 derivation Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
Images
Description
また、自車両の交差点の接近に応じて、画像認識範囲内でのみ対象地物の画像認識処理を行うことが可能となるため、交差点の中心部を挟んで存在するものではない対象地物の画像認識に基づいて、自車位置情報の補正を行うことを抑制することができる。したがって、自車位置情報の誤補正を抑制することができる。
を備える点にある。
本実施形態では、本発明に係る自車位置認識装置2をナビゲーション装置1に適用した場合を例として説明する。本発明に係る自車位置認識装置2は、交差点を挟んで存在することがある一対の地物を対象地物ftとして設定し、自車両100に搭載された撮像装置30により取得された画像情報Gについて画像認識を行い、当該一対の対象地物ftが画像認識された場合に、当該一対の対象地物ftの中間点と自車両100との距離から導出された交差点距離LCと、交差点の中心座標の情報を含む交差点情報Cとに基づいて自車位置情報Lを補正する機能を有している。また、本発明に係るナビゲーション装置1は、自車位置認識装置2により補正された高精度な自車位置情報Lを利用して、高精度な自車位置を地図上に示すと共に、経路案内や道路情報等を運転者に明示する機能を有している。以下に、詳細説明を行う。
地図データベース19は、所定の領域毎に分割された複数の地図からなる地図情報Mが格納されているデータベースである。図2に地図データベース19に格納されている地図情報Mの一例を示す。地図データベース19には、図2に示されるように地図情報Mとして、道路ネットワークレイヤm1、及び道路形状レイヤm2の形式で格納される。
画像情報取得部10は、カメラ等の撮像デバイスからなる撮像装置30により撮像された自車位置周辺の撮像画像からなる画像情報Gを取得する画像情報取得手段として機能する。撮像装置30は、少なくとも自車両100が走行している道路の道路表面を撮像可能な位置に配設され、例えば、図3に示されるようなバックカメラ101により構成されると好適である。このようにバックカメラ101によれば、例えば、図3において破線で囲んだ領域を撮像することで、自車両周辺の道路標示等の地物の画像を撮像することが可能となる。画像情報取得部10で取得された撮像画像からなる画像情報Gは、画像認識部13へ伝達される。
自車位置情報取得部11は、自車両100の現在位置、即ち自車位置を示す自車位置情報Lを取得する自車位置情報取得手段として機能する。自車位置情報Lは、ナビゲーション装置1が備えるGPS受信機31、距離センサ32、方位センサ33からの出力信号に基づいて算出される。具体的には、GPS受信機31は、人工衛星からのGPS信号を所定時間毎に受信する装置であり、受信された信号は自車位置情報取得部11に出力される。自車位置情報取得部11は、GPS信号を解析し、自車両100が存在する緯度及び経度の演算を行う。更に、所定時間前の緯度及び経度と新しく演算された緯度及び経度とから自車両100の進行方位や移動速度等の情報を取得することも可能である。
地図情報取得部17は、地図データベース19から地図情報Mを取得する地図情報取得手段として機能する。自車位置情報取得部11が行うマップマッチング処理に用いるために自車位置情報Lに対応する自車位置周辺の地図情報Mを地図データベース19から取得し、自車位置情報取得部11に対して出力する。また、地図情報取得部17は、ナビゲーション用演算部18による地図表示等のナビゲーション処理に用いるために、ナビゲーション用演算部18から要求された領域の地図情報Mを地図データベース19から取得し、ナビゲーション用演算部18に対して出力する。更に、地図情報取得部17は、後述の交差点情報取得部15が交差点情報を取得するために、自車位置情報取得部11により取得された自車位置情報Lに対応する自車位置周辺の地図情報Mを地図データベース19から取得し、交差点情報取得部15に対して出力する。
交差点情報取得部15は、交差点の中心座標の情報を含む交差点情報Cを取得する交差点情報取得手段として機能する。交差点の中心座標は、当該交差点の中心点mpが位置する緯度及び経度により表される。この交差点情報Cは、地図情報取得部17により取得された地図情報Mに含まれる、各交差点に対応するノードnの情報から取得される。本実施形態では、交差点情報取得部15は自車位置情報Lに基づいて、自車両100から進行方向の所定距離内に中心部mbが存在する近接交差点についての交差点情報Cを地図情報Mから取得する。取得された交差点の交差点情報Cは、位置情報補正部16に出力される。なお、位置情報補正部16については、後述する。
近接交差点特定部20は、自車両100から所定の近接距離Ln内に存在する交差点を近接交差点として特定する近接交差点特定手段として機能する。本実施形態では、この近接距離Lnに基づいて画像認識部13による対象地物ftの画像認識処理を行う範囲である画像認識範囲Aも規定する。そこで、所定の近接距離Lnについては、自車位置情報取得部11が取得する自車位置情報Lに含まれる誤差を考慮して決定される。図4は、当該近接距離Lnの説明に用いる、道路ネットワークレイヤm1を抽出した図である。図4に示されるように、交差点を示すノードnに対して、道路を示すリンクkが接続されている。ノードnは緯度及び経度で紐付けされた地図上の位置情報を有し、リンクkはリンク情報として道路種別やリンク長等の情報が含まれる。
Aは、交差点の中心点mpの前後45メートルずつである長さ90メートルの範囲に設定すると良い。なお、交差点の中心点mpから横断歩道までの最長距離30メートルと同様に、自車位置情報Lの最大誤差15メートルは単なる一例であり、GPS受信機31、距離センサ32、及び方位センサ33の精度等に応じて設定すると良い。このように、自車位置情報Lに基づいて、少なくとも自車両100が交差点の中心点mpから45メートル手前の位置に達したと判定された場合に、横断歩道(対象地物ft)の画像認識処理を行うと対象地物ftの認識漏れを防ぐことが可能となる。
画像認識部13は、画像情報取得部10で取得された画像情報Gに対する画像認識処理を行う画像認識手段として機能する。本実施形態では、画像認識部13は、交差点の中心部mbを挟んで存在することがある一対の地物を対象地物ftとして画像認識処理を行う。そして、自車位置認識装置2が有する自車位置情報Lの補正機能は、当該対象地物ftの画像認識に基づいて行われる。また、横断歩道が一対として存在していない交差点においては、自車位置情報Lの補正が行われないだけであり、自車両100が次の交差点に接近した場合には、改めて横断歩道の画像認識を行うと良い。
交差点距離導出部14は、画像認識部13により一対の対象地物ftが画像認識された場合に、当該一対の対象地物ftの中間点mtと自車両100との距離を交差点距離LCとして導出する交差点距離導出手段として機能する。以下、図5を用いて説明する。対象地物ftは、本実施例においては横断歩道である。そして、一対の対象地物ftとは、図5に示されるような交差点を挟んで存在する対象地物ft1及びft2である。ここで、一対の対象地物ftは、対象地物ft1及びft2を総称したものである。また、一対の対象地物ftの中間点mtとは、対象地物ft1と対象地物ft2との中間の地点を示すものであり、対象地物ft1、或いは対象地物ft2から対象地物ft1と対象地物ft2との間の距離l1を等分した距離であるl1/2だけ離れた地点となる。
位置情報補正部16は、交差点情報取得部15により取得された交差点情報Cと、交差点距離導出部14により導出された交差点距離LCとに基づいて、自車位置情報Lを補正する位置情報補正手段として機能する。具体的には、位置情報補正部16は、以下のように自車位置情報Lの補正を行う。まず、位置情報補正部16は、交差点距離LCにより自車両100が交差点の中心点mpから、どれだけ離れているかを認識することができる。
ナビゲーション用演算部18は、自位置表示、出発地から目的地までの経路計算、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム41に従って案内する案内情報出力手段として機能する。案内情報とは、上記のような自車位置表示、出発地から目的地までの経路計算、目的地までの進路案内、目的地検索等の演算結果を車両の乗員に対して、教示する情報である。ナビゲーション用演算部18は、地図情報取得部17により地図データベース19から自車両100周辺の地図情報Mを取得して表示装置34に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Lに基づいて自位置マークを重ね合わせて表示する演算処理を行う。また、ナビゲーション用演算部18は、公知の方法により計算された出発地から目的地までの経路と自車位置情報Lとに基づいて、表示装置34及びスピーカ35の一方又は双方を用いて進路案内を行う。また、図示は省略するが、ナビゲーション用演算部18は、この他にも、リモートコントローラや表示装置34と一体的に設けられたタッチパネルなどのユーザインタフェース等、ナビゲーション装置として必要な公知の各種構成に接続されている。これらの表示装置34やスピーカ35等もナビゲーション演算部18と共に、案内情報を出力する案内情報出力手段として機能する。以上の各案内処理は、補正後の高精度な自車位置情報Lに基づいて行われる。よって、車両の乗員に対して適切な案内が可能となる。
次に、本実施形態に係るナビゲーション装置1において実行される案内処理の手順について説明する。図8は、本実施形態に係る自車位置認識処理の全体の手順を示すフローチャートである。以下に説明する自車位置認識処理の手順は、上記のナビゲーション装置1の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方の組み合わせにより実行される。ナビゲーション装置1の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置は、上記の各機能部を構成するナビゲーションプログラムを実行するコンピュータとして動作する。
次に、本発明に係る第二の実施形態について説明する。第二の実施形態は、交差点距離の導出に際して自車両100が進行中の道路に交差する道路の道路幅情報を用いる点において、第一の実施形態と異なる。第二の実施形態に係る交差点距離導出部14が行う交差点距離LC、及び交差点情報取得部15が取得する交差点情報C以外の各機能部等の構成については第一の実施形態と同様である。そのため、以下では交差点距離導出部14、及び交差点情報取得部15を中心に説明する。なお、本説明に記載の符号は、第一の実施形態における説明に用いた符号と同様のものを用いて説明する。
交差点情報取得部15は、交差点の中心点mpの情報、及び自車両100が進行中の道路に交差する道路の道路幅情報を含む交差点情報Cを取得する交差点情報取得手段として機能する。道路幅情報は、道路の幅を示す情報であり、地図データベース19に格納される地図情報Mの道路形状レイヤm2に含まれる。図9は、自車両100と道路との関係を示した図である。自車両100が進行する道路は道路R1、当該道路R1の道路幅は道路幅w1として示される。また、自車両100が進行する道路R1に交差する道路は道路R2、当該道路R2の道路幅は道路幅w2として示される。このように自車両100が進行する道路と、当該道路に交差する道路と、夫々の道路の道幅が定義される。なお、交差点情報Cは、自車位置認識装置2により行われる自車位置情報Lの補正処理に用いるために、地図情報取得部17により交差点情報Cを含む地図情報Mとして地図データベース19から取得される。
交差点距離導出部14は、画像認識部13により一対の対象地物ftが画像認識された場合に、交差点情報Cに基づいて、当該対象地物ftにより挟まれた位置にある交差点の中心点mpから、当該交差点の通過後に対象地物ftが含まれる画像情報Gが取得された際の自車両100の位置までの距離である交差点距離LCを導出する交差点距離導出手段として機能する。交差点の中心点mpは、図9に示されるように、道路R1の道路幅w1と道路R2の道路幅w2とに基づいて導出される。詳しくは、交差点の中心点mpは、道路R1の道路幅w1の1/2の位置と、道路R2の道路幅w2の1/2の位置とが交差点の中心に向かう延長線が交差する点であり、道路幅w1及び道路幅w2は、交差点情報Cに含まれる。
(1)上記実施形態では、近接交差点を特定するための自車両100から交差点の中心部mbまでの所定距離と、画像認識範囲Aを規定するための自車両100から交差点中心部mbまでの所定距離とが、共に、近接距離Lnとして共通の値である場合を例として説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。近接交差点を特定するための自車両100から交差点の中心部mbまでの所定距離と、画像認識範囲Aを規定するための自車両100から交差点中心部mbまでの所定距離とが異なるように構成することも、当然に可能である。このような場合においては、画像認識範囲Aを規定する自車両100から交差点中心部mbまでの所定距離が、近接交差点を特定する自車両100から交差点の中心部mbまでの所定距離よりも長くなるように設定すると好適である。
2:自車位置認識装置
10:画像情報取得部(画像情報取得手段)
11:自車位置情報取得部(自車位置情報取得手段)
13:画像認識部(画像認識手段)
14:交差点距離導出部(交差点距離導出手段)
15:交差点情報取得部(交差点情報取得手段)
16:位置情報補正部(位置情報補正手段)
17:地図情報取得部(地図情報取得手段)
18:ナビゲーション用演算部(案内情報手段)
19:地図データベース
20:近接交差点特定部(近接交差点特定手段)
30:撮像装置
31:GPS受信機
32:距離センサ
33:方位センサ
34:表示装置(案内情報手段)
35:スピーカ(案内情報手段)
41:アプリケーションプログラム
C:交差点情報
G:画像情報
L:自車位置情報
M:地図情報
Claims (10)
- 自車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得手段と、
前記自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、
交差点の中心座標の情報を含む交差点情報を取得する交差点情報取得手段と、
前記自車位置情報と前記交差点情報とに基づいて、前記自車両から第1の所定距離内に中心部が存在する交差点を近接交差点として特定すると共に当該近接交差点の中心部の前後それぞれ第2の所定距離内に画像認識範囲を設定する近接交差点特定手段と、
前記交差点の中心部を挟んで存在することがある一対の地物を対象地物とし、前記画像情報に含まれる前記対象地物の画像認識処理を前記画像認識範囲内でのみ行う画像認識手段と、
前記画像認識手段により一対の前記対象地物が画像認識された場合に、当該一対の対象地物間の中間点と前記自車両との距離を交差点距離として導出する交差点距離導出手段と、
前記近接交差点についての前記交差点情報に示される中心座標と、前記交差点距離とに基づいて前記自車位置情報を補正する位置情報補正手段と、
を備える自車位置認識装置。 - 前記第1の所定距離及び前記第2の所定距離が、前記自車位置情報に含まれる誤差を考慮してそれぞれ設定されている請求項1に記載の自車位置認識装置。
- 前記位置情報補正手段は、前記近接交差点の中心座標に対して、前記交差点距離だけ離れた位置に一致させるように前記自車位置情報を補正する請求項1又は2に記載の自車位置認識装置。
- 前記交差点距離導出手段は、前記交差点距離を、前記画像認識手段による一対の前記対象地物の一方の認識位置から他方の認識位置までの前記自車両の移動距離に基づいて導出する請求項1から3のいずれか一項に記載の自車位置認識装置。
- 前記交差点情報取得手段は、前記交差点情報として、前記近接交差点において前記自車両が進行中の道路に交差する道路の道路幅情報を取得し、
前記交差点距離導出手段は、前記交差点距離を、前記道路幅情報に基づいて導出する請求項1から4のいずれか一項に記載の自車位置認識装置。 - 前記交差点情報は、交差点に対応するノードと交差点間を結ぶ道路に対応するリンクとの接続関係により道路を表す道路ネットワーク情報に含まれる前記ノードの情報であり、前記交差点の中心座標の情報は、前記ノードの座標の情報である請求項1から5のいずれか一項に記載の自車位置認識装置。
- 前記対象地物は、道路の路面に設けられた道路標示である請求項1から6のいずれか一項に記載の自車位置認識装置。
- 前記対象地物は、横断歩道である請求項1から7のいずれか一項に記載の自車位置認識装置。
- 請求項1から8のいずれか一項に記載の自車位置認識装置と、
地図情報を取得する地図情報取得手段と、
前記地図情報及び前記自車位置認識装置により補正された前記自車位置情報を参照して動作するアプリケーションプログラムと、
前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、
を備えるナビゲーション装置。 - 自車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得ステップと、
前記自車両の現在位置を示す自車位置情報を取得する自車位置情報取得ステップと、
交差点の中心座標の情報を含む交差点情報を取得する交差点情報取得ステップと、
前記自車位置情報と前記交差点情報とに基づいて、前記自車両から第1の所定距離内に中心部が存在する交差点を近接交差点として特定すると共に当該近接交差点の中心部の前後それぞれ第2の所定距離内に画像認識範囲を設定する近接交差点特定ステップと、
前記交差点の中心部を挟んで存在することがある一対の地物を対象地物とし、前記画像情報に含まれる前記対象地物の画像認識処理を前記画像認識範囲内でのみ行う画像認識ステップと、
前記画像認識ステップにより一対の前記対象地物が画像認識された場合に、当該一対の対象地物間の中間点と前記自車両との距離を交差点距離として導出する交差点距離導出ステップと、
前記近接交差点についての前記交差点情報に示される中心座標と、前記交差点距離とに基づいて前記自車位置情報を補正する位置情報補正ステップと、
をコンピュータに実行させる自車位置認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007281873A JP4953015B2 (ja) | 2007-10-30 | 2007-10-30 | 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007281873A JP4953015B2 (ja) | 2007-10-30 | 2007-10-30 | 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009109341A JP2009109341A (ja) | 2009-05-21 |
JP4953015B2 true JP4953015B2 (ja) | 2012-06-13 |
Family
ID=40777969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007281873A Expired - Fee Related JP4953015B2 (ja) | 2007-10-30 | 2007-10-30 | 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4953015B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010139478A (ja) * | 2008-12-15 | 2010-06-24 | Clarion Co Ltd | ナビゲーション装置 |
JP5899691B2 (ja) * | 2011-07-28 | 2016-04-06 | アイシン・エィ・ダブリュ株式会社 | 移動体位置検出システム、移動体位置検出装置、移動体位置検出方法及びコンピュータプログラム |
JP5786603B2 (ja) * | 2011-09-28 | 2015-09-30 | アイシン・エィ・ダブリュ株式会社 | 移動体位置検出システム、移動体位置検出装置、移動体位置検出方法及びコンピュータプログラム |
JP5724842B2 (ja) * | 2011-11-18 | 2015-05-27 | アイシン・エィ・ダブリュ株式会社 | 信号機属性検出システム、信号機属性検出装置、信号機属性検出方法及びコンピュータプログラム |
JP6969962B2 (ja) | 2017-10-05 | 2021-11-24 | トヨタ自動車株式会社 | 車両の運転支援及び/又は走行制御のための地図情報提供システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3958133B2 (ja) * | 2002-07-12 | 2007-08-15 | アルパイン株式会社 | 車両位置測定装置および方法 |
JP4975350B2 (ja) * | 2006-03-31 | 2012-07-11 | 三菱電機株式会社 | 車載用ナビゲーション装置 |
-
2007
- 2007-10-30 JP JP2007281873A patent/JP4953015B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009109341A (ja) | 2009-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4831434B2 (ja) | 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置 | |
US11086334B2 (en) | Crowdsourcing a sparse map for autonomous vehicle navigation | |
CN112923930B (zh) | 用于自主车辆导航的众包和分发稀疏地图以及车道测量 | |
JP4886597B2 (ja) | レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置 | |
US8239131B2 (en) | Navigation device, navigation method, and navigation program | |
JP5057184B2 (ja) | 画像処理システム及び車両制御システム | |
JP4953012B2 (ja) | 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム | |
JP4984152B2 (ja) | 画像認識システム、サーバ装置、及び画像認識装置 | |
EP1674826A1 (en) | Systems, methods, and programs for determining whether a vehicle is on-road or off-road | |
US20080240505A1 (en) | Feature information collecting apparatuses, methods, and programs | |
JP2009008590A (ja) | 自車位置認識装置及び自車位置認識プログラム | |
JP2011227888A (ja) | 画像処理システム及び位置測位システム | |
JP4596566B2 (ja) | 自車情報認識装置及び自車情報認識方法 | |
JP5742558B2 (ja) | 位置判定装置およびナビゲーション装置並びに位置判定方法,プログラム | |
JP2000097714A (ja) | カーナビゲーション装置 | |
JP4875509B2 (ja) | ナビゲーション装置及びナビゲーション方法 | |
JP4953015B2 (ja) | 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置 | |
JP4936070B2 (ja) | ナビゲーション装置及びナビゲーションプログラム | |
JP4831433B2 (ja) | 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置 | |
JP2006317286A (ja) | 車載ナビゲーション装置 | |
JP2009069900A (ja) | 車両用ナビゲーション装置 | |
JP4789868B2 (ja) | 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置 | |
JP4789869B2 (ja) | 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置 | |
JP2007071539A (ja) | 車載ナビゲーション装置 | |
JP2009058430A (ja) | ナビゲーション装置及びナビゲーションプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120216 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4953015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |