JP4903426B2 - 画像認識装置及び方法、並びに自車位置認識装置及び方法 - Google Patents
画像認識装置及び方法、並びに自車位置認識装置及び方法 Download PDFInfo
- Publication number
- JP4903426B2 JP4903426B2 JP2005345994A JP2005345994A JP4903426B2 JP 4903426 B2 JP4903426 B2 JP 4903426B2 JP 2005345994 A JP2005345994 A JP 2005345994A JP 2005345994 A JP2005345994 A JP 2005345994A JP 4903426 B2 JP4903426 B2 JP 4903426B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- feature
- imaging
- vehicle
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
図1は、本実施形態に係る画像認識装置1を備えた自車位置認識装置2の概略構成を示すブロック図である。本実施形態においては、画像認識装置1は、互いに異なる方向をそれぞれ撮像する複数の撮像手段として、自車両3の前方を撮像するフロントカメラC1と、自車両3の後下方を撮像するバックカメラC2とを備えている(図2参照)。そして、画像認識装置1は、これらのフロントカメラC1及びバックカメラC2いずれか一方のカメラを後述する選択規則に従って選択して撮像情報を取得し、自車両3の周辺に存在する地物Fの画像認識を行う(図3参照)。また、自車位置認識装置2は、取得された撮像情報に含まれる地物Fの認識結果に基づいて、自車位置から地物Fまでの距離を演算する。そして、当該演算結果と、地物データベースDB2から取得した地物情報に含まれる地物Fの配置情報と、に基づいて自車位置情報を補正することにより、高精度の自車位置の情報を出力する。
以下、本実施形態に係る画像認識装置1を備えた自車位置認識装置2の各部の構成について詳細に説明する。なお、自車位置認識装置2の各機能部、具体的には、自車位置認識演算部9、地物情報取得部10、認識対象地物抽出部11、地物分類処理部12、天候判別部8、選択処理部13、画像認識処理部14、位置関係演算部15、及び自車位置補正部16は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア(プログラム)或いはその両方により実装されて構成されている。
位情報については、特に自車両3の走行速度が低いときに誤差が大きくなる場合がある。
本実施形態においては、この自車位置認識演算部9が、自車両3の位置情報を取得する「自車位置情報取得手段」を構成する。
道路形状レイヤL2は、道路ネットワークレイヤL1に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、2つのノードNの間(リンクL上)に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Sの情報と、各道路形状補完点Sにおける道路幅Wの情報とを有して構成されている。
物Fについての地物情報を取得する。ここで取得される地物情報は、上記のとおり各地物Fについての配置情報、種別情報、形態情報を含んでいる。本実施形態においては、この地物情報取得部10が自車位置の周辺の地物情報を取得する「地物情報取得手段」を構成する。
バックカメラC2を選択対象から除外する。すなわち、バックカメラC2は、上記のとおり、フロントカメラC1よりも撮像方向が下方に設定されており、ペイント系地物Fpは撮像されるが立体系地物Fsは撮像されない。したがって、バックカメラC2の撮像領域C2aに含まれる認識対象地物Fが立体系地物Fsのみである場合には、バックカメラC2を選択せず、フロントカメラC1の撮像領域C1a内に認識対象地物Fが存在する場合にはフロントカメラC1を選択する。この際、フロントカメラC1の撮像領域C1a内に認識対象地物Fが存在しない場合には、いずれのカメラも選択しない。
で、本実施形態においては、フロントカメラC1の撮像領域C1a内に立体系地物Fsが存在する場合には、天候情報を考慮にいれて天候が悪いほど、すなわち雨や雪の場合ほどフロントカメラC1が選択される場合が多くなるように選択基準を定める。一方、フロントカメラC1の撮像領域C1a内に立体系地物Fsが存在しない場合、すなわちフロントカメラC1の撮像領域C1a内及びバックカメラC2の撮像領域C2a内の双方にペイント系地物Fpのみが存在する場合には、天候によるフロントカメラC1とバックカメラC2との差が生じないため、天候情報を考慮に入れず、他の情報によりカメラ選択を行うように選択基準を定める。
Z1=Y1×x1+Y2×x2+Y3×x3・・・(1)
そして、第一状況コストZ1が、第一判断閾値K1以上である場合(Z1≧K1)にバックカメラC2を選択し、第一判断閾値K1未満である場合(Z1<K1)にフロントカメラC1を選択する。ここで、第一判断閾値K1の値は、フロントカメラC1とバックカメラC2のいずれを選択しても地物Fの認識率及び認識された地物との間の距離認識精度についての優劣が生じない境界付近に設定するのが好適であり、例えば、K1=15とする。
ータ値を用いて、以下の式(2)に従って演算する。
Z2=Y2×x2+Y3×x3・・・(2)
そして、第二状況コストZ2が、第二判断閾値K2以上である場合(Z2≧K2)にバックカメラC2を選択し、第二判断閾値K2未満である場合(Z2<K2)にフロントカメラC1を選択する。ここで、第二判断閾値K2の値は、フロントカメラC1とバックカメラC2のいずれを選択しても地物Fの認識率及び認識された地物との間の距離認識精度についての優劣が生じない境界付近に設定するのが好適であり、例えば、K2=10とする。
次に、本実施形態に係る画像認識装置1を備えた自車位置認識装置2による画像認識方法及び自車位置認識方法の各工程について、図6及び図7に示すフローチャートに基づいて詳細に説明する。図6は、自車位置認識装置2による自車位置認識方法の全体の処理の流れを示すフローチャートであり、図7は、図6のステップ#07のカメラ選択処理の詳
細を示すフローチャートである。なお、図6のステップ#01〜#09が、本実施形態に係る画像認識装置1による画像認識方法に相当する。
記選択規則(1)で説明したとおり、認識対象地物FがフロントカメラC1の撮像領域C1a内にのみ存在する場合には(ステップ#21:フロントカメラ)、フロントカメラC1を選択する(ステップ#31)。一方、認識対象地物FがバックカメラC2の撮像領域C2a内にのみ存在する場合には(ステップ#21:バックカメラ)、ステップ#06の分類結果に基づいて、その撮像領域C2a内にペイント系地物Fpを含むか否かについて判定する。そして、撮像領域C2a内にペイント系地物Fpを含む場合には(ステップ#22:YES)、バックカメラC2を選択する(ステップ#30)。上記選択規則(2)で説明したとおり、撮像領域C2a内にペイント系地物Fpを含まない場合、すなわち、撮像領域C2a内に立体系地物Fsのみが含まれる場合には(ステップ#22:NO)、いずれのカメラも選択せず、処理は終了する。これは、上記のとおり、本実施形態においては、バックカメラC2には立体系地物Fsは撮像されない設定となっているからである。
(1)上記の実施形態においては、方位センサ5が自車両の旋回状態を検出する「旋回状態検出手段」を構成し、車速センサ6が、自車両3の車速情報を取得する「車速情報取得手段」を構成する場合について説明した。ところで、GPS受信機7及びGPS受信機7で受信された信号を解析する自車位置認識演算部9によっても、自車両3の進行方位情報及び車速情報を取得することができる。したがって、これらの情報を選択処理部13へ出力する構成とすることにより、方位センサ5及び車速センサ6に加えて、或いはこれらとは別に、GPS受信機7及び自車位置認識演算部9が「旋回状態検出手段」及び「車速情報取得手段」(すなわち「運動状態情報取得手段」)を構成するようにすることも好適な実施形態の一つである。
2:自車位置認識装置
3:自車両
4:照度センサ(明るさ情報取得手段)
5:方位センサ(旋回状態検出手段)
6:車速センサ(車速情報取得手段)
8:天候判別部(天候情報取得手段)
9:自車位置認識演算部(自車位置情報取得手段)
10:地物情報取得部(地物情報取得手段)
13:選択処理部(選択手段)
14:画像認識処理部
15:位置関係演算部(位置関係演算手段)
16:自車位置補正部(自車位置補正手段)
20:周辺情報取得手段
21:運動状態情報取得手段
C1:フロントカメラ(第一撮像手段)
C1a:フロントカメラの撮像領域
C2:バックカメラ(第二撮像手段)
C2a:バックカメラの撮像領域
F:地物
Fp:ペイント系地物
Fs:立体系地物
DB1:地図データベース
DB2:地物データベース
Claims (10)
- 自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段として、前記自車両の前方を撮像する第一撮像手段と、この第一撮像手段よりも撮像方向が下方に設定された第二撮像手段とを備え、前記自車両の周辺に存在する地物の画像認識を行う画像認識装置であって、
前記自車両の位置情報を取得する自車位置情報取得手段と、
前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得手段と、
必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択手段と、
前記選択手段により選択された撮像手段からの撮像情報に含まれる地物の画像認識処理を行う画像認識処理手段と、
前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記複数の撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出する認識対象地物抽出手段と、
前記自車両の旋回状態を検出する旋回状態検出手段と、を備え、
前記選択手段は、前記認識対象地物抽出手段により抽出された前記認識対象地物が撮像領域内に存在する撮像手段の中から一つを選択するように、かつ、前記自車両が旋回中である場合には、前記第一撮像手段を選択対象から除外するように定められた前記選択規則を有している画像認識装置。 - 自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段として、前記自車両の前方を撮像する第一撮像手段と、この第一撮像手段よりも撮像方向が下方に設定された第二撮像手段とを備え、前記自車両の周辺に存在する地物の画像認識を行う画像認識装置であって、
前記自車両の位置情報を取得する自車位置情報取得手段と、
前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得手段と、
必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択手段と、
前記選択手段により選択された撮像手段からの撮像情報に含まれる地物の画像認識処理を行う画像認識処理手段と、
前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記複数の撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出する認識対象地物抽出手段と、を備え、
前記自車両の周辺の天候情報を取得する天候情報取得手段、前記自車両の周辺の明るさ情報を取得する明るさ情報取得手段、及び前記自車両の車速情報を取得する車速情報取得手段のいずれか一つ以上を更に備え、
前記選択手段は、前記認識対象地物抽出手段により抽出された前記認識対象地物が撮像領域内に存在する撮像手段の中から一つを選択するように、かつ、前記第一撮像手段の撮像領域と前記第二撮像手段の撮像領域の双方に前記認識対象地物が存在する場合には、前記天候情報、前記明るさ情報、及び前記車速情報のいずれか一つ以上に基づいて、前記第一撮像手段及び前記第二撮像手段の一方を選択するように定められた前記選択規則を有している画像認識装置。 - 前記認識対象地物抽出手段は、前記自車位置情報に基づいて地図上における前記複数の撮像手段のそれぞれの撮像領域を算出し、当該算出された撮像領域と前記地物情報に含まれる各地物の配置情報とに基づいて、前記複数の撮像手段のそれぞれの撮像領域内に含まれる前記認識対象地物を抽出する請求項1又は2に記載の画像認識装置。
- 前記自車両の運動状態に関する情報である運動状態情報を取得する運動状態情報取得手段、及び前記自車両の周辺状況に関する情報である周辺情報を取得する周辺情報取得手段の一方又は双方を更に備え、
前記選択手段は、前記自車位置情報及び前記地物情報に加えて、前記運動状態情報及び前記周辺情報の一方又は双方に基づいて、前記複数の撮像手段の一つを選択する請求項1から3のいずれか一項に記載の画像認識装置。 - 前記選択手段は、前記地物情報に含まれる各地物の種別情報に従って前記各地物がペイント系地物か立体系地物かを分類した結果に基づいて、前記第二撮像手段の撮像領域に含まれる前記認識対象地物が前記立体系地物のみである場合には、前記第二撮像手段を選択対象から除外するように定められた前記選択規則を有している請求項1から4のいずれか一項に記載の画像認識装置。
- 前記選択手段は、前記天候情報に関して天候が悪いほど、前記明るさ情報に関して暗いほど、前記車速情報に関して車速が高いほど、前記第一撮像手段を選択する場合が多くなるように定められた前記選択規則を有している請求項2に記載の画像認識装置。
- 上記請求項1から6のいずれか一項に記載の画像認識装置を備えた自車位置認識装置であって、
前記画像認識処理手段による認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算手段と、
前記位置関係演算手段による演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正手段と、
を備える自車位置認識装置。 - 自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段として、前記自車両の前方を撮像する第一撮像手段と、この第一撮像手段よりも撮像方向が下方に設定された第二撮像手段とを用いて、前記自車両の周辺に存在する地物の画像認識を行う画像認識方法であって、
前記自車両の位置情報を取得する自車位置情報取得ステップと、
前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得ステップと、
必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択ステップと、
前記選択ステップにより選択された撮像手段からの撮像情報に含まれる地物の画像認識処理を行う画像認識ステップと、
前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記複数の撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出する認識対象地物抽出ステップと、
前記自車両の旋回状態を検出する旋回状態検出ステップと、を備え、
前記選択ステップでは、前記認識対象地物抽出ステップで抽出された前記認識対象地物が撮像領域内に存在する撮像手段の中から一つを選択するように、かつ、前記自車両が旋回中である場合には、前記第一撮像手段を選択対象から除外するように定められた前記選択規則を用いて、前記複数の撮像手段の一つを選択する画像認識方法。 - 自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段として、前記自車両の前方を撮像する第一撮像手段と、この第一撮像手段よりも撮像方向が下方に設定された第二撮像手段とを用いて、前記自車両の周辺に存在する地物の画像認識を行う画像認識方法であって、
前記自車両の位置情報を取得する自車位置情報取得ステップと、
前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得ステップと、
必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択ステップと、
前記選択ステップにより選択された撮像手段からの撮像情報に含まれる地物の画像認識処理を行う画像認識ステップと、
前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記複数の撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出する認識対象地物抽出ステップと、を備え、
前記自車両の周辺の天候情報を取得する天候情報取得ステップ、前記自車両の周辺の明るさ情報を取得する明るさ情報取得ステップ、及び前記自車両の車速情報を取得する車速情報取得ステップのいずれか一つ以上を更に備え、
前記選択ステップでは、前記認識対象地物抽出ステップで抽出された前記認識対象地物が撮像領域内に存在する撮像手段の中から一つを選択するように、かつ、前記第一撮像手段の撮像領域と前記第二撮像手段の撮像領域の双方に前記認識対象地物が存在する場合には、前記天候情報、前記明るさ情報、及び前記車速情報のいずれか一つ以上に基づいて、前記第一撮像手段及び前記第二撮像手段の一方を選択するように定められた前記選択規則を用いて、前記複数の撮像手段の一つを選択する画像認識方法。 - 上記請求項8又は9に記載の画像認識方法を含む自車位置認識方法であって、
前記画像認識ステップによる認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算ステップと、
前記位置関係演算ステップによる演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正ステップと、
を備える自車位置認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005345994A JP4903426B2 (ja) | 2005-11-30 | 2005-11-30 | 画像認識装置及び方法、並びに自車位置認識装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005345994A JP4903426B2 (ja) | 2005-11-30 | 2005-11-30 | 画像認識装置及び方法、並びに自車位置認識装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007147564A JP2007147564A (ja) | 2007-06-14 |
JP4903426B2 true JP4903426B2 (ja) | 2012-03-28 |
Family
ID=38209125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005345994A Expired - Fee Related JP4903426B2 (ja) | 2005-11-30 | 2005-11-30 | 画像認識装置及び方法、並びに自車位置認識装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4903426B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4731380B2 (ja) * | 2006-03-31 | 2011-07-20 | アイシン・エィ・ダブリュ株式会社 | 自車位置認識装置及び自車位置認識方法 |
US9123242B2 (en) | 2007-12-05 | 2015-09-01 | Nec Corporation | Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program |
JP5964332B2 (ja) * | 2012-02-03 | 2016-08-03 | パイオニア株式会社 | 画像表示装置、画像表示方法及び画像表示プログラム |
JP6225889B2 (ja) | 2014-11-19 | 2017-11-08 | 株式会社豊田中央研究所 | 車両位置推定装置及びプログラム |
JP6500607B2 (ja) * | 2015-05-28 | 2019-04-17 | 日産自動車株式会社 | 自車位置判定装置及び自車位置判定方法 |
JP6500606B2 (ja) * | 2015-05-28 | 2019-04-17 | 日産自動車株式会社 | 自車位置判定装置及び自車位置判定方法 |
JP6520463B2 (ja) * | 2015-06-26 | 2019-05-29 | 日産自動車株式会社 | 車両位置判定装置及び車両位置判定方法 |
JP6488913B2 (ja) * | 2015-06-26 | 2019-03-27 | 日産自動車株式会社 | 車両位置判定装置及び車両位置判定方法 |
DE102015015437A1 (de) * | 2015-12-02 | 2017-06-08 | Conti Temic Microelectronic Gmbh | Steuergerät und Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs |
JP2017116363A (ja) * | 2015-12-24 | 2017-06-29 | アイシン・エィ・ダブリュ株式会社 | 車両位置推定システム、方法およびプログラム |
DE102016205870A1 (de) * | 2016-04-08 | 2017-10-12 | Robert Bosch Gmbh | Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs in einer Umgebung mittels Landmarken |
JP6656129B2 (ja) * | 2016-09-28 | 2020-03-04 | 日立オートモティブシステムズ株式会社 | 画像処理装置、撮像装置 |
WO2019026438A1 (ja) * | 2017-08-03 | 2019-02-07 | 株式会社小糸製作所 | 車両用照明システム、車両システム及び車両 |
JP2020190416A (ja) * | 2019-05-17 | 2020-11-26 | アイシン・エィ・ダブリュ株式会社 | 認識システム、認識方法、及び認識プログラム |
JP7371783B2 (ja) | 2020-07-07 | 2023-10-31 | 株式会社デンソー | 自車位置推定装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2906894B2 (ja) * | 1993-01-08 | 1999-06-21 | トヨタ自動車株式会社 | 車間距離検出装置 |
JP2000090393A (ja) * | 1998-09-16 | 2000-03-31 | Sumitomo Electric Ind Ltd | 車載型走行路環境認識装置 |
JP2001283202A (ja) * | 2000-03-31 | 2001-10-12 | Honda Motor Co Ltd | 車両状態認識装置 |
JP2002092796A (ja) * | 2000-09-18 | 2002-03-29 | Toyota Motor Corp | 車線認識装置 |
JP3958133B2 (ja) * | 2002-07-12 | 2007-08-15 | アルパイン株式会社 | 車両位置測定装置および方法 |
JP4483305B2 (ja) * | 2004-01-16 | 2010-06-16 | トヨタ自動車株式会社 | 車両周辺監視装置 |
JP2005215964A (ja) * | 2004-01-29 | 2005-08-11 | Alpine Electronics Inc | 他車検出装置及び他車検出方法 |
JP4134939B2 (ja) * | 2004-04-22 | 2008-08-20 | 株式会社デンソー | 車両周辺表示制御装置 |
-
2005
- 2005-11-30 JP JP2005345994A patent/JP4903426B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007147564A (ja) | 2007-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4903426B2 (ja) | 画像認識装置及び方法、並びに自車位置認識装置及び方法 | |
JP4557288B2 (ja) | 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置 | |
US11781870B2 (en) | Crowd sourcing data for autonomous vehicle navigation | |
JP4321821B2 (ja) | 画像認識装置及び画像認識方法 | |
JP6451844B2 (ja) | 車両位置判定装置及び車両位置判定方法 | |
EP1975565B1 (en) | Road surface feature information collecting apparatus and method | |
JP2006208223A (ja) | 車両位置認識装置及び車両位置認識方法 | |
GB2621033A (en) | System and methods for vehicle navigation | |
GB2614379A (en) | Systems and methods for vehicle navigation | |
US11861841B2 (en) | Lane estimation device, method, and program | |
JP4775658B2 (ja) | 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法 | |
FR2785434A1 (fr) | Procede d'aide a la conduite d'un vehicule et dispositif de mise en oeuvre | |
EP4275192A2 (en) | Systems and methods for common speed mapping and navigation | |
JP4731380B2 (ja) | 自車位置認識装置及び自車位置認識方法 | |
JP6488913B2 (ja) | 車両位置判定装置及び車両位置判定方法 | |
JP4692831B2 (ja) | 周辺状況認識装置及び方法 | |
JP2016223846A (ja) | 自車位置判定装置及び自車位置判定方法 | |
WO2023067385A2 (en) | Radar-camera fusion for vehicle navigation | |
WO2023196288A1 (en) | Detecting an open door using a sparse representation | |
JP2018176939A (ja) | 車両操舵制御装置および車両の操舵制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080910 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080910 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080910 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111020 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4903426 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |