JP4958228B2 - 文書および/または画像のデータベースへの登録方法およびその検索方法 - Google Patents
文書および/または画像のデータベースへの登録方法およびその検索方法 Download PDFInfo
- Publication number
- JP4958228B2 JP4958228B2 JP2007236738A JP2007236738A JP4958228B2 JP 4958228 B2 JP4958228 B2 JP 4958228B2 JP 2007236738 A JP2007236738 A JP 2007236738A JP 2007236738 A JP2007236738 A JP 2007236738A JP 4958228 B2 JP4958228 B2 JP 4958228B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- point
- invariant
- document
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
(1)取得された画像の特徴点に基づいて計算される特徴量と、データベース中に登録された文書および/または画像の特徴点から得られる特徴量とを比較し、取得された画像に対応する文書および/または画像をデータベースから検索する方法であって、取得された画像から抽出された各特徴点に対して局所的な特徴点の集合を決定する工程と、決定された各集合から特徴点の部分集合を選択する工程と、選択された各部分集合を特徴付ける量として、部分集合中の特徴点の複数の組合せについて幾何学的変換に対する不変量をそれぞれ求めると共に各特徴点の配置に基づくスコアを求める不変量算出工程と、求めた各不変量を組み合わせて特徴量を計算する特徴量算出工程と、前記特徴量と予めその特徴量が得られた前記データベース中の文書および/または画像に係る特徴量との一致度を調べ、取得された画像の各特徴点に係る前記一致度を統計的に処理することにより、取得された画像に対応するデータベース中の文書および/または画像を検索する工程の各工程をコンピュータが実行し、前記不変量算出工程は、部分集合中の各特徴点について近傍の特徴点との配置関係に基づいてそれぞれのスコアを算出し、前記特徴量算出工程は、前記スコアに基づいて特徴量を計算するための各不変量の組合せ順を決定することを特徴とする文書および/または画像の検索方法を提供する。また、
前記(1)におて、各スコアは幾何学的変換に対する不変量であり、その算出手順は各特徴量の算出手順の一部と共通であってもよい。このようにすれば、幾何学的変換に対して安定したスコアを得ることができ、かつ、特徴量の算出と共にスコアを算出することができるので、特徴量とスコアを別に算出する場合に比べて処理時間を減らすことができる。
前記(2)および/または(3)において、前記スコアS(i)は、点p(i)を含む所定個数の特徴点から求められるアフィン不変量であり、前記スコアS(k)は、点p(k)を含む所定個数の特徴点から求められるアフィン不変量であってもよい。このようにすれば、幾何学的変換に対して安定したスコアを得ることができる。
ここで示した種々の好ましい態様は、それら複数を組み合わせることもできる。
この発明の実施形態を説明する前に、オリジナルのLLAHと、それを用いた検索処理についてまず説明する。この発明の本質を理解するためには、その改良の基礎となる技術の理解が不可欠だからである。
図1に従来のLLAHを用いた検索処理の概要を示す。まず、特徴点抽出処理部15(Feature Point Extraction)で文書画像11および13は特徴点の集合に変換される。次に、各特徴点は登録処理部17(Storage)および検索処理部19(Retrieval)に入力される。これらの処理は特徴量計算処理部21(Calculation of Features)を共有している。登録処理部17は、各特徴点を独立に、その特徴量に基づいて文書画像データベース(Document Image Database)15に登録する。つまり、文書画像11は特徴点を用いてインデキシングされる。検索処理部19は、検索質問13の各特徴量を用いて文書画像データベース23にアクセスし、投票処理によって対応する文書画像を決定する。以下では各処理部が実行する処理について説明する。
特徴点抽出処理部15が実行する処理である。LLAHでは特徴点の配置に基づいて文書画像のマッチングを行う。従って、特徴点抽出処理では、射影歪みやノイズが生じていた場合や低解像度の場合でも同一の点を抽出する必要がある。そのため、単語領域の重心を特徴点として用いる。
特徴量計算処理部21が実行する処理である。特徴量とは、文書画像の特徴点を表現する値である。特徴点のマッチングは特徴量に基づいて行われる。そのため、特徴量は以下の2つの条件を満たす必要がある。1つは、同一の特徴点は、さまざまな外乱が生じて画像の見え方が変わったとしても、同一の特徴量を与えなければならないというものである。同一の特徴点であるにもかかわらず、登録処理と検索処理で異なる特徴量が得られた場合、それらの対応付けを行うことはできない。そのため、正しい検索結果を得ることができなくなる。この明細書において、この条件を"特徴量の安定性"と呼ぶ。もう1つの条件は、異なる特徴点は異なる特徴量を与えなければならないというものである。異なる特徴点から同一の特徴量が得られた場合、誤った特徴点と対応付けられてしまう。そのため、正しいものだけでなく誤ったものも検索結果として得られることになる。この明細書において、この条件を"特徴量の識別性"と呼ぶ。正確な検索のためには、安定性と識別性を両立した特徴量が必要である。
カメラで文書を撮影する場合、隠れが生じていたり、紙面の一部だけが撮影される場合がある。従って安定性の実現のためには、特徴量は文書画像の部分から計算されるものが望ましい。LLAHでは、各特徴点についてその近傍の特徴点の配置から特徴量を計算する。特徴量が文書画像の局所領域から得られるため、同じ領域が撮影されていれば同じ特徴量を計算することができる。
この実施形態では、同一平面上の4点ABCDから以下の式で計算されるアフィン不変量を用いる。
近傍点の配置から特徴点pの特徴量を計算する場合、最も単純なものはpの近傍4点から計算されるアフィン不変量を特徴量とするものである。しかし、射影歪みが生じた場合は近傍点に異なるものが得られることがある。図3は、従来のLLAHにおいて、同じ文書を異なる視点から見たときの特徴点と近傍8点の配置を示す説明図である。図3(a)および(b)の2枚の画像は、特徴点pとその近傍の8つの特徴点を異なる視点から見たときの例を示している。図中、丸で囲まれた数字は点pからの距離の順位である。黒抜きの数字(図3(a)の「3」と図3(b)の「8」)は異なる点が得られている例を示す。
m点から特徴量を計算する場合、最も単純な方法はm=4として4点から計算されるアフィン不変量を特徴量とするというものである。しかし、異なる文書から得た特徴点でも、類似した4点の配置をもつ場合があるため、このような単純な方法は識別性に問題がある。そこで、識別性を向上させるため、m(>4)の値を大きくしてより多くの点から特徴量を計算する。mが大きくなると、異なる文書画像から類似したm点の配置をもつ確率が低くなる。図5は、従来のLLAHにおいて、m(=6)点からのすべての4点の組み合わせと、それら4点から計算されるアフィン不変量の列を示す説明図である。図5に示されるように、m点の配置は、m点から4点をそれぞれ選び、そこから計算されるアフィン不変量を離散化した値の列
登録処理のアルゴリズムの一例を図6に示す。ここで、文書IDとは文書の識別番号、点IDとは特徴点の識別番号である。
ハッシュ表(ハッシュテーブル)のインデックスは以下に示すハッシュ関数で計算される。
検索処理のアルゴリズムの一例を図8に示す。LLAHでは、投票テーブルを用いた登録文書への投票を通じて検索を行う。
まず、7-10行目で登録処理と同様にハッシュ表のインデックスを求める。得られたインデックスを用いて、11行目で図7に示されるリストを得る。リストの各項目について
以上が、オリジナルのLLAHとそれを用いた検索処理についての説明である。次に、性能向上の第1の側面であるメモリ量の削減について説明する。
LLAHでは、安定性の実現のために多くの特徴量を計算し、それらすべてをリスト形式でハッシュ表へ保存する。そのため、必要メモリ量が多くなる。そこで、重要性の低い特徴量をデータベースから削除し、データ構造を改めることで記憶容量の削減を図る。
n=7, m=6, Hsize=1.28×108
登録ページ数10,000
文書画像1枚あたりの平均特徴点数630
文書ID、点ID、r(i)はそれぞれ2バイト、2バイト、1バイトの変数に保存される
ポインタ変数のサイズは8バイト
このような条件では、図7左側のハッシュ表は1.28×108×8=1.0GB、図7右側のリストは10,000×630×7×(2+2+1×15+8)=1.2GBを消費する。従って、必要メモリ量の合計は2.2GBとなる。
次に、検索処理の高速化のための登録および検索アルゴリズムの改良について述べる。
検索処理の高速化は、次のようなアイデアである。従来法ではどの点から不変量を計算するのかという、「開始点」が一意に定まらなかったため、開始点を一つずつずらしながら、すべての可能性を試していた。一方、提案の手法では、点の配置から、どの点が開始点となるべきかを求めることで、計算量を削減している。
これが大きいと、開始点をずらしながらすべての可能性を試すほうが、高速である、ということになりかねない。
2.開始点を求めるためのメモリ量が十分小さいこと。
これが大きいと、やはり問題を招く。
3.開始点は、幾何学的変換に不変に求められること。
撮影角度によって、求められる開始点は変化しないことが必要である。
4.同一の特徴ベクトルが得られる点の配置からは、同一の開始点が得られること。
なお、特徴ベクトルに用いる不変量が、現在のアフィン不変量ではなく、相似不変量や射影不変量になっても、同じアイデアを用いることが可能である。
しかし、登録時と検索時に同じ開始点p0を選ぶことができれば、巡回置換を試す必要はない。以下の実施形態では、開始点の選択規則を導入し、検索処理の効率化を図る。
この発明に係る手法の効果を調べるため、元のLLAHと改善されたLLAHで検索実験を行い、性能を比較した。前述の「必要メモリ量の削減」と前述の「検索処理の高速化」の効果を明確にするため、以下の3つのバージョンのLLAHでメモリ消費量、処理時間、精度を調べた。
(1) オリジナル
(2) メモリ削減版
(3) メモリ削減+高速化版
(2)および(3)がこの発明に係る手法である。
図13は、この発明に係る実験例において登録ページ数を100,1,000,10,000と増加させたときの3つのバージョンのLLAHにおけるメモリ消費量の比較実験結果を示すグラフである。オリジナルのLLAHは、登録ページ数10,000では本発明に係るメモリの削減版に比べて5倍のメモリを消費した。さらに、登録ページ数の増加に伴ってメモリの消費量も増加した。これは、オリジナルのLLAHではデータベースでリストを用いており、登録ページ数が増加するとメモリ消費量も増加するためである。一方、本発明に係るメモリ削減の改善がなされたLLAHでは、登録ページ数が増加してもメモリ消費量は一定であった。これは、データベースが単純なハッシュ表であり、ハッシュ表のサイズが固定されているためである。
図14は、処理時間について各バージョンの比較実験結果を示すグラフである。このように、本発明に係る高速化バージョンはそれ以外に比べておよそ60%の処理時間の削減を実現した。これは、巡回置換を試すための繰り返し処理を避けることで不変量の計算回数やハッシュへのアクセス回数を減らすことができたためと考えられる。
図15は、それぞれのバージョンの各データベースサイズにおける精度についての比較実験結果を示すグラフである。処理時間とメモリ効率に加えて、精度に関しても本発明に係るメモリ削減版および高速化版はオリジナルより高い性能を示した。オリジナルが登録ページ数の増加に伴って精度を低下させた一方で、メモリ削減版および高速化版は登録ページ数10,000では精度がやや低下したものの、オリジナルよりも高い精度を維持した。
13:検索質問(文書画像)
15:特徴点抽出処理部
17:登録処理部
19:検索処理部
21:特徴量計算処理部
23:文書画像データベース
Claims (9)
- 取得された画像の特徴点に基づいて計算される特徴量と、データベース中に登録された文書および/または画像の特徴点から得られる特徴量とを比較し、取得された画像に対応する文書および/または画像をデータベースから検索する方法であって、
取得された画像から抽出された各特徴点に対して局所的な特徴点の集合を決定する工程と、
決定された各集合から特徴点の部分集合を選択する工程と、
選択された各部分集合を特徴付ける量として、部分集合中の特徴点のうち予め定められた数の特徴点からなる複数の組合せについて幾何学的変換に対する不変量をそれぞれ求める不変量算出工程と、
求めた各不変量の列を各次元に対応させた多次元の特徴ベクトルを前記部分集合に係る特徴量とする特徴量算出工程と、
前記特徴量と前記データベースに予め登録された文書および/または画像に係る特徴量とが一致するかを調べ、一致する特徴量が得られた前記データベース中の文書および/または画像に投票することにより、取得された画像に対応するデータベース中の文書および/または画像を検索する工程
の各工程をコンピュータが実行し、
前記不変量算出工程は、部分集合中の各特徴点について近傍の特徴点との配置関係に基づいてそれぞれの不変量を算出し、
前記特徴量算出工程は、前記不変量の大きさに基づいて各不変量の列の順を決定することを特徴とする文書および/または画像の検索方法。 - 各不変量は幾何学的変換に対する不変量であり、その算出手順は各特徴量の算出手順の一部と共通である請求項1に記載の方法。
- 入力された文書および/または画像の特徴を示す特徴点を抽出し、各特徴点から得られる特徴量と、データベース中に登録された文書および/または画像の特徴点から得られる特徴量とを比較し、入力された文書および/または画像に対応するデータベース中の文書および/画像を検索する処理に係る前記データベースへ文書および/または画像を登録する方法であって、
コンピュータが、
登録すべき文書および/または画像から複数の特徴点を抽出し、
抽出された各特徴点pについてその近傍n個の特徴点を選択し、それらn個の特徴点からm個(m≦n)をさらに選択する各組合せについて実行する次の工程(s1)〜(s4)、
(s1) 対象とするm個の各特徴点p(i)(ここでiは各点に対応する0〜(m-1)の整数)について、各特徴点p(i)を開始点として所定方向の巡回順に並ぶc個(c<m) を用いて幾何学的変換に対する不変量S(i)をそれぞれ求める工程、
(s2) m個の不変量のうちで最大の不変量を先頭に、最大の不変量が得られた開始点から前記巡回順に順次開始点をずらしていったときの不変量S(i)の値の列を各次元に対応させた多次元ベクトルを特徴点pに係る特徴量として求める工程、
(s3) 特徴点pに係る特徴量から所定の計算手順でハッシュのインデックスを求める工程、
(s4) 求めたインデックスでハッシュ表にアクセスし、特徴点pに係る特徴量と特徴点pが抽出された文書および/または画像を識別する文書IDとをハッシュに登録する工程
を実行することを特徴とし、
前記検索は、入力された文書および/または画像から抽出された各特徴点pqについて、近傍n個の特徴点からm個を選択する各組み合わせについて実行する次の工程(r1)〜(r4)、
(r1) 対象とするm個の各特徴点p(k)について、所定方向の巡回順に並ぶc個の特徴点を用いて幾何学的変換に対する不変量S(k)(ただしkは各点に対応する0〜(m-1)の整数)をそれぞれ求める工程、
(r2) m個の不変量のうちで最大の不変量を先頭に、最大の不変量が得られた開始点から前記巡回順に順次開始点をずらしていったときの不変量S(k)の値の列を各次元に対応させた多次元ベクトルを点pqに係る特徴量として求める工程、
(r3) 求めた特徴量から予め定められた計算手順でハッシュのインデックスを求め、そのインデックスでハッシュを参照する工程、
(r4) 参照先に登録された文書IDに対して投票する工程
が実行されることにより、投票結果に基づいて検索結果が決定されるものである文書および/または画像のデータベースへの登録方法。 - 前記不変量S(i)は、点p(i)を含む所定個数の特徴点から求められるアフィン不変量であり、
前記不変量S(k)は、点p(k)を含む所定個数の特徴点から求められるアフィン不変量である請求項3に記載の方法。 - 前記不変量S(i)の算出手順は、点pに係る特徴量の算出手順の一部と共通し、
前記不変量S(k)の算出手順は、点pqに係る特徴量の算出手順の一部と共通する請求項3または4に記載の方法。 - 前記工程(s4)は、ハッシュへの登録対象のうちインデックスの等しい登録対象が複数個ある場合それらをいずれもハッシュに登録せず、インデックスの異なる登録対象だけをハッシュに登録する工程である請求項3〜5の何れか一つに記載の方法。
- 入力された文書および/または画像の特徴を示す特徴点を抽出し、各特徴点から得られる特徴量と、データベース中に登録された文書および/または画像の特徴点から得られる特徴量とを比較し、入力された文書および/または画像に対応するデータベース中の文書および/画像を検索する方法であって、
前記データベースは、登録すべき文書および/または画像から抽出された各特徴点pについてその近傍n個の特徴点を選択し、それらn個の特徴点からm個(m≦n)をさらに選択する各組合せについて実行する次の工程(s1)〜(s4)、
(s1) 対象とするm個の各特徴点p(i)(ここでiは各点に対応する0〜(m-1)の整数)について、各特徴点p(i)を開始点として所定方向の巡回順に並ぶc個(c<m) を用いて幾何学的変換に対する不変量S(i)をそれぞれ求める工程、
(s2) m個の不変量のうちで最大の不変量を先頭に、最大の不変量が得られた開始点から前記巡回順に順次開始点をずらしていったときの不変量S(i)の値の列を各次元に対応させた多次元ベクトルを特徴点pに係る特徴量として求める工程、
(s3) 特徴点pに係る特徴量から所定の計算手順でハッシュのインデックスを求める工程、
(s4) 求めたインデックスでハッシュ表にアクセスし、特徴点pに係る特徴量と特徴点pが抽出された文書および/または画像を識別する文書IDとをハッシュに登録する工程
が実行されて文書および/または画像が登録されたものであり、
コンピュータが、
入力された文書および/または画像から抽出された各特徴点pqについて、近傍n個の特徴点からm個を選択する各組み合わせについて実行する次の工程(r1)〜(r4)、
(r1) 対象とするm個の各特徴点p(k)について、所定方向の巡回順に並ぶc個の特徴点を用いて幾何学的変換に対する不変量S(k)(ただしkは各点に対応する0〜(m-1)の整数)をそれぞれ求める工程、
(r2) m個の不変量のうちで最大の不変量を先頭に、最大の不変量が得られた開始点から前記巡回順に順次開始点をずらしていったときの不変量S(k)の値の列を各次元に対応させた多次元ベクトルを点pqに係る特徴量として求める工程、
(r3) 求めた特徴量から予め定められた計算手順でハッシュのインデックスを求め、そのインデックスでハッシュを参照する工程、
(r4) 参照先に登録された文書IDに対して投票する工程
を実行し、
投票結果に基づいて検索結果を決定することを特徴とする文書および/または画像の検索方法。 - 前記不変量S(i)は、点p(i)を含む所定個数の特徴点から求められるアフィン不変量であり、
前記不変量S(k)は、点p(k)を含む所定個数の特徴点から求められるアフィン不変量である請求項7に記載の方法。 - 前記不変量S(i)の算出手順は、点pに係る特徴量の算出手順の一部と共通し、
前記不変量S(k)の算出手順は、点pqに係る特徴量の算出手順の一部と共通する請求項7または8に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007236738A JP4958228B2 (ja) | 2007-09-12 | 2007-09-12 | 文書および/または画像のデータベースへの登録方法およびその検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007236738A JP4958228B2 (ja) | 2007-09-12 | 2007-09-12 | 文書および/または画像のデータベースへの登録方法およびその検索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009070066A JP2009070066A (ja) | 2009-04-02 |
JP4958228B2 true JP4958228B2 (ja) | 2012-06-20 |
Family
ID=40606262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007236738A Expired - Fee Related JP4958228B2 (ja) | 2007-09-12 | 2007-09-12 | 文書および/または画像のデータベースへの登録方法およびその検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4958228B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5660574B2 (ja) * | 2011-03-02 | 2015-01-28 | 公立大学法人大阪府立大学 | 文書画像データベースの登録方法および検索方法 |
KR101320247B1 (ko) | 2011-10-05 | 2013-10-22 | (주)필링크 | 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법 |
KR101904203B1 (ko) | 2012-06-20 | 2018-10-05 | 삼성전자주식회사 | 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법 |
JP6371115B2 (ja) * | 2014-05-20 | 2018-08-08 | グリッドマーク株式会社 | コンテンツ出力装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0514688A2 (en) * | 1991-05-21 | 1992-11-25 | International Business Machines Corporation | Generalized shape autocorrelation for shape acquisition and recognition |
JP2006163916A (ja) * | 2004-12-08 | 2006-06-22 | Nippon Telegr & Teleph Corp <Ntt> | 直線パターン識別方法及び装置及びプログラム |
WO2006092957A1 (ja) * | 2005-03-01 | 2006-09-08 | Osaka Prefecture University Public Corporation | 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置 |
-
2007
- 2007-09-12 JP JP2007236738A patent/JP4958228B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009070066A (ja) | 2009-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jégou et al. | On the burstiness of visual elements | |
Douze et al. | Evaluation of gist descriptors for web-scale image search | |
US11048966B2 (en) | Method and device for comparing similarities of high dimensional features of images | |
CN104991959B (zh) | 一种基于内容检索相同或相似图像的方法与系统 | |
Nakai et al. | Use of affine invariants in locally likely arrangement hashing for camera-based document image retrieval | |
US8036497B2 (en) | Method, program and apparatus for storing document and/or image using invariant values calculated from feature points and method, program and apparatus for retrieving document based on stored document and/or image | |
Zhang et al. | Image retrieval with geometry-preserving visual phrases | |
Wang et al. | Contextual weighting for vocabulary tree based image retrieval | |
US8892542B2 (en) | Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval | |
Jain et al. | Logo retrieval in document images | |
JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
Aly et al. | Indexing in large scale image collections: Scaling properties and benchmark | |
CN101866366B (zh) | 一种基于内容的图像格式中文文档检索方法 | |
EP1914680A1 (en) | Document/image searching method and program, and document/image recording and searching device | |
US20120084305A1 (en) | Compiling method, compiling apparatus, and compiling program of image database used for object recognition | |
Dang et al. | Camera-based document image retrieval system using local features-comparing SRIF with LLAH, SIFT, SURF and ORB | |
Yang et al. | Accumulated stability voting: A robust descriptor from descriptors of multiple scales | |
JP4958228B2 (ja) | 文書および/または画像のデータベースへの登録方法およびその検索方法 | |
Nakai et al. | Camera based document image retrieval with more time and memory efficient LLAH | |
JP6017277B2 (ja) | 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 | |
Aly et al. | Towards automated large scale discovery of image families | |
Dang et al. | Srif: Scale and rotation invariant features for camera-based document image retrieval | |
CN101976256A (zh) | 点特征图像配准中的双重最近邻优先搜索方法 | |
Kise et al. | Simple Representation and Approximate Search of Feature Vectors for Large-Scale Object Recognition. | |
JP2018194956A (ja) | 画像認識装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120315 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |