JP3988011B2 - Feature extraction method and feature extraction device - Google Patents

Feature extraction method and feature extraction device Download PDF

Info

Publication number
JP3988011B2
JP3988011B2 JP29673399A JP29673399A JP3988011B2 JP 3988011 B2 JP3988011 B2 JP 3988011B2 JP 29673399 A JP29673399 A JP 29673399A JP 29673399 A JP29673399 A JP 29673399A JP 3988011 B2 JP3988011 B2 JP 3988011B2
Authority
JP
Japan
Prior art keywords
light
feature extraction
recording medium
line segment
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29673399A
Other languages
Japanese (ja)
Other versions
JP2001117475A (en
Inventor
努 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP29673399A priority Critical patent/JP3988011B2/en
Publication of JP2001117475A publication Critical patent/JP2001117475A/en
Application granted granted Critical
Publication of JP3988011B2 publication Critical patent/JP3988011B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Holo Graphy (AREA)
  • Image Processing (AREA)
  • Optical Recording Or Reproduction (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、光学的なHough変換によって画像の特徴を抽出する方法および装置に関する。
【0002】
【従来の技術】
画像の特徴を抽出する方法としては、電気的な方法や光学的な方法が知られている。特に最近では、2次元の入出力用の電子デバイスの発達と、光学の並列性による高速処理への期待から、光学的な方法が注目されている。光学的な方法としては、ホログラムを空間フィルタとして用いるホログラフィックフィルタリングがあり、フィルタに各種機能を持たせることによって、様々な画像処理を行うことが提案されている。
【0003】
また、ウェーブレット変換の一種であるHough変換は、直線や曲線の検出に対して有用なツールであり、画像処理や対象認識に関係する分野で利用されている。そこで、Hough変換を光学的に行う方法が研究されている。
【0004】
具体的に、文献「Dong−Hak Shin and Ju―Seog Jang:Optical implementaion of the Hough transform by use of rotationally multiplexed holograms,APPLIED OPTICSVol.37,No.2(1998)329−333」には、ホログラムを利用してHough変換を光学的に行う方法が提案されている。
【0005】
図7に、その方法を示す。この方法では、同図(A)に示すように、平行光52をスリット53を透過させて信号光54を形成し、この信号光54をレンズ55によってフーリエ変換してホログラム媒体51に照射すると同時に、参照光56をホログラム媒体51に照射するが、スリット53を回転させて信号光54の線分画像のホログラム媒体51上における角度θを10度ずつ回転させ、これに合わせて参照光56のホログラム媒体51上における照射方向を10度ずつ回転させて、複数の線分画像のホログラムをホログラム媒体51に多重記録する。
【0006】
このようにホログラムが回転多重記録されたホログラム媒体51は、線分の方向と位置を検出するのに用いることができる。この場合には、図7(B)に示すように、平行光62によって入力画像61を照明して信号光63を形成し、その信号光63をレンズ64によってフーリエ変換してホログラム媒体51に照射する。これによってホログラム媒体51はHough変換フィルタとして機能して、ホログラム媒体51を通過した光をレンズ65によって逆フーリエ変換して検出面66に照射することによって、検出面66上には入力画像61に含まれる線分の方向と位置に応じて光ピーク67が得られ、これをCCDカメラなどにより検出することによって、入力画像61に含まれる線分の方向と位置を検出することができる。
【0007】
【発明が解決しようとする課題】
しかしながら、上述した従来の特徴抽出方法では、図7(C)に示すように、検出面66上において、光ピーク67が現れる方向θが、入力画像61に含まれる線分の方向に応じて変化するとともに、光ピーク67が現れる径方向位置Rも、入力画像61に含まれる線分の位置に応じて変化する。そのため、この方法では、光ピーク67が離散的に広い範囲に渡って現れることになり、装置の小型化が難しく、それによって装置の低コスト化も難しいという問題がある。
【0008】
光ピーク67が検出面66の中心寄りの位置に現れるようにすることも考えられるが、そうすると、隣り合う角度位置での光ピークが重なり合って、光ピークの方向および径方向位置を精度よく検出することができなくなる。そのため、装置の小型化・低コスト化と特徴抽出の高精度化を両立させることが困難である。
【0009】
そこで、この発明は、光学的なHough変換によって画像の特徴を抽出する方法において、特徴抽出の高精度化と装置の小型化・低コスト化を実現することができるようにしたものである。
【0010】
【課題を解決するための手段】
この発明の特徴抽出フィルタ作成方法では、
空間強度分布によりそれぞれ方向の異なる線分画像情報を保持する複数の信号光を、それぞれに対する参照光の偏光角またはそれぞれの信号光の偏光角を前記方向に応じて変えて、それぞれホログラムとして光記録媒体の同一領域に記録する。
【0011】
この発明の特徴抽出方法では、
空間強度分布によりそれぞれ方向の異なる線分画像情報を保持する複数の信号光が、それぞれに対する参照光の偏光角またはそれぞれの信号光の偏光角が前記方向に応じて変えられて、それぞれホログラムとして同一領域に記録されている光記録媒体に、空間強度分布により特徴抽出対象の画像情報を保持する信号光を照射して、前記光記録媒体から前記参照光の光路上にホログラム回折光を読み出し、その回折光の各偏光成分を抽出して、その空間強度分布を検出する。
【0012】
【作用】
光誘起複屈折性(光誘起異方性、光誘起2色性)を示す材料は、これに入射する光の偏光状態に感応し、入射光の偏光角(偏光方向)を記録することができる。例えば、側鎖に光異性化する基を有する高分子または高分子液晶、または光異性化する分子を分散させた高分子は、直線偏光を照射すると、光異性化が誘起されて、直線偏光の方向に応じて屈折率の異方性を生じ、偏光方向を記録し、保存することができる。このとき、同時に参照光を照射すれば、信号光の偏光角をホログラムとして記録することができる。
【0013】
通常のホログラムは、信号光と参照光の偏光方向を同一(平行)にして記録する。これに対して、光誘起複屈折性を示す材料は、信号光と参照光の偏光方向を互いに変えてホログラムを記録することができる。
【0014】
この点に着目して、出願人は先に、特開平10−340479号によって、それぞれ空間的な強度分布により2次元データ情報を保持する複数の信号光を、それぞれに対する参照光の偏光角、またはそれぞれの信号光の偏光角を変えて、それぞれホログラムとして、光記録媒体の同一領域に記録し、同一領域から再生する方法を提案した。
【0015】
これを利用して、この発明の特徴抽出フィルタ作成方法では、上述したように、空間強度分布によりそれぞれ方向の異なる線分画像情報を保持する複数の信号光を、それぞれに対する参照光の偏光角またはそれぞれの信号光の偏光角を前記方向に応じて変えて、それぞれホログラムとして光記録媒体の同一領域に記録する。
【0016】
このように作成された特徴抽出フィルタ、すなわち光記録媒体の、各ホログラムが多重記録されている領域に、空間強度分布により特徴を抽出しようとする画像の情報を保持する信号光を照射すると、光記録媒体に多重記録されている各ホログラムはHough変換フィルタとして機能して、各ホログラムの記録時の参照光の光路上に、ホログラム回折光として、対象画像に含まれる線分の方向に応じた偏光角の、かつ対象画像に含まれる線分の位置に応じた空間的位置で光ピークを示す回折光が得られる。
【0017】
例えば、線分の方向に応じて参照光の偏光角が変えられて各ホログラムが多重記録された場合、対象画像に0度の方向(ある定められた方向を0度の方向とする)の線分が含まれているときには、0度の方向の線分が記録されたホログラムから、そのホログラムの記録時の参照光と同じ偏光角の回折光が得られ、対象画像に10度の方向の線分が含まれているときには、10度の方向の線分が記録されたホログラムから、そのホログラムの記録時の参照光と同じ偏光角の回折光が得られ、というように、対象画像に含まれる線分の方向と同じ方向の線分が記録されたホログラムから、そのホログラムの記録時の参照光と同じ偏光角の回折光が得られるとともに、それぞれの偏光角の回折光は、対象画像に含まれる線分の位置に応じた空間的位置で光ピークを示すものとなる。
【0018】
したがって、検光子などによって、そのホログラム回折光の各偏光成分を抽出し、光検出器によって、各偏光成分の空間強度分布を検出することによって、対象画像に含まれる線分の方向と位置を検出することができる。
【0019】
この場合、各ホログラムは同一光路の参照光によって記録されているので、いずれの方向の線分が記録されたホログラムからの、いずれの偏光角の回折光も、同一の方向に得られ、光ピークも、その方向の限られた範囲内に現れるので、装置の小型化が可能となり、装置の低コスト化を実現することができる。また、対象画像に含まれる線分の方向は回折光の偏光角によって検出されるので、光ピークが限られた範囲内に現れても、特徴抽出を高精度に行うことができる。
【0020】
【発明の実施の形態】
〔光記録媒体の例〕
図1は、この発明の方法に用いる光記録媒体の一例を示し、ガラス基板などの透明基板11の一面側に偏光感応層12を形成したものである。
【0021】
偏光感応層12は、光誘起複屈折性を示し、偏光情報をホログラムとして記録できる材料であれば、どのようなものでもよいが、好ましい例として、側鎖に光異性化する基を有する高分子または高分子液晶、または光異性化する分子を分散させた高分子を用いることができる。また、その光異性化する基または分子としては、例えば、アゾベンゼン骨格を含むものが好適である。
【0022】
偏光感応層12の好ましい例の一つとして、図2に示す化学式で表される、側鎖にシアノアゾベンゼンを有するポリエステルを用いることができる。この材料は、特開平10−340479号に詳細に記載されているように、側鎖のシアノアゾベンゼンの光異性化による光誘起異方性によって、偏光情報を有するホログラムの記録、再生、消去が可能である。
【0023】
ホログラムを体積的(3次元)に記録するには、偏光感応層12の厚みは、少なくとも10μm程度必要であり、厚みを大きくするほど、記憶容量を大きくすることができる。なお、光記録媒体10全体を光誘起複屈折性を示す偏光感応層として形成することもできる。
【0024】
〔特徴抽出装置と特徴抽出フィルタ作成方法および特徴抽出方法の一例〕
図3は、この発明の特徴抽出装置の一例を示し、特徴抽出フィルタ作成装置である光記録装置を兼ねる場合である。
【0025】
光源21としては、光記録媒体10の偏光感応層12に感度のあるコヒーレント光を発するものを用いる。例えば、偏光感応層12として、図2に示した側鎖にシアノアゾベンゼンを有するポリエステルを用いる場合には、これに感度のある波長515nmのアルゴンイオンレーザを用いる。
【0026】
光源21からの光1の偏光は、例えば紙面に垂直なP偏光で(以後、これを0度の偏光角とする)、このP偏光の光1を、空間フィルタ22を通過させて波面の乱れを除去した後、レンズ23によって平行光とし、さらにビームスプリッタ24によって2光束に分割する。
【0027】
(ホログラム記録(フィルタ作成))
ホログラム記録時には、シャッタ25を開けて、ビームスプリッタ24を透過したP偏光の光2を、信号光形成用の空間光変調器26に入射させ、図では省略した制御回路によって、空間光変調器26に、2値の2次元の線分画像を表示する。これによって、空間光変調器26を透過した光4は、線分画像の各画素の値に応じて空間的に強度変調されて、空間強度分布により線分画像情報を保持するP偏光の信号光となる。このような空間光変調器26としては、液晶パネルなどを用いることができる。
【0028】
この空間光変調器26からのP偏光の信号光4を、レンズ27によってフーリエ変換し、その変換後のP偏光の信号光5を、光記録媒体10に照射する。
【0029】
また、ホログラム記録時には、シャッタ28を開けて、ビームスプリッタ24で反射したP偏光の光3を、偏光回転素子29に入射させ、図では省略した制御回路からの制御信号に応じて、偏光回転素子29を透過する光の偏光角を回転させる。このように透過光の偏光角を回転させることができる偏光回転素子29としては、液晶バルブ、ポッケルス素子、ファラデー素子、1/2波長板などを用いることができる。
【0030】
そして、ホログラム記録時には、この偏光回転素子29を透過した光を、ミラー31で反射させ、レンズ32および33によってビーム径を小さくした平行光とし、さらにミラー34,35および36で反射させて、参照光6として、光記録媒体10の信号光5が照射される領域に、信号光5と同時に照射する。
【0031】
これによって、光記録媒体10中に、P偏光の信号光5の空間強度分布が、ホログラムとして記録される。
【0032】
この場合、最初に、空間光変調器26に、図4(A)に示すような0度の方向(図4の縦方向を0度の方向とする)の線分を表示し、参照光6を0度の偏光(P偏光)にして、空間強度分布により0度の方向の線分情報を保持するP偏光の信号光を、ホログラムとして光記録媒体10に記録する。
【0033】
次に、空間光変調器26に、図4(B)に示すような10度の方向(縦方向に対して時計回り方向に10度回転した方向を10度の方向とする)の線分を表示し、参照光6を10度の偏光(P偏光の偏光方向に対して所定方向に10度回転した偏光方向を10度の偏光とする)にして、空間強度分布により10度の方向の線分情報を保持するP偏光の信号光を、ホログラムとして光記録媒体10の同一領域に多重記録する。
【0034】
以後、同様に、空間光変調器26に表示する線分の方向を170度まで10度ずつ変え、これに応じて参照光6の偏光角を170度まで10度ずつ変えて、光記録媒体10の同一領域にホログラムを多重記録する。
【0035】
したがって、線分の方向が0度から170度まで10度ずつ変化する18ページ分の線分画像が、偏光角が0度から170度まで10度ずつ変化する参照光によって、18ページ分のホログラムとして光記録媒体10の同一領域に多重記録される。
【0036】
(特徴抽出方法)
特徴抽出時には、シャッタ28を閉じて参照光6を遮断し、シャッタ25を開けて、ビームスプリッタ24を透過したP偏光の光2を、空間光変調器26に入射させ、図では省略した制御回路によって、空間光変調器26に、特徴を抽出しようとする2値の2次元の対象画像を表示する。これによって、空間光変調器26を透過した光4は、対象画像の各画素の値に応じて空間的に強度変調されて、空間強度分布により対象画像情報を保持するP偏光の信号光となる。
【0037】
この空間光変調器26からのP偏光の信号光4を、レンズ27によってフーリエ変換し、その変換後のP偏光の信号光5を、上述したように作成された特徴抽出フィルタ、すなわち光記録媒体10の、18ページ分のホログラムが多重記録されている領域に照射する。
【0038】
このとき、光記録媒体10に多重記録されている各ホログラムはHough変換フィルタとして機能して、記録時の参照光6の光路上に、ホログラム回折光7として、対象画像に含まれる線分の方向に応じた偏光角の、かつ対象画像に含まれる線分の位置に応じた空間的位置で光ピークを示す回折光が得られる。
【0039】
すなわち、対象画像に0度の方向の線分が含まれているときには、0度の方向の線分が記録されたホログラムから、そのホログラムの記録時の参照光と同じ0度の偏光角の回折光が得られ、対象画像に10度の方向の線分が含まれているときには、10度の方向の線分が記録されたホログラムから、そのホログラムの記録時の参照光と同じ10度の偏光角の回折光が得られ、というように、対象画像に含まれる線分の方向と同じ方向の線分が記録されたホログラムから、そのホログラムの記録時の参照光と同じ偏光角の回折光が得られるとともに、それぞれの偏光角の回折光は、対象画像に含まれる線分の位置に応じた空間的位置で光ピークを示すものとなる。
【0040】
このホログラム回折光7を、ミラー41で反射させ、さらに検光子42によって、回折光7の0度から170度まで10度ずつ偏光角が異なる各偏光成分を順次抽出し、その抽出した偏光成分7aを、2次元アレイ状の光検出器43上に結像させる。したがって、光検出器43の検出信号から、対象画像に含まれる線分の方向と位置を検出することができる。
【0041】
この場合、18ページ分のホログラムは同一光路の参照光6によって記録されているので、いずれの方向の線分が記録されたホログラムからの、いずれの偏光角の回折光も、同一の方向に得られ、光ピークも、その方向の限られた範囲内に現れるので、装置の小型化が可能となり、装置の低コスト化を実現することができる。また、対象画像に含まれる線分の方向は回折光の偏光角によって検出されるので、光ピークが限られた範囲内に現れても、特徴抽出を高精度に行うことができる。
【0042】
〔実験による検証〕
上述した方法および装置で、実際に特徴抽出フィルタの作成および対象画像の特徴抽出を試みた。光記録媒体10としては、偏光感応層12として側鎖にシアノアゾベンゼンを有するポリエステルを形成したものを用い、光源21としては、上述した波長515nmのアルゴンイオンレーザを用いた。ホログラム記録時(フィルタ作成時)の信号光および参照光は、約0.5W/cm、特徴抽出時の信号光は、0.15W/cmとした。空間光変調器26としては、一画素の大きさが42μm×42μmで、640×480画素のプロジェクタ用液晶パネルを用いた。
【0043】
特徴抽出フィルタを作成するため、最初に、図4(A)に示すような0度の方向の線分を空間光変調器26に表示し、参照光6の偏光角を0度にして、光記録媒体10にホログラムを記録した。このとき、空間光変調器26上で、線分の幅は10画素分、長さは240画素分とした。
【0044】
次に、図4(B)に示すような10度の方向の線分を空間光変調器26に表示し、参照光6の偏光角を10度にして、光記録媒体10の同一領域にホログラムを多重記録した。以後、同様に、空間光変調器26に表示する線分の方向を170度まで10度ずつ変え、参照光6の偏光角を170度まで10度ずつ変えて、光記録媒体10の同一領域にホログラムを多重記録した。
【0045】
ただし、空間光変調器26上の線分画像の表示はデジタルで、線分を傾けたときには、線分の幅および長さを、線分を0度または90度の方向にしたときと正確に同じにできないので、線分を0度または90度の方向にしたときに近い値にした。
【0046】
次に、このように作成した特徴抽出フィルタを用いて、対象画像の特徴抽出を行った。まず、空間光変調器26に、図5(A)に示すような、左右方向の中央部に0度の方向の1本の線分を有する対象画像を表示し、そのフーリエ変換されたP偏光の信号光を、光記録媒体10の18ページ分のホログラムを多重記録した領域に照射した。
【0047】
その結果、検光子42の透過軸方向を0度にしたとき、光検出器43によって検出された回折像として、図5(B)に示すように、中心部で1個の光ピークが観測され、対象画像が左右方向の中央部に0度の方向の1本の線分を有することが確かめられた。
【0048】
次に、空間光変調器26に、図6(A)に示すような、中心の点を挟んで上下に90度の方向の2本の線分を有する対象画像を表示し、そのフーリエ変換されたP偏光の信号光を、光記録媒体10の18ページ分のホログラムを多重記録した領域に照射した。
【0049】
その結果、検光子42の透過軸方向を90度にしたとき、光検出器43によって検出された回折像として、図6(B)に示すように、中心の点を挟む上下の2点で光ピークが観測され、対象画像が中心の点を挟んで上下に90度の方向の2本の線分を有することが確かめられた。
【0050】
【発明の効果】
上述したように、この発明によれば、光学的なHough変換による特徴抽出の高精度化と装置の小型化・低コスト化を実現することができる。
【図面の簡単な説明】
【図1】この発明の方法に用いる光記録媒体の一例を示す図である。
【図2】光記録媒体の偏光感応層の材料の一例の化学式を示す図である。
【図3】この発明の特徴抽出装置の一例を示す図である。
【図4】この発明の特徴抽出フィルタ作成方法でホログラム記録する線分画像の一例を示す図である。
【図5】特徴抽出の対象画像と特徴抽出結果の回折像の一例を示す図である。
【図6】特徴抽出の対象画像と特徴抽出結果の回折像の他の例を示す図である。
【図7】従来の特徴抽出フィルタ作成方法および特徴抽出方法を示す図である。
【符号の説明】
4,5…信号光
6…参照光
7…回折光
7a…偏光成分
10…光記録媒体
12…偏光感応層
21…光源
24…ビームスプリッタ
25,28…シャッタ
26…空間光変調器
29…偏光回転素子
42…検光子
43…光検出器
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for extracting image features by optical Hough transform.
[0002]
[Prior art]
As a method for extracting image features, an electrical method or an optical method is known. In particular, recently, optical methods have attracted attention because of the development of two-dimensional input / output electronic devices and the expectation of high-speed processing due to optical parallelism. As an optical method, there is holographic filtering using a hologram as a spatial filter, and it has been proposed to perform various image processing by giving the filter various functions.
[0003]
The Hough transform, which is a kind of wavelet transform, is a useful tool for detecting straight lines and curves, and is used in fields related to image processing and object recognition. Therefore, methods for optically performing Hough conversion have been studied.
[0004]
Specifically, the literature “Dong-Hak Shin and Ju-Seog Jang: Optical impulsion of the Hough transform by use of rotary 3PT OPD3. A method of optically performing Hough conversion has been proposed.
[0005]
FIG. 7 shows the method. In this method, as shown in FIG. 5A, the parallel light 52 is transmitted through the slit 53 to form the signal light 54, and the signal light 54 is Fourier-transformed by the lens 55 to irradiate the hologram medium 51 at the same time. The reference light 56 is applied to the hologram medium 51. The slit 53 is rotated to rotate the angle θ of the line segment image of the signal light 54 on the hologram medium 51 by 10 degrees, and the hologram of the reference light 56 is adjusted accordingly. The irradiation direction on the medium 51 is rotated by 10 degrees to multiplex record a plurality of line segment image holograms on the hologram medium 51.
[0006]
Thus, the hologram medium 51 on which the hologram is rotationally multiplexed can be used to detect the direction and position of the line segment. In this case, as shown in FIG. 7B, the input image 61 is illuminated by the parallel light 62 to form the signal light 63, and the signal light 63 is Fourier transformed by the lens 64 to irradiate the hologram medium 51. To do. Accordingly, the hologram medium 51 functions as a Hough conversion filter, and the light passing through the hologram medium 51 is subjected to inverse Fourier transform by the lens 65 and irradiated to the detection surface 66, so that the detection surface 66 is included in the input image 61. A light peak 67 is obtained according to the direction and position of the line segment to be detected, and the direction and position of the line segment included in the input image 61 can be detected by detecting this with a CCD camera or the like.
[0007]
[Problems to be solved by the invention]
However, in the conventional feature extraction method described above, the direction θ in which the light peak 67 appears on the detection surface 66 changes according to the direction of the line segment included in the input image 61, as shown in FIG. In addition, the radial position R at which the light peak 67 appears also changes according to the position of the line segment included in the input image 61. Therefore, in this method, the optical peak 67 appears discretely over a wide range, so that there is a problem that it is difficult to reduce the size of the device, thereby reducing the cost of the device.
[0008]
Although it is conceivable that the light peak 67 appears at a position near the center of the detection surface 66, the light peaks at adjacent angular positions overlap so that the direction of the light peak and the radial position are detected with high accuracy. I can't do that. For this reason, it is difficult to achieve both miniaturization and cost reduction of the apparatus and high accuracy of feature extraction.
[0009]
Accordingly, the present invention is capable of realizing high accuracy of feature extraction and miniaturization / cost reduction of an apparatus in a method of extracting image features by optical Hough transformation.
[0010]
[Means for Solving the Problems]
In the feature extraction filter creation method of the present invention,
Optical recording of a plurality of signal lights holding line segment image information having different directions depending on the spatial intensity distribution, by changing the polarization angle of the reference light or the polarization angle of each signal light according to the direction, respectively. Record in the same area of the medium.
[0011]
In the feature extraction method of the present invention,
A plurality of signal lights that hold line segment image information having different directions depending on the spatial intensity distribution, the polarization angle of the reference light or the polarization angle of each signal light is changed according to the direction, respectively, and is the same as a hologram The optical recording medium recorded in the region is irradiated with signal light that retains image information to be extracted by spatial intensity distribution, and hologram diffraction light is read from the optical recording medium onto the optical path of the reference light. Each polarization component of the diffracted light is extracted and its spatial intensity distribution is detected.
[0012]
[Action]
A material exhibiting light-induced birefringence (light-induced anisotropy, light-induced dichroism) is sensitive to the polarization state of light incident thereon and can record the polarization angle (polarization direction) of incident light. . For example, a polymer or liquid crystal having a photoisomerizable group in the side chain, or a polymer in which a photoisomerizable molecule is dispersed is irradiated with linearly polarized light, so that photoisomerization is induced and linearly polarized light Depending on the direction, anisotropy of the refractive index occurs, and the polarization direction can be recorded and stored. At this time, if the reference light is irradiated simultaneously, the polarization angle of the signal light can be recorded as a hologram.
[0013]
A normal hologram is recorded with the signal light and the reference light having the same polarization direction (parallel). In contrast, a material exhibiting light-induced birefringence can record a hologram by changing the polarization directions of signal light and reference light.
[0014]
Focusing on this point, the applicant previously disclosed in Japanese Patent Laid-Open No. 10-340479, a plurality of signal lights each holding two-dimensional data information by a spatial intensity distribution, a polarization angle of reference light for each, or A method has been proposed in which the polarization angle of each signal light is changed, and each hologram is recorded in the same area of the optical recording medium and reproduced from the same area.
[0015]
By utilizing this, in the feature extraction filter creating method of the present invention, as described above, a plurality of signal lights holding line segment image information having different directions depending on the spatial intensity distribution are converted into the polarization angles of the reference lights or the The polarization angle of each signal light is changed according to the direction, and each hologram is recorded in the same area of the optical recording medium.
[0016]
When a feature extraction filter created in this way, that is, an area on which an optical recording medium is recorded with multiple holograms is irradiated with signal light that holds information about an image whose feature is to be extracted by spatial intensity distribution, Each hologram that is multiplexed and recorded on the recording medium functions as a Hough conversion filter, and polarization according to the direction of the line segment included in the target image as hologram diffracted light on the optical path of the reference light at the time of recording each hologram. A diffracted light beam having a light peak at a spatial position corresponding to the position of the line segment included in the target image is obtained.
[0017]
For example, when each hologram is multiplexed and recorded by changing the polarization angle of the reference light according to the direction of the line segment, the line in the direction of 0 degrees (a predetermined direction is defined as the direction of 0 degrees) in the target image When a minute is included, a diffracted light having the same polarization angle as the reference light at the time of recording the hologram is obtained from the hologram in which the line segment in the direction of 0 degree is recorded. When a minute is included, diffracted light having the same polarization angle as the reference light at the time of recording the hologram is obtained from a hologram in which a line segment in the direction of 10 degrees is recorded, and is included in the target image. From the hologram in which the line segment in the same direction as the line segment is recorded, diffracted light having the same polarization angle as the reference light at the time of recording the hologram is obtained, and the diffracted light of each polarization angle is included in the target image. Spatial position according to the position of the line segment In the indicates the photopeak.
[0018]
Therefore, the direction and position of the line segment included in the target image are detected by extracting each polarization component of the hologram diffracted light using an analyzer and detecting the spatial intensity distribution of each polarization component using a photodetector. can do.
[0019]
In this case, since each hologram is recorded by the reference light in the same optical path, diffracted light of any polarization angle from the hologram in which the line segment in any direction is recorded is obtained in the same direction, and the light peak However, since it appears within a limited range in that direction, it is possible to reduce the size of the device and to realize a reduction in the cost of the device. In addition, since the direction of the line segment included in the target image is detected by the polarization angle of the diffracted light, feature extraction can be performed with high accuracy even if the light peak appears within a limited range.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
[Example of optical recording medium]
FIG. 1 shows an example of an optical recording medium used in the method of the present invention, in which a polarization sensitive layer 12 is formed on one surface side of a transparent substrate 11 such as a glass substrate.
[0021]
The polarization sensitive layer 12 may be any material as long as it exhibits light-induced birefringence and can record polarization information as a hologram, but as a preferred example, a polymer having a photoisomerizable group in the side chain. Alternatively, a polymer liquid crystal or a polymer in which molecules to be photoisomerized are dispersed can be used. As the photoisomerizable group or molecule, for example, those containing an azobenzene skeleton are suitable.
[0022]
As one preferred example of the polarization sensitive layer 12, a polyester having cyanoazobenzene in the side chain represented by the chemical formula shown in FIG. 2 can be used. As described in detail in Japanese Patent Application Laid-Open No. 10-340479, this material can record, reproduce and erase holograms having polarization information by photoinduced anisotropy by photoisomerization of side chain cyanoazobenzene. It is.
[0023]
In order to record the hologram in a volumetric (three-dimensional) manner, the thickness of the polarization sensitive layer 12 needs to be at least about 10 μm, and the storage capacity can be increased as the thickness is increased. The entire optical recording medium 10 can also be formed as a polarization sensitive layer exhibiting light induced birefringence.
[0024]
[Example of Feature Extraction Device, Feature Extraction Filter Creation Method, and Feature Extraction Method]
FIG. 3 shows an example of the feature extraction device of the present invention, which is a case where it also serves as an optical recording device that is a feature extraction filter creation device.
[0025]
A light source 21 that emits sensitive coherent light to the polarization sensitive layer 12 of the optical recording medium 10 is used. For example, when a polyester having cyanoazobenzene in the side chain shown in FIG. 2 is used as the polarization sensitive layer 12, an argon ion laser having a wavelength of 515 nm sensitive to this is used.
[0026]
The polarization of the light 1 from the light source 21 is, for example, P-polarized light perpendicular to the paper surface (hereinafter referred to as a 0 degree polarization angle), and the P-polarized light 1 passes through the spatial filter 22 and the wave front is disturbed. Then, the light is converted into parallel light by the lens 23 and further divided into two light beams by the beam splitter 24.
[0027]
(Hologram recording (filter creation))
At the time of hologram recording, the shutter 25 is opened, and the P-polarized light 2 transmitted through the beam splitter 24 is incident on the spatial light modulator 26 for forming signal light, and the spatial light modulator 26 is controlled by a control circuit not shown in the figure. In addition, a binary two-dimensional line segment image is displayed. As a result, the light 4 transmitted through the spatial light modulator 26 is spatially modulated according to the value of each pixel of the line segment image, and is P-polarized signal light that retains the line segment image information by the spatial intensity distribution. It becomes. As such a spatial light modulator 26, a liquid crystal panel or the like can be used.
[0028]
The P-polarized signal light 4 from the spatial light modulator 26 is Fourier-transformed by the lens 27, and the P-polarized signal light 5 after the conversion is applied to the optical recording medium 10.
[0029]
Further, at the time of hologram recording, the shutter 28 is opened and the P-polarized light 3 reflected by the beam splitter 24 is incident on the polarization rotation element 29, and the polarization rotation element according to a control signal from the control circuit not shown in the figure. The polarization angle of the light passing through 29 is rotated. As the polarization rotation element 29 that can rotate the polarization angle of transmitted light in this way, a liquid crystal bulb, a Pockels element, a Faraday element, a half-wave plate, or the like can be used.
[0030]
At the time of hologram recording, the light transmitted through the polarization rotating element 29 is reflected by the mirror 31, converted into parallel light having a reduced beam diameter by the lenses 32 and 33, and further reflected by the mirrors 34, 35 and 36, and is referred to. As the light 6, the region irradiated with the signal light 5 of the optical recording medium 10 is irradiated simultaneously with the signal light 5.
[0031]
As a result, the spatial intensity distribution of the P-polarized signal light 5 is recorded as a hologram in the optical recording medium 10.
[0032]
In this case, first, a line segment in the direction of 0 degrees as shown in FIG. 4A (the vertical direction in FIG. 4 is taken as the direction of 0 degrees) as shown in FIG. Is polarized light of 0 degree (P-polarized light), and P-polarized signal light holding the line segment information in the direction of 0 degree by the spatial intensity distribution is recorded on the optical recording medium 10 as a hologram.
[0033]
Next, a line segment in the direction of 10 degrees as shown in FIG. 4B is set on the spatial light modulator 26 (the direction rotated 10 degrees in the clockwise direction with respect to the vertical direction is the direction of 10 degrees). The reference light 6 is polarized at 10 degrees (the polarization direction rotated by 10 degrees in the predetermined direction with respect to the polarization direction of P-polarized light is set to 10 degrees polarization), and the line in the direction of 10 degrees is determined by the spatial intensity distribution. P-polarized signal light holding minute information is multiplexed and recorded as a hologram in the same area of the optical recording medium 10.
[0034]
Thereafter, similarly, the direction of the line segment displayed on the spatial light modulator 26 is changed by 10 degrees up to 170 degrees, and the polarization angle of the reference light 6 is changed by 10 degrees up to 170 degrees accordingly. Multiple holograms are recorded in the same area.
[0035]
Therefore, an 18-page line segment image whose line direction changes by 10 degrees from 0 degrees to 170 degrees is converted into a 18-page hologram by reference light whose polarization angle changes by 10 degrees from 0 degrees to 170 degrees. Are recorded in the same area of the optical recording medium 10.
[0036]
(Feature extraction method)
At the time of feature extraction, the shutter 28 is closed to block the reference light 6, the shutter 25 is opened, and the P-polarized light 2 transmitted through the beam splitter 24 is incident on the spatial light modulator 26. Thus, a binary two-dimensional target image whose features are to be extracted is displayed on the spatial light modulator 26. Thereby, the light 4 transmitted through the spatial light modulator 26 is spatially intensity-modulated according to the value of each pixel of the target image, and becomes P-polarized signal light that retains the target image information by the spatial intensity distribution. .
[0037]
The P-polarized signal light 4 from the spatial light modulator 26 is Fourier-transformed by the lens 27, and the P-polarized signal light 5 after the conversion is a feature extraction filter, that is, an optical recording medium, created as described above. 10 areas of 18-page holograms are recorded in a multiplexed manner.
[0038]
At this time, each hologram that is multiplexed and recorded on the optical recording medium 10 functions as a Hough transform filter, and the direction of the line segment included in the target image as the hologram diffracted light 7 on the optical path of the reference light 6 at the time of recording. Diffracted light having a light angle at a spatial position corresponding to the position of the line segment included in the target image and having a polarization angle corresponding to the light angle is obtained.
[0039]
That is, when the target image includes a line segment in the direction of 0 degree, diffraction from the hologram in which the line segment in the direction of 0 degree is recorded has the same polarization angle of 0 degree as the reference light at the time of recording the hologram. When light is obtained and the target image includes a line segment in the direction of 10 degrees, the polarization of 10 degrees is the same as the reference light at the time of recording the hologram from the hologram in which the line segment in the direction of 10 degrees is recorded. A diffracted light having the same polarization angle as the reference light at the time of recording the hologram is obtained from a hologram in which a line segment in the same direction as the direction of the line segment included in the target image is recorded. In addition to being obtained, diffracted light of each polarization angle exhibits a light peak at a spatial position corresponding to the position of the line segment included in the target image.
[0040]
The hologram diffracted light 7 is reflected by the mirror 41, and further, the analyzer 42 sequentially extracts each polarization component having a different polarization angle by 10 degrees from 0 degrees to 170 degrees of the diffracted light 7, and the extracted polarization component 7a. Is imaged on the photodetector 43 in a two-dimensional array. Therefore, the direction and position of the line segment included in the target image can be detected from the detection signal of the photodetector 43.
[0041]
In this case, since the hologram for 18 pages is recorded by the reference light 6 in the same optical path, diffracted light with any polarization angle from the hologram in which the line segment in any direction is recorded can be obtained in the same direction. Since the light peak also appears within a limited range in the direction, the device can be downsized and the cost of the device can be reduced. In addition, since the direction of the line segment included in the target image is detected by the polarization angle of the diffracted light, feature extraction can be performed with high accuracy even if the light peak appears within a limited range.
[0042]
[Verification by experiment]
With the method and apparatus described above, an attempt was made to actually create a feature extraction filter and extract features of the target image. As the optical recording medium 10, the polarization sensitive layer 12 formed of polyester having cyanoazobenzene in the side chain was used, and as the light source 21, the above-described argon ion laser having a wavelength of 515 nm was used. Signal light and reference light at the time of hologram recording (when creating filters) is about 0.5 W / cm 2, the signal light at the time of feature extraction, was 0.15 W / cm 2. As the spatial light modulator 26, a liquid crystal panel for a projector having a size of one pixel of 42 μm × 42 μm and 640 × 480 pixels was used.
[0043]
In order to create a feature extraction filter, first, a line segment in the direction of 0 degrees as shown in FIG. 4A is displayed on the spatial light modulator 26, the polarization angle of the reference light 6 is set to 0 degrees, A hologram was recorded on the recording medium 10. At this time, on the spatial light modulator 26, the width of the line segment is 10 pixels and the length is 240 pixels.
[0044]
Next, a line segment in the direction of 10 degrees as shown in FIG. 4B is displayed on the spatial light modulator 26, the polarization angle of the reference light 6 is set to 10 degrees, and the hologram is formed in the same region of the optical recording medium 10. Was recorded multiple times. Thereafter, similarly, the direction of the line segment displayed on the spatial light modulator 26 is changed by 10 degrees up to 170 degrees, and the polarization angle of the reference light 6 is changed by 10 degrees up to 170 degrees, so that the same area of the optical recording medium 10 is obtained. Multiple holograms were recorded.
[0045]
However, the display of the line segment image on the spatial light modulator 26 is digital, and when the line segment is tilted, the width and length of the line segment are as accurate as when the line segment is oriented at 0 degrees or 90 degrees. Since it cannot be the same, the line segment is set to a value close to 0 degrees or 90 degrees.
[0046]
Next, feature extraction of the target image was performed using the feature extraction filter created in this way. First, the spatial light modulator 26 displays a target image having one line segment in the direction of 0 degrees at the center in the left-right direction as shown in FIG. Was irradiated to an area in which holograms for 18 pages of the optical recording medium 10 were recorded in a multiplexed manner.
[0047]
As a result, when the transmission axis direction of the analyzer 42 is set to 0 degree, as a diffraction image detected by the photodetector 43, one light peak is observed in the center as shown in FIG. It was confirmed that the target image has one line segment in the direction of 0 degree at the center in the left-right direction.
[0048]
Next, as shown in FIG. 6A, the spatial light modulator 26 displays a target image having two line segments in the direction of 90 degrees up and down across the center point, and is subjected to Fourier transform. The P-polarized signal light was irradiated to the area where the holograms for 18 pages of the optical recording medium 10 were recorded in a multiplexed manner.
[0049]
As a result, when the transmission axis direction of the analyzer 42 is set to 90 degrees, as shown in FIG. 6B, the diffraction image detected by the photodetector 43 is light at two points above and below the center point. A peak was observed, and it was confirmed that the target image had two line segments in the direction of 90 degrees up and down across the center point.
[0050]
【The invention's effect】
As described above, according to the present invention, it is possible to improve the accuracy of feature extraction by optical Hough transform and reduce the size and cost of the apparatus.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of an optical recording medium used in the method of the present invention.
FIG. 2 is a diagram illustrating a chemical formula of an example of a material of a polarization sensitive layer of an optical recording medium.
FIG. 3 is a diagram illustrating an example of a feature extraction apparatus according to the present invention.
FIG. 4 is a diagram showing an example of a line segment image to be hologram-recorded by the feature extraction filter creation method of the present invention.
FIG. 5 is a diagram illustrating an example of a feature extraction target image and a feature extraction result diffraction image;
FIG. 6 is a diagram illustrating another example of a feature extraction target image and a diffraction image of a feature extraction result.
FIG. 7 is a diagram illustrating a conventional feature extraction filter creation method and feature extraction method.
[Explanation of symbols]
4, 5 ... Signal light 6 ... Reference light 7 ... Diffracted light 7a ... Polarized component 10 ... Optical recording medium 12 ... Polarization sensitive layer 21 ... Light source 24 ... Beam splitter 25, 28 ... Shutter 26 ... Spatial light modulator 29 ... Polarization rotation Element 42 ... Analyzer 43 ... Photodetector

Claims (5)

空間強度分布によりそれぞれ方向の異なる線分画像情報を保持する複数の信号光を、それぞれに対する参照光の偏光角またはそれぞれの信号光の偏光角を前記方向に応じて変えて、それぞれホログラムとして光記録媒体の同一領域に記録する特徴抽出フィルタ作成方法。Optical recording of a plurality of signal lights holding line segment image information having different directions depending on the spatial intensity distribution by changing the polarization angle of the reference light or the polarization angle of the respective signal light according to the direction. A feature extraction filter creation method for recording in the same area of a medium. 空間強度分布によりそれぞれ方向の異なる線分画像情報を保持する複数の信号光が、それぞれに対する参照光の偏光角またはそれぞれの信号光の偏光角が前記方向に応じて変えられて、それぞれホログラムとして光記録媒体の同一領域に記録された特徴抽出フィルタ。A plurality of signal lights holding line segment image information having different directions depending on the spatial intensity distribution are converted into light as holograms by changing the polarization angles of the reference light or the respective signal lights according to the directions. A feature extraction filter recorded in the same area of the recording medium. 空間強度分布によりそれぞれ方向の異なる線分画像情報を保持する複数の信号光が、それぞれに対する参照光の偏光角またはそれぞれの信号光の偏光角が前記方向に応じて変えられて、それぞれホログラムとして同一領域に記録されている光記録媒体に、空間強度分布により特徴抽出対象の画像情報を保持する信号光を照射して、前記光記録媒体から前記参照光の光路上にホログラム回折光を読み出し、その回折光の各偏光成分を抽出して、その空間強度分布を検出する特徴抽出方法。A plurality of signal lights that hold line segment image information having different directions depending on the spatial intensity distribution, the polarization angle of the reference light or the polarization angle of each signal light is changed according to the direction, and each is the same as a hologram The optical recording medium recorded in the region is irradiated with signal light that retains image information to be extracted based on spatial intensity distribution, and hologram diffraction light is read from the optical recording medium onto the optical path of the reference light. A feature extraction method for extracting each polarization component of diffracted light and detecting its spatial intensity distribution. コヒーレント光を発する光源と、
特徴抽出対象の画像情報に応じて前記光源からの光を強度変調して、空間強度分布により前記画像情報を保持する信号光を得る空間光変調器と、
この空間光変調器から得られた信号光を、空間強度分布によりそれぞれ方向の異なる線分画像情報を保持する複数の信号光が、それぞれに対する参照光の偏光角またはそれぞれの信号光の偏光角が前記方向に応じて変えられて、それぞれホログラムとして同一領域に記録されている光記録媒体に照射する結像光学系と、
前記空間光変調器から得られた信号光が、前記結像光学系により前記光記録媒体に照射されることによって、前記光記録媒体から前記参照光の光路上に読み出されたホログラム回折光から、その各偏光成分を抽出する回折光光学系と、
その抽出された各偏光成分の空間強度分布を検出する光検出器と、
を備える特徴抽出装置。
A light source that emits coherent light;
A spatial light modulator that modulates the intensity of light from the light source in accordance with image information of a feature extraction target, and obtains signal light that retains the image information by a spatial intensity distribution;
The signal light obtained from this spatial light modulator has a plurality of signal lights that hold line segment image information having different directions depending on the spatial intensity distribution, and the polarization angle of the reference light or the polarization angle of each signal light is different. An imaging optical system that is changed according to the direction and irradiates an optical recording medium recorded in the same area as a hologram,
The signal light obtained from the spatial light modulator is irradiated onto the optical recording medium by the imaging optical system, so that from the hologram diffracted light read from the optical recording medium onto the optical path of the reference light Diffracted light optical system for extracting each polarization component;
A photodetector for detecting the spatial intensity distribution of each extracted polarization component;
A feature extraction apparatus comprising:
コヒーレント光を発する光源と、
線分画像情報または特徴抽出対象の画像情報に応じて前記光源からの光を強度変調して、空間強度分布により前記線分画像情報または前記特徴抽出対象の画像情報を保持する信号光を得る空間光変調器と、
この空間光変調器から得られた信号光を光記録媒体に照射する結像光学系と、
前記光源からの光から参照光を得て、前記光記録媒体に照射する参照光光学系と、
前記参照光または前記信号光の偏光角を回転させる偏光回転素子と、
前記特徴抽出対象の画像情報を保持する信号光が前記光記録媒体に照射されることによって、前記光記録媒体から前記参照光の光路上に読み出されたホログラム回折光から、その各偏光成分を抽出する回折光光学系と、
その抽出された各偏光成分の空間強度分布を検出する光検出器と、
を備える光記録特徴抽出装置。
A light source that emits coherent light;
A space that obtains signal light that retains the line segment image information or the feature extraction target image information by spatial intensity distribution by intensity-modulating the light from the light source according to the line segment image information or the feature extraction target image information. An optical modulator;
An imaging optical system for irradiating the optical recording medium with the signal light obtained from the spatial light modulator;
A reference light optical system that obtains reference light from light from the light source and irradiates the optical recording medium;
A polarization rotation element that rotates a polarization angle of the reference light or the signal light;
By irradiating the optical recording medium with signal light that holds the image information of the feature extraction target, each polarization component is extracted from the hologram diffracted light read from the optical recording medium onto the optical path of the reference light. A diffracted light optical system to be extracted;
A photodetector for detecting the spatial intensity distribution of each extracted polarization component;
An optical recording feature extraction apparatus comprising:
JP29673399A 1999-10-19 1999-10-19 Feature extraction method and feature extraction device Expired - Fee Related JP3988011B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29673399A JP3988011B2 (en) 1999-10-19 1999-10-19 Feature extraction method and feature extraction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29673399A JP3988011B2 (en) 1999-10-19 1999-10-19 Feature extraction method and feature extraction device

Publications (2)

Publication Number Publication Date
JP2001117475A JP2001117475A (en) 2001-04-27
JP3988011B2 true JP3988011B2 (en) 2007-10-10

Family

ID=17837402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29673399A Expired - Fee Related JP3988011B2 (en) 1999-10-19 1999-10-19 Feature extraction method and feature extraction device

Country Status (1)

Country Link
JP (1) JP3988011B2 (en)

Also Published As

Publication number Publication date
JP2001117475A (en) 2001-04-27

Similar Documents

Publication Publication Date Title
US7652809B2 (en) Method and apparatus for phase-encoded homogenized Fourier transform holographic data storage and recovery
US7315501B1 (en) System and method for recording of information on a holographic recording medium, preferably an optical card
US6452890B2 (en) Optical storage medium, optical storage method, optical reading method, optical reading apparatus, optical retrieving method and optical retrieving apparatus
JP5466833B2 (en) Method for performing page-based holographic recording and readout
JP4045394B2 (en) Hologram recording method, hologram reproducing method and filtering method
JP2913323B2 (en) Optical processing apparatus and driving method thereof
CN1314015C (en) Polarized holographic optical memory device of using film of photochromic material as recording medium
JP3956077B2 (en) Optical reading method and optical reading device
JP2000268380A (en) Method and device for optical recording, and method and device for optical reproducing
JP3988011B2 (en) Feature extraction method and feature extraction device
JP2004271884A (en) Optical memory recording medium and optical memory system
JP3904050B2 (en) Optical search method and optical search device
JP3962888B2 (en) Optical recording method, optical recording apparatus, optical reproducing method, and optical reproducing apparatus
JP3812626B2 (en) Optical reading method and optical reading device
Sanchez-de-la-Llave et al. Novel joint transform correlator architecture using bacteriorhodopsin optically addressable spatial light modulators
JP3812625B2 (en) Optical recording method, optical recording medium, optical reading method, and optical reading apparatus
JP4120838B2 (en) Optical recording method, optical reading method, optical reading device, and optical recording medium
JP2000089650A (en) Method and device for reproducing light
JP2000259068A (en) Spatial optical modulator and holography device
JP3904056B2 (en) Optical regeneration method and optical regeneration apparatus
JP3865023B2 (en) Optical processing method and optical processing apparatus
JP4120837B2 (en) Optical recording method, optical recording apparatus, optical reading method, optical reading apparatus, optical search method, optical search apparatus, optical recording medium
JP3066457B2 (en) Optical pattern recognition device
US7202984B2 (en) Double faced double storage capacity medium
Curtis Three-dimensional photopolymer disks for correlation and data storage, and cross-talk in volume holographic memories

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070703

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees