JP4610084B2 - 折返された光軸を有し、強誘電性液晶空間光変調器を使用する高出力反射型光学的相関器 - Google Patents

折返された光軸を有し、強誘電性液晶空間光変調器を使用する高出力反射型光学的相関器 Download PDF

Info

Publication number
JP4610084B2
JP4610084B2 JP2000562809A JP2000562809A JP4610084B2 JP 4610084 B2 JP4610084 B2 JP 4610084B2 JP 2000562809 A JP2000562809 A JP 2000562809A JP 2000562809 A JP2000562809 A JP 2000562809A JP 4610084 B2 JP4610084 B2 JP 4610084B2
Authority
JP
Japan
Prior art keywords
mirror
electromagnetic beam
correlator
spatial light
toric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000562809A
Other languages
English (en)
Other versions
JP2002521737A (ja
Inventor
キャロット,デービッド・ティ
ディディク,バリー
カリンズ,ジェームス・ピィ
ルーカス,ジョン
ミッチェル,ボブ
ミルズ,スチュアート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northrop Grumman Guidance and Electronics Co Inc
Original Assignee
Litton Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Litton Systems Inc filed Critical Litton Systems Inc
Publication of JP2002521737A publication Critical patent/JP2002521737A/ja
Application granted granted Critical
Publication of JP4610084B2 publication Critical patent/JP4610084B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06EOPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
    • G06E3/00Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
    • G06E3/001Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements
    • G06E3/005Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements using electro-optical or opto-electronic means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Liquid Crystal (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Input (AREA)

Description

【0001】
【発明の背景】
【発明の分野】
この発明は一般的に、光学的相関器システムの改良に関し、より特定的には、未知の物体の向上した光検出を提供するための新しい改良された光学的相関器構造に関する。
【0002】
【関連技術の説明】
目標または異常の場所をつきとめかつ識別することが可能な、小型で低電力で低コストのパターン認識システムは、軍用、医療用および安全用を含む多くの応用において要求される。光学的相関器は、寸法、電力および/または重量において匹敵するデジタルシステムよりも、高速で2次元のパターン認識を行なうことができる。
【0003】
軍用および商業用の両方において、実時間パターン認識またはパターン解析の現在の問題の多くは、相関を使用することで解決され得る。軍隊の任務は、目標検出、目標認識、弾薬誘導および他の多くの応用のために実時間パターン認識機能を要求する。商業の応用は、医療用、情報用、法律の執行、保安、ロボット工学および工場検査の、多くの応用のためにパターン解析機能を要求する。特定的には、頑丈で低コストであり、低電力の構成を有し、非常にコンパクトで、温度に影響されず軽量である光学的相関パターン認識システムが要求される。実時間速度におけるロバストなパターン認識への処理要求は非常に高い。現在および短期的なデジタル的な解決法は、コスト、寸法、重量および電力要求に関して、多くの応用に対してまだ実用的ではない。
【0004】
この発明の譲受人に譲渡される米国特許第5311359号の、折返された非対称の軸を有する反射型光学的相関器は、実時間速度で要求される処理力を提供する、小さく軽量で、より低電力なパッケージの光学的相関パターン認識システムを開示する。
【0005】
図1は、米国特許第5311359号の反射型光学的相関器システムを示す。光学的相関器システム10は、面状の支持本体12を有し、該支持本体12は不規則な周辺14および、該支持本体の不規則な周辺14に沿って選択された場所に形成される複数のシステムステーション16を備える。複数の反射光学成分(component)は能動16および受動18の両方であり、選択されたシステムステーション1に位置決めされる。電磁放射ソース20が第1のシステムステーションに位置決めされる。電磁放射ソース20は、たとえばコヒーレント光ビームを発してもよく、該コヒーレント光ビームは、反射光学成分16および18によって拘束されるか、または定められる、面状の本体12内の折返された非対称的な光軸または光路22を進む。光路22は、最後のシステムステーションに位置決めされる検出器24において終わる。
【0006】
図2は、中で図1の光学的相関器10が使用可能である光学的相関器システムを示す。光学的相関器10の特に好ましい構造は米国特許第5311359号に開示される。米国特許第5311359号の全体の開示がここに引用により援用される。
【0007】
図2のシステム図によって、光学的相関器10の動作の基本的な概念が例示される。光学的相関器システムによって処理されるべき像46は入力センサ44によって検知されてもよく、該入力センサ44は外部のデジタルカメラまたは処理されるべき像/信号データの他のいかなるソースであってもよい。検知されたデータは像プリプロセッサであるデータフォーマッタ42に与えられ、これはデータを入力センサ44から取入れ、空間光変調器(SLM)28の入力駆動電子部品34のためにフォーマットする。SLM28が、たとえばレーザダイオードであってもよい放射ソース20からのコヒーレント光のビームにより照射された場合、入力電子部品34によってSLM28に与えられるデータは、レーザダイオード20からの偏光レンズ25を通過した光ビームをパターン化する。SLM28は、パターン化された光ビームを第1の凹面鏡26に反射し、これは受取ったパターン化された情報を第1の偏光子29を通して第2の空間光変調器(SLM)30へパターン化されたフーリエ変換ビームとして反射する。この第2のSLM30はまた、フィルタ駆動電子部品36からポストプロセッサ40によって指示される、期待される(anticipated)像を表わすフィルタデータも受取る。このフィルタデータは、前処理されたフーリエ変換パターンの形である。第2のSLM30は、パターン化されたフーリエ変換ビームを、フィルタデータベース36からの既知のフィルタのフーリエ変換パターンで変換されると同時に受取り、それによりフーリエ信号の乗算によって2つのフーリエパターンの組合わせを引起こす。結果として生じた組合されたパターンは、第2のSLM30によって第2の凹面鏡27に反射され、これはSLM30で組合されたパターンのフーリエ変換を、第2の偏光子31を通してたとえばCCDアレイのような高速光検出器アレイ上に焦点を合わせる。パターン化ビームCCD検出器アレイ32は結果として生じる像を捕らえ、検出器電子部品38およびポストプロセッサ40はその情報を使用して出力48を生成し、これはデータベースからのフィルタ像によって定められた原入力像46の位置を表示する。出力48の振幅は、相関の程度を示す。
【0008】
空間光変調器およびフーリエ変換レンズを使用する光学的相関器システムおよび構造のさらなる詳細な例および説明は、米国特許第5418380号を参照されたい。
【0009】
この発明は、これらの先行技術のシステムから改良された折返され分割される光学的像プロセッサを提供する。
【0010】
【発明の概要】
パターン認識プロセッサは、改良された折返され分割された像プロセッサを使用して、面状の支持本体の中の折返された光路の中で受動成分と改良された能動成分とを組合せ、強誘電性液晶空間光変調器のような入力空間光変調器(SLM)からの電磁放射のパターンを制御する。入力SLMは、像情報を受光した電磁放射または可視コヒーレント光の上にパターン化し、これを相関フィルタは既知のフィルタパターンとの相関のために強誘電性液晶空間光変調器のような第2のSLMである相関フィルタに与える。相関された入力センサパターンおよびフィルタパターンは電荷結合素子である検出器上に焦点を合わされ、空間情報として検出されるが、ここでは光点の位置がマッチドフィルタパターンに対する原パターンの相関を識別し、さらに光の振幅が相関の程度を識別する。
【0011】
この発明の正確な性質およびその目的と利点は、関連の図面と合わせて以下の詳細な説明を考慮することにより容易に明らかになるものである。図面はその全体を通して同じ部分には同じ符号が付される。
【0012】
【好ましい実施例の説明】
以下の説明は、当業者に対しこの発明の実施を可能にし、この発明を実行するために発明者によって企図される最適な方法を明らかにするものである。しかしながら、この発明の一般的な原則は、図3に示されるように、ここにこの発明の光学的相関器の好ましい実施例を提供するために特定的に規定されるので、当業者にはさまざまな修正例が簡単に明らかになるであろう。図3では、光学的相関器48は面状の支持本体50を含み、これは、すべての受動および能動光学成分が、振動および温度変動を有するさまざまな厳しい環境の中で、互いに対して固定され安定した構成に保たれるように、好ましくは、溶融石英(SiO2)またはゼロデュア(Zerodur)として知られるガラスセラミックまたはそれに類似の素材から形成される。
【0013】
非対称であり折返された光路73は、電磁エネルギソース52から始まるいくつかの連続的な経路線分を有し、該エネルギソース52は好ましくはダイオードレーザまたは類似の装置であり、光路73はCCD平面アレイ70のようなピクセル検出器で終わる。レーザ52からのエネルギビームは、好ましくは256×256平面ピクセルアレイを備える強誘電性液晶空間光変調器(FLC)SLMである第1の空間光変調器(SLM)54に向けられる。SLM54は、入力像データを受取り、受取ったエネルギビームを、像データでパターン化し、第1のトーリック鏡56に反射する。凹面または球面とは異なり、トーリック鏡は2つの曲率半径を有するが、メリジオナル平面に対する曲率半径はサジタル平面に沿った曲率半径とは異なる。このトーリック鏡は、その上に入射するパターン化されたエネルギビームの第1のフーリエ変換を生成し、そのフーリエ変換されたエネルギビームを偏光子66を通して、これもまた強誘電性液晶SLMである第2のSLM58に反射する。第2のFLCSLM58はフーリエ変換されたエネルギビームに加え、フィルタデータベースからの既知の2次元フィルタパターンのフーリエ変換を受取る。入力像パターンおよびフィルタパターンの2つのフーリエパターンの組合せは、ピクセルごとに整合したフーリエ信号の乗算をもたらす。第2のSLMすなわちフィルタSLM58は、組合されたパターンを第2のトーリック鏡60に反射し、これは組合されたパターンビームに第2のフーリエ変換を行ない、それを鏡62に反射する。平坦な鏡62は受取ったエネルギビームを第3のトーリック鏡64へ反射する。2つのトーリック鏡60および64および平坦な鏡62は合わせてトーリック鏡からのパターン化されたエネルギビームをCCD検出器70のピクセルアレイ上に収束するように機能する。偏光子68は、トーリック鏡60および平坦な鏡62の間のパターン化されたビームの中に置かれる。この偏光子68は、第2のSLM58の後ろのビーム経路内であればどこに置かれてもよい。CCDピクセルアレイは一般的に、空間光変調器54および空間光変調器58のアレイよりも小さい。
【0014】
図4に、パターン認識システムの中で光プロセッサとして使用され、便宜的に電子光学的プロセッサと呼ばれるこの発明の光学的相関器48が示される。光学的相関器48の中で起こる光学的処理の他に、電子部品部分で電子的処理が起こって一般的な前処理および一般的な後処理を与え、さらに光学的相関器48を外部システムとインターフェイスさせる。図4に示される電子光学的プロセッサの電子部品部分は、入力センサ82を使用して入力パターン84を検出し、入力パターンに関する情報を像プリプロセッサ80に与える。像プリプロセッサ80は、像情報にアルゴリズムとデータフォーマッティングとを使用し、その後これをFLC空間光変調器54に対する入力として入力駆動電子部品74に与える。FLC空間光変調器54は、256×256ピクセルアレイであってもよい。加えて、ポストプロセッサ回路83は、フィルタ選択および相関解析能力を含み、少なくとも各々が256×256ピクセルアレイである4000個の2値位相専用フィルタ(BPOF)を記憶するために、十分なメモリを有する。これらの2値フィルタはフィルタ駆動電子部品76に与えられ、次いで第2のフィルタFLC空間光変調器58に与えられる。
【0015】
検出電子部品78は、CCD70から検出された信号を受信して、制御回路を使用するが、これはCCDアレイ70での相関平面の低ノイズの読出とデジタル化された検出とを支持する。
【0016】
結果として生じるシステムによって、FLC空間光変調器を備えたより簡単な駆動電子部品を入力およびフィルタSLMとして使用することが可能になる。加えて、FLC空間光変調器の実質的に増大した光効率は、相関信号対雑音比を相当に改良し、それによってシステムの全体が毎秒1925フレームのフレームレートで動作することを可能にする。これらの改良点の全てが検出性能の顕著な増大に加わる。
【0017】
当業者においては、この発明の範囲および精神から逸脱することなく、これまで説明された好ましい実施例の各々クレームの適合例や修正例を構成できるだろう。したがって、付属の請求項の範囲の中で、この発明はここに特定的に説明される実施例以外にも実施され得ることを理解されたい。
【図面の簡単な説明】
【図1】 先行技術の非対称反射型光学的相関器の斜視図である。
【図2】 像認識システムのブロック図で使用される反射型光学的相関器を示す図である。
【図3】 この発明の折返され分割された光学的相関器の斜視図である。
【図4】 像認識システムまたはパターン認識システムで使用される図3の光学的相関器の部分斜視図および部分ブロック図を示す図である。

Claims (3)

  1. 未知の物体の検出および識別に使用する改良された光学的相関器であって、前記相関器は、面状の支持本体(50)を有し、前記本体(50)は、前記本体(50)の周囲に沿った選択された位置に光学部品を有し、
    前記本体(50)上の第1の位置にあり、前記本体(50)へエネルギーを向ける電磁エネルギーソース(52)と、
    画像情報を未知の物体を表わす電気的信号の形で受取り、前記電磁エネルギーソース(52)から受取った電磁ビームを受取った画像情報に従ってパターン化する第1の強誘電性液晶(FLC)空間光変調器(SLM)(54)と、
    前記本体(50)上の第2の位置にあり、前記第1のFLCSLM(54)からの電磁ビームのフーリエ変換を生成する第1のトーリック鏡(56)と、
    前記本体(50)上の第3の位置にあり、既知の物体を表わすフーリエ変換パターンを電気的信号の形で受取り、前記第1のトーリック鏡(56)から受取った電磁ビームを前記既知の物体のフーリエ変換パターンに従ってパターン化する第2の強誘電性液晶(FLC)空間光変調器(SLM)(58)と、
    前記本体(50)上の第4の位置にあり、前記第2のFLCSLM(58)から電磁ビームを受取り、前記第2のFLCSLM(58)からの電磁ビームのフーリエ変換を生成する第2のトーリック鏡(60)と、
    前記本体(50)上の第5の位置にあり、電荷結合素子(CCD)(70)と、
    前記本体(50)上の第6の位置にあり、前記第2のトーリック鏡(60)からの電磁ビームを受取る平面鏡(62)と、
    前記本体(50)上の第7の位置にあり、前記平面鏡(62)から前記電磁ビームを受取り、前記本体(50)上の第5の位置にある前記CCD(70)の像平面上にそれを収束する第3のトーリック鏡(64)とを備えた、改良された光学的相関器。
  2. 前記CCD(70)は、前記第1および第2のFLCSLM(56,58)の各々よりも少ない画素数を有する、請求項1に記載の改良された光学的相関器。
  3. 前記第1のトーリック鏡(56)と前記第2のFLCSLM(58)の間の前記電磁ビーム経路に置かれた第1の偏光子(66)と、
    前記第2のトーリック鏡(60)と前記平面鏡(62)の間の前記電磁ビーム経路に置かれた第2の偏光子(68)とをさらに備えた、請求項に記載の改良された光学的相関器。
JP2000562809A 1998-07-30 1999-07-29 折返された光軸を有し、強誘電性液晶空間光変調器を使用する高出力反射型光学的相関器 Expired - Fee Related JP4610084B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/126,450 1998-07-30
US09/126,450 US6080994A (en) 1998-07-30 1998-07-30 High output reflective optical correlator having a folded optical axis using ferro-electric liquid crystal spatial light modulators
PCT/US1999/017152 WO2000007082A1 (en) 1998-07-30 1999-07-29 High output reflective optical correlator having a folded optical axis using ferro-electric liquid crystal spatial light modulators

Publications (2)

Publication Number Publication Date
JP2002521737A JP2002521737A (ja) 2002-07-16
JP4610084B2 true JP4610084B2 (ja) 2011-01-12

Family

ID=22424884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000562809A Expired - Fee Related JP4610084B2 (ja) 1998-07-30 1999-07-29 折返された光軸を有し、強誘電性液晶空間光変調器を使用する高出力反射型光学的相関器

Country Status (7)

Country Link
US (1) US6080994A (ja)
EP (1) EP1099144B1 (ja)
JP (1) JP4610084B2 (ja)
AT (1) ATE229196T1 (ja)
DE (1) DE69904334T2 (ja)
TW (1) TW442670B (ja)
WO (1) WO2000007082A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0300516D0 (sv) * 2003-02-28 2003-02-28 Micronic Laser Systems Ab SLM direct writer
US7526100B1 (en) * 2003-04-22 2009-04-28 Advanced Optical Systems, Inc. System for processing and recognizing objects in images
US7148797B2 (en) * 2004-07-23 2006-12-12 Innovalarm Corporation Enhanced fire, safety, security and health monitoring and alarm response method, system and device
US7991242B2 (en) 2005-05-11 2011-08-02 Optosecurity Inc. Apparatus, method and system for screening receptacles and persons, having image distortion correction functionality
CA2608119A1 (en) 2005-05-11 2006-11-16 Optosecurity Inc. Method and system for screening luggage items, cargo containers or persons
US7899232B2 (en) 2006-05-11 2011-03-01 Optosecurity Inc. Method and apparatus for providing threat image projection (TIP) in a luggage screening system, and luggage screening system implementing same
US8494210B2 (en) 2007-03-30 2013-07-23 Optosecurity Inc. User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same
JP4902714B2 (ja) * 2009-09-30 2012-03-21 シャープ株式会社 光ポインティング装置およびそれを備える電子機器、並びに、導光体および導光方法。
BR112012017260A2 (pt) * 2010-02-12 2017-10-03 Advanced Fusion Systems Llc Método e sistema para detectar materiais"
JP6025849B2 (ja) 2011-09-07 2016-11-16 ラピスカン システムズ、インコーポレイテッド マニフェストデータをイメージング/検知処理に統合するx線検査システム
CN116309260A (zh) 2016-02-22 2023-06-23 拉皮斯坎系统股份有限公司 用于评估货物的平均货盘尺寸和密度的方法
US20230385626A1 (en) * 2022-05-24 2023-11-30 Electronics And Telecommunications Research Institute Optical artificial neural network system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4357676A (en) * 1980-09-08 1982-11-02 Ampex Corporation Frequency multiplexed joint transform correlator system
US4573198A (en) * 1982-12-27 1986-02-25 Litton Systems, Inc. Optical image processing/pattern recognition system
US5148496A (en) * 1990-12-24 1992-09-15 Litton Systems, Inc. Optical correlator with symmetric reflective optics
US6219015B1 (en) * 1992-04-28 2001-04-17 The Board Of Directors Of The Leland Stanford, Junior University Method and apparatus for using an array of grating light valves to produce multicolor optical images
US5311359A (en) * 1992-12-24 1994-05-10 Litton Systems, Inc. Reflective optical correlator with a folded asymmetrical optical axis
US5386313A (en) * 1993-03-11 1995-01-31 Szegedi; Nicholas J. Reflective magneto-optic spatial light modulator assembly
US5452137A (en) * 1993-04-05 1995-09-19 Litton Systems Inc. Extenders for reflective optical path segments
US5418380A (en) * 1994-04-12 1995-05-23 Martin Marietta Corporation Optical correlator using ferroelectric liquid crystal spatial light modulators and Fourier transform lenses
US5659637A (en) * 1994-05-26 1997-08-19 Optical Corporation Of America Vander lugt optical correlator on a printed circuit board
JP3968378B2 (ja) * 1996-09-26 2007-08-29 独立行政法人産業技術総合研究所 多重相関を用いたパターン認識システム
US6163403A (en) * 1998-07-30 2000-12-19 Litton Systems, Inc. High output reflective optical correlator having a folded optical axis using grayscale spatial light modulators

Also Published As

Publication number Publication date
JP2002521737A (ja) 2002-07-16
DE69904334D1 (de) 2003-01-16
WO2000007082A1 (en) 2000-02-10
TW442670B (en) 2001-06-23
DE69904334T2 (de) 2003-04-17
EP1099144A1 (en) 2001-05-16
ATE229196T1 (de) 2002-12-15
US6080994A (en) 2000-06-27
EP1099144B1 (en) 2002-12-04

Similar Documents

Publication Publication Date Title
JP4610084B2 (ja) 折返された光軸を有し、強誘電性液晶空間光変調器を使用する高出力反射型光学的相関器
US7298908B2 (en) Method and apparatus for detecting the presence of one or more images of a known predetermined kind of scene
US6726105B2 (en) Rotating plate carrier for changing focal distance of optical code imager
US6002499A (en) Real time fingerprint sensor and verification system
EP1116169B1 (en) Improvements relating to pattern recognition
US7397540B2 (en) Phase diversity ranging sensor
JP4278870B2 (ja) 折返された光軸を有し、グレイスケール空間光変調器を使用する高出力反射型光学的相関器
WO2000052633A1 (en) System for recovery of degraded images
EP0196106B1 (en) Systems and methods for processing optical correlator memory devices
CA2017202A1 (en) Scanning beam optical signal processor
US4511219A (en) Kalman filter preprocessor
Chao et al. Grayscale optical correlator
US5987188A (en) Space integrating sliding image optical correlator
US5600123A (en) High-resolution extended field-of-view tracking apparatus and method
Carrott et al. Third-generation miniature ruggedized optical correlator (MROC) module
EP1400917B1 (en) Improvements relating to pattern recognition
Chao et al. 512x512 high-speed grayscale optical correlator
Temmen et al. Optical correlator for TOPS
EP1632883A2 (en) Optical pattern recognition with a binary phase-only filter for image tracking
JPH11125768A (ja) 撮像光学装置
Nekrasov et al. Real-time coherent optical correlator for machine vision systems
Tanone Optical Correlators: Compact Real-Time
RU2183344C1 (ru) Вращающееся сканирующее устройство
Karins et al. Miniature ruggedized optical correlator (MROC) modules for space applications
Chao et al. Real-time adaptive optical joint transform correlator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees