JP3574640B2 - 適応的整合のための光相関器及び光相関方法 - Google Patents
適応的整合のための光相関器及び光相関方法 Download PDFInfo
- Publication number
- JP3574640B2 JP3574640B2 JP2001574529A JP2001574529A JP3574640B2 JP 3574640 B2 JP3574640 B2 JP 3574640B2 JP 2001574529 A JP2001574529 A JP 2001574529A JP 2001574529 A JP2001574529 A JP 2001574529A JP 3574640 B2 JP3574640 B2 JP 3574640B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency domain
- optical
- signal
- output
- slm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003287 optical effect Effects 0.000 title claims description 69
- 238000000034 method Methods 0.000 title claims description 18
- 230000003044 adaptive effect Effects 0.000 title claims description 6
- 238000012360 testing method Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 10
- 230000005670 electromagnetic radiation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000010355 oscillation Effects 0.000 claims 2
- 230000001427 coherent effect Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 239000000919 ceramic Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000009194 climbing Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008646 thermal stress Effects 0.000 description 2
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 229910010293 ceramic material Inorganic materials 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/46—Systems using spatial filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06E—OPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
- G06E3/00—Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
- G06E3/001—Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements
- G06E3/005—Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements using electro-optical or opto-electronic means
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Nonlinear Science (AREA)
- Mechanical Light Control Or Optical Switches (AREA)
Description
【発明の属する技術分野】
本発明は、コヒーレント光と空間光変調器とフーリエ変換光学装置とを用いて情報を処理する又はパターンを認識する、光イメージ・プロセッサ又は相関器システムに関する。
【0002】
【従来の技術】
二次元の空間フーリエ変換技術を用いてイメージの処理ができることは、従来から知られている。例えば、パターン認識は、元のイメージではなく空間的に変動するイメージのフーリエ変換を用いて処理することによって、容易になることが多い。特に、光相関器は、基準イメージに対する入力イメージの二次元的な相関を生じる。イメージ・フレームの中の局所化された領域における高レベルの相関は、その領域における基準イメージの認識を示す。相関関数は、周波数領域においてイメージのフーリエ変換を「フィルタ」と乗算することによって、最も容易に実行される。ここで、フィルタとは、基準イメージの周波数領域表現である。結果的に得られる(二次元の)周波数関数は、次に、変換されて空間領域に戻される。このような処理は、デジタル的に行うことが可能であるが、イメージの光学的なフーリエ変換によれば、はるかに高速に実行することができる。このような高速のイメージ処理は、セキュリティ、航空、生物医学的診断、人工頭脳など、様々な分野にわたる多数の応用例を有している。
【0003】
二次元フーリエ変換光学装置とアクティブな電子空間光変調器(SLM)とを用いた光相関器が、高速の二次元パターン認識を実行するのに用いられてきた。例えば、ルーカス(Lucas)他への米国特許第5,311,359号には、コヒーレント光源と、折れ曲がりジグザグの光経路に沿って配置された複数の能動及び受動の光素子とを有する光相関器システムが記載されている。能動光素子は、入力SLMと、フィルタSLMと、ピクセル化された光検出器(通常は、CCDデバイス)とである。これらの能動素子は、それぞれが、典型的には、二次元マトリクスとして構成された電子的にアドレシングが可能な能動ピクセルのアレイである。受動素子は、反射性フォーカシング・ミラーと偏向器とを含む。米国特許を受けた装置では、光経路は、温度膨張係数が極度に低く(7x10−8/℃)透過性のセラミックのブロック内に含まれているトンネルである。
【0004】
図1には、ルーカス特許の従来技術による光相関器が示されており、この場合には、中実(solid)の光サポート部材12の内部に固定されたコヒーレントな電磁放射源(典型的には、レーザ)10が、放射14のコリメートされ偏向されたコヒーレント・ビームを生じる。ビーム14は、ピクセル化された反射性入力SLM16に衝突し、この入力SLM16上に電子的に課されている任意のパターンによって変調される。変調は、空間的に分配される。上述の米国特許において論じられているように、磁気光式のSLMが用いられる場合には、SLMのピクセルは、それぞれが個別的かつ電子的に変調され、反射された光の偏向の回転が、そのピクセルに向けられた入力信号の関数として生じる。また、このようなSLMは、アナライザとして機能する入力偏向器と出口偏向器とを必要とする(図1には図示せず)。結果的には、アレイのピクセルは、加えられた電子変調パターンの関数として、あるものがより有効に吸収すると、他のものはより反射する。変調されたビーム14は、反射され、第1のフォーカシング・ミラー18まで伝搬する。ビーム14は、第1のフォーカシング・ミラーから反射し、フィルタSLM20の位置で合焦する。
【0005】
入力SLM16をフィルタSLM20の上にイメージングする正確な焦点長を第1のフォーカシング・ミラー18が有しているのであれば、波動光学の帰結として広く知られているように、フィルタSLM20の面で形成されたイメージは、空間フーリエ変換によって、入力イメージf(x,y)の入力の周波数領域表現F(u,v)に光学的に変換される。ここで、x及びyは入力SLM16の空間座標であり、u及びvはフィルタSLM20の空間座標である。この出願の全体で言及されるフーリエ変換とは、位置(この場合には、入力SLM16の面における位置)と共に変動する関数(変調の強度)のフーリエ変換であることに注意してほしい。この、空間的に変動する関数のフーリエ変換は、時間変動する関数のフーリエ変換(技術者には、こちらの方が、よりなじみが深い)と混同しないでほしい。SLMの平坦な表面は、実際には、二次元的に変動する関数を提供するので、変換されたイメージは、二次元イメージの周波数成分を二次元的に表す二次元フーリエ変換である。
【0006】
フィルタSLM20で形成されるフーリエ変換されたイメージは、更に、二次元パターン又は「フィルタ」によって、その焦平面において変調される。このフィルタは、典型的には、何らかの基準の先に得られたフーリエ変換であり、従って、二次元表面上にマップされた周波数成分のパターンで構成される。先に引用した米国特許に記載があるように、入力イメージと基準イメージとの相関は、フーリエ変換された入力イメージとフーリエ変換された基準イメージとの積をとることによって、得ることができる。この積F(u,v)*H(u,v)は、次に、第2のフォーカシング・ミラー22によって光検出器24の上で合焦される。ここで、H(u,v)はフィルタである。光検出器24において結果的に得られるイメージは、積のイメージのフーリエ変換であり、これは、入力イメージと基準イメージとの相関を生じる。ただし、検出器において、座標x及びyは反転されている。このように、入力関数とフィルタ関数との相関が、二次元的な相関された光強度関数として、光検出器24において生じる。
【0007】
上述した従来技術による相関器は、最適な動作を得るためには、正確な整合が光学的に達成されていなければならない。入力SLM16と、フィルタSLM20と光検出器24とミラー18及び22とを含む光学素子は、ビーム14と光学的に整合するように調整されなければならない。必要な調整には、このアセンブリの最適な光学的整合を行う非常な精度及び微妙さが要求される。いったん整合されたとしても、この整合を維持するのは困難であることが多い。というのは、熱に起因する応力が光学アセンブリとコヒーレント光源とに加わり、整合に影響するからである。機械的実装及び振動による応力が、望ましくない不整合効果を生じさせることもある。
【0008】
この調整は、ルーカス特許の機械的配置において重要である。ルーカス特許における相関器は、入力イメージの特定の空間周波数成分を第1のフォーカシング・ミラー18の焦平面における特定の点の上にマップしている。適切な動作のためには、特定の入力イメージ周波数成分が、それぞれ、特定の対応するフィルタによって更に変調(乗算)されなければならない。これには、入力イメージの特定の周波数成分が、フィルタSLM20の特定のピクセルの上にマップされることが必要となる。最良の動作のためには、更なる非常に厳格な条件が満足されなければならない。すなわち、入力イメージの特定の周波数成分が、対応するフィルタ・ピクセルの中心にマップされなければならない。このためには、フィルタSLM20の位置を、入力SLMに対するx、y、z方向について、典型的には僅かに数ミクロンのオーダーの精度で調整されることが必要である。
【0009】
従来技術による光相関器では、入力及びフィルタSLMを正確に位置決めするのは困難である。いったん位置決めがなされても、機械的及び熱的な応力を回避することはできず、環境条件も変化するため、その相対的な位置を維持することは容易でない。
【0010】
【発明の概要】
本発明は、光相関器を適応的に整合する方法及び装置である。
従来の相関器のように固定された角度でコヒーレント・ビームを光学アセンブリの中に導くのではなく、本発明では、相関信号に応答してビーム偏向を動的に変動させるビーム偏向器を用いる。フィードバック・システムが不整合を検出して、ビーム偏向器に光相関器を適切に整合させる補正信号を提供する。
【0011】
光相関器(入力SLMとフィルタSLMと光検出器とを含む)を動的に整合させるために、本発明は、独立にフーリエ変換された周波数領域基準パターンがフィルタSLMに与えられるのと同時に、テスト・パターンを用いて入力SLMを変調する。入力及びフィルタSLMの重要な整合を含めて、光経路が正確に整合されている場合には、入力SLMテスト・パターンの二次元的にフーリエ変換されたイメージはフィルタSLM上に合焦され、周波数成分は独立に変換された周波数領域基準パターンにおける対応する周波数成分に整合される。光検出器において結果的に得られるイメージは、この場合には、予測可能な位置における急峻な強度スパイクとなる。他方で、光学的整合が僅かに誤差があったり、整合からドリフトが生じている場合には、変換されたテスト・パターンは、フィルタSLMにおける周波数領域基準パターンの対応する周波数成分との適切な整合がなされない。この場合には、光検出器における結果的なイメージは、僅かに散乱を生じる及び/又は比較的低い強度を有することになる。
【0012】
光検出器出力からの信号は、整合の誤差を示すフィードバック信号を導くのに用いられる。次に、フィードバック信号は、処理され、適切な補正信号が電気機械式アクチュエータ・アレイに与えられ、このアレイが、コヒーレント・ビームの方向を僅かに変更する。ビーム角度の僅かな変更により、フィルタSLM上の変換されたテスト・パターン・イメージの整合が僅かに調整され、光相関器を動的に整合状態に戻す。
【0013】
独立フィードバック・ループは、好ましくは、ビーム偏向の好ましくは直交する方法に二次元的に調整するために、提供される。光相関器の動作中は、適切な整合を維持するために、時々、整合状態を確認する。時折のサンプリングを備えたフィードバック・ループは、テスト・パターンを用いて最高の相関ピークを追求し熱又は機械的な環境が変動した場合でも相関ピークへの固定を維持するヒルクライミング・サーボとして機能する。
【0014】
【発明の実施の態様】
本発明は、フィードバック・システムによって動的に調整される角度でコヒーレント・ビームを光学アセンブリの中に導くことによって、光相関器を動的に整合する。フィードバック・システムは、典型的には最適な整合である所定の整合特性からの相関器の偏差を検出して、適切な補正信号をビーム偏向器に提供し、相関器を元の最適な整合に戻す。
【0015】
図2には、本発明のシステム・レベルの概要が示されている。典型的にはレーザ30によって提供される放射のコヒーレント・ビームが、ビーム偏向器34によって、光相関器32に導かれる。デジタル・コンピュータ36又はそれに相当するデジタル・ロジック回路が、テスト・パターン38と周波数領域基準パターン40とを光相関器32に提供する。上述した従来技術による光相関器と同じように、光相関器32は、テスト・パターンを用いてコヒーレント・ビームを変調し、変調されたビームをテスト・パターン38の周波数領域変換に光学的に変換し、デジタル・コンピュータ36に独立に供給されるテスト・パターン38の周波数領域変換を周波数領域の基準パターン40と比較する。2つのパターンの比較は、周波数領域表現において実行され、その結果として、テスト・パターン38の一致(coincidence)又は相関によって、周波数領域基準パターン40を用いて変調されたビームが得られる。相関器の整合の精度を示す相関を表すイメージは、次に、空間領域表現に変換して戻され、光検出器によって検出されて出力を生じる。
【0016】
光相関器32の出力は、インターフェース電子装置42によってデジタル形式に変換され、デジタル・コンピュータ36に記憶される。デジタル・コンピュータ36は、この出力情報を処理し、所定の整合特性からの偏差を検出して適切なデジタル補正信号44を導くヒルクライミング・サーボ・システムを実現する。補正信号44はインターフェース電子装置42によって適切なアナログ・レベルに変換され、結果的なフィードバック信号46がビーム偏向器34を駆動してコヒーレント・ビームの角度を調整し、光相関器32を元の整合状態に戻す。
【0017】
図3は、システムの不整合を補正するビーム偏向器34を組み入れている光相関器32を示している。従来技術による図1に示されている構成要素と類似する構成要素には、それらの類似する従来技術における構成要素の参照番号に対応するプライム(’)付きの参照番号を付すことにする。示されている実施例では、ビーム偏向器34は、光学サポート部材12’の上に取り付けられた電気機械式のアクチュエータ・アレイである。そして、アクチュエータ・アレイは、コリメーション光学装置とアポダイジング・フィルタ(apodizing filter)とを含むレーザ・アセンブリ30をサポートする。コリメーション光学装置とアポダイジング・フィルタとは(共に図示せず)、通常は、ほぼ一定の強度をある半径方向のビーム・プロファイル(これは、入力SLM16’の光学的にアクティブな表面よりも大きいのが好ましい)の範囲で備えており適切にコリメートされたビーム14’を得るのに用いられる。光学サポート部材12’は、ビーム14’に対する折り曲げられジグザグ状の光経路を画定する能動及び受動光素子をサポートする。示されている実施例では、光学サポート部材12’は、ビーム14’の光経路に対するトンネル50、52、54、56及び58を含む。代わりに中実で透過的な光学サポート部材12’を用いることもできるが、トンネルは、この部材の中実な材料における非均一性による歪みを減少させる。
【0018】
レーザ・アセンブリ30からのビーム14’は、ある角度で、入力SLM16’によってトンネル50の端部において反射される。そして、ビーム14’は、トンネル52’の端部にある第1のフォーカシング・ミラー18’まで伝搬して戻る。ビーム64’は、再び、フォーカシング・ミラー18’からある角度で反射され、トンネル54の中の第1の偏向器60を通過し、トンネル54の端部にあるフィルタSLM20’まで伝搬し、そこで、入力SLM16’によってビーム14’の上に変調された情報の変換されたイメージを形成する。ビーム14’は、更に変調され、フィルタSLM20’から反射される。次に、この2度変調されたビームは、トンネル56の端部における第2のフォーカシング・ミラー22’まで伝搬し、4度目の反射の後で、トンネル58の中の第2の偏向器61を通過して伝搬し、トンネル58の端部における光検出器24’に到達し、そこで、出力(相関された)信号を検出する。上述した光学的な配置の結果としてビーム14’がたどるジグザグ状の光経路は便宜的な幾何学的配置であり、本発明と共に用いることができる多くの可能な幾何学的配置の中の1つに過ぎない。様々な折り曲げられ多角形的な又はインライン状の幾何学的配置を、例えば、用いることもできる。
【0019】
ビーム偏向器34は、典型的には、レーザ・アセンブリ30と光学差歩0と部材12’との間に配置された電気機械式アクチュエータ・アレイである。フィードバック信号は、ビーム偏向器34に与えられると、レーザを傾斜させ、従って、ビーム14’の光経路の角度を僅かにシフトさせる。これは、シフトされた光経路62によって図解されており、その角度は、示されているように、ビーム14’の元の光経路に対して角度αだけシフトされている。入力角度における僅かな変化は、ビームがシフトされた光経路62を通過して伝搬するにつれて拡大され、フィルタSLM20’において形成されるイメージをΔxだけシフトさせる。図4に示されているように、ビームは、ビーム偏向器34によってy方向に偏向させることもでき、その場合には、結果的に、フィルタSLM20’に対してΔyのイメージ位置シフトが生じる。フィルタSLM20’におけるイメージ位置のシフトは、変換されたイメージのフィルタSLM20’との整合に影響し、光検出器24’における出力イメージに、それに対応する変化を生じさせる。
【0020】
ビーム入射角度の若干のシフトを許容するため、コリメートされたビームの直径は、好ましくは、入力SLM16’よりも十分に大きくなければならず、それによって、入力SLM16’は、ビームがどのようにシフトしたとしても、最も好ましくはほぼ一定の放射強度で完全に照射された状態に維持される。
【0021】
上述の光相関器の光学的整合からの偏差を検出するために、テスト・パターンと対応する周波数領域基準パターン(すなわち、「フィルタ」)とを同時に用いて入力SLM16’とフィルタSLM20’とをそれぞれ変調しなければならない。従来技術に関して既に述べたように、これらのSLMは、典型的には、能動電子光学変調素子のピクセル化されたアドレシング可能なアレイであり、通常は、二次元マトリクスとして構成されている。入力SLM16’の個々のピクセルは、電子的に変調され、それによって、その反射により、図5aに示されている環状のパターン63のようなパターン(一例である)を用いてビームを集合的に変調する。環状のパターン63は、入射光を反射するように変調される入力SLM16’の部分を示している。フォーカシング・ミラー18’は、入力SLM16’からのビームをフィルタSLM20’上にイメージ化する焦点長を有しており、(入力SLM16’によって変調された)入力イメージの二次元フーリエ変換をフィルタSLM20’において生じる。
【0022】
テスト・パターンは入力SLM16’においてビームを変調するが、周波数領域基準パターンを用いて、フィルタSLM20’を変調する。従って、フィルタSLM20’から反射する光は、変換された入力イメージの周波数領域基準パターンとの比較を表す。周波数領域基準パターンは、好ましくは、入力テスト・パターンの独立的に得られた二次元的なフーリエ変換であるべきであって、結果的に、空間的なテスト・パターンの周波数領域表現を与える。テスト・パターンのフーリエ変換は、好ましくは、テスト・パターンを入力SLM16’に与える前に、デジタル計算、光学的変換又はそれ以外の従来型の変換方法によって独立的に得られるべきである。図5bには図5aを二次元的にフーリエ変換することによって得られたパターンがほぼ再現されており、従って、図5bは、(入力SLM16’における)図5aと共に(フィルタSLM20’において)用いるための、おおよその周波数領域基準パターンである。
【0023】
空間テスト・パターンと対応する周波数領域基準パターンとが存在し、SLM16’及び20’において適切に整合されているときには、光検出器24’の出力は、そのピクセル化されたマトリクス上のある位置を中心とする光のスポットによって示される明るいピークである。高度な自動補正を示すのは、高い強度、非常に合焦され局所化された出力ピーク信号である。この状況は、図5cに図解されており、スポット65は光検出器24’のマトリクスの厳密な中心におけるピーク信号を指示している。例えばビームの偏向によってSLMの完全な光学的整合からのずれが少しでも生じると、出力は焦点及び強度を失い、より散乱された状態になり、相関の減少を示すようになる。ピークの位置は、また、出力光検出器24’のマトリクスの上で僅かに移動する。従って、空間テスト・パターンと対応する周波数領域表現(すなわち「フィルタ」)テスト・パターンとを与えることにより、光検出器24’から、光学的整合の精度を示す比較信号が生じる。比較信号は、次に、適切なフィードバック又は補正信号を導くの用いられる。このフィードバック又は補正信号は、光相関器を最適な整合に戻す。
【0024】
最適な整合を維持するのに用いられるフィードバック・信号は、好ましくは、「ヒルクライミング」サーボ・システムとして実現される。このシステムでは、少なくとも1つの低レベルの発信「ディザ」信号66が(これは、図6において、時間を横軸として示されている)、ビーム偏向器34に与えられ、コヒーレント・ビーム14’の発信する偏向を生じる。好ましくは2つの別個の直交するディザ信号がシーケンシャルに与えられ、x及びy方向へのビームの独立な偏向が生じる。次に、フィードバックの調整が、独立の方向のそれぞれにおいて、独立に実行される。単純化する目的で、一次元的な調整が図2に図解されているが、本発明はこのように制限されることはない。
【0025】
図7を参照すると、出力曲線68は、コヒーレント・ビーム14’の偏向の関数として(例えば、図3の偏向角αの関数として)の光検出器24’の出力(垂直軸上)を示している。ここで、テスト・パターンは入力SLM16’を変調し、対応する周波数領域基準はフィルタSLM20’を変調する。最大値は、最適な整合角度である点80に存在している。
【0026】
ヒルクライミング・サーボ方法が、最適な整合点(点70)を求めるのに用いられるのが好ましい。その動作は、まず2つの特別な場合を考察することによって、全体的に理解することができる。
【0027】
第1の特別な場合では、まず、偏向角度は最適値から僅かにずれており、出力はライン71上の点にあり、図7において中心から僅かに左側にあると考える。図6の位相72及び74の間で発振する小さな摂動すなわち「ディザ信号」66がビーム偏向器34に与えられ、それによって、光検出器24’上の相関ピークの強度が、参照番号76及び78が付された2つのレベルの間で発振することによって応答することになる(図6b及び7に示されている)。理解すべきことは、相関ピークの位置は変更の間に僅かに移動する可能性があり、相関ピークの強度は、光検出器24’のマトリクス上で最大強度を見つけることによって(例えば、後で説明するように、光検出器の出力をデジタル・コンピュータ36を用いて処理することによって)選択されるということである。第1のサンプリングされた強度レベル76は、ディザ・フェーズ72の間にサンプリングされた相関ピークの強度を表し、他方は、ディザ・フェーズ74の間にサンプリングされた相関ピークを表す。
【0028】
このようにして偏向を摂動する又はディザリングすることにより、光検出器24’において測定される相関ピーク80の強度に時間変動が生じる。この強度は、図6bにおいて、時間を水平軸にとってプロットされている。相関ピークの強度80は、ディザ信号66と同相に発振する。負のディザ・フェーズの間にサンプリングされた強度80を正のディザ・フェーズの間にサンプリングされた強度80から減算すると、正の補正信号が得られ、これは、整合角度(α又はβ)が低すぎることを示している(例えば、αは中心の左側である)。
【0029】
第2の特別な場合では、われわれの最初の仮定を変更して、ビーム角度は、最適値の反対側にずれており、相関ピーク強度は、図7のライン81を中心とすると考える。ディザ信号66を与えると、相関ピークの強度が、2つのレベル82及び84の間で、曲線68の負の勾配を有する側で発振する。結果的に得られる相関ピークのディザリングされた強度87は、図6cに示されている。強度87は、レベル82及び84の間で発振するが、ディザ基準66に対して位相は反転されており、この様子は、図6cと図6aとを重畳させることによって見ることができる。この場合には、負のディザ・フェーズの間にサンプリングされた強度87を正のディザ・フェーズの間にサンプリングされた強度87から減算すると、負の補正信号が得られ、これは、偏向角度(α又はβ)が高すぎることを示している。
【0030】
相関ピークの強度が厳密に出力曲線のピーク70にある(最適状態)という相関器システムの整合状態のときにだけ、相関ピーク強度は、ディザ信号66の両方の偏位(excursions)において同じである。その理由は、ピーク70の両側で同じ量だけ最適値と異なっているからである(曲線68は対称であると仮定する)。このような状況の結果として、最適な整合を示す平坦なピーク強度信号88が得られる(図6d)。
【0031】
このようにして、摂動又はディザ信号は、コヒーレント・ビーム角度(例えば、α又はβ)に対する出力信号の勾配又は導関数を検出する方法を与えてくれる。導関数がゼロになる点を求めることにより、出力信号の最大値を見つけることができる。光学アセンブリの整合が最適値から僅かでもずれると、ディザ信号の正及び負の偏位において異なる光検出器出力が生じる。負の偏位でサンプリングされたピーク検出器出力を正の偏位でサンプリングされたピーク検出器出力から減算すると、ビーム偏向器34へのフィードバックのための適切な補正信号が得られ、光検出器32を整合状態に戻す。
【0032】
好適実施例では、本発明は、好ましくは相互に垂直な複数の軸の上の、独立なビーム偏向及びフィードバックシステムを用い、例えば、図3及び図4に示されているx及びy方向における相関器の補正を可能にしている。好ましくは、独立の整合が個別的かつシーケンシャルに、例えば、最初にx方向のディザリングを行い次にy方向のディザリングをというように、デジタル・コンピュータ36の制御の下に行うべきである。
【0033】
図8は、本発明による相関器システムの全体の1つの実施例をより詳細に示しており、これは、コンピュータ機能ブロック100と、インターフェース電子装置102と、相関器光学アセンブリ104とを含む。コンピュータ機能ブロック100は、デジタル・コンピュータ100又はそれに相当するロジック回路によって、ソフトウェアにおいて実行することができる。
【0034】
データ転送シーケンシング・ロジック106は、全体的なタイミングを制御し、適応的な整合のための臨時的なフレームを排除し、同時に、通常動作のための光相関器の全体的スループットを維持する。データ転送シーケンシング・ロジック106は、また、少なくとも1つのデジタル・ディザ信号を発生する。好ましくは、2つの別個のデジタル・ディザ信号が、2つの可逆的なカウンタに与えられる。すなわち、x方向のディザリングのためのカウンタ108と、y方向のディザリングのためのカウンタ110とである。カウンタ108及び110の出力は、デジタル・アナログ・コンバータ(DAC)112及び114によってアナログ電圧に変換され、インターフェース電子装置102に与えられる。インターフェース電子装置102は、インバータ及び加算増幅器回路(後で説明する)を含んでおり、これらはビーム偏向器34を駆動する。
【0035】
ディザ信号がビーム偏向器34に与えられるのと同時に、入力テスト・パターンと周波数領域基準パターンとが、SLM及びCCD制御ロジック・ブロック1115(好ましくは、デジタル・コンピュータ36によって実行される)によって、入力SLM16’とフィルタ20’とにそれぞれ与えられる。光検出器24’からの結果的な出力は、アナログ・デジタル・コンバータ(ADC)116によって、デジタル・コンピュータ36(又は、それに相当するデジタル・ロジック)による操作を容易にするために変換される。出力レベルの全体のマトリクスは、変換され、デジタル・コンピュータ36に入力される。
【0036】
最大振幅検出ロジック118(好ましくは、デジタル・コンピュータ36によって実現される)は、光検出器24’のマトリクス上のそれぞれの個別的なピクセルと関連するデジタル化された光検出器の出力値を比較して、その光検出器マトリクス上で最高の値を見つける。この値は、ピーク相関点と関連付けられる。出力ピークの位置は、従って、ピークのピクセル・アドレスは、調整の間、僅かに変動することがありうる。ディザのそれぞれのフェーズにそれぞれが対応する2つのピーク値が、検出され、記憶される。(それぞれの次元に対する)2つの値は、コンパレータ機能ブロック120(x方向の補正)及び122(y方向の補正)によって比較される。光学装置の整合が最適値からずれている場合には、その次元に対する2つの記憶されている値は等しくなく、適切なコンパレータ機能ブロック120又は122が、正又は負である補正信号を発生する。
【0037】
コンパレータ機能ブロック120及び122によって出力される補正信号は、可逆的なカウンタ108(xチャネル)及び110(yチャネル)に対するカウントの方向を決定する。これらの可逆的なカウンタは、この目的でデータ転送シーケンシング・ロジック106によって発生されたパルスをカウントする。可逆的カウンタ108及び110の出力は、アクチュエータ・アレイ32に対する現在の位置情報を保持するのであるが、DAC112及び114(それぞれのチャネルに対応する)によって変換され、x方向に対して1つとy方向に対して1つとの2つのアナログ補正電圧を生じる。
【0038】
補正電圧を加える態様は、ビーム偏向器34の特定の幾何学的形状と特性とに依存し、非常に様々な構成が可能である。図8及び9には、1つの可能性が示されているに過ぎない。示されている実施例では、ビーム偏向器34は、電気機械式アクチュエータ140、142、146、148を用いるが、これらはx及びy座標系に対して対角線上に配置され、全体で、アクチュエータ・アレイを形成している。反転増幅器124及び126は、アナログ補正電圧を反転させることによって、相補的な信号を生じる。アナログ補正電圧と相補的信号とは加算増幅器130、132、134、138の交差結合されたネットワークにおいて加算され、フィードバック駆動電圧158、160、162、164が生じる。これらのフィードバック駆動電圧は、電気機械式アクチュエータの適切なx方向及びy方向の補正移動を与える。
【0039】
図8に示されている実施例では、フィードバック駆動電圧は、反対方向に配置された圧電セグメントを伸長及び収縮させることによって、アクチュエータ・アレイにおける移動に変換させる。例えば、マイナスxの方向に偏向器を移動させるには、セグメント140及び142が収縮し、セグメント146及び148は伸長する。
【0040】
図9には、本発明のビーム偏向器34において用いることができるアクチュエータ・アレイの更なる詳細が示されている。アレイの全体(ビーム偏向器34)は、直交して構成されそれぞれがアーチ形の4分の1の部分の形状を有している4つのアクチュエータで構成され、4つすべてが分断された環状になっている。それぞれのアーチ形の4分の1の部分は、好ましくは、複数の圧電層154が薄層状にスタックされ、全体で1つのアクチュエータを構成している。それぞれの圧電層154は、好ましくは、圧電セラミック材料から作られている。図9に示されている側方の断面では、2つのアクチュエータ・セグメント142及び146だけを見ることができる。好ましくはメタライズされている電極層156が圧電層154のそれぞれの対の間に配置されている。アクチュエータ146の交互の電極層156がフィードバック駆動電圧158に接続され、同様に、アクチュエータ142の交互の電極層がフィードバック駆動電圧160に接続されている。アクチュエータ148及び140は、図9には示されていないが、同じように接続されている。圧電材料を複数の層にスタックすることによって、加えられた電圧に応答してより大きな伸長及び収縮が可能になる。
【0041】
アクチュエータにおける圧電セラミクスの使用は広く知られており、多くの文献に記載がある。例えば、Piezoelectric Ceramics, J. van Randeraat (Publication Dept. Ferroxcube Corporation, Saugerties N.Y. 1974)を参照のこと。圧電セラミクス材料又はアクチュエータは、例えば、ミネソタ州ミネアポリス所在のAura Ceramics社、Polytec PI社、Piezosystem Jena社(ドイツ)、Philips Electronic Components(米国では、Signetics Corp., Sunnyvale, CAを介して入手可能)などから、広く市販されている。
【0042】
図3に示されている実施例では、図9のアクチュエータ・アレイは、レーザ・アセンブリ30を光学サポート部材12’に対して移送させることによって、ビーム偏向器として動作する。この実施例では、レーザ・アセンブリ30は、ビーム偏向器32の上に堅固に取り付けられており、ビーム偏向器32は、光学サポート部材12’の上に可動的に取り付けられる。電圧をビーム偏向器34のアクチュエータに加えると、アクチュエータは必要とされるように伸長又は収縮し、レーザ30を移動させ、ビーム14’を偏向させる。
【0043】
容易に分かるように、電気機械式アクチュエータやそれ以外の装置を用いてビームの偏向を可能にするには、これ以外の構成も可能である。ビームの偏向は、以上で述べたように光源を移動させるのではなく、例えば、ミラー、レンズ、光ファイバ・カップリング又はプリズムなどを移動させることによっても容易に達成することができる。偏向は、例えば、フォーカシング・ミラー18’を移動させることによって容易に達成することができる。ビームを偏向させる以上の方法及びそれ以外の方法は、本発明の範囲に含まれる。ビーム偏向器が十分に精密な制御を提供し、好ましくは、フィルタSLM20’による変換イメージの整合を、フィルタSLMのピクセルの直径未満の範囲にすることができることだけが必要なのである。
【0044】
ある応用例では、上述の装置及び方法を用いて、次のような態様で、動作している光相関器を動的に整合させることができる。また、光相関器の通常動作中には、整合を時折はテストしなければならない。整合は、相関器の通常動作をほんの僅かだけ中断して実行することができる。シーケンシャルでマルチフレームの光相関を実行している(入力データを周波数領域の基準データと相関させ、その相関に基づいて出力信号を生じる)間には、相関器の動作は、好ましくはデジタル・コンピュータ36の制御によって、数フレーム分の適応的整合のために、時折中断される。このような適応的な整合フレームの間の時間間隔は、装置の熱的及び機械的な環境によって決定されるべきである。整合は、典型的には迅速に実行され、小さなデューティ・サイクルを必要とするだけなので、結果的には、相関器の活動を僅かに数フレームだけ失わせるだけである。整合手順が実行された後では、相関器は、次の整合期間まで、通常の光学処理タスクに戻される。
【0045】
以上では、本発明の特定の実施例を示し説明してきたが、この技術分野の当業者であれば、多くの変更や別の実施例を考えることができるはずである。従って、本発明は、冒頭の特許請求の範囲の記載によってのみその範囲が画定されるものである。
【図面の簡単な説明】
【図1】従来技術による光相関器の全体図である。
【図2】本発明のブロック図である。
【図3】本発明を組み入れた光相関器の平面的な断面図である。
【図4】図3の切断線3−3に沿った断面図である。
【図5】図5a、5b及び5cは、それぞれが、空間テスト・パターン、空間テスト・パターンの周波数領域表現及び光検出器において得られる出力(自動相関)パターンの例の拡大イメージである。
【図6】図6a、6b、6c及び6dは、(a)ビーム偏向器に加えられたディザ信号と、(b)最適な偏向に達しない動作点でのピーク光検出器出力と、(c)最適な偏向を超える動作点でのピーク光検出器出力と、(d)最適な偏向におけるピーク光検出器出力とのタイミング図である。
【図7】ピーク光検出器出力とビーム偏向とを両軸にとったグラフであり、様々な動作点を識別している。
【図8】本発明において用いることができる適応的な整合システムのブロック図であり、平面的に示されているビーム偏向器を含む。
【図9】ビーム偏向器として用いるのに適している圧電アクチュエータ・アレイの断面図である。
Claims (9)
- 電磁放射のビーム(14)を受け取るように構成された光デバイス(32)を動的に整合させる方法であって、
電磁放射のビームを前記光デバイスの中に導くステップと、
前記光デバイスの中の前記導かれたビームを空間テスト・パターンを用いて変調し、変調されたビームを生じるステップと、
前記変調されたビームを変換し、前記空間テスト・パターン(63)の周波数領域表現を取得するステップと、
前記周波数領域表現を周波数領域基準パターンと比較して、整合特性からの偏差の程度を示す比較信号を取得するステップと、
前記比較信号に応答して前記ビームの経路を調整し、前記整合特性からの偏差を補償するステップと、
を含むことを特徴とする方法。 - 請求項1記載の方法において、前記比較するステップは、
前記空間テスト・パターンの周波数領域表現を前記周波数領域基準パターンを用いて更に変調し、更に変調されたビームを取得するステップと、
前記更に変調されたビームを空間領域比較パターンに変換するステップと、
前記空間領域比較パターンを検出して前記比較信号を取得するステップと、
を含むことを特徴とする方法。 - 請求項2記載の方法において、前記ビームの経路を調整するステップは、
前記比較信号に応答して電気機械式アクチュエータ(140、142、146、148)を付勢し、前記電気機械式アクチュエータの運動を生じるステップと、
前記電気機械式アクチュエータの前記運動に応答して、前記光デバイスの中の前記ビームの経路を調整し、前記整合特性からの偏差を補償するステップと、
を含むことを特徴とする方法。 - 請求項2記載の方法において、
前記ビームの発振偏向を生じさせ、前記発振偏向のそれぞれの異なる位相に対応する比較信号の少なくとも2つのレベルを検出するステップを更に含み、
前記ビームの経路を調整するステップは、前記比較信号の前記少なくとも2つの検出されたレベルの間の差に応答して前記ビームを偏向させ前記所定の整合特性からの偏差を補償するステップを含むことを特徴とする方法。 - 動的に適応的な光整合システムであって、
電磁放射のビーム(14)を受け取るように構成されており、
前記ビームを受け取り、それを空間テスト・パターン(63)を用いて変調するように構成された入力空間光変調器(SLM)(16’)と、
前記変調されたビームを周波数領域表現に変換する変換光要素(18’)と、
前記空間テスト・パターンの周波数領域表現を受け取り、前記周波数領域表現を周波数領域基準パターンを用いて更に変調するように構成されたフィルタSLM(20’)と、
前記空間テスト・パターンの周波数領域表現と前記周波数領域基準パターンとの間の相関に基づいて出力を生じる光検出器(24’)と、
を備えている光イメージ相関器(32)と、
前記光イメージ相関器の出力に結合されており、所定の整合特性からの前記光イメージ相関器の偏差を前記出力から検出し、前記偏差に応答してフィードバック信号を生じるように構成されたフィードバック・システム(36、42)と、
前記フィードバック信号に応答して前記光イメージ相関器を通過する前記ビームの経路を可変的に調整し、前記整合特性からの偏差を補償するビーム偏向器(34)と、
を備えていることを特徴とするシステム。 - 請求項5記載のシステムにおいて、前記ビーム偏向器は、ビーム源(30)に対するサポートと、前記ビーム源サポートの位置を調整して前記ビームを偏向させることによって前記フィードバック信号に応答する電気機械式アクチュエータ(140、142、146、148)とを備えていることを特徴とするシステム。
- 請求項5記載のシステムにおいて、前記ビーム偏向器は、
前記ビームを偏向させる可動ミラーと、
前記フィードバック信号に応答して前記ミラーを移動させるように構成された電気機械式アクチュエータ(140、142、146、148)と、
を備えていることを特徴とするシステム。 - 請求項5記載のシステムにおいて、前記フィードバック・システムは、
前記光検出器(24’)の出力を分析して整合特性からの前記光相関器の偏差を認識し、それに応答して補正信号出力を生じるようにプログラムされたコンピュータであって、前記補正信号出力は前記ビーム偏向器(34)に結合される、コンピュータ(36)を備えており、
前記ビーム偏向器は、ディザ信号(66)に応答するように構成され、これによって、前記ビーム偏向の発振摂動を生じさせることを特徴とするシステム。 - 請求項8記載のシステムにおいて、前記コンピュータは前記ディザ信号を生じるようにプログラムされており、
前記ディザ信号は前記ビーム偏向器に結合されて、前記ビームの偏向を発振させ、
前記コンピュータは、前記光検出器の出力を前記ディザ信号と比較して、前記ディザ信号に関する前記光検出器出力の勾配を決定するようにプログラムされており、
前記相関信号出力は、前記光相関器の整合を、前記ディザ信号に関する前記光検出器出力の勾配が実質的にゼロである点に調整するように、計算されることを特徴とするシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2000/008992 WO2001077736A1 (en) | 2000-04-05 | 2000-04-05 | Adaptively aligned optical correlator and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003530591A JP2003530591A (ja) | 2003-10-14 |
JP3574640B2 true JP3574640B2 (ja) | 2004-10-06 |
Family
ID=21741240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001574529A Expired - Fee Related JP3574640B2 (ja) | 2000-04-05 | 2000-04-05 | 適応的整合のための光相関器及び光相関方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP1192496B1 (ja) |
JP (1) | JP3574640B2 (ja) |
DE (1) | DE60030717T2 (ja) |
WO (1) | WO2001077736A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008020646A1 (fr) * | 2006-08-18 | 2008-02-21 | Nippon Telegraph And Telephone Corporation | Commutateur optique, procédé de commande de commutateur optique et système de communication |
JP4641017B2 (ja) * | 2006-10-11 | 2011-03-02 | 日本電信電話株式会社 | 光スイッチおよび通信システム |
JP4641011B2 (ja) * | 2006-08-18 | 2011-03-02 | 日本電信電話株式会社 | 光スイッチ |
JP4676410B2 (ja) * | 2006-10-11 | 2011-04-27 | 日本電信電話株式会社 | 光スイッチ |
GB2560584B (en) * | 2017-03-17 | 2021-05-19 | Optalysys Ltd | Optical processing systems |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3046584C2 (de) * | 1980-12-11 | 1984-03-15 | Dr.-Ing. Rudolf Hell Gmbh, 2300 Kiel | Optisch-mechanischer Abtaster |
JP2527807B2 (ja) * | 1989-05-09 | 1996-08-28 | 住友大阪セメント株式会社 | 光学的連想識別装置 |
JP2906281B2 (ja) * | 1990-09-05 | 1999-06-14 | セイコーインスツルメンツ株式会社 | 光学的パターン認識装置 |
US5311359A (en) * | 1992-12-24 | 1994-05-10 | Litton Systems, Inc. | Reflective optical correlator with a folded asymmetrical optical axis |
US5629802A (en) * | 1995-01-05 | 1997-05-13 | The United States Of America As Represented By The Secretary Of The Air Force | Spatially multiplexed optical signal processor |
US6009054A (en) * | 1995-07-10 | 1999-12-28 | Matsushita Electric Industrial Co., Ltd. | Information recording medium and tracking error signal detection apparatus and magnetic recording apparatus and method of adjusting the magnetic recording apparatus |
JP3327781B2 (ja) * | 1995-10-13 | 2002-09-24 | キヤノン株式会社 | 位置検出装置及びその検定方法と調整方法 |
-
2000
- 2000-04-05 WO PCT/US2000/008992 patent/WO2001077736A1/en active IP Right Grant
- 2000-04-05 EP EP00921696A patent/EP1192496B1/en not_active Expired - Lifetime
- 2000-04-05 JP JP2001574529A patent/JP3574640B2/ja not_active Expired - Fee Related
- 2000-04-05 DE DE60030717T patent/DE60030717T2/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
WO2001077736A1 (en) | 2001-10-18 |
DE60030717T2 (de) | 2007-09-06 |
JP2003530591A (ja) | 2003-10-14 |
EP1192496B1 (en) | 2006-09-13 |
DE60030717D1 (de) | 2006-10-26 |
EP1192496A4 (en) | 2004-03-17 |
EP1192496A1 (en) | 2002-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6330361B1 (en) | Adaptively aligned optical correlator and method | |
KR100372214B1 (ko) | 실시간광학상관시스템 | |
US7098871B1 (en) | Optical scanning system with correction | |
US5026977A (en) | Wavefront sensing and correction with deformable mirror | |
US4856884A (en) | Dynamically matched optical filtering in a multiple telescope imaging system | |
IL105188A (en) | scanner | |
EP0534616A2 (en) | Holographic recording apparatus and holographic optical element | |
US4711576A (en) | Wave front aberration measuring apparatus | |
US4271355A (en) | Method for mitigating 2πN ambiguity in an adaptive optics control system | |
JP3283608B2 (ja) | レーザービーム整形装置 | |
JP3574640B2 (ja) | 適応的整合のための光相関器及び光相関方法 | |
US20020163731A1 (en) | Beam pattern contractor and focus element, method and apparatus | |
JP2004020752A (ja) | 光スイッチ | |
EP0825471B1 (en) | Beam diameter control method and device | |
US4441019A (en) | Wavefront sensor with astigmatic optics | |
WO1986007640A1 (en) | A method for scanning a laser beam by non-mechanical deflectors | |
US7569805B2 (en) | Apparatus and method for calibrating a reflecting mirror | |
JP6937945B2 (ja) | 能動的な再調節が行われるレトロ型干渉計 | |
US5541761A (en) | Optical beam scanning apparatus adjusting focal point over entire image forming area by feedback control | |
US4831246A (en) | Large angle off-axis beam steering of a phased telescope array | |
FR2564198A1 (fr) | Dispositif d'analyse et de correction de surfaces d'onde en temps reel | |
Weyrauch et al. | Adaptive optics system with micromachined mirror array and stochastic gradient descent controller | |
US8368994B2 (en) | Scanned, one-dimensional, phased-array display system | |
JPH08190070A (ja) | 光走査装置 | |
US11789333B2 (en) | System and method for temporal dispersion compensator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040702 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120709 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |