JP3790371B2 - 立体画像装置 - Google Patents

立体画像装置 Download PDF

Info

Publication number
JP3790371B2
JP3790371B2 JP28840798A JP28840798A JP3790371B2 JP 3790371 B2 JP3790371 B2 JP 3790371B2 JP 28840798 A JP28840798 A JP 28840798A JP 28840798 A JP28840798 A JP 28840798A JP 3790371 B2 JP3790371 B2 JP 3790371B2
Authority
JP
Japan
Prior art keywords
optical fiber
stereoscopic image
optical
image
image device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28840798A
Other languages
English (en)
Other versions
JP2000122191A (ja
Inventor
文男 岡野
春男 星野
淳 洗井
智之 三科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP28840798A priority Critical patent/JP3790371B2/ja
Priority to US09/414,542 priority patent/US6301416B1/en
Publication of JP2000122191A publication Critical patent/JP2000122191A/ja
Application granted granted Critical
Publication of JP3790371B2 publication Critical patent/JP3790371B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/02Optical fibres with cladding with or without a coating
    • G02B6/028Optical fibres with cladding with or without a coating with core or cladding having graded refractive index
    • G02B6/0281Graded index region forming part of the central core segment, e.g. alpha profile, triangular, trapezoidal core
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Optical Fibers, Optical Fiber Cores, And Optical Fiber Bundles (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は立体画像を光学伝送する立体画像装置に関し、いわゆるインテグラル・フォトグラフィー[integral photography (IP)]技術を応用した光学式の立体画像装置に関する。
【0002】
なお、インテグラル・フォトグラフィーは立体画像方式の一つであって、昆虫の複眼のような微小レンズを用いるものである。
【0003】
【従来の技術】
インテグラル・フォトグラフィー技術を応用した光学式立体画像装置としては、例えば図1に示すように、半径方向に2乗特性のような不均一な屈折率分布を持つことなどにより、レンズ作用を有する同一長かつ複数の光ファイバー(グレイテッドインデックス光ファイバー)10を、その長さが光路の1周期の整数倍とし、その光ファイバーの両端で同一の2次元配列(以下、「光ファイバー群」という)となるように構成することで、立体像(被写体)11を撮像、伝送及び表示する立体画像装置が特願平10−117355号に開示されている。
【0004】
この先願発明によれば、立体画像を光学伝送路の規模を大きくすることなく、かつ、光を電気信号にすること無く、長い距離にわたって伝送することができ、光ファイバーを屈曲できるように製作すれば、伝送路を屈曲することも可能となる。また、光ファイバー途中の特定の場所に、拡大、縮小、光増倍素子を挿入することで、立体像を拡大、縮小、光増倍することもできる。従って、この先願装置は立体画像を提供する内視鏡やボアスコープなどとして応用することができる。
【0005】
【発明が解決しようとする課題】
しかしながら上記特願平10−117355号の先願発明においては、図1に示すように、再生立体像12は光ファイバー10の端面の背後(つまり、光ファイバー群の中)にしか生成できず、この立体像を光ファイバーの前面に空中像として表示することができないという解決すべき課題があった。
【0006】
本発明の目的は、上述の課題を解決し、立体像を光ファイバーの前面に空中像として表示することができるようにした立体画像装置を提供することにある。
【0007】
【課題を解決するための手段】
上記目的を達成するため、請求項1の発明は、レンズ作用を有する同一長かつ複数の光ファイバーを、当該光ファイバーの両端で2次元状の同一配列となるように構成する光ファイバー群とすることで、立体像を撮像かつ伝送かつ表示する立体画像装置において、前記光ファイバーのそれぞれの長さを、該光ファイバー内の光路の半周期の奇数倍としたことを特徴とする。
【0008】
ここで、好ましくは、前記光ファイバーとして、半径方向に2乗特性のような不均一な屈折率分布をもつ光ファイバーを用いる。
【0009】
また、好ましくは、前記光ファイバー群を偶数用いて、各光ファイバー群を所定間隔離して直列配置して立体像を撮像、伝送および表示する。
【0010】
また、好ましくは、前記光ファイバー群の光ファイバーに平行光が入射した場合に、当該光ファイバー内で結像する面に、縮小光学系あるいは拡大光学系あるいは回転光学系を挿入する。
【0011】
また、好ましくは、前記光ファイバー群の光ファイバーに平行光が入射した場合に、当該光ファイバー内で結像する面に、光増倍装置を挿入する。
【0012】
本発明では、半径方向に2乗特性のような不均一な屈折率分布を持つようにしてレンズ作用を有する同一長かつ複数の光ファイバーを、その長さが光路の半周期の奇数倍となるようにし、また光ファイバーの両端が互いに同一の2次元配列となるように構成する光ファイバー群を複数用いるので、立体再生像を光ファイバーの前面に空中像として表示することができる。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0014】
光ファイバーの屈折率が半径方向の中心部で高く、周辺部へ行くに従い小さくなる例として、
【0015】
【数1】
Figure 0003790371
【0016】
で示される特性を持つ光ファイバー10に光が入射すると、半径方向の中心部(軸中心部)ほど屈折率が高いために、図2に示すように、光線は蛇行し、ある特定の点で結像し、レンズ作用を持つ。この原理は1964年、D.MARCUSE らによって見出され、その詳細は、The Bell System Technical Journal.(July,1964) 等に記載されている。ここで、当該光ファイバーの光線マトリックス,つまり入射光の位置、角度と出射光の位置、角度との関係は以下の式(2)のように表わせる。
【0017】
【数2】
Figure 0003790371
【0018】
【数3】
Figure 0003790371
【0019】
であり、図3に示すような関係にある。
【0020】
本願発明者らの発明である特願平10−1l7355号の立体画像装置では、撮像部、表示部を接続、一体化し、当該光ファイバー10の長さZ0 を、
【0021】
【数4】
Figure 0003790371
【0022】
とし、それを図4に示すように、2次元に配列・構成し、この光ファイバー群(光ファイバー束)の出射端面において、立体画像を直接観察できるようにしている。
【0023】
ここで上記(3)式において、θ=2πに相当する長さが光ファイバー内の光路の1周期に相当する。
【0024】
上記(3)式を満たす光ファイバー長の場合、上記(2)式から、r1 =r2 、r′1 =r′2 となり、図5で示すように、入射光線の角度φi と出射光線の角度φ0 が等しい性質がある。この光ファイバーを図4に示すように、2次元に配列すれば、入射端面での被写体からの光線の方向が、出射端面で再現されることになる。
【0025】
従って、図1に示すように、出射端面側において、入射端から被写体までの距離と同じ距離に、かつ被写体と同じ大きさで、再生像が得られる。この状態は前述したように、再生立体像は光ファイバー10の端面の背後にしか生成できず、立体像を光ファイバーの前面に空中像として表示することができない。
【0026】
一方、立体像を光ファイバーの前面に表示するために光ファイバーの長さZ0 を、
【0027】
【数5】
Figure 0003790371
【0028】
に対応する長さとすると、図6に示すように、r1 =−r2 、r′1 =−r′2 となり、入射光線の角度φi と出射光線の角度φ0 が符号が逆で絶対値が等しくなる。
【0029】
そこで、図7に示すように、各光ファイバー10の端面の中心から出射した光線を考えると、入射側の光線を入射端面に対称に折り返した形になり、光の進行方向、つまり光ファイバー10の外側に入射端から被写体11までと同じ距離d1 の位置で交わる。つまり、この交点Pに再生像12ができる。
【0030】
この場合には、上記(3)式の条件と異なり、各光ファイバー10の端面の全面から出た光は、図6に示すように、出射端側で仮想集光点P′から光が出力されたように、ある広がりをもって進行する。これらのことから、入射光側の三角形OO13 と出射光側の三角形P′P31 が逆合同すなわち入射光側の三角形OO13 と線対称な三角形O′O13 と出射光側の三角形P′P13 が合同となっていることが分かる。従って、仮想集光点P′から見た再生像の位置Pが、仮想集光点P′から光ファイバー10の出射端までの距離の2倍の距離2d1 にあることから、この広がりは、再生面において、一つの光ファイバーの出射側端面から出る光束の広がりD0 の2倍の2D0 となり、この広がりの分、ぼけた像となる。しかし、このぼけは端面が小さい場合には問題とならない。
【0031】
結局、この状態は被写体11と同じ大きさで再生像12が得られることになるが、被写体とは反対の方向から見ることなるため、凹凸が逆転した状態となる。つまり、光ファイバー10の出射端面の外側に凹凸の逆転した像(再生像)を、被写体と入射端面までの距離と同じ距離に、同じ大きさで得ることができる。
【0032】
この状態では、凹凸が逆転するため、図8に示すように、この光ファイバー群をある程度の間隔をおいて直列に2組または偶数組用いることで、この凹凸を解消することが本発明の特徴である。この場合のある程度の間隔とは、第1の光ファイバー群10−1の作る像(第1像)が第2の光ファイバー群10−2の入力端面の前方にあるようにすれば(即ち、図8中、d2 を負としない)、第2の光ファイバーの作る像(第2像)は光ファイバー端の外側に空中像として凹凸が正しいものとなる。つまり、図8の配置構成では、凹凸の逆転が2度起こるため、結果として凹凸が正しい像となり、第1、2のファイバー群10−1、10−2は空中像を作るから、再生像(第2像)は空中像となる。
【0033】
また、図9で示すように、当該光ファイバーの、
【0034】
【数6】
Figure 0003790371
【0035】
を満たす面、つまり入射側の光ファイバー10Aに平行光が入力した場合に、当該光ファイバー10A内で結像する面に、拡大光学系21を挿入することにより、再生立体像の大きさを被写体に比べて拡大できる。同様に、この拡大光学系を縮小光学系とすれば、再生立体像を小さくできる。
【0036】
これら拡大、縮小光学系として、ファイバーオプティックプレート(浜松ホトニクス株式会社製品)などがある。この場合でも、当該光学系の光ファイバーの全部の長さは、上記(4)式を満たすことが必要である。
【0037】
また、ファイバーオプティックプレートと同様のファイバー光学系(米国:INCOM社製品)で回転できるものを拡大光学系21に代えて同位置に挿入することで、立体像を回転させることもできる。
【0038】
さらに、同じ位置にイメージインテンシファイヤーなどの光増倍装置を挿入することで表示画像の明るさを増倍したり、伝送損失による明るさの低下を補うことができる。
【0039】
(他の実施形態)
また、当然ながら、本願発明者らが発明した特願平10−117355号に記載の発明と同様に、光ファイバー群を屈曲できるように製作すれば、本発明の伝送路を屈曲することも可能となる。例えば、各光ファイバー自体は柔軟性があるので、光ファイバー群の両端位置だけを締め付ける固定器具、または接着剤を付けたり、あるいは光ファイバー群の外側を自在に屈曲した状態を保持できる、例えば形状記憶合金、形状記憶樹脂、鉛や銅のワイヤ、またはゴムや軟性のプラスチックのチューブなどで光ファイバ群を覆うようにしてもよい。
【0040】
【発明の効果】
以上説明したように、本発明によれば、レンズ作用を有する同一長かつ複数の光ファイバーを、当該光ファイバーの両端で2次元状の同一配列となるように構成する光ファイバー群とすることで、立体像を撮像かつ伝送かつ表示する立体画像装置において、光ファイバーの長さを、光ファイバー内の光路の半周期の奇数倍としたので、立体像を光を電気信号にすること無く、長い距離にわたって伝送することができ、得られる立体像は光ファイバー端面の外側に位置する空中像となる。
【0041】
また、本発明によれば、この光ファイバー群をある程度の間隔をおいて直列に2組用いることで、凹凸の逆転を解消することが出来る。
【0042】
また、本発明によれば、光ファイバー途中の特定の場所に、拡大、縮小、回転の光学素子を挿入することで、立体像を拡大、縮小、回転することもできる。さらに光増倍素子を挿入することで表示画像の明るさを増倍したり、伝送損失による明るさの低下を補うことができる。
【0043】
また、本発明の伝送路を屈曲することも可能である。
【0044】
従って、本発明による立体画像装置は立体画像を提供する内視鏡やボアスコープなどとして適用することができる。
【図面の簡単な説明】
【図1】先願の特願平10−117355号で記載の立体像再生の様子を示す光路図である。
【図2】光ファイバーの動作原理図を示す光路図である。
【図3】光ファイバーの入射光線と出射光線を示す光路図である。
【図4】基本単位の光ファイバーを2次元配列した光ファイバー群を示す概念図である。
【図5】先願の特願平10−117355号で記載されている光ファイバー長の例(θ=4π)を示す光路図である。
【図6】本発明の一実施形態の立体画像装置における入射光線と出射光線の関係を示す光路図である。
【図7】本発明の一実施形態の立体画像装置における1つの光ファイバー群による被写体と再生像の関係を示す光路図である。
【図8】本発明の一実施形態の立体画像装置における2つの光ファイバー群による被写体と再生像の関係を示す光路図である。
【図9】本発明の一実施形態の立体画像装置における再生立体像の拡大を示す構成図である。
【符号の説明】
10 光ファイバー
10−1、10−2 光ファイバー群
11 被写体
12 再生像
21 拡大光学系

Claims (5)

  1. レンズ作用を有する同一長かつ複数の光ファイバーを、当該光ファイバーの両端で2次元状の同一配列となるように構成する光ファイバー群とすることで、立体像を撮像かつ伝送かつ表示する立体画像装置において、
    前記光ファイバーのそれぞれの長さを、該光ファイバー内の光路の半周期の奇数倍としたことを特徴とする立体画像装置。
  2. 前記光ファイバーとして、半径方向に2乗特性のような不均一な屈折率分布をもつ光ファイバーを用いることを特徴とする請求項1に記載の立体画像装置。
  3. 前記光ファイバー群を偶数用いて、各光ファイバー群を所定間隔離して直列配置して立体像を撮像、伝送および表示することを特徴とする請求項1または2に記載の立体画像装置。
  4. 前記光ファイバー群の光ファイバーに平行光が入射した場合に、当該光ファイバー内で結像する面に、縮小光学系あるいは拡大光学系あるいは回転光学系が挿入されていることを特徴とする請求項1ないし3のいずれかに記載の立体画像装置。
  5. 前記光ファイバー群の光ファイバーに平行光が入射した場合に、当該光ファイバー内で結像する面に、光増倍装置が挿入されていることを特徴とする請求項1ないし3のいずれかに記載の立体画像装置。
JP28840798A 1998-10-09 1998-10-09 立体画像装置 Expired - Fee Related JP3790371B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP28840798A JP3790371B2 (ja) 1998-10-09 1998-10-09 立体画像装置
US09/414,542 US6301416B1 (en) 1998-10-09 1999-10-08 Optical three-dimensional imaging device which uses an integral photography technique

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28840798A JP3790371B2 (ja) 1998-10-09 1998-10-09 立体画像装置

Publications (2)

Publication Number Publication Date
JP2000122191A JP2000122191A (ja) 2000-04-28
JP3790371B2 true JP3790371B2 (ja) 2006-06-28

Family

ID=17729818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28840798A Expired - Fee Related JP3790371B2 (ja) 1998-10-09 1998-10-09 立体画像装置

Country Status (2)

Country Link
US (1) US6301416B1 (ja)
JP (1) JP3790371B2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4343341B2 (ja) * 1999-09-01 2009-10-14 オリンパス株式会社 内視鏡装置
US7054067B2 (en) 2003-05-27 2006-05-30 Nippon Hoso Kyokai Three-dimensional image optical system
JP4664620B2 (ja) * 2003-05-27 2011-04-06 日本放送協会 アフォーカル立体光学装置
US7710657B2 (en) 2005-01-19 2010-05-04 Panasonic Corporation Distributed refractive index lens and method for manufacturing the same
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US7872796B2 (en) 2007-01-25 2011-01-18 Adobe Systems Incorporated Light field microscope with lenslet array
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
US8559756B2 (en) 2007-08-06 2013-10-15 Adobe Systems Incorporated Radiance processing by demultiplexing in the frequency domain
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8155456B2 (en) * 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
US7949252B1 (en) 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
JP5205339B2 (ja) * 2009-06-29 2013-06-05 日本放送協会 立体像表示装置
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8860833B2 (en) 2010-03-03 2014-10-14 Adobe Systems Incorporated Blended rendering of focused plenoptic camera data
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
US9561022B2 (en) 2012-02-27 2017-02-07 Covidien Lp Device and method for optical image correction in metrology systems
US9538075B2 (en) 2013-12-30 2017-01-03 Indiana University Research And Technology Corporation Frequency domain processing techniques for plenoptic images
JP6450073B2 (ja) * 2014-01-29 2019-01-09 日本放送協会 レンズアレイ
EP3185747A1 (en) 2014-08-31 2017-07-05 Berestka, John Systems and methods for analyzing the eye

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61135280A (ja) * 1984-12-06 1986-06-23 Toshiba Corp 三次元撮像素子
US4873572A (en) * 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
US5305759A (en) * 1990-09-26 1994-04-26 Olympus Optical Co., Ltd. Examined body interior information observing apparatus by using photo-pulses controlling gains for depths
US5436655A (en) * 1991-08-09 1995-07-25 Olympus Optical Co., Ltd. Endoscope apparatus for three dimensional measurement for scanning spot light to execute three dimensional measurement
US5976071A (en) * 1994-11-29 1999-11-02 Asahi Kogaku Kogyo Kabushiki Kaisha Stereoscopic endoscope
JPH0961132A (ja) * 1995-08-28 1997-03-07 Olympus Optical Co Ltd 3次元形状計測装置
JP3771988B2 (ja) * 1997-03-12 2006-05-10 オリンパス株式会社 計測内視鏡装置

Also Published As

Publication number Publication date
US6301416B1 (en) 2001-10-09
JP2000122191A (ja) 2000-04-28

Similar Documents

Publication Publication Date Title
JP3790371B2 (ja) 立体画像装置
JPH11305164A (ja) 立体画像装置
JP3845060B2 (ja) 反射型立体ディスプレイシステム
JP2015060067A (ja) 撮像レンズ及び固体撮像装置
WO2020085564A1 (ko) 광학 장치
JP2007071922A (ja) 立体画像撮像装置及び立体画像表示装置
JP4664620B2 (ja) アフォーカル立体光学装置
CN106030367B (zh) 内窥镜物镜光学系统
JP3836550B2 (ja) 立体撮像装置および立体表示装置
JP3647118B2 (ja) 立体画像表示装置
JP4049553B2 (ja) 立体画像送信装置および立体画像受信装置
KR101022565B1 (ko) 투사형 3차원 집적 영상 시스템에 사용되는 반사형 스크린
JP5205339B2 (ja) 立体像表示装置
CN113741054A (zh) 高分辨率和宽视角的3d显示装置
JP2004054153A (ja) 立体像の撮像表示装置
JP4095241B2 (ja) 立体画像撮影装置と立体画像表示装置
JP3577577B2 (ja) 空中立体視装置
JPH0248810Y2 (ja)
JPH01151880A (ja) 像形成光学系
JP6832064B2 (ja) 立体像表示装置
CN107343136A (zh) 一种摄像模组
WO2024082627A1 (zh) 一种光学成像镜组及其应用
TWI551890B (zh) 多視角立體顯示裝置及其角度放大屏幕
JPS59193403A (ja) 像伝送観察装置
JP2024085850A (ja) 広視野映像取得光学装置および広視野撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050920

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060331

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130407

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140407

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees