JP4199940B2 - 撮像装置及び撮像システム - Google Patents

撮像装置及び撮像システム Download PDF

Info

Publication number
JP4199940B2
JP4199940B2 JP2001159417A JP2001159417A JP4199940B2 JP 4199940 B2 JP4199940 B2 JP 4199940B2 JP 2001159417 A JP2001159417 A JP 2001159417A JP 2001159417 A JP2001159417 A JP 2001159417A JP 4199940 B2 JP4199940 B2 JP 4199940B2
Authority
JP
Japan
Prior art keywords
imaging
image
optical system
imaging device
columnar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001159417A
Other languages
English (en)
Other versions
JP2002354302A (ja
Inventor
青木  伸
憲彦 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2001159417A priority Critical patent/JP4199940B2/ja
Publication of JP2002354302A publication Critical patent/JP2002354302A/ja
Application granted granted Critical
Publication of JP4199940B2 publication Critical patent/JP4199940B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は動画等の画像の記録を行なうための撮像装置及び撮像システムに係り、特にテレビ会議等のシーンを記録するビデオ記録システム等に適用可能な動画の記録を行なう撮像装置及び撮像システムに関する。
【0002】
【従来の技術】
動画の記録・再生技術としては、例えば特許第02939087号「全方位視覚系」、特許第03054146号「パノラマ像装置」、特開平第09-505447号公報「パノラマ的監視システム」等に開示されているものがある。
【0003】
これらの開示技術はいずれも双曲線ドーム型ミラーによる360度パノラマ撮影カメラに関するものである。
【0004】
即ち、ドーム型のミラーに反射させた像を撮影することで、360度(半球)分の情景が撮影できるものである。 このようなカメラを天井などに設置すれば、室内の全体を観察することができるため、監視用途などに適している。
また、撮影された画像は円周状にゆがんだ形となるが、特許第03054146号には、これを通常のカメラで撮影したように変換する手段について記載されている。
【0005】
しかしながら、円周状の画像を平面状に変換する処理は計算量が多く、そのため、この方法で動画をリアルタイム処理するためには高速な計算機が必要となる。さらに、このような変換では位置によって変倍率が異なるため、変換後の画像の実質的な解像度が位置によって異なるという問題が発生する。
【0006】
また、例えば風景のパノラマ写真を撮影したい場合等、監視以外の用途では、必ずしも 360度全周の画像を必要としない場合も多い。
【0007】
また、以前本発明者等が特願平2001−13802号にて提案した「撮像装置」によれば、曲面ミラーと通常のカメラによって円筒面状の撮像面と同様な画像を撮影することが可能となる。この装置は入射光の水平方向の角度とその光が結像する撮像面上の位置のx座標とが比例するように構成したものであり、このように撮影された画像は、それを水平方向に一様に拡大するだけで自然な画像が得られる。
【0008】
【発明が解決しようとする課題】
しかしながら、上記以前本発明者等が提案した構成では、図2に示す如く、カメラ1が曲面ミラー2の正面に配置されるため、画面の中央にカメラ自身が映り込まれてしまうという問題点がある(図4参照)。
この状態でカメラ1をそのまま傾けることによって図3に示す如くカメラ1自体を視野外に出すことが可能である。しかしながら、そのようにした場合にはカメラ1とミラー2との位置及び角度関係が変化し、もって「撮影画像を水平方向に一様に拡大するだけで自然な画像が得られる」という 上記以前本発明者等が提案した発明装置本来の目的が達成され得ないことになる。
【0009】
本発明は上記問題点に鑑み、上記以前に本発明者等が提案した発明装置本来の目的である「撮影画像を水平方向に一様に拡大するだけで自然な画像が得られる」構成を維持しながら、上記カメラ自体が撮影画面に映り込まれてしまうという問題点を低減し得る構成の撮影装置、システムを提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明では、所謂あおり光学系を持つカメラと曲面ミラーとを組み合わせることによってカメラ自体の映り込みを避けるようにするものである。
【0011】
具体的には、上記光学系の中心(図1のO)と撮像素子の中心(O’)とを結ぶ直線(L1)と撮像素子の撮像面に対する鉛直方向とが0以外の所定の角度(α)をなす構成とする。
【0012】
例えば図1に示す如く、撮像素子1bと曲面ミラー2との互いの角度を保ったまま(曲面ミラー2の軸Aと撮像素子1bの撮像面とを平行に維持したまま)レンズ1a(光学的中心O)と撮像素子(CCD)1bとの間の相対位置を変えることにより、前記本発明者等が以前特願平2001−13802号にて提案した発明装置本来の目的である「撮影画像を水平方向に一様に拡大するだけで自然な画像が得られる」構成を維持しながら、カメラ1視野内に映るカメラ1自体の位置を、目立つ画像の中心から移動し、カメラの映り込みによって生ずる問題点を低減することが可能となる(図5参照)。
【0013】
本発明によれば、撮像素子1bの移動量を大きくとる(図1においてカメラ1を更に下方にずらす)ことで、カメラ1を撮影範囲外に出すこともできる。しかしその場合、いわゆるあおり角が大きくなる。このあおり角が大きいと、後述する如くに歪曲、光量低下などの問題点が顕著になるため、移動量が大きいほどよいとは言えない。
【0014】
また、一般にカメラ1全体を机の上などに設置する場合(テレビ会議等)を考えると、視野の上部には人間の顔など重要な被写体が存在するのに比べ、底辺付近の映る被写体は机などのあまり重要でないものである場合が多い。
【0015】
そこで、視界の底辺にカメラ1が多少映る程度に視野を設定し(図5)、撮像素子1bの撮像面上端付近の位置から撮像面に対する鉛直方向(図1のL2)に向かって移動させた位置(図1の点O)に光学中心を置くようにカメラ1を構成することにより、カメラ1の映り込みと「あおり」による悪影響の双方バランスがとれた撮像装置を提供することが可能となる。
【0016】
なお、図1の配置とは上下逆に設置する場合、同様に撮像面下端付近から撮像面に対する水鉛直方向に向かって移動させた位置に光学中心を置くような配置とする。
【0017】
また、上記本発明者等が特願平2001−13802号にて提案した従来技術の撮像装置は、いずれもミラーに反射したシーンを撮影するため、ミラーの陰にあたる領域は撮影できず、水平方向に360度の視野を得ることはできないが、例えば180度以上の視野を持つ撮像装置を2台利用してこれら2台のカメラの映像が連続するような配置を行なうことにより、360度全方向の映像を撮影できるシステムを達成することが可能となる。
【0018】
また、カメラの視野が必ずしも360度に満たない場合であっても、被写体の存在範囲が限られている場合、視野内に被写体がおさまる位置から撮影すれば充分撮影可能である。
【0019】
例えば、複数の人間がひとつの机のまわりに着席しているシーンを撮影することを考えた場合(図6参照)、机の上の位置Eから全員の顔を撮影するためには360度の視野が必要だが、机の外側の位置Bから撮影するようにした場合、120度程度の視野で参加者全員を映すことが可能となる。しかしその場合、Cの位置の人間がEの方向に顔を向けている場合、その人間の顔を写すことは出来ない。
【0020】
一方、ホワイトボードなど複数の人間が共有する画面を使って議論をしている場合等を想定した場合、参加者達はホワイトボードの画面の方向を向いている可能性が高い。よってこのような場合、Dの位置から撮影することによって限られた視野角を有するカメラで参加者全員の顔を高い確率で撮影することが可能となる。
【0021】
【発明の実施の形態】
まず、図1に即して本発明の第1の実施の形態について説明する。
【0022】
本発明の第1の実施の形態の撮像装置では、図1に示す如く、カメラ1を曲面ミラー2に対して下方に位置させることによって「撮影画像を水平方向に一様に拡大するだけで自然な画像が得られる」 という上記本発明者等が特願平2001−13802号にて提案した従来技術の作用効果を維持したまま撮影画像の下端付近の目立たない領域にしかカメラ1自体が映らないようにするものである。
【0023】
図示の如く、本発明の第1の実施の形態の撮像装置は、曲面ミラー2と、レンズ光学系1a、および撮像素子1bとからなる。(これらの構成要素は、それぞれ上記特願平2001−13802号にて開示した撮像装置の曲面ミラー11およびカメラ(レンズ光学系及び撮像素子を含む)12と同様の構成を有する。)なお、上記の「カメラ1を曲面ミラー2に対して下方に移動することによって(具体的には図1に示す如く更に光学的中心Oを撮像素子1bの撮像面上端付近から撮像面鉛直方向,即ち前方に向かう直線L2上に位置するように構成することによって)、「撮影画像を水平方向に一様に拡大するだけで自然な画像が得られる」 という上記本発明者等が特願平2001−13802号にて提案した従来技術の作用効果を維持したまま撮影画像の下端付近の目立たない領域にしかカメラ1自体が映らないようにする」構成以外の構成は、上記特願平2001−13802号にて説明した第1の実施の形態等の撮像装置と同様である。
【0024】
即ち、図7において、ミラーM(即ち図1の曲面ミラー2に対応する)のxz断面上の形状が極座標表示で以下の数式1の通りに表わされ得る構成とする。
【0025】
【数1】
Figure 0004199940
ただし、上式中、φはz軸からの角度、r(φ)は点Oからの距離、Cは任意の定数とする。
【0026】
この式で表される曲線をy軸方向(図7の紙面に直交する方向)に平行移動した際の軌跡がこのミラーMの3次元形状となる。このミラーMにより、角度θから入射する光線が、撮像面I上のx座標位置uに結像することになる。
本発明の第1の実施の形態の前記以前本発明等が特願平2001−13802号にて提案した撮像装置との違いは、図7において曲面ミラーMの軸A(z軸上の点を通りy軸に平行な直線)と撮像面Iとを平行に保ったまま、撮像面Iを下方(図7中、紙面に直交する方向)に移動したことである。ここで、撮像装置の光学中心Oは撮像面Iの上端付近と同じ高さに設定する。この配置により、撮像面Iへのカメラ(図中、撮像面Iと点O(即ち撮像装置の光学中心)とを含む部分に対応する)の映り込みは、図5に示される如く画面下方の限られた領域に限定されることになる。また、上記の如くの撮像面の移動(平行移動)によっても、図7に示される構成は変化せず、もって前記以前本発明者等が特願平2001−13802号にて提案した撮像装置の効果「撮影画像を水平方向に一様に拡大するだけで自然な画像が得られる」が維持される。
【0027】
なお、図1の構成において、上記の如く、図5に示されるように画面の一部分にはカメラ自体が映り込まれてしまうことになる。図1に示される如くの構成を「あおり光学系」と称し、ここで「あおり」量を大きくする(即ち、図1に示す状態より更にカメラ1を下方に移動する)ことによって画面にカメラ自体が映り込まれないようにすることも可能である。しかしながらこのようにすることによって以下に説明する問題が生ずる。
【0028】
「あおり」量(角度)が大きい場合に生ずる問題点として、「歪曲」と「光量低下」の2つが挙げられる。まず「歪曲」について説明する。理想的な光学系では、3次元空間上の直線が画像平面上で直線として映ることになる。しかしながら現実のレンズでは必ずわずかに誤差が生ずるため、この直線が曲がって映ることになる。この誤差は通常、光軸からの角度が大きくなるほど(つまり光軸が画像の中心と交わる場合、その交点から離れるほど)大きくなる。
【0029】
次に「光量低下」に付いて述べる。光軸からの角度が大きいほど(通常、画面中心から離れ、周辺にいくほど)レンズを通過する光量が少なくなり、その結果画像が暗くなる。
【0030】
これら「歪曲」及び「光量低下」のいずれも光軸からの角度が大きい領域で顕著になる特性を有する。あおり光学系は光学的中心を画像の中心から意図的にずらした位置(高さ)に置き、光軸からの角度が大きい領域を利用する配置を採るため、このずらし量が多いほどこれらの問題も顕著になる。
【0031】
また、図5に示す如くに画面に下端のみにカメラの像が映り込まれることは、図4に示す如くに画面の中央に映り込まれることに比して、生ずる問題が小さいといえる。
【0032】
これら両者,即ち、あおりの程度を大きくすることによる問題点(歪曲及び光量低下)及びあおりの程度を小さくすることによる問題点(画面の一部にカメラが映り込まれる)とを勘案すると、図1に示される如くの程度に高さをずらした(カメラをミラーに対して下げた)配置が最適と考えられる。
【0033】
これは例えば、図1においてカメラ1及びミラー2が机上に置かれている場合(テレビ会議等を想定した場合)を考えると、図5に示される如くにカメラ1の像が画面に映り込まれたとしても、そのカメラ1によって隠蔽される対象が机に向かって座っている人の顔ではなく、机の表面となる可能性が高くなり(図4の場合、人の顔自体がカメラ1に隠蔽される可能性が高い)、問題点が小さくなると考えられるからである。
【0034】
次に本発明の第2の実施の形態について説明する。
【0035】
本実施の形態は、180度の視野を持つ上記第1の実施の形態の撮像装置を2台対向させて配置することによって周囲360度をカバーするように構成したものである。
【0036】
この第2の実施の形態の構成を図8に示す。
【0037】
図8において、(a)は側面図、(b)は平面図である。図中、カメラ1−1及びミラー2−1よりなる第1の撮像装置、並びにカメラ1−2及びミラー2−2よりなる第2の撮像装置の各々は上記第1の実施の形態の撮像装置と同様の構成を有するものとする。
【0038】
ここで、ミラー2−1,2−2を含めた光学系の中心は視線方向によって変化するが、 2台の撮像装置の互いの接続部(図8(b)における上下方向端)では互いのミラー2−1,2−2の端部が一致するため、周囲360度に亘ってほぼ連続した画像が得られる。その結果2台のカメラで撮影された動画データは、フレームごとに互いに左右に接続して記録することによって360度パノラマデータとして扱うことができる。
また、図9に示す如く、各々が120度の視野を持つ3台の撮像装置を組み合わせることによっても同様の効果が得られることは明らかである。
【0039】
なお、上記第2の実施の形態において使用される各撮像装置は必ずしも前記第1の実施の形態の撮像装置である必要は無く、例えば前記本発明者等が特願平2001−13802号にて以前提案した撮像装置等でもよい。
【0040】
次に第3の実施の形態について説明する。
【0041】
この実施の形態では、例えばホワイトボード3(画像表示装置)の上端に上記第1の実施の形態の撮像装置(カメラ1、ミラー2)を設置する構成とされる (図10参照)。
【0042】
一般にホワイトボード3等を利用して行なわれる会議では、通常参加者はボード3の表側に存在する。このようなシーンを撮影する場合、ホワイトボード3の裏側は撮影する必要がないので、 ホワイトボード3の表側180度の視野をもつカメラ1を設置することによって撮影すべきシーンの全域をカバーすることができる。さらに、参加者はホワイトボード3の方向に顔を向けていることが多いと期待できるので、顔が映りやすいという効果もある。なお、ホワイトボード3以外でも、黒板、プロジェクタスクリーン、液晶プロジェクタ、プラズマディスプレイなど、閲覧者の位置を制限する表示画面を有する画像表示装置であれば、図10同様にその画像表示装置の上端に撮像装置を設置することによって同様の効果が得られることは言うまでもない。
なお、この実施の形態では、図10に示す如く、図1に示す形態とは構成要素間の上下関係が逆とされ、即ちミラー2に対してカメラ1の位置を上方にずらした(平行移動)配置とされる。これは、ホワイトボード3の前に説明者が立った場合等でもその人間の陰になってそれ以外の参加者が撮影されなくなるという事が起きないような位置に設置することが望ましいからである。
【0043】
【発明の効果】
本発明によれば、円柱撮像系(特願平2001−13802号にて提案した撮像装置の構成による)と同様の画像を撮影できるため、複雑なデータ変換無しに目視のための自然な形状を再現することができ、かつ位置による解像度の変化が無い、広い視野角の画像を撮影できる。
【0044】
また、視界の底辺(又は頂辺)付近にのみカメラが多少映るように、光学的中心を撮像面上端の撮像面鉛直方向付近に置くことにより、カメラの映り込みと「あおり」による悪影響とのバランスをとることができる。
また、上記撮像装置を複数台利用し、かつそれぞれの撮像装置によって撮影される映像が互いに連続するように配置することによって、 360度全方向の映像を撮影可能である。
【0045】
また、複数の人間が共有する画面を有する画像表示装置に撮像装置を設置することによって、限られた視野角の撮像装置で被写体となる人間の顔等を確実に撮影可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の撮像装置の構成を説明するための側面図である。
【図2】従来技術の撮像装置の構成を説明するための側面図である。
【図3】従来技術の撮像装置の問題点の一つの解決方法を説明するための側面図である。
【図4】従来技術の問題点を説明するための撮影画面の画像を示す図である。
【図5】図1に示す構成の撮像装置によって撮影した画像の一例を示す図である。
【図6】本発明の一概念を説明するための平面図である。
【図7】本発明者等が以前提案した撮像装置の概念であり、本発明にも適用される概念を説明するための図である。
【図8】本発明の第2の実施の形態の撮像システムを説明するための側面図(a)及び平面図(b)である。
【図9】図8の実施の形態の変形例を説明するための平面図である。
【図10】本発明の第3の実施の形態の撮像システムを説明するための斜視図(a)及び部分拡大側面図(b)である。
【符号の説明】
1、1−1,1−2,1−3 カメラ
1a レンズ光学系
1b 撮像素子
2、2−1,2−2,2−3、M 曲面ミラー
3 ホワイトボード(画像表示装置)

Claims (4)

  1. 曲線を底とする柱面形状の鏡と、
    光軸まわりに等方的な光学系と、
    該光学系に入射する対象物からの光線が結像する撮像素子とよりなり、
    前記光学系に対する光線の、所定の平面に投影した場合の入射角と、
    前記光線が結像する前記撮像素子の撮像面上の位置を表す一つの座標値とが線形な関係を有する構成の撮像装置であって、
    前記光学系の中心と前記撮像素子の中心とを結ぶ直線と
    前記撮像素子の撮像面に対する鉛直方向とが0以外の所定の角度をなし、
    前記光学系の中心が、前記撮像素子の前記柱面形状軸方向端部から前記撮像面鉛直方向に向かう直線上にある構成とすることにより、前記撮像素子の撮像面への当該撮像素子自体の映り込みが撮影画面の片方の限られた領域に限定される構成を有する撮像装置。
  2. 請求項に記載の撮像装置を複数各々の前記柱面形状の鏡の端部同士をその柱面形状の軸が互いに略平行になるように接続して隣接させた構成の撮像システム。
  3. 画像表示手段を含み、
    上記画像表示手段に表示される画像を閲覧する空間領域と請求項に記載の撮像装置による撮影領域とが略一致する構成の撮影システム。
  4. 曲線を底とする柱面形状の鏡と、
    光軸まわりに等方的な光学系と、
    該光学系に入射する対象物からの光線が結像する撮像素子とよりなり、
    前記光学系に対する光線の、所定の平面に投影した場合の入射角と、
    前記光線が結像する前記撮像素子の撮像面上の位置を表す一つの座標値とが線形な関係を有する構成の撮像装置であって、
    前記光学系の中心と前記撮像素子の中心とを結ぶ直線と
    前記撮像素子の撮像面に対する鉛直方向とが0以外の所定の角度をなし、
    前記光学系の中心が、前記撮像素子の前記柱面形状軸方向端部から前記撮像面鉛直方向に向かう直線上にある構成とすることにより、前記撮像素子の撮像面への当該撮像素子自体の映り込みが撮影画面の片方の限られた領域に限定される構成を有する撮像装置を複数各々の前記柱面形状の鏡の端部同士をその柱面形状の軸が互いに略平行になるように接続して隣接させた構成の撮像システム。
JP2001159417A 2001-05-28 2001-05-28 撮像装置及び撮像システム Expired - Fee Related JP4199940B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001159417A JP4199940B2 (ja) 2001-05-28 2001-05-28 撮像装置及び撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001159417A JP4199940B2 (ja) 2001-05-28 2001-05-28 撮像装置及び撮像システム

Publications (2)

Publication Number Publication Date
JP2002354302A JP2002354302A (ja) 2002-12-06
JP4199940B2 true JP4199940B2 (ja) 2008-12-24

Family

ID=19003002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001159417A Expired - Fee Related JP4199940B2 (ja) 2001-05-28 2001-05-28 撮像装置及び撮像システム

Country Status (1)

Country Link
JP (1) JP4199940B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7990467B2 (en) 2004-11-08 2011-08-02 Sony Corporation Parallax image pickup apparatus and image pickup method
JP2006154800A (ja) * 2004-11-08 2006-06-15 Sony Corp 視差画像撮像装置および撮像方法

Also Published As

Publication number Publication date
JP2002354302A (ja) 2002-12-06

Similar Documents

Publication Publication Date Title
US7298392B2 (en) Omni-directional camera design for video conferencing
JP3735158B2 (ja) 画像投影システム、画像処理装置
Nalwa A true omnidirectional viewer
US7495694B2 (en) Omni-directional camera with calibration and up look angle improvements
US7118228B2 (en) Image display system
JP4057241B2 (ja) 仮想カメラを有する改善された画像撮影システム
KR101003277B1 (ko) 이음매 없는 합성 이미지를 생성하는 컴퓨터 구현 방법 및 멀티-이미저 시스템
CN100455014C (zh) 拍摄装置和方法、监视系统
JP3908255B2 (ja) 画像投影システム
JP2006039564A (ja) カメラシステム及びパノラマカメラシステム
JP2007531333A (ja) ひずみのない画像をリアルタイムに表示するパノラマ・ビデオ・システム
JP4736381B2 (ja) 撮像装置及び方法、監視システム、プログラム並びに記録媒体
JP7424076B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
US6345129B1 (en) Wide-field scanning tv
Liu et al. Head-size equalization for better visual perception of video conferencing
JP3676916B2 (ja) 立体撮像装置および立体表示装置
TWI488503B (zh) 會議攝錄裝置及其方法
JP3709395B2 (ja) 画像投影システム
JP2005354680A (ja) 画像投影システム
JP4199940B2 (ja) 撮像装置及び撮像システム
JP2004520736A (ja) いくつかの撮影装置を備える対話型視聴覚システム
CA2324802C (en) Panoramic imaging apparatus and method
JP2003512783A (ja) 周辺視覚を伴うカメラ
JP2005091449A (ja) 画像投影装置
JP4781537B2 (ja) カメラ・システムおよびディスプレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080909

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081006

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees