JP3888266B2 - 広視野角映像撮影装置 - Google Patents

広視野角映像撮影装置 Download PDF

Info

Publication number
JP3888266B2
JP3888266B2 JP2002252339A JP2002252339A JP3888266B2 JP 3888266 B2 JP3888266 B2 JP 3888266B2 JP 2002252339 A JP2002252339 A JP 2002252339A JP 2002252339 A JP2002252339 A JP 2002252339A JP 3888266 B2 JP3888266 B2 JP 3888266B2
Authority
JP
Japan
Prior art keywords
video
photographing
shooting
viewing angle
wide viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002252339A
Other languages
English (en)
Other versions
JP2004096269A (ja
Inventor
俊夫 守屋
史子 紅山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002252339A priority Critical patent/JP3888266B2/ja
Publication of JP2004096269A publication Critical patent/JP2004096269A/ja
Application granted granted Critical
Publication of JP3888266B2 publication Critical patent/JP3888266B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、実写映像の撮影技術に関し、さらに詳しくは、超高精細で且つ広視野角のディジタル映像を取り扱う高臨場感ディスプレイ技術 (IPT : Immersive Projection Technology) や、全方位ビジョン (Omni-directional vision) 技術に関する。
【0002】
【従来の技術】
球面、柱面、平面マルチといったさまざまな形状のスクリーンに、超高精細、広視野角の映像を観るものを取り囲むように表示することで、臨場感溢れる映像空間を提供しようとする高臨場感ディスプレイ (IPD : Immersive Projection Display) が、多くの分野で注目されるようになっているが、ここにおいて、そこに表示する映像の取得方法、すなわち、超高精細、広視野角映像の撮影手段の確立が課題となっている。
【0003】
ある球面スクリーン型 IPD システムを例に挙げると、精細度については横方向 6000 画素以上の表示を行い、また視野角については水平方向 180°の表示を行うことが可能である。よって、コンテンツ作成時にはこのような仕様を満たす特殊な映像を撮影しなければその長所を生かすことができない。しかしながら、一般のテレビやハイビジョンを対象としたカメラシステムでは、画素数が横方向 720〜2000画素程度であり、また広角レンズを用いた場合でも視野角が 90°程度となるため、どちらの要素についてもその性能は全く不十分である。
【0004】
そこで、特殊な手段を用いることでこれを実現させようとする研究がされており、またすでに実用的なシステムとして開発されているものもある。これらはサーベイ論文「八木康史, 横矢直和, "全方位ビジョン:センサの開発と応用の最新動向," 情報処理学会論文誌, コンピュータビジョンとイメージメディア, Vol. 42, No. SIG 13(CVIM 3), 2001.」において詳しく報告されている。
【0005】
超高精彩・広視野角な映像を撮影する方法は、大きく以下の3つのタイプに分けられる。
(1)魚眼レンズ、全方位レンズ(Omni-Directional レンズ)などの特殊光学系を用いる方法と、
(2)1台のカメラを回転・移動させて複数の映像を撮影し、それらを接続する方法と、
(3)複数のカメラを並べて撮影し、それらの映像を接続する方法とがある。
【0006】
(1)の方法は、特殊レンズによって、超広視野角な映像情報を独自の射影形式でCCD等の撮像系に投影し、1カメラの映像信号として取得しようとするもので、ポータビリティーに優れ、広い視野角の映像を撮影する、という目的においては最も実用的な手段と考えられる。しかしながら、ハイビジョンカメラ等の一般のカメラに特殊レンズを装着するため、解像度の意味では従来のままであり、要求される超高精細映像を撮ることができない。超高精細映像を扱うことができる特殊なCCD撮像系や、データ入出力用インタフェース、およびハードディスク等の記録装置を開発することで、理論的には超高精細映像への対応も可能であるが、特殊レンズに対応した光学的特性を持つ特殊CCDや、そのCCDから数百ギガバイト/秒 の転送速度でデータを出力するインターフェース等の極めて特殊で高性能なデバイスを用意しなければならず、これらは現在の技術においては実施が極めて困難と考えられる。
【0007】
これに対して、(2)(3)の方法では、撮影枚数を増やしたり、カメラを増やすことで、原理的には映像の精細度は無制限に設定することができる。また構成要素となる個々のカメラ等の撮像系も、汎用に使われるカメラや、アナログビデオレコーダやディジタルビデオレコーダが利用できるので、その実装は極めて現実的である。しかしながら、各画像をつなぎ合わせて1枚の高精細、広視野角の映像を、理想的なクオリティーを持って作成するためには、異なる方向を向いたそれぞれのカメラの光学中心が一致する、すなわち単一視点制約が満たされなければならない。
【0008】
(2)については、カメラの光学中心を移動せずに回転するカメラを開発した報告がされている「和田俊和, 浮田宗伯, 松山隆司, "視点固定型パン・チルト・ズームカメラとその応用," 電子情報通信学会論文誌, Vol. J81-D-II, No. 6, pp. 1182-1193, 1998.」。これによると、単一視点制約が満たされた場合の各撮影映像が、幾何学的には完全にシームレスに接続することができる。しかしながら本手法によると、ひとつのカメラを使って時系列的に撮影した画像をつなぎ合わせて一枚の大きな画像を作成するため、最終的にできあがる画像が、静止画に限定される。
【0009】
一方(3)の方法は、図2のようにカメラ(210)を異なる方向を向くように配置させて、すべてのカメラ間の同期を取りながら撮影するものである。この場合、前述の(2)のタイプとは異なり動画像が撮影できる。しかしながら、本手法は別の問題が生じている。それは、単一視点制約を満たす撮影がほとんど不可能であるということである。一般にカメラの光学中心(290)はレンズ位置付近になるため、図2からわかるように一般のカメラを使い、この光学中心が一致するように複数配置することは不可能である。よって、この場合は各撮影画像を近似的な手法で接続するという、アプローチが不可欠となる。このような手法として mosaicing という技術があり、例えば文献「R. Szeliski and H. Y. Shum, "Creating full view panoramic image mosaics and environment maps," ACM SIGGRAPH, pp.251-258, 1997.」などに詳しい。しかしこれはあくまで近似処理による映像生成であり、一般にクオリティーの劣化は避けられない。このクオリティーの劣化の度合いは、各カメラの光学中心位置のずれの大きさできまる。よって、カメラを配置する際には、この光学中心の位置のずれ(図2 Δd)がなるべく小さくなるようにしなければならない。カメラをなるべく多く利用するということは、図2と図3との比較でわかるように、Δd を小さくする効果があり、また、超高精細映像を取得するという目的においても望ましいが、実際のカメラの形状等を考慮すると、図3に示すような数のカメラの配置は不可能である。
【0010】
【発明が解決しようとする課題】
従来の技術による撮影手段によると、前項で述べたとおり、(1)のタイプのものについては一般に超高精細な映像を撮影することができず、またそれに対応させる機器の開発は現在の技術では極めて困難である、という問題を持っている。これに対し、(2)のタイプのものでは、出来上がる画像が静止画に限定されてしまう問題がある。(3)のタイプは、動画を扱え、さらに汎用のビデオカメラを利用できる長所があるものの、カメラの配置の制約から、隣り合うカメラの光学中心のずれが大きくなってしまい、できあがる映像の品質に問題が生じてしまう。
【0011】
以上をまとめると、
・現実的手段で実装できること、
・動画が扱えること、
・画像接合時に隣り合う画像がなるべくシームレスにつながること(映像の品質がよくなること)といった特徴を持つ撮影手段の構築が必要となっていることがわかる。その1手段として考えられるのが、タイプ(3)についての短所を改善させることであり、具体的には、タイプ(3)の複数カメラによる撮影手段の実現において、カメラ数を増やしながらも、各カメラ間の光学中心のずれがなるべく少なくなるようにすることという課題に取り組むことである。
【0012】
本発明の目的は、この課題を解決することで、現実的手段で実装でき、動画が扱え、高品位な、超高精細且つ広視野角の映像撮影手段を提供することにある。
【0013】
【課題を解決するための手段】
上記課題を解決するため、本発明では、複数カメラによる撮影装置において、この複数カメラを、その配置上の中心点を中心軸に高速回転させながら、ある決められたタイミングで各カメラの映像撮影を行う手段を提供する。これにより、実際のカメラ数以上のカメラを用いて撮影することと全く同じ効果を得ることができる。
【0014】
より具体的に言うと、本発明による装置は、映像撮影部と撮影制御部より構成され、その映像撮影部は、複数のカメラと、その設置台より構成される。その設置台は回転軸を中心に回転手段によって回転させることができる。
【0015】
また撮影制御部は、その回転手段を制御する手段と、複数のカメラの撮影タイミングを制御する手段と、それらのカメラによるそれぞれの撮影データを入力する手段と、その映像データを接合する画像変形手段を備える。
【0016】
【発明の実施の形態】
図1は、本発明の実施の形態の1例における、装置の構成図である。本図を用いて、全体の構成を説明する。
【0017】
本装置は大きく、映像撮影部(200)、撮影制御部(300)の2つの装置で構成される。
【0018】
映像撮影部(200)は、複数のビデオカメラ(210)、ビデオカメラを設置するビデオカメラ設置台(220)、ビデオカメラ設置台を回転させるモータや歯車から構成される回転装置(230)、回転装置の回転速度等の制御を行う回転制御装置(240)、ビデオカメラの撮影映像信号やビデオカメラの同期信号などを入出力する映像撮影部ビデオカメラ信号インターフェース(250)から構成される。
【0019】
撮影制御部(300)は、前記回転制御装置に回転制御信号を入出力する回転制御インターフェース(310)、前記ビデオカメラ信号インターフェースと、ビデオ映像信号やビデオ制御信号の入出力を行う撮影制御部ビデオカメラ信号インターフェース(320)、各装置のデータ転送を行うシステムバス(330)、あらかじめ決められたプログラムやその時の状況に応じて、各種処理を行うCPU等の中央演算装置(340)、プログラムや映像データを保存するメモリ等の主記憶装置(350)、同じくプログラムや映像データを保存するハードディスク等の外部記憶装置(360)、ユーザからの操作の受付けや状態の表示を行うディスプレイ等のモニタ装置(370)およびキーボードやマウス等の入力装置(380)から構成される。以上が全体の構成である。
【0020】
次に、図4、図5を用いて前記映像撮影部におけるビデオカメラ(210)とビデオカメラ設置台(220)について説明する。図4は、これらを上から見たものである。図5は、これを横から見たものである。複数のビデオカメラ(210)は、ビデオカメラ設置台(220)に、等間隔、対称で、それぞれが外側を向くように固定される。その中心に回転装置(230)の回転軸(260)が接合される。よって、このビデオカメラ設置台(220)およびビデオカメラ(210)は、この軸を中心に回転されることになる。なお、ビデオカメラ(210)は、高速動画像撮影機能および撮影タイミングの外部制御機能を持つものとする。なお、ビデオカメラの配置は、図4に限定されるものではなく、各カメラの形状を考慮した上で隣り合うビデオカメラの光学中心の水平方向のずれを小さくする配置としては、図6にあげたようなものも考えられる。
【0021】
次に、図1における回転装置(230)、回転制御装置(240)、映像撮影部ビデオカメラ信号インターフェーズ(250)について詳しく説明する。回転装置(230)は前述のビデオカメラ(210)およびビデオカメラ設置台(220)を回転軸(260)廻りに回転させる機能を持つ。さらに、回転位置や回転速度の制御機能を持つものとする。これは、ステッピングモータや各種センサによるフィードバック制御などの利用により実現可能である。回転制御装置(240)は、撮影制御部(300)の指令に基づき、回転装置(230)の回転速度を制御する。映像撮影部ビデオカメラ信号インタフェース(250)は、前述のビデオカメラ(210)で撮影した映像信号を出力したり、撮影制御部(300)から送られるビデオの撮影タイミングの指令信号などの入力を行う。この映像撮影部ビデオカメラ信号インタフェース(250)と前述のビデオカメラ(210)を結ぶ信号線は、回転時も常に電気的に接続されている必要があるが、これは無線装置の利用や、回転装置(230)の回転軸(260)に金属ブラシなどの手段を加えることで実現される。
【0022】
次に、図7、図8を用いて、撮影制御部(200)における全体の処理の流れを説明する。
【0023】
処理は大きく、撮影制御処理部(400)と映像作成処理部(500)から構成される。
【0024】
撮影制御処理部(400)では、まず撮影パラメータを決定する(405)。これはあらかじめ固定値に決めておくほか、ユーザとの対話処理で決めることもできるが、その際には図1におけるモニタ装置(370)や入力装置(380)を利用する。パラメータは、仮想カメラ数 N[個] と、仮想フレームレート F [フレーム/秒] および、隣り合うカメラ間の撮影タイムインターバルΔt[秒] である。仮想カメラ数とは、カメラを回転させることで、あたかも多数のカメラが配置されているのと同じ効果を出そうとする際のカメラ数であり図3にあらわされるようなものである。仮想フレームレートとは、それぞれの仮想カメラの撮影するフレームレートである。
【0025】
このパラメータと、図1におけるビデオカメラの実際の数および配置、シャッタータイミングの方針設定により、回転装置(230)の回転速度 w[回転/秒]と、各カメラのシャッタータイミング T(n, fn) が計算される(410)。なおここで、 n は仮想カメラの番号、fn はそのカメラにおける撮影開始時から数えたフレーム番号である。
【0026】
一例を用いて、その具体的な値を示す。
ビデオカメラを図2に示すとおり、60°間隔に6台設置するものとする。これを20°間隔の18台のビデオカメラがF = 30[フレーム/秒] のフレームレートで撮影するのと仮想的に等価のものとして実現する。1/30 秒ごとに各ビデオカメラは図2の位置にいなければならないから、回転速度は少なくとも w0 = 60°÷1/30 = 1800° = 5[回転/秒] でなければならない。このとき、各ビデオカメラが 1/90秒 毎のタイミングでシャッターを切れば、20°ごとに、秒30枚の映像が撮影されることになる。
【0027】
しかしながら、この場合は隣あう3つの画像の撮影時刻がそれぞれΔt = 1/90秒ずつずれてしまう、という問題が生じる。そこで、回転速度を w0の整数倍上げる。例えばこれを3倍し、w = 1800°×3 =5400°= 15 [回転/秒] とする。このとき、各ビデオカメラが 20°進む時間は、20°÷5400° = 1/270秒 となるから、隣あう3つの画像の撮影時刻のずれは、高々 Δt =1/270 秒で済むことになる。あるビデオカメラのシャッターのタイミング T(n, fn) は、図9に示すとおり、シャッター1, 1/270秒のインターバル、シャッター2、1/270秒のインターバル、シャッター3、7/270秒のインターバル、シャッター4、1/270秒のインターバル・・・、を実現させるものとなる。
【0028】
以上の値が定まると、この回転速度で回転装置(230)を回転させるような制御信号を、撮影制御部(300)の回転制御インターフェース(310)から映像撮影部(200)に対して送信する(413)。
【0029】
次に、前述のシャッタータイミングを実現するようなタイミングにおいて(415)、シャッター信号を、撮影制御部ビデオカメラ信号インターフェース(320)から映像撮影部ビデオカメラ信号インターフェーズ(250)に対して送信する(420)。このタイミングを前述の値を例に図示したものが図9である。各ビデオカメラに対してシャッター信号が発せられるタイミングを、ビデオカメラ1、ビデオカメラ2、ビデオカメラ6を例に、横軸が時刻となるように表している(710)(720)(760)。図からわかるように、1/270 秒毎にシャッター信号を3回ずつ連続して発する(701)(702)(703)。この一連のシャッター信号によって撮影される映像が、仮想的に18台とした全体のビデオカメラの第1フレームの撮影映像(800)となる。さらに7/270秒間をおいて、同様にシャッター信号を3回連続して発する(704)(705)(706)。これが第2フレームの映像信号(900)となる。以下この繰り返しである。この処理を、撮影中止命令がユーザからあるまで続ける(425)。
【0030】
一方、映像作成処理部(500)では、映像撮影部(200)の映像撮影部ビデオカメラ信号インターフェーズ(250)から出力される画像データを、撮影制御部(200)の撮影制御部ビデオカメラ信号インターフェース(320)から入力し、主記憶装置(350)に取り込む(505)。この処理を前述の仮想フレームレート F [フレーム/秒]の逆数として算出されるフレーム間隔 T[秒/フレーム]の間連続して続ける(510)。その後、各ビデオカメラで各時刻に撮影された画像データを、時刻とビデオカメラの配置、回転速度、シャッタータイミング等から算出される、ビデオカメラの撮影時の位置に合わせて並べ変え(515)、例えば上述の例では、仮想的に 20°毎に並べられた18 台のビデオカメラで撮影された映像として扱えるようにする。そして、これらの複数の画像を、mosaicing の手法によってシームレスに見えるように接続する(520)。その具体的な処理内容は、例えば前述の文献「R. Szeliski and H. Y. Shum, "Creating full view panoramic image mosaics and environment maps," ACM SIGGRAPH, pp.251-258, 1997.」に記載されているような手法を用いる。以上によって作成された1枚の360°視野角の高精細画像データを外部記憶装置(360)などに記録する(520)。以上の処理をユーザ等による撮影中止命令が発せられるまで続ける(525)。
【0031】
以上が、撮影制御処理部(400)と映像作成処理部(500)のそれぞれの処理内容ならびに処理手順である。なおこれらの処理は、図1の撮影制御部における各構成装置によって実施される。各処理内容は主記憶装置(350)と外部記憶装置(360)に記録されるプログラムにおいて記述され、これに従い中央演算装置(340)が処理制御を行う。データはシステムバス(330)を通して各構成装置間を転送される。撮影制御処理部の処理内容は、撮影制御処理プログラム(600)に記述され、映像作成処理部の処理内容は、映像作成処理プログラム(610)に記述される。
【0032】
【発明の効果】
本発明によれば、従来配置的な制約から実現が不可能だった、極めて多くの汎用ビデオカメラによる広視野角映像の撮影が、少ない数の同様のビデオカメラで実質的に等価に行うことができるため、技術的に難度の高いな特殊な撮像系を準備することなく、超高精細で高品位な動画映像を撮影することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態である装置の全体全体項構成図である。
【図2】6台のビデオカメラによる広視野角映像の撮影方法を説明する図である。
【図3】18台のビデオカメラによる広視野角映像の撮影方法を説明する図である。
【図4】本発明の一実施形態である映像撮影部の装置を上から見た図である。
【図5】本発明の一実施形態である映像撮影部の装置を横から見た図である。
【図6】本発明の一実施形態である映像撮影部のビデオカメラの配置の例を示す図である。
【図7】本発明の一実施形態である撮影制御処理部の処理を示すフローチャートである。
【図8】本発明の一実施形態である映像作成処理部の処理を示すフローチャートである。
【図9】本発明の一実施形態であるシャッタータイミングの例を示す図である。
【符号の説明】
200 映像撮影部、300 撮影制御部、210 ビデオカメラ、230 回転装置、240 回転制御装置、260 回転軸、310 回転制御インタフェース、350 主記憶装置、370 モニタ装置、380 入力装置

Claims (5)

  1. 異なる方向を向いた複数の映像撮影手段で構成される広視野角映像撮影装置において、
    該映像撮影装置は映像撮影部と映像制御部より構成され、
    該映像撮影部は、該複数の映像撮影手段とその設置台より構成され、該設置台は回転軸を中心に回転手段によって回転され、
    該撮影制御部は、該回転手段を制御する手段と、該複数の撮影手段の撮影タイミングを制御する手段と、該複数の撮影手段による複数の撮影データを入力する手段と、該複数の撮影データを接合する画像変形手段を備え、
    該複数の映像撮影手段の撮影タイミングは、操作者の指定する仮想撮影手段の数を表すパラメータと、仮想フレームレートを表すパラメータと、隣り合う映像撮影手段間の撮影タイムインターバルを表すパラメータから算出される広視野角映像撮影装置。
  2. 前記複数の映像撮影手段は、前記設置台に前記回転軸を中心に等間隔にかつ点対称に配置される、請求項 1 記載の広視野角映像撮影装置。
  3. 前記複数の撮影手段の撮影方向は、前記回転手段の回転の半径方向と異なる、請求項 2 記載の広視野角映像撮影装置。
  4. 前記複数の撮影手段の撮影方向と前記回転手段の回転の半径方向が成す角度が全て等しい、請求項 3 記載の広視野角映像撮影装置。
  5. 前記回転手段の回転の中心を中心とし、前記複数の撮影手段の光学中心によって形成される円の半径が最小となる、請求項 4 記載の広視野角撮影装置。
JP2002252339A 2002-08-30 2002-08-30 広視野角映像撮影装置 Expired - Lifetime JP3888266B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002252339A JP3888266B2 (ja) 2002-08-30 2002-08-30 広視野角映像撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002252339A JP3888266B2 (ja) 2002-08-30 2002-08-30 広視野角映像撮影装置

Publications (2)

Publication Number Publication Date
JP2004096269A JP2004096269A (ja) 2004-03-25
JP3888266B2 true JP3888266B2 (ja) 2007-02-28

Family

ID=32058635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002252339A Expired - Lifetime JP3888266B2 (ja) 2002-08-30 2002-08-30 広視野角映像撮影装置

Country Status (1)

Country Link
JP (1) JP3888266B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4943695B2 (ja) 2005-11-21 2012-05-30 富士フイルム株式会社 多焦点カメラの撮影光学系
JP2019080223A (ja) * 2017-10-26 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント カメラシステム

Also Published As

Publication number Publication date
JP2004096269A (ja) 2004-03-25

Similar Documents

Publication Publication Date Title
JP6471777B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4017579B2 (ja) 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
JP5172863B2 (ja) バナナ・コーデック
JP3975736B2 (ja) 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US20020190991A1 (en) 3-D instant replay system and method
US20040027451A1 (en) Immersive imaging system
US20130016181A1 (en) System and method for capturing and displaying cinema quality panoramic images
JP2004507189A (ja) デジタル画像における関心のある対象を追尾する方法及び装置
US7999842B1 (en) Continuously rotating video camera, method and user interface for using the same
US6701030B1 (en) Deghosting panoramic video
JPWO2019078033A1 (ja) 再生装置および方法、並びに、生成装置および方法
JP2001333303A (ja) 全方位視覚システム
JP3888266B2 (ja) 広視野角映像撮影装置
JPH0514751A (ja) パノラマ画像取り込み装置
Bogner An introduction to panospheric imaging
WO2002087218A2 (en) Navigable camera array and viewer therefore
JP2004145680A (ja) 全方位画像生成方法及び装置
Nielsen High resolution full spherical videos
JPH11122521A (ja) ディジタル撮像装置および撮像方法
JP7515265B2 (ja) 撮像装置、画像処理装置の制御方法、撮像システム
JP4325108B2 (ja) 撮像画像合成装置および方法
JP4211377B2 (ja) 画像信号処理装置
JPH11341328A (ja) 画像データ表示装置および方法、並びに提供媒体
JP2004194112A (ja) 画像信号処理装置
JP2004194114A (ja) 画像情報提供システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040909

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060627

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060904

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061120

R151 Written notification of patent or utility model registration

Ref document number: 3888266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131208

Year of fee payment: 7

EXPY Cancellation because of completion of term