JP3706648B2 - 画像再生方法及び画像再生装置 - Google Patents

画像再生方法及び画像再生装置 Download PDF

Info

Publication number
JP3706648B2
JP3706648B2 JP02884495A JP2884495A JP3706648B2 JP 3706648 B2 JP3706648 B2 JP 3706648B2 JP 02884495 A JP02884495 A JP 02884495A JP 2884495 A JP2884495 A JP 2884495A JP 3706648 B2 JP3706648 B2 JP 3706648B2
Authority
JP
Japan
Prior art keywords
image
image reproduction
imaging data
data
reproduction parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02884495A
Other languages
English (en)
Other versions
JPH08205187A (ja
Inventor
敬信 白岩
栄一郎 池田
善郎 宇田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP02884495A priority Critical patent/JP3706648B2/ja
Priority to US08/534,338 priority patent/US6201893B1/en
Publication of JPH08205187A publication Critical patent/JPH08205187A/ja
Application granted granted Critical
Publication of JP3706648B2 publication Critical patent/JP3706648B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
本発明は画像再生方法及び画像再生装置に関し、より詳しくは撮像管やCCD等の撮像素子により得られる撮像信号に対して、その撮像データを可視化できる画像データ、例えばNTSC−RGB等に変換する画像再生方法及びそれを利用した画像再生装置に関する。
【0002】
【従来の技術】
従来より、CCD等の撮像素子を利用したテレビカメラ等の画像再生装置においては、撮像素子やカラーフィルタ等の経年変化や照明光源の変化とは無関係に目視で同一印象が常に得られるように、或いはできるだけ忠実な再生画像が得られるように、撮像データから画像データを得る画像再生処理時にて前記撮像データ自身から画像再生パラメータの一部を決定することが一般的に行われている。画像再生パラメータとしては、例えば、色温度や再生輝度レベル等があり、画像再生パラメータはこれら色温度を補正したり再生輝度レベルを設定することにより決定される。
【0003】
色温度の補正においては、具体的には、所謂ホワイトバランス調整が行われ、白色と見えるべき物体は白色に見えるように調整される。そして、この色温度補正は一般には撮像された画像データに基づいて判断されて行われる。すなわち、画像データから白色と目視される物体を抽出し、これら白色と目視される物体から画像再生パラメータの一部であるホワイトバランス係数が決定される。ホワイトバランス調整においては、通常、前記ホワイトバランス係数を使用して撮像素子から出力される映像信号の内、複数の色成分信号に夫々色成分ゲイン量を与えて補正することにより、白色と目視されるべき物体に対してその映像信号を構成する各色成分信号の出力レベルが等しくなるように調整される。
【0004】
再生輝度レベルの設定は、撮像データから輝度分布を算出し、最適な再生輝度レベル(範囲)を設定し、その範囲において再生画像が得られるようにパラメータが調整され、再生される。
【0005】
【発明が解決しようとする課題】
しかしながら、上記ホワイトバランス調整により映像の色合いを調整する方法は、撮像素子等から得られる映像信号中に白色と目視される物体が十分に存在するときには有効な方法であるが、特定の状況においては撮像信号中に白色と目視されるべき物体がない場合や白色と目視されるべき物体が非常に少ない場合があり、かかる状況下においては上記ホワイトバランス調整により色合いを調整することが不可能である。また、かかる状況下においては、一般に撮像データ全体の撮像信号を各色成分毎に平均化して平均値を算出し、該平均値を使用してホワイトバランス調整が行われることがあるが、該方法では前記平均値に示される色が白色(光源の色)であるとは限らず、精度よくホワイトバランス調整を行うことができない。
【0006】
このように従来の画像再生装置においては、最適な再生画像を得るために画像再生処理を行う場合、前記撮像データから各再生パラメータを決定しようとすると、例えばホワイトバランス処理における光源情報等のように特定のパラメータを決定するのに必要なだけの十分な情報を得ることができなくなる場合があり、パラメータを精度良く設定することができないという問題点があった。
【0007】
また、再生輝度レベルの設定においては、個々の撮像データ毎に輝度の再生パラメータを決定すると画像比較等を行う場合や画像合成処理等を行う場合に、比較する複数枚の撮像データ間の輝度の相関関係等が失われ、再生画像間の比較が困難となったり、或いは合成等における合成画像において輝度の繋がりが不自然になる等の不具合が生じる虞があるという問題点があった。例えば、撮影領域の関係で、本来なら同一画面として撮像したい被写体を分割して撮像し、複数枚の撮像データを得たときに上記不具合が明らかになる。
【0008】
すなわち、画像情報により画像再生パラメータ群を決めて得られる再生画像は、個々の撮像データについての画像再生パラメータ群に基づくものが個別に得られるため、輝度情報により物性情報等を得る場合のように複数枚の画像を比較解析することにより画像間の情報を抽出して再生画像を得ることができない。このため、例えば、反射率が空間的に徐々に変化している場合においては、個々の撮像データ毎に得られている輝度分布範囲に違いが生じており、これを各撮像データ毎に最適化して画像再生を行うと、本来各撮像領域にあった輝度の相関関係が失われた画像として再現され、したがって各撮像領域を撮像した画像を合成して一枚の画像とすると輝度の相関関係が失われた不自然な合成画像になるという問題点があった。
【0009】
本発明はこのような問題点に鑑みなされたものであって、所望の正確な画像再生を行うことができる画像再生方法と画像再生装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するために本発明に係る画像再生方法は、記録媒体に記録されている撮像データから少なくとも複数枚の撮像データを操作者により指定するための撮像データ指定ステップと、画像再生パラメータを特定する画像再生パラメータ特定ステップと、前記撮像データ指定ステップにおいて、操作者によって指定された前記複数枚の撮像データを前記画像再生パラメータ特定ステップによって特定された画像再生パラメータについて解析することによって、前記複数枚の撮像データの相関性が保持される共通の画像再生パラメータを形成する共通画像再生パラメータ形成ステップと、前記共通画像再生パラメータ形成ステップによって形成された共通の画像再生パラメータを用いて、前記撮像データ指定ステップにおいて、操作者により指定された前記複数枚の撮像データを画像データに変換するデータ変換ステップとを含むことを特徴としている。
【0011】
また、前記画像再生パラメータを構成するパラメータは、色温度情報、階調特性、階調変換曲線、階調変換ルックアップテーブル、輝度情報、ホワイトバランス係数、色成分ゲイン量、ホワイトポイント情報、ブラックポイント情報、ガンマ係数、ニーポイント、ダイナミックレンジ、色域、照明光源情報、色座標変換マトリックス係数、空間周波数特性、ブラックバランス係数、グレイバランス係数、S/N比、自己相関係数、ウイーナスペクトル、強度分布、濃度分布に関するパラメータの1つを含むことを特徴としている。
【0012】
また、本発明に係る画像再生装置は、記録媒体に記録されている撮像データから少なくとも複数枚の撮像データを操作者により指定するための撮像データ指定手段と、画像再生パラメータを特定する画像再生パラメータ特定手段と、前記撮像データ指定手段を介して操作者によって指定された前記複数枚の撮像データを前記画像再生パラメータ特定手段によって特定された画像再生パラメータについて解析することによって、前記複数枚の撮像データの相関性が保持される共通の画像再生パラメータを形成する共通画像再生パラメータ形成手段と、前記共通画像再生パラメータ形成手段によって形成された共通の画像再生パラメータを用いて、前記撮像データ指定手段を介して操作者によって指定された前記複数枚の撮像データを画像データに変換するデータ変換手段とを有することを特徴としている。
【0013】
また、前記画像再生パラメータを構成するパラメータは、色温度情報、階調特性、階調変換曲線、階調変換ルックアップテーブル、輝度情報、ホワイトバランス係数、色成分ゲイン量、ホワイトポイント情報、ブラックポイント情報、ガンマ係数、ニーポイント、ダイナミックレンジ、色域、照明光源情報、色座標変換マトリックス係数、空間周波数特性、ブラックバランス係数、グレイバランス係数、S/N比、自己相関係数、ウイーナスペクトル、強度分布、濃度分布に関するパラメータの1つを含むことを特徴としている。
【0014】
【作用】
上記画像再生方法及び画像再生装置によれば、関連する複数枚の撮像データについて最適となるように特定した画像再生パラメータ群を共通の画像再生パラメータ群として複数枚の撮像データが画像データに変換される。
【0015】
【実施例】
以下、本発明の実施例を図面に基づいて詳説する。
【0016】
図1は本発明に係る画像再生装置の一実施例を示すブロック構成図である。
【0017】
1は、デジタルカメラ等のカラー画像撮像部であって、被写体を撮像し該被写体を二次元のデジタル撮像データ(以下、単に「撮像データ」という)として撮像データメモリ部2に出力する。そして、撮像データメモリ部2は、カラー画像撮像部1から送られてきた前記撮像データを記憶保存する。
【0018】
カラー画像再生処理部3は、撮像データメモリ部2に記憶保存されている撮像データに関し所定の画像再生処理を施し、例えば、デジタル化されたNTSC−RGBデータに変換し、カラー画像再生表示部4及び再生画像データメモリ部5に出力する。前記カラー画像再生表示部4は、例えばカラービデオボード及びモニタを備え、画像再生処理部3から出力されたカラー画像データを受信し、或いは前記再生画像データメモリ部5に記憶されているカラー画像データを読み出し、カラー画像としてモニタ上に表示する。また、再生画像データメモリ部5は、カラー画像再生処理部3において画像再生された画像データを記憶保存し、この記憶保存された画像データは必要に応じてカラー画像再生表示部4に供給され、カラー画像として表示する。
【0019】
画像再生パラメータメモリ部6は、カラー画像再生処理部3からの指示情報に基づいて所望のパラメータ群或いはその一部を記憶保存し、必要に応じてカラー画像再生処理部3に供給する。ここで、前記パラメータ群を構成する画像再生パラメータとしては、例えば、色温度、ホワイトバランス係数、色成分ゲイン量、ホワイトポイント情報、ブラックポイント情報、ガンマ係数、階調特性、階調変換曲線、階調変換ルックアップテーブル、ニーポイント、ダイナミックレンジ、色域、照明光源情報、色座標変換マトリックス係数、空間周波数特性、ブラック(グレイ)バランス係数、S/N比、自己相関係数、ウィーナスペクトル、強度(濃度)分布、輝度分布等を記述するパラメータ或いはこれらの情報により直接、間接に得られるパラメータ等を挙げることができる。
【0020】
しかして、前記カラー画像再生処理部3は、撮像データメモリ部2からのデジタルデータを保持する撮像データ保持機構7と、撮像データメモリ部2に記憶されている撮像データを選択して前記撮像データ保持機構7に取り出す撮像データ選択機構8と、該撮像データ選択機構8に対して撮像データを選択するための条件等を指示する撮像データ選択指示機構9と、画像再生処理において使用される画像再生パラメータ群を選択或いは決定する画像再生パラメータ群決定機構10と、前記画像再生パラメータ群を選択或いは決定するための条件等を前記画像再生パラメータ群決定機構10に指示する画像再生パラメータ群選択指示機構11と、前記画像再生パラメータ群を使用して撮像データを画像再生する画像再生処理機構12とを備えている。また、前記画像再生パラメータ群決定機構10は、画像再生パラメータ群或いはその一部を前記画像再生パラメータメモリ部6に出力すると共に、該画像再生パラメータメモリ部6から必要に応じて画像再生パラメータ群或いはその一部が供給され、画像再生処理機構12に送られて撮像データを画像データに変換される際に使用される。
【0021】
図2は本画像再生処理装置の画像処理手順を示すフローチャートであって、本プログラムはカラー画像再生処理部3で実行される。また、撮像データメモリ部2には既にカラー画像撮像部1で撮像された複数枚の撮像データが記憶保持されているものとする。
【0022】
まず、ステップS1で撮像データ選択指示機構9の内容を調査し、選択指示内容を撮像データ選択機構8に供給する。具体的には、撮像データ選択指示機構9では、通常は選択する撮像データをファイル名等の入力により指示するか、或いは撮像データメモリ部2に格納されている撮像データを適当な手段により一覧表示し、該一覧表示された撮像データの中から適宜マークし指示する。本実施例では少なくとも2枚以上の撮像データが指示されるが、この場合、撮像データメモリ部2に格納されている撮像データについてその撮像条件(例えば、撮像日、撮像時間、環境条件等)が情報として存在している場合は、かかる選択指示を行う場合に参酌される。尚、撮像データが1枚のみ指示されたときは、本プログラムは実施されず、通常の画像再生処理により撮像データが画像データに変換される。
【0023】
続くステップS2では画像再生パラメータ群選択指示機構11の内容が調査され、画像再生パラメータ群決定機構10に供給される。画像再生パラメータ群選択指示の内容としては、例えば、画像再生パラメータ群を構成する色温度や再生輝度レベル等の複数の画像再生パラメータを直接入力し、或いは設定する。すなわち、画像再生パラメータメモリ部6に既に画像再生パラメータが群として保存されているときは該保存された画像再生パラメータ群を指示する。或いは、特定の撮像データを指示することにより該撮像データを解析することにより決定される画像再生パラメータ群を指示し、或いは撮像データから得られるパラメータに基づき画像再生パラメータ群を構成するパラメータとして新たに指示する。
【0024】
次に、ステップS3では、画像再生パラメータ群選択指示機構11から供給された画像再生パラメータ群の選択指示情報を解析し、必要に応じて撮像データ選択機構8や撮像データ保持機構7或いは画像再生パラメータ群メモリ部6とアクセスし、所望の画像再生パラメータ群を選択・決定或いは再構成する。該選択・決定或いは再構成された画像再生パラメータ群は、続くステップS4において、画像再生処理機構12における画像再生パラメータ群として設定される。
【0025】
ステップS5では、撮像データ選択機構8において、前記撮像データ選択指示機構9で指示された選択指示内容に基づいて撮像データメモリ部2に格納されている撮像データの中から該選択指示内容に合致する撮像データを選択して前記撮像データメモリ部2から出力され、所望の撮像データが撮像データ保持機構7を介して画像再生処理機構12に取り込まれる。
【0026】
ステップS6では、画像再生処理機構12で画像再生パラメータ群にしたがった画像再生処理が行われる。次いでステップS7では選択指示された撮像データに相当する枚数分だけ画像再生処理が終了したか否かを判断し、選択指示された撮像データに相当する枚数だけ画像再生処理が終了していないときはステップS5及びステップS6の処理を繰返し、撮像データに相当する枚数分だけ画像再生処理が終了したときは本プログラムを終了する。すなわち、ステップS5及びステップS6を撮像データの枚数分だけ順次繰り返すことにより、夫々の撮像データについて最適に再生するように特定された画像再生パラメータ群の中から、複数枚の撮像データに共通の画像再生パラメータ群を使用して再生画像が得られることとなる。
【0027】
図3は上記画像再生装置を使用して被写体を撮影する場合を模式的に示した図であって、撮影領域の関係から、本来なら同一画面として撮影したい被写体を4つの撮影領域A、B、C、Dに分割して撮影される場合を示している。すなわち、図3においては、4つの撮影領域A、B、C、Dに分割されて被写体が撮影されており、4枚の撮像データが画像再生される。つまり、これらの画像再生に使用される画像再生パラメータ群は、これらの4枚の撮像データを解析することにより、各撮像データについて最適であって、且つ4枚の撮像データの相関関係が保持されるように決定される。換言すると、このようにして決定された画像再生パラメータ群が、4枚の撮像データの画像再生処理に対する共通の特定画像再生パラメータ群として使用され、前記4枚の撮像データの画像再生がなされるのである。
【0028】
このように予め指示した方法により得られる特定の画像再生パラメータ群を共通のパラメータ群として使用し、複数枚の撮像データに介して最適な画像再生処理を施すことにより、撮像データ間の相関関係を生かし、かつ有用な画像情報を保持しつつ画像再生を行うことができ、不自然さを感じさせない高精度な画像の再生を行うことができる。
【0029】
尚、本発明は上記実施例に限定されるものではなく、撮像データから画像データる変換する際に、複数枚の撮像データに関して最適となるように特定した画像再生パラメータ群を共通の画像再生パラメータ群として使用し、複数枚の撮像データについて該撮像データを画像データに変換できればよい。したがって上記以外にも種々のシーケンス処理で実行することができる。例えば、論理化され又はソフトウェア化され、或いはアルゴリズム化されたものに従って動作するハードウェアや装置で実行することも可能である。
【0030】
【発明の効果】
以上詳述したように本発明の画像再生方法及び画像再生装置によれば、複数枚の撮像データに対して画像再生パラメータ群を精度良く決定することができ、画像毎に異なった画像再生パラメータを使用して再生処理が行われることにより撮像時にあった撮像データ間の関係の情報が失われることもなく、したがって画像間の情報や相関関係が失われることもなく、より正確な画像再生パラメータで構成される画像再生パラメータ群を使用して撮像データを画像データに変換することが可能となり、自然で正確な画像を再生することができる。
すなわち、本発明によれば、複数の画像をつなぎ合わせた場合に、つなぎ目が目立つことがなく、違和感のない画像データを得ることができるという効果を奏することができる。
【図面の簡単な説明】
【図1】本発明に係る画像再生装置の一実施例を示すブロック構成図である。
【図2】本発明に係る画像再生方法の一実施例を示すフローチャートである。
【図3】本発明により被写体を撮像したときの状態を模式的に示した図である。
【符号の説明】
2 撮像データメモリ部(撮像データ記録手段)
3 画像再生処理部(画像再生手段)
8 撮像データ選択機構(撮像データ選択手段)
10 画像再生パラメータ群決定機構(画像再生パラメータ群選択手段)
12 画像再生処理機構(再生処理手段)

Claims (4)

  1. 記録媒体に記録されている撮像データから少なくとも複数枚の撮像データを操作者により指定するための撮像データ指定ステップと、
    画像再生パラメータを特定する画像再生パラメータ特定ステップと、
    前記撮像データ指定ステップにおいて、操作者によって指定された前記複数枚の撮像データを前記画像再生パラメータ特定ステップによって特定された画像再生パラメータについて解析することによって、前記複数枚の撮像データの相関性が保持される共通の画像再生パラメータを形成する共通画像再生パラメータ形成ステップと、
    前記共通画像再生パラメータ形成ステップによって形成された共通の画像再生パラメータを用いて、前記撮像データ指定ステップにおいて、操作者により指定された前記複数枚の撮像データを画像データに変換するデータ変換ステップと、
    を含むことを特徴とする画像再生方法。
  2. 前記画像再生パラメータを構成するパラメータは、色温度情報、階調特性、階調変換曲線、階調変換ルックアップテーブル、輝度情報、ホワイトバランス係数、色成分ゲイン量、ホワイトポイント情報、ブラックポイント情報、ガンマ係数、ニーポイント、ダイナミックレンジ、色域、照明光源情報、色座標変換マトリックス係数、空間周波数特性、ブラックバランス係数、グレイバランス係数、S/N比、自己相関係数、ウイーナスペクトル、強度分布、濃度分布に関するパラメータの1つを含むことを特徴とする請求項1記載の画像再生方法。
  3. 記録媒体に記録されている撮像データから少なくとも複数枚の撮像ータを操作者により指定するための撮像データ指定手段と、
    画像再生パラメータを特定する画像再生パラメータ特定手段と、
    前記撮像データ指定手段を介して操作者によって指定された前記複数枚の撮像データを前記画像再生パラメータ特定手段によって特定された画像再生パラメータについて解析することによって、前記複数枚の撮像データの相関性が保持される共通の画像再生パラメータを形成する共通画像再生パラメータ形成手段と、
    前記共通画像再生パラメータ形成手段によって形成された共通の画像再生パラメータを用いて、前記撮像データ指定手段を介して操作者によって指定された前記複数枚の撮像ータを画像データに変換するデータ変換手段と、
    を有することを特徴とする画像再生装置。
  4. 前記画像再生パラメータを構成するパラメータは、色温度情報、階調特性、階調変換曲線、階調変換ルックアップテーブル、輝度情報、ホワイトバランス係数、色成分ゲイン量、ホワイトポイント情報、ブラックポイント情報、ガンマ係数、ニーポイント、ダイナミックレンジ、色域、照明光源情報、色座標変換マトリックス係数、空間周波数特性、ブラックバランス係数、グレイバランス係数、S/N比、自己相関係数、ウイーナスペクトル、強度分布、濃度分布に関するパラメータの1つを含むことを特徴とする請求項3記載の画像再生装置。
JP02884495A 1994-09-28 1995-01-25 画像再生方法及び画像再生装置 Expired - Fee Related JP3706648B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP02884495A JP3706648B2 (ja) 1995-01-25 1995-01-25 画像再生方法及び画像再生装置
US08/534,338 US6201893B1 (en) 1994-09-28 1995-09-27 Image reproduction apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02884495A JP3706648B2 (ja) 1995-01-25 1995-01-25 画像再生方法及び画像再生装置

Publications (2)

Publication Number Publication Date
JPH08205187A JPH08205187A (ja) 1996-08-09
JP3706648B2 true JP3706648B2 (ja) 2005-10-12

Family

ID=12259685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02884495A Expired - Fee Related JP3706648B2 (ja) 1994-09-28 1995-01-25 画像再生方法及び画像再生装置

Country Status (1)

Country Link
JP (1) JP3706648B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130640A (ja) * 1991-11-07 1993-05-25 Sony Corp 静止画信号処理装置及びプリント方法
JP3231111B2 (ja) * 1992-12-24 2001-11-19 キヤノン株式会社 映像再生装置、方法、及び撮像装置
JP3327614B2 (ja) * 1993-03-08 2002-09-24 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
JPH08205187A (ja) 1996-08-09

Similar Documents

Publication Publication Date Title
EP0757473B1 (en) Image processing apparatus and method
JP3668014B2 (ja) 画像処理方法及び装置
JP3624604B2 (ja) 撮像装置の色再現補正装置および補正方法
US5852502A (en) Apparatus and method for digital camera and recorder having a high resolution color composite image output
US20050207629A1 (en) Imaging apparatus, image processing apparatus, image processing system and image processing method
JP2005117612A (ja) 画像処理方法および装置
US4250522A (en) Color facsimile previewer
JPH04330872A (ja) 白色シェーディング補正装置および補正方法
EP0442369B1 (en) Gradation correcting apparatus
US6201893B1 (en) Image reproduction apparatus and method
JP3779927B2 (ja) 電子的に取得した画像の色彩度を修正する方法及び装置
JP2001238126A (ja) 撮像装置及び画像処理方法
EP1578110B1 (en) Image processing apparatus, image processing system and image processing method
JPH0514654A (ja) 画像信号処理装置
JP4875833B2 (ja) 撮像装置、画像処理装置、画像処理システム、及び画像処理方法
JP3706648B2 (ja) 画像再生方法及び画像再生装置
JP3943611B2 (ja) 画像再生方法及び画像再生装置
JPH07131796A (ja) 画像合成装置
JPH11355787A (ja) 画像処理装置及び画像出力装置
JP3951993B2 (ja) 撮像装置及びこの撮像装置に用いられるカラーデータ計測方法
JP2005269145A (ja) 撮像装置、画像処理装置、及び画像処理システム
JP3444989B2 (ja) 画像再生方法及び画像再生装置
JP2000151989A5 (ja)
JP2003348442A (ja) テレビジョンカメラ装置
JP3066919B2 (ja) 画像処理方法及びこれを用いたシステム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050801

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080805

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100805

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110805

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130805

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees