JP3194757B2 - 電子カメラ装置 - Google Patents

電子カメラ装置

Info

Publication number
JP3194757B2
JP3194757B2 JP18768791A JP18768791A JP3194757B2 JP 3194757 B2 JP3194757 B2 JP 3194757B2 JP 18768791 A JP18768791 A JP 18768791A JP 18768791 A JP18768791 A JP 18768791A JP 3194757 B2 JP3194757 B2 JP 3194757B2
Authority
JP
Japan
Prior art keywords
circuit
sampling period
data
image
electronic camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18768791A
Other languages
English (en)
Other versions
JPH0537784A (ja
Inventor
秀俊 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optic Co Ltd filed Critical Olympus Optic Co Ltd
Priority to JP18768791A priority Critical patent/JP3194757B2/ja
Publication of JPH0537784A publication Critical patent/JPH0537784A/ja
Application granted granted Critical
Publication of JP3194757B2 publication Critical patent/JP3194757B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像信号をデジタル化
し、高能率符号化によりデータ圧縮してメモリ等の記録
媒体に記録する電子カメラ装置に関する。
【0002】
【従来の技術】CCD(電荷結合素子)に代表される固
体撮像装置等により撮像された画像信号を、メモリカー
ド、磁気ディスク等の記録媒体にデジタルデータとして
記録する場合、その量は厖大となる。
【0003】例えば、撮像信号をデジタル信号に変換し
てそのまま記録する場合に、1フレームのデータ量は、
撮像素子の画素数と1画素あたり数ビット(例えば8ビ
ット)の積となり、記録媒体に収録できるフレーム数は
極めて限られたものとなる。従って、多くのフレーム画
像を限られた記録容量の範囲内で記録するためには、得
られた画像信号のデータに対し、何らかの圧縮を行うこ
とが必要となる。そして、そのための高能率の画像デー
タ圧縮方式としては、直交変換符号化と可変長符号化を
組み合わせた符号化方法が広く知られている。以下、静
止画圧縮方式の国際標準として検討されている方式(J
PEG方式)について説明する。
【0004】上記方式では、まず画像データを所定の大
きさのブロック(8×8の画素よりなるブロック)に分
割し、該分割されたブロック毎に直交変換として2次元
のDCT(離散コサイン変換)を行う。次に各周波数成
分に応じた線形量子化を行い、該量子化された値に対し
可変長符号化としてハフマン符号化を行う。この時、直
流成分に関しては近傍ブロックの直流成分との差分値を
ハフマン符号化する。
【0005】そして、交流成分はジグザグスキャンと呼
ばれる低い周波数成分から高い周波数成分へのスキャン
を行い、無効(値が0)の成分の連続する個数とそれに
続く有効な成分の値との組に対してハフマン符号化を行
う。
【0006】上記標準方式を電子カメラ装置において用
いれば、該カメラ装置で撮影した画像データを、他の標
準方式を用いた画像装置において転送や記録、編集を行
い利用することができるという利点がある。そして、こ
のようなデータの互換性を保証するために、静止画圧縮
国際標準化方式では画像のサンプリング周期も標準を規
定している。
【0007】すなわち、現行のテレビジョン並の画像に
ついては720×576画素を3:4のアスペクト比に
表示することとしており、ここからサンプリング周期が
規定され、画素の縦(垂直)方向の周期に対する横(水
平)方向の周期の比で表現できる。
【0008】
【発明が解決しようとする課題】しかし、上述の推奨値
に従ってデータ圧縮を行う場合、電子カメラ装置の撮像
素子の固有のサンプリング周期がこの推奨値に一致して
いる場合は問題にならないが、一致しない場合は次のよ
うな問題がある。即ち、撮像素子から出力されるアナロ
グ映像信号をA/D(アナログ/デジタル)変換器によ
りデジタル変換するときに、撮像素子を駆動するクロッ
ク周波数とA/D変換器を駆動するクロック周波数(上
記推奨値に対応)とが単純な整数比にならない。従っ
て、このような異なるクロック周波数を同期させながら
発生させるためには、PLL(フェイズロックループ)
回路を使用する必要がある。しかしながら、該PLL回
路は複雑であり電子カメラの大きさ及びコストに影響す
る。
【0009】さらに、上記撮像素子を駆動するクロック
周波数と上記A/D変換器を駆動するクロック周波数と
が異なる周波数で、それらのクロックが同時に発振して
いる場合、該クロックが互いに干渉し、ビートノイズを
発生させて画質を低下させるという問題がある。
【0010】本発明は上記の問題に鑑みてなされたもの
で、簡単な回路構成によりデータ圧縮標準方式の推奨サ
ンプリング周期でのデータ記録を可能にすることを目的
とする。
【0011】
【課題を解決するための手段】上記目的を達成するため
に本発明による電子カメラ装置は、所望の光学像を撮像
する撮像素子と、上記撮像素子により撮像された画像信
号を第1のサンプリング周期でアナログ信号からデジタ
ル信号に変換するA/D変換手段と、上記A/D変換手
段により変換されたデジタルデータを複数のブロックに
分割し、該ブロックに対して、直交変換マトリクスと、
該第1のサンプリング周期を該第1のサンプリング周期
とは異なる第2のサンプリング周期に変換する周期変換
マトリクスとを乗算することにより、該第2のサンプリ
ング周期を持つ直交変換を行い、該第2のサンプリング
周期を有する直交変換出力を量子化した後に可変長符号
化することによりデータ圧縮を行うデータ圧縮手段と、
上記データ圧縮手段により圧縮されたデジタルデータを
記録する記録手段と、を具備することを特徴とする。
【0012】
【作用】即ち、本発明による電子カメラ装置では、撮像
素子により、所望の光学像が撮像され、A/D変換手段
により、上記撮像素子により撮像された画像信号が第1
のサンプリング周期でアナログ信号からデジタル信号に
変換され、データ圧縮手段により、上記A/D変換手段
により変換されたデジタルデータが複数のブロックに分
割され、該ブロックに対して、直交変換マトリクスと、
該第1のサンプリング周期を該第1のサンプリング周期
とは異なる第2のサンプリング周期に変換する周期変換
マトリクスとが乗算されることで、該第2のサンプリン
グ周期を持つ直交変換が行われ、該第2のサンプリング
周期を有する直交変換出力が量子化された後に可変長符
号化されることでデータ圧縮が行われ、記録手段によ
り、上記データ圧縮手段により圧縮されたデジタルデー
タが記録される。
【0013】
【実施例】本発明の実施例について説明する前に、まず
本発明による電子カメラ装置における符号化回路の動作
原理について説明する。
【0014】上記符号化回路がデータ圧縮に用いる直交
変換として、8×8画素ブロックに対するDCT(離散
コサイン変換)を例にあげると、一次元のDCTは次式
(1)で表される。
【0015】
【数1】 尚、上記式(1)においてx(i)は原信号を表す。
【0016】これに対して、二次元のDCTは行(水
平)方向に上記の一次元DCTを行った後、列(垂直)
方向に再び一次元DCTを行うことで計算され、次式
(2)で表される。 F=EXt(E) …(2)
【0017】ただし、上記式(2)においてXは8行8
列の画素値マトリックス、Eは図3に示すような式
(3)の値をもつDCTマトリックス、Fは8行8列の
DCT係数、t( )は転置行列を表す。一方、水平サ
ンプリング周期の変換は次式(4)により行うことがで
きる。 Y=XA …(4) ただし、上記式(4)において、Aは補間マトリックス
であり、適当な補間関数、例えばスプライン関数により
求められる。上記式(4)のような補間演算はDCTと
同様に行列演算で行えるので、同一のハードウェアが利
用できる。ここで、上記式(2)のXの代りにYを代入
するとに上記式(4)より次式(5)を得る。 F=EXAt(E) …(5) そして、上記式(5)でAt(E)=Dとおけば次式
(6)を得る。 F=EXD …(6) 即ち、上記式(2)のDCT演算と同じ2回の行列演算
により、補間と直交変換とを同時に実行することもでき
る。以下、図1及び図2を参照して本発明による電子カ
メラ装置の第1の実施例について説明する。図1は本発
明による電子カメラ装置(以下、電子カメラと略す)の
第1の実施例の構成を示すブロック図である。
【0018】図1に示すように、第1の実施例の電子カ
メラはレンズ1、本体2、CCD等の撮像素子3、プロ
セス回路4、A/D変換器5、メモリ6、符号化回路
7、記録媒体8、そしてシステムコントローラ9により
構成されている。上記レンズ1は撮像素子3の前方に置
かれ、所望の被写体像を撮像素子3上に投射する。上記
撮像素子3は上記の被写体像を撮像し、該撮像した映像
信号をプロセス回路4に出力する。上記プロセス回路4
は上記映像信号を受けて色分離、ホワイトバランス、ガ
ンマ補正等の処理を行う。上記A/D変換器5は上記の
各処理がされた映像信号をデジタル信号に変換し、メモ
リ6に出力する。
【0019】上記メモリ6はRAMで構成され、該メモ
リ6から符号化回路7への信号読み出し時には、システ
ムコントローラ9によるメモリアドレス制御によってブ
ロックに分割するブロック化圧縮処理が行われる。上記
符号化回路7は入力された画像データに対し補間演算を
行い、再びメモリ6に書き込む。そして、上記補間され
たデータは再度符号化回路7に読み込まれ、該符号化回
路7が圧縮処理し、記録媒体8が該圧縮処理が完了した
データを記録する。上記システムコントローラ9は上記
の各構成要素の制御を行う。また、各部に同一もしくは
単純整数比のクロックを与える。図2は第1の実施例の
電子カメラ装置における上記符号化回路7の構成を示す
ブロック図である。図2に示すように、上記符号化回路
7は、直交変換回路20、量子化回路21、ハフマン符
号化回路22、符号出力回路23により構成されてい
る。
【0020】上記直交変換回路20はその内部に係数テ
ーブル201a,201b、乗算器202a,202b
を具備し、上記メモリ6から出力されるブロック化処理
された画像データを、各ブロック毎に補間演算および直
交変換(ここではDCT)を行う。ここで、特に図示は
していないが上記乗算器202aの出力は乗算器202
bへの出力とメモリ6へ選択的出力が可能になるように
構成されている。
【0021】上記量子化回路21は、直交変換回路20
から出力される直交変換係数に対し、各周波数成分ごと
に予め設定された各周波数成分毎の量子化幅を用いて線
形量子化を行う。そして、上記ハフマン符号化回路22
は、上記量子化された変換係数をハフマン符号化する。
【0022】そして更に、上記符号出力回路23は上記
ハフマン符号化されたデータを一定のバス幅、例えば8
ビットに揃えて区切り、記録媒体8に出力する制御を行
う。以下、上記のような構成の第1の実施例の電子カメ
ラ装置の実際の動作について説明する。
【0023】まず、画像の撮影に際して不図示のシャッ
ターレリーズボタンが押されると、レンズ1により投影
された所望の被写体像が撮像素子3により映像信号に変
換され、プロセス回路4に出力される。
【0024】上記撮像素子3の水平画素数はPAL(P
hase Alternationby Line)規
格用として標準的な値の752画素となっており、水平
クロック周波数としてfh=14.18MHzが用いら
れている。上記プロセス回路4では上記の映像信号に色
分離、ホワイトバランス、ガンマ補正等の処理が施さ
れ、輝度信号Yと色差信号Cr,Cbが得られる。
【0025】そして、上記A/D変換器5により上記処
理がされた映像信号はデジタル信号に変換されるが、輝
度信号に対しては上記クロック周波数fy=14.18
MHzでサンプリングされ、その結果、水平対垂直のサ
ンプリング比は約0.98:1となる。また、上記色差
信号はその1/2の周波数でサンプリングされている。
上記メモリ6はこれら映像信号を記憶し、該メモリ6は
記憶した映像信号を輝度信号、次に色差信号の順序で符
号化回路7に出力する。そして、上記符号化回路7では
入力された画像データに対し、まず直交変換回路20に
おいて補間演算を行う。
【0026】ここで、DCT後の輝度信号に対する水平
画素数は国際標準値である720とされているため、サ
ンプリング比を0.9375:1に変換するが、これは
水平21画素に対して20画素の値を当てはめることに
なる。よって、補間係数行列A=[aij]を線形補間に
より求めると次式(7)で表される。
【0027】
【数2】
【0028】上記直交変換回路20では、まず入力され
た画素データ(画素値マトリックスX)に対して係数テ
ーブル201aに記録されている式(7)の値(補間マ
トリックスA)を乗算器202aで乗算する。そして、
この結果XA(=Y)は再度メモリ6に書き込まれる。
【0029】この補間演算が全画素データに対して終了
すると、データが再びメモリ6から符号化回路7に8×
8の画素よりなるブロックに分割するブロック化処理圧
縮処理が行われながら出力される。
【0030】すると上記符号化回路7では、直交変換回
路20により係数テーブル201aに記録されている上
記式(3)を転置した(DCTマトリックスt(E))
を乗算器202aで乗算し、その結果の行列(XA
t(E))を出力する。この値と係数テーブル201b
に記録されている式(3)の値(E)とを乗算器202
bで乗算することにより(EXAt(E)(=F))、
DCTが行われる。
【0031】上記DCTにより得られたDCT係数
(F)に対し、量子化回路21が各周波数成分ごとに各
周波数成分毎の量子化幅を用いて線形量子化を行い、該
量子化された変換係数は、ハフマン符号化回路22によ
りハフマン符号化される。
【0032】この時、直流成分に関しては近傍ブロック
の直流成分との差分値をグループ番号(付加ビット数)
と付加ビットで表現し、そのグループ番号をハフマン符
号化し、得られた符号語と付加ビットを合わせて符号化
データとされる。
【0033】そして、交流成分はジグザグスキャンと呼
ばれる低い周波数成分から高い周波数成分へのスキャン
を行われ、無効成分の連続する個数とそれに続く有効な
成分の値のグループ番号との組に対してハフマン符号化
が行われ、得られた符号語と付加ビットを合わせて符号
化データとする。
【0034】上記処理された画像データはハフマン符号
化回路22から符号出力回路23に出力され、ここで8
ビットに揃えて区切られて上記記録媒体8に出力され、
符号化データとして記録される。この上記の処理が各ブ
ロック毎に順次行われ、全画面分のブロックの処理が終
了した時点で一画面分の撮影が終了する。以下、図4乃
至図6を参照して、本発明による電子カメラの第2の実
施例について説明する。図4は本発明による電子カメラ
の第2の実施例の構成を示すブロック図であり、図6は
電子カメラにおける符号化回路7の構成を示すブロック
図である。図4において、第1の実施例と同一の構成要
素については同一番号で示し、説明は省略する。
【0035】本実施例では、補間演算と直交変換とを直
交変換回路20において同時に行い、直交変換回路20
内の乗算器202aの出力は常に乗算器202bに出力
される。以下、第2の実施例の電子カメラの実際の動作
について説明する。
【0036】画像の撮影に際して、不図示のシャッター
レリーズボタンが押されると、レンズ1により投影され
た所望の被写体像が撮像素子3により映像信号に変換さ
れる。
【0037】ここで、本実施例では上記撮像素子3の水
平画素数はNTSC(Nationnal Telev
isionn System Committee)方
式で標準的な768画素となっている。
【0038】上記撮像素子3により出力された映像信号
はプロセス回路4に送られ、該プロセス回路4ではCC
D等の撮像素子3から読み出された映像信号に色分離、
ホワイトバランス、ガンマ補正等の処理がなされ、輝度
信号Yと色差信号Cr,Cbが得られる。
【0039】ここで、上記プロセス回路4により処理さ
れた映像信号はA/D変換器5によりデジタル信号に変
換されるが、輝度信号に対してはクロック周波数14.
318MHzでサンプリングされ、サンプリング比は約
1.18:1となる。色差信号はその1/2の周波数で
サンプリングされる。これらの映像信号はメモリ6に記
憶される。そして、メモリ6は、ブロックに分割するブ
ロック化処理圧縮処理を行いながら映像信号を輝度信
号、続いて色差信号の順序で符号化回路7に出力する。
上記符号化回路7では入力された画像データに対し、ま
ず直交変換回路20において補間およびDCTを行う。
【0040】本実施例では、DCT後の水平画素数は国
際標準値である720とされており、サンプリング比を
0.9375:1に変換する必要があるため、水平10
画素から8画素への変換を行う。
【0041】このための補間係数をスプライン関数から
求めると図6に示す式(8)(行列A)で表されるが、
式(8)の値と上記式(3)を転置した値(行列
t(E))を乗算することにより、行列At(E)が得ら
れる。
【0042】つまり、直交変換回路20では、入力され
た10×8画素ブロックのデータ(X)に対し、係数テ
ーブル202aに記録されている上記行列At(E)を
乗算し(XAt(E))、続いて、係数テーブル201
b内の上記式(3)(E)を乗算器202bで乗算する
ことにより(EXAt(E)(=F))サンプリング比
が変換された8×8画素ブロックのDCT係数(F)を
得る。
【0043】そして、ここで得られたDCT係数に対
し、量子化回路21により各周波数成分ごとに各周波数
成分毎の量子化幅を用いて線形量子化が行われ、該線形
量子化された変換係数は、ハフマン符号化回路22によ
りハフマン符号化される。
【0044】この際、直流成分に関しては近傍ブロック
の直流成分との差分値をグループ番号(付加ビット数)
と付加ビットで表現し、そのグループ番号をハフマン符
号化し、得られた符号語と付加ビットを合わせて符号化
データとされる。
【0045】また、交流成分はジグザグスキャンと呼ば
れる低い周波数成分から高い周波数成分へのスキャンを
行い、無効成分の連続する個数と、それに続く有効な成
分の値のグループ番号との組みに対してハフマン符号化
が行われ、得られた符号語と付加ビットを合わせて符号
化データとする。
【0046】こうして処理された画像データは、ハフマ
ン符号化回路22から符号出力回路23に出力され、こ
こで8ビットに揃えて区切られて記録媒体8に出力さ
れ、符号化データとして記録媒体8に記録される。そし
て、上記の処理が各ブロック毎に順次行われ、全画面分
のブロックの処理が終了した時点で一画面の処理が終了
する。
【0047】以上詳述したように、本発明の電子カメラ
装置では、アナログからデジタルへの変換時に使用する
サンプリング周期から、記録時に必要となるサンプリン
グ周期への補間演算を直交変換回路20を用いて行うこ
とにより、余分なハードウェアを不要としている。ある
いはアナログからデジタルへの変換時に使用するサンプ
リング周期から、記録時に必要となるサンプリング周期
への補間演算を直交変換時に同時に行うことにより、ハ
ードウェア構成を複雑化することを防いでいる。また、
撮像素子3とA/D変換器5のサンプリング周期を同一
もしくは単純な整数比とすることができる。
【0048】
【発明の効果】本発明によれば、撮像素子とA/D変換
器とに同一あるいは単純整数比の駆動クロック周波数を
用いることを可能とし、簡単な回路構成によりデータ圧
縮標準方式の推奨サンプリング周期でのデータ記録が可
能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施例による電子カメラ装置の
構成を示すブロック図である。
【図2】本発明の第1の実施例による電子カメラ装置に
おける符号化回路の構成を示すブロック図である。
【図3】DCT(離散コサイン変換)マトリックスであ
る。
【図4】本発明の第2の実施例による電子カメラ装置の
構成を示すブロック図である。
【図5】本発明の第2の実施例による電子カメラ装置に
おける符号化回路の構成を示すブロック図である。
【図6】水平画素数を10画素から8画素に変換するた
めの補間係数を示すマトリックスである。
【符号の説明】
1…レンズ、2…カメラ本体、3…撮像素子、4…プロ
セス回路、5…A/D変換器、6…メモリ、7…符号化
回路、8…記録媒体、9…システムコントローラ、20
…直交変換回路、21…量子化回路、22…ハフマン符
号化、23…符号出力、201a,201b…係数テー
ブル、202a,202b…乗算器。

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 所望の光学像を撮像する撮像素子と、 上記撮像素子により撮像された画像信号を第1のサンプ
    リング周期でアナログ信号からデジタル信号に変換する
    A/D変換手段と、 上記A/D変換手段により変換されたデジタルデータを
    複数のブロックに分割し、該ブロックに対して、直交変
    換マトリクスと、該第1のサンプリング周期を該第1の
    サンプリング周期とは異なる第2のサンプリング周期に
    変換する周期変換マトリクスとを乗算することにより、
    該第2のサンプリング周期を持つ直交変換を行い、 該第2のサンプリング周期を有する直交変換出力を量子
    化した後に可変長符号化することによりデータ圧縮を行
    うデータ圧縮手段と、 上記データ圧縮手段により圧縮されたデジタルデータを
    記録する記録手段と、を具備することを特徴とする電子
    カメラ装置。
JP18768791A 1991-07-26 1991-07-26 電子カメラ装置 Expired - Fee Related JP3194757B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18768791A JP3194757B2 (ja) 1991-07-26 1991-07-26 電子カメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18768791A JP3194757B2 (ja) 1991-07-26 1991-07-26 電子カメラ装置

Publications (2)

Publication Number Publication Date
JPH0537784A JPH0537784A (ja) 1993-02-12
JP3194757B2 true JP3194757B2 (ja) 2001-08-06

Family

ID=16210393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18768791A Expired - Fee Related JP3194757B2 (ja) 1991-07-26 1991-07-26 電子カメラ装置

Country Status (1)

Country Link
JP (1) JP3194757B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2539750B (en) * 2015-03-12 2021-04-28 Schott Ag Matched seal feedthrough

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2539750B (en) * 2015-03-12 2021-04-28 Schott Ag Matched seal feedthrough

Also Published As

Publication number Publication date
JPH0537784A (ja) 1993-02-12

Similar Documents

Publication Publication Date Title
US7999859B2 (en) Digital camera for recording a still image while shooting a moving image
JP3096618B2 (ja) 撮像装置
JP4350809B2 (ja) ディジタルカメラ
US6515698B1 (en) Image recording apparatus
JPH04506144A (ja) 全及び減小解像度画像の多形式記憶装置を備えた電子式静止カメラ
JP3194757B2 (ja) 電子カメラ装置
JPH07121119B2 (ja) ディジタル画像記録再生装置
JPH0591460A (ja) 電子カメラ
JP4430731B2 (ja) ディジタルカメラおよび撮影方法
JPH0969971A (ja) 電子カメラ
JP3076081B2 (ja) 画像信号処理装置
JP2001016591A (ja) 圧縮符号化装置および方法
JP3343861B2 (ja) ディジタル電子スチル・カメラおよびその動作方法
JP2766528B2 (ja) 電子カメラの画像データ処理装置
JP2824255B2 (ja) 画像信号の直交変換符号化装置
JP3253537B2 (ja) 画像処理装置
JPH1075463A (ja) 画像圧縮装置および画像伸張装置
JP2619535B2 (ja) 画像信号圧縮符号化装置および復号再生装置
JP3055954B2 (ja) 電子スチルカメラ
JPH10341369A (ja) 電子撮像装置
JPH05161108A (ja) 符号量制御方法と装置
JPH0630444A (ja) 画像符号化装置
JPH01248785A (ja) 画像信号の直交変換符号化装置
JPH07250324A (ja) 画像圧縮装置
JPH03114378A (ja) 撮像装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010515

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080601

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090601

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090601

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100601

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees