JPH08149381A - 撮像信号処理方法及び装置 - Google Patents

撮像信号処理方法及び装置

Info

Publication number
JPH08149381A
JPH08149381A JP6289726A JP28972694A JPH08149381A JP H08149381 A JPH08149381 A JP H08149381A JP 6289726 A JP6289726 A JP 6289726A JP 28972694 A JP28972694 A JP 28972694A JP H08149381 A JPH08149381 A JP H08149381A
Authority
JP
Japan
Prior art keywords
sampling
image pickup
frequency
signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6289726A
Other languages
English (en)
Other versions
JP3692554B2 (ja
Inventor
Kakuji Kunii
嘉久治 国井
Shigetoshi Noda
重利 納田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP28972694A priority Critical patent/JP3692554B2/ja
Publication of JPH08149381A publication Critical patent/JPH08149381A/ja
Application granted granted Critical
Publication of JP3692554B2 publication Critical patent/JP3692554B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【構成】 空間サンプリング周波数fs で各素子が配列
されるCCDから出力される折り返し成分を含む撮像信
号を、空間サンプリング周波数fs に相当する時間軸上
での周波数(ナイキスト周波数fsp)のサンプリングパ
ルスで再サンプリングするものであり、このナイキスト
周波数fspのパルスでサンプリングした後の信号から当
該ナイキスト周波数fspの近辺の周波数帯域に相当する
成分レベルを取り出すBPF212からA/D変換器2
14までの構成と、この成分レベルが最高になるサンプ
リング位相(信号系に対するサンプリングパルスの時間
遅延差)を選定して再サンプリングのクロックとするP
LL回路203からスイッチSW1まで及びメモリ/比
較回路215と、を備える再サブナイキストサンプリン
グタイミング発生回路7を有する。 【効果】 折り返し成分の悪影響を軽減して高域をカッ
トすることなく全帯域の撮像信号を得ることができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、例えばハイビジョン対
応型のカメラ装置や該ハイビジョン対応型のビデオカメ
ラ装置等に設けて好適な固体撮像装置、特に、例えばい
わゆる3板式の受光部に撮像光を所定分斜めにシフトし
ながら撮像を行う固体撮像装置からの撮像信号に対し
て、再サブナイキストサンプリング処理を施して出力す
る撮像信号処理方法及び装置に関する。
【0002】
【従来の技術】従来より、赤色(R)用の固体撮像素子
(CCDイメージセンサ),緑色(G)用のCCDイメ
ージセンサ及び青色(B)用のCCDイメージセンサか
らなるいわゆる3板式の固体撮像装置を有するCCDカ
メラが知られている。
【0003】このCCDカメラは、図18に示すような
構成を有しており、被写体からの光(撮像光)は、撮像
レンズ100及びオプティカルローパスフィルタ(OP
LPF)101を介してダイクロイックプリズム102
に入射される。上記ダイクロイックプリズム102は、
上記撮像レンズ100等を介した光をRの光成分、Gの
光成分、Bの光成分の3つの光成分に分離してそれぞれ
出射する。この各色の光は、それぞれ各色用CCDイメ
ージセンサ104R,104G,104B上に光像とし
て照射結像される。
【0004】上記各CCDイメージセンサ104R,1
04G,104Bは、高解像度の撮像信号を形成すべ
く、図19に示すように、R用CCDイメージセンサ1
04R及びB用CCDイメージセンサ104Bの各素子
が同じ位置の光像を受光するように設けられているのに
対し、G用CCDイメージセンサ104Gは、上記R
用,B用CCDイメージセンサ104R,104Bの各
素子に対して中間の位置に対応する光像を受光するよう
に各素子が設けられている。
【0005】上記各CCDイメージセンサ104R,1
04G,104Bは、それぞれ各色の光像を受光して光
電変換を行うことにより、各色の撮像信号を形成して出
力する。この各色の撮像信号は、それぞれ対応するLP
F105〜107に供給される。また、上記各色の撮像
信号のうち、Rの撮像信号及びGの撮像信号は、ディテ
ール形成回路108に供給される。
【0006】上記各色の撮像信号は、図20の(a)に
実線で示すように例えば14MHzの周波数帯域を有し
ているが、同図(a)中左斜線で示すようにR,Bの撮
像信号と同相の折り返し成分が生じている。また、上述
のように、上記G用のCCDイメージセンサ104G
は、上記R用,B用CCDイメージセンサ104R,1
04Bが受光する光像の中間位置に対応する光像を受光
するように設けられていることから、上記R,Bの撮像
信号と同相の折り返し成分とは逆相の図20の(a)中
右斜線で示すようなGの撮像信号の折り返し成分が生じ
ている。このとき、このような折り返し成分が生じてい
るにも関わらず、上記14MHzの周波数帯域をそのま
ま抽出すると、当該折り返し成分のために解像度が劣化
してしまう。
【0007】このため、上記各LPF105〜107と
しては、図20の(b)に示すような折り返し成分の影
響が少ない帯域を抽出する特性を有するものが設けられ
る。上記各LPF105〜107は、上記各色の撮像信
号から上記折り返し成分の影響が少ない帯域を抽出し、
これを加算器110〜111に供給する。
【0008】一方、上記LPF105〜107で抽出さ
れた撮像信号は高域分が欠損したものであるため、画像
の輪郭にボケを生ずる。このため、上記ディテール形成
回路108は、上記R,Gの撮像信号から輪郭を強調す
るためのディテール信号を形成し、これをバンドパスフ
ィルタ(BPF)109に供給する。なお、このディテ
ール信号は、上記R,Gの撮像信号から形成されるた
め、モノクロの信号となる。上記BPF109は、図2
0の(c)に示すように各撮像信号のうち、上記LPF
105〜107でカットされた帯域から所定分の高域の
撮像信号を抽出し、このディテール信号を上記各加算器
110〜112に供給する。
【0009】上記各加算器110〜112は、上記LP
F105〜107からの撮像信号と上記ディテール信号
とを加算処理することにより、図20の(d)に示すよ
うな各色用の撮像信号を形成し、これらが各出力端子1
13R,113G,113Bを介して後段の構成に送ら
れる。
【0010】上述のように、上記G用CCDイメージセ
ンサ104Gは、上記R用,B用CCDイメージセンサ
104R,104Bの各素子の中間位置に対応する光像
を受光するように設けられているため、水平(H)方向
にみてR,G,Bの各撮像信号が揃うかたちとすること
ができ、高解像度化された撮像信号を形成して出力する
ことができる。
【0011】ここで、上記Rの撮像信号及び上記Gの撮
像信号が同レベルのとき(モノクロや黄色のとき)は、
高解像度な撮像信号を形成して出力することができる
が、その他の場合は、通過全帯域(直流から最大帯域=
10MHz等)に折り返し成分が発生する。この折り返
し成分の影響は、光学系のMTF(Modulation Transfe
r Function)が前記図20のように右下がりの特性であ
るため、7MHzの帯域付近が特に顕著となるが、数M
Hz以下の低域へも折り返されるので画質を大きく劣化
させる。このため、従来のCCDカメラは、当該低域へ
の折り返し成分を減少させることを目的として、上記撮
像レンズ100とダイクロイックプリズム102との間
にOPLPF101を設け、当該折り返し成分の悪影響
を軽減するようにしていた。
【0012】
【発明が解決しようとする課題】しかし、上述の従来の
CCDカメラは、上記OPLPF101を設けて上記折
り返し成分の悪影響を軽減するようにしているうえ、上
記各LPF105〜107で折り返し成分の影響を少な
い帯域の撮像信号を抽出し、この撮像信号に上記モノク
ロのディテール信号を加算するようにしていたため、高
域がカットされてその分、解像度が劣化する問題があっ
た。具体的には、水平解像度が最大でも800本程度の
解像度しか得ることができなかった。このため、いわゆ
る高品位テレビジョン等には対応することができなかっ
た。
【0013】本発明は、上述のような課題に鑑みてなさ
れたものであり、折り返し成分の悪影響を軽減して高域
をカットすることなく全帯域でかつ良好な撮像信号を得
ることができる撮像信号処理方法及び装置の提供を目的
とする。
【0014】
【課題を解決するための手段】本発明の撮像信号処理方
法及び装置は、所定の空間サンプリング周波数で各素子
が配列される固体撮像素子からの撮像信号を、上記空間
サンプリング周波数に相当する時間軸上での周波数(ナ
イキスト周波数)のサンプリングパルスで再サンプリン
グするものであって、上記空間サンプリング周波数に相
当する時間軸上での周波数(ナイキスト周波数)のサン
プリングパルスで再サンプリングした後の信号から当該
空間サンプリング周波数に相当する時間軸上での周波数
(ナイキスト周波数)の近辺の周波数帯域に相当する成
分レベルを取り出し、当該成分レベルが最高になるサン
プリング位相(信号系に対するサンプリングパルスの時
間遅延差)を選定して上記再サンプリングのクロックと
することを特徴とするものである。
【0015】
【作用】所定の空間サンプリング周波数で各素子が配列
される固体撮像素子からの撮像信号には、この撮像信号
の全周波数帯域にわたる折り返し成分が含まれている。
この折り返し成分が含まれる撮像信号を、上記空間サン
プリング周波数に相当する時間軸上での周波数(ナイキ
スト周波数)のサンプリングパルスで再サンプリングす
るとき、撮像信号の位相と再サンプリング用のクロック
の位相とが合っていないと、当該再サンプリングによっ
て最大出力を取り出すことができない。したがって、本
発明によれば、上記空間サンプリング周波数に相当する
時間軸上での周波数(ナイキスト周波数)の近辺の周波
数帯域に相当する成分レベルが最高になるサンプリング
位相を選定して再サンプリングのクロックとすること
で、最大出力を取り出すようにしている。
【0016】
【実施例】以下、本発明の実施例について図面を参照し
ながら詳細に説明する。
【0017】本発明の撮像信号処理方法が適用される図
1に示す本実施例の撮像信号処理装置は、後述する図7
に示すような所定の空間サンプリング周波数fs で各素
子が配列される固体撮像素子(CCD)から出力される
折り返し成分(疑似信号S0f)を含む撮像信号を、上記
空間サンプリング周波数fs に相当する時間軸上での周
波数(すなわち後述する図8に示すナイキスト周波数f
sp)のサンプリングパルスで再サンプリングするもので
あって、上記ナイキスト周波数fspに対応するサンプリ
ングパルスでサンプリングした後の信号から当該ナイキ
スト周波数fspの近辺の周波数帯域に相当する成分レベ
ルを取り出す成分レベル取り出し手段としての後述する
図11のバンドパスフィルタ212からA/D変換器1
14までの構成と、当該成分レベルが最高になるサンプ
リング位相(信号系に対するサンプリングパルスの時間
遅延差)を選定して上記再サンプリングのクロックとす
る再サンプリングクロック設定手段としての後述する図
11のPLL回路203からスイッチSW1までの構成
及びメモリ/比較回路215とを備える再サブナイキス
トサンプリングタイミング発生回路7を有する。
【0018】ここで、本実施例の撮像信号処理装置は例
えばCCDカメラ等に適用されるものである。このCC
Dカメラは、図1に示すように撮像光の光路を所定の時
間毎にシフトする光路シフト部1と、上記光路シフト部
1からの撮像光を受光して赤色(R),緑色(G),青
色(B)の3原色の撮像信号を形成する撮像信号形成部
2と、上記撮像信号形成部2からの各撮像信号から所定
の信号成分を抽出するローパスフィルタ(LPF)3
と、再サブナイキストサンプリングタイミング発生回路
7の制御に基づいて、上記LPF3からの各撮像信号に
後に説明する再サブナイキストサンプリング処理を施す
A/D変換器4と、上記A/D変換器4からの撮像信号
を合成して出力する合成メモリ5と、上記合成メモリ5
からの撮像信号をアナログ化して出力するD/A変換器
6とで構成されている。
【0019】上記光路シフト部1は、入射される撮像光
のうち水平(H)方向の撮像光を透過する偏光板10
と、電圧のオン/オフにより入射される撮像光の偏光方
向を回転させて出射する液晶板11と、撮像レンズ12
と、H方向の撮像光は常光として光路をシフトせずその
まま出射し、垂直(V)方向の撮像光のみ異常光として
その光路を例えば水平方向に1画素ピッチ分且つ垂直方
向に1/2画素ピッチ分シフト(斜めシフト)して出射
する水晶板13と、入射される撮像光を円偏光化して出
射する位相差板14とを、撮像光の光軸上に順に設ける
ことにより構成されている。
【0020】なお、上記光路シフト部1は、上記偏光板
10,液晶板11,水晶板13で上記V方向の撮像光を
斜めにシフトするように、該各部10,11,13が位
置調整されている。
【0021】上記撮像信号形成部2は、上記光路シフト
部1を介した撮像光からRの光成分,Gの光成,Bの光
成分をそれぞれ分離して出射するダイクロイックプリズ
ム15と、上記ダイクロイックプリズム15で分離され
た各色の撮像光(光像)を受光するR用固体撮像素子
(CCDイメージセンサ)17R,G用CCDイメージ
センサ17G,B用CCDイメージセンサ17Bとで構
成されている。
【0022】また、上記各CCDイメージセンサ17
R,17G,17Bは、図2(a)に示すように、R用
CCDイメージセンサ17R及びB用CCDイメージセ
ンサ17Bが同じ位置の撮像光を受光するように設けら
れているのに対し、G用CCDイメージセンサ17G
は、上記R用,B用CCDイメージセンサ17R,17
Bの各素子が受光する撮像光の中間位置に対応する撮像
光を受光するように設けられている。
【0023】上記LPF3は、上記各CCDイメージセ
ンサ17R,17G,17Bから得られる撮像信号の周
波数帯域が例えば14MHzであるとすると、伝送系の
ナイキスト周波数に対応する7MHz丁度までの撮像信
号を抽出する特性を有する理想LPFとなっている。
【0024】次に、このCCDカメラの動作説明をす
る。
【0025】まず、撮像が開始されると、図示しないア
イリスを介して撮像光が偏光板10に照射される。上記
偏光板10は、上記撮像光のうち偏光方向がH方向の撮
像光のみを透過する。このH方向の撮像光は液晶板11
に入射される。
【0026】上記液晶板11は、例えば電圧がオンされ
たときにはH方向の撮像光をそのまま透過し、電圧がオ
フされたときには上記H方向の撮像光の偏光方向をV方
向に変換して出射する。
【0027】具体的には、上記液晶板11への電圧のオ
ン/オフは、スイッチ11aのオン/オフに応じて行わ
れるようになっており、上記スイッチ11aには入力端
子11bを介して、図示しないタイミング制御回路から
の制御パルスが、例えば奇数フィールドにのみ供給され
るようになっている。このため、上記液晶板11から
は、奇数フィールドではH方向の撮像光が出射され、偶
数フィールドではV方向の撮像光が出射されることとな
る。
【0028】この1フィールド毎に出射されるH方向の
撮像光及びV方向の撮像光は、撮像レンズ12を介して
水晶板13に入射される。
【0029】上記水晶板13は、上記H方向の撮像光が
入射されると、これを常光としてその光路をシフトせず
に出射し、上記V方向の撮像光が入射されると、これを
異常光としてその光路を例えば1/2画素ピッチ分シフ
トして出射する。
【0030】上述のように、上記偏光板10,液晶板1
1,水晶板13は、上記異常光(上記水晶板13に入射
されるV方向の撮像光)を1/2画素ピッチ分斜めにシ
フトするように設けられている。このため、上記水晶板
13からは、奇数フィールドには上記水晶板13におい
てシフトのされない撮像光(常光)が出射され、偶数フ
ィールドには上記水晶板13においてその光路が水平方
向に1画素ピッチ分且つ垂直方向に1/2画素ピッチ分
シフト(斜めシフト)された撮像光(異常光)が出射さ
れることとなる。
【0031】この水晶板13からの撮像光は、位相差板
14により円偏光化され、ダイクロイックプリズム15
に入射される。
【0032】上記ダイクロイックプリズム15は、上記
位相差板14を介した撮像光からそれぞれRの撮像光,
Gの撮像光,Bの撮像光を分離して各色用CCDイメー
ジセンサ17R,17G,17Bに照射する。
【0033】上記各色用CCDイメージセンサ17R,
17G,17Bは、それぞれ上記各色の撮像光を受光し
てR用撮像信号,G用撮像信号及びB用撮像信号を形成
して出力する。
【0034】上述のように、上記水晶板13からは、1
フィールドおきに、その光路が斜めシフトされた撮像光
が出射される。また、上記各CCDイメージセンサ17
R,17G,17Bは、R用CCDイメージセンサ17
R及びB用CCDイメージセンサ17Bが同じ位置の撮
像光を受光するように設けられているのに対し、G用C
CDイメージセンサ17Gは、上記R用,B用CCDイ
メージセンサ17R,17Bの各素子が受光する撮像光
の中間位置に対応する撮像光を受光するように設けられ
ている。
【0035】このため、1フレームの画像は、図2の
(a)に示すようにH方向にみて各ラインの画素がR
B,G,RB,G・・・で形成される奇数フィールドの
画像と、同図の(b)に示すように上記奇数フィールド
の画像のライン間を補間し、かつ、上記RB画素の下に
G画素が位置するように、また、G画素の下にRB画素
が位置するように上記斜めシフトされた偶数フィールド
の画像とで形成されることとなる。
【0036】従って、上記1フレームの画像を、図2の
(c)に示すように水平ライン間を補間すると共に、垂
直方向にみてRGBの各画素を揃えたものとすることが
でき(図中右斜線参照)、水平解像度及び垂直解像度の
向上を図った高解像度な画像とすることができる。
【0037】この各色用の撮像信号は、それぞれLPF
3に供給される。
【0038】ここで、上記各CCDイメージセンサ17
R,17G,17Bから出力される撮像信号が14MH
zの周波数帯域を有するとすると、該各CCDイメージ
センサ17R,17G,17Bから出力される撮像信号
のうち、上記光路シフトを行わないで形成された撮像信
号は、図3の(a)に実線で示すように0〜14MHz
の周波数帯域と、14MHz〜28MHzの折り返し成
分の周波数帯域とを有するスペクトル(N)となる。
【0039】また、上記光路シフトを行って形成された
撮像信号は、上述の光路シフト処理が施されているた
め、その位相は上記光路シフトを行わないで形成された
撮像信号の位相よりも半周期分ずれており、図3の
(a)に点線で示すように上記光路シフトを行わないで
形成された撮像信号のスペクトル(N)とは対称的なス
ペクトル(S)となる。
【0040】従って、上記光路シフトを行わない撮像信
号のスペクトル(N)と、光路シフトを行った撮像信号
のスペクトル(S)の合成スペクトル(NS)は、図3
の(a)に一点鎖線で示すようなかたちのスペクトルと
なる。
【0041】上記LPF3は、図4に示すように全14
MHzの周波数帯域を有する上記各撮像信号から、伝送
系のナイキスト周波数である7MHz丁度までの周波数
帯域を抽出する特性を有している。このため、上記LP
F3からは、図3の(b)に示すように上記7MHzの
周波数帯域までの、スペクトル(N),スペクトル
(S)及び合成スペクトル(NS)の撮像信号が出力さ
れることとなる。この撮像信号は、A/D変換器4に供
給される。
【0042】上記A/D変換器4は、端子9を介して供
給される同期信号(sync)に応じて動作する再サブナイ
キストサンプリングタイミング発生回路7からの14M
Hzのサンプリングパルスにより、上記7MHzまでの
周波数帯域の撮像信号をサンプリング(再サブナイキス
トサンプリング)することにより、該撮像信号をデジタ
ル化して撮像データを形成し、これを合成メモリ5に供
給する。
【0043】この再サブナイキストサンプリングによ
り、図3の(c)に示すように上記7MHzの周波数帯
域を有する撮像データの、上記スペクトル(N),スペ
クトル(S)及び合成スペクトル(NS)の折り返し成
分が発生し、同図(a)に示した撮像信号と同じスペク
トルを有する撮像データが再生される。すなわちLPF
3を通しても高域が再現されている。この際、上記スペ
クトル(N)の撮像データは、このスペクトル(N)の
撮像データに対して逆相として現れる上記スペクトル
(S)の撮像データによりキャンセルされる。
【0044】このため、この再サブナイキストサンプリ
ング処理を行った時点では、0MHz〜14MHzの周
波数帯域を有する上記合成スペクトル(NS)の撮像デ
ータ、及び、14MHz〜28MHzの周波数帯域を有
する撮像データ、上記0MHz〜14MHzの周波数帯
域を有する撮像データの折り返し成分の撮像データのみ
が残ることとなる。
【0045】上記光路シフトを行うことにより、信号位
相がπずれることによる負の特性成分を発生する。従っ
て、元の撮像信号と合成することにより、スペクトルの
折り込みと折り返し再生を可能とすることができる。
【0046】上記合成メモリ5は、上記A/D変換器4
からの撮像データに補間処理等を施すが、その出力段に
は0MHz〜14MHzまでの周波数帯域を抽出するL
PFが設けられており、このLPFにより図3の(d)
に示すように上記14MHz〜28MHzの周波数帯域
を有する折り返し成分の撮像データをカットし、0MH
z〜14MHzの周波数帯域を有する合成スペクトルの
撮像データのみを抽出し、これをD/A変換器6に供給
する。
【0047】上記D/A変換器6は、上記0MHz〜1
4MHzの周波数帯域を有する各色の撮像データをアナ
ログ化することにより各色の撮像信号を形成し、これら
を後述するローパスフィルタ(LPF)8に送る。当該
LPF8の出力は、出力端子18R,18G,18Bを
介してそれぞれ出力されると共に、上記再サブナイキス
トサンプリングタイミング発生回路7に送る。
【0048】当該再サブナイキストサンプリングタイミ
ング発生回路7は、詳細については後述するが、上記L
PF8の出力及び前記同期信号を用いて、再サブナイキ
ストサンプリングの際の上記サンプリングパルスを形成
すると共に、当該サンプリングパルスの位相の自動選定
をも行うようにしている。
【0049】なお、上記合成メモリ5及びD/A変換器
6も上記再サブナイキストサンプリングタイミング発生
回路7からのパルスに応じて動作し、これら再サブナイ
キストサンプリングタイミング発生回路7とその周辺回
路については後に詳述する。
【0050】上述のように、上記各CCDイメージセン
サ17R,17G,17Bから出力される撮像信号は、
撮像光の光路斜めシフトにより高解像度化された撮像信
号であるうえ、上記LPF3により7MHzの周波数帯
域に制限しても、上記再サブナイキストサンプリング処
理により14MHzの周波数帯域の撮像信号を再生する
ことができる。このため、最終的に出力する撮像信号の
高域をカットすることなく、完全な周波数帯域のまま出
力することができる。従って、いわゆるHDテレビジョ
ン受像機に対応可能な撮像信号を出力することができ
る。
【0051】また、上記LPF3で抽出する周波数帯域
を7MHzとしても、上記再サブナイキストサンプリン
グ処理により14MHz(元の周波数)の撮像信号を再
生することができるため、該LPF3から出力される撮
像信号の伝送帯域を軽減することができる。このため、
例えば上記LPF3からの撮像信号をそのままビデオテ
ープレコーダ装置で記録したり、他の信号処理装置に伝
送する場合等に伝送ラインの伝送帯域を軽減することが
でき有効なものとすることができる。
【0052】次に、上記各出力端子18R,18G,1
8Bを介して出力される各撮像信号のうちRの撮像信号
は、図5に示す加算器21及びディテール形成回路20
に供給され、Gの撮像信号は加算器22及び上記ディテ
ール形成回路20に供給され、Bの撮像信号は加算器2
3に供給される。
【0053】上記ディテール形成回路20は、上記Rの
撮像信号及びGの撮像信号から14MHzの周波数帯域
を有する輪郭強調用のディテール信号を形成し、これを
バントパスフィルタ(BPF)25に供給する。
【0054】上記バンドパスフィルタ25は、例えば7
MHzを中心としてその前後所定分の周波数帯域を抽出
する特性を有している。このため、上記バンドパスフィ
ルタ25は、上記14MHzの周波数帯域を有するディ
テール信号のうち、例えば7MHzを中心としてその前
後所定分の周波数帯域を抽出し、これを上記各加算器2
1〜23に供給する。
【0055】上記加算器21は、上記Rの撮像信号に上
記ディテール信号を加算処理し、上記加算器22は、上
記Gの撮像信号に上記ディテール信号を加算処理し、上
記加算器23は、上記Bの撮像信号に上記ディテール信
号を加算処理する。
【0056】なお、上記図5の例では、Rの撮像信号及
びGの撮像信号をディテール形成回路20に供給して、
ここでディテール信号を形成し、さらにこれをバントパ
スフィルタ25に供給するようにしているが、簡易型と
して、図6に示すように、Rの撮像信号及びGの撮像信
号をそれぞれバンドパスフィルタ及びアンプからなるB
・A回路26,27に通し、その後加算器28で加算し
たものをディテール信号として、加算器21〜23に送
るようにすることも可能である。
【0057】上述のように、上記各撮像信号は14MH
zの全周波数帯域が再生されて出力されるため、この各
撮像信号に上記ディテール信号を加算処理することによ
り、図3の(e)に示すように上記7MHz近辺に輪郭
強調のためのディテール信号が加算された各撮像信号が
形成され、さらに高解像化された撮像信号を形成するこ
とができる。
【0058】この各撮像信号は、各出力端子24R,2
4G,24Bを介して、例えば図示しないプロセス処理
回路等に供給される。
【0059】次に、上述した再サブナイキストサンプリ
ングの際のサンプリングパルスの位相の自動選定につい
て、より一般化して以下に説明する。なお、以下の説明
では、前述の図3等と重複する部分もあるが、説明の都
合上再度述べている。
【0060】先ず、CCDイメージセンサ上に結像され
た被写体からの光像は、当該CCDイメージセンサの画
素配列による空間サンプリング周波数fs で撮像される
ことで、図7に示すように上下サイドバンド(上側バン
ド及び下側バンド)の周波数に変換される。このとき、
下側バンドはS0fとなって生じる。その様子を簡略化し
て計算すると以下のようになる。
【0061】例えば上記光像が単一コサイン波である
(以下原信号S0 と呼ぶ)として、 サンプリング信号はcos2πfs x 原信号S0 はcos2πf(x+θ) (θはサンプリング信号との位相関係を与える。)のと
き、fs より大きい周波数(f>fs )の上側バンドは
ローパスフィルタによって除かれ、またDC成分は対象
外として、CCDイメージセンサによりサンプルされた
信号Sc は、 Sc =cos2π{(fs /2-f)x−fθ}cos2π(fs /2)x となる。この式はキャリアがcos2π(fs /2)xで、振幅
は第1項で変調を受けている。その振幅は、f= fs /2
の近辺では変数xに対して緩やかに変化するのがわか
る。このとき、最大値(max) 出力が得られるのは、 2π(fs /2-f)x−2πfθ=nπ (n=0,1,2,3,・・・)のときであり、このときの上記Sc
は、 Sc = cos2π(fs /2)x となる。
【0062】上記CCDイメージセンサの出力は、後述
するアンプ,ローパスフィルタ等を通り、信号Scaとな
されるが、ここで、空間関係を時間関係へリニアに変換
して、fs →fsp,θ→T,f→Fとすると、 Sca= cos{2π(fsp/2−F)t −2πFT}cos 2π(fsp/2)t と表示できる。
【0063】ここで、fsp/2の近くの、ある周波数の
垂直パターンからなるテストバーを写したときの信号S
caは、図8のようになり、その最大値出力が生ずる横軸
上のtは上記Tにより変わるが、最大値の近辺の成分は
上記式に相当する式の成分がでている(これは原信
号のF成分ではない。)。
【0064】cos 2π(fsp/2)t この信号Scaを前記合成メモリ5に書き込むため、A/
D変換器4によって上記信号Scaを再サンプリングす
る。このときの再サンプリングにおけるサンプリング周
波数を上記fspとする。なお、2fspにしないのは、図
7の疑似信号Sofの下側バンドを復活させるためであ
る。
【0065】次に、図8には、fspを用いた再サンプリ
ングによる周波数変換の様子を示す。なお、図8にはF
<fsp分のみ示している。
【0066】この図8において、fspを用いた再サンプ
リングにより、Sa0はSofから生じ、SafはS0 から生
ずる。必要な信号はS0 分とSa0分から加算される。し
たがって、信号系の遅延時間の周波数特性変化は小でな
いといけない。また、Sof、Safなどの不要信号は、前
記図1で説明した光像シフト法を用いると、メモリで合
成後ではキャンセルされて信号分には現れない。
【0067】図9は、再サンプリングの周波数を2fsp
にしたときのもので、Sa0もSafもfsp以上の帯域に入
るので、fsp以上をカットオフするローパスフィルタで
除去される。
【0068】しかし、Sa0による高域分(ドットで表
示)が、信号に加わらない欠点がある。S0 による高域
分は、カメラ部200の後段のLPF3などで減衰して
いるので、結果として高域が不足することになる。以上
はSofを利用する場合のサブナイキスト再サンプリング
に関して述べてきた。
【0069】ところで、図10のような信号のfsp/2
近辺の周波数成分を再サンプリングするとき、サンプリ
ングの位相を考えないと、出力が最大に取り出せないこ
とが生ずる。
【0070】すなわち、図10において、最大値近辺の
信号(図中各ドットで示す)は cos2π(fsp/2)tである
から、これをサンプリング信号 cos2πfsp(t-d) (d
は位相差を与える)で、再サンプリングすることにな
る。ここで、t−d=xとおけば、サンプリング信号は
cos2πfspx、信号成分は cos2πfsp(x+d)と
なり、前記,式と同様の関係になる。したがって、
サンプリング結果は、 cos2π{(fsp/2-fsp/2)x−(fsp/2)d}cos 2π(fsp/2)x = cos2π(fsp/2)d cos2π(fsp/2) x となり、当該式の(cos2π(fsp/2)d) が図11に示す
ように振幅を決める。すなわち、この図11において、
d=0のとき最大 d=1/2fspのとき0 となる。
【0071】この図11において、振幅が0.7になる
点を求めると、 fspπd=π/4 ∴d=1/4fsp となり、このピークを見つけるには、dを連続に(0〜
1)×1/fspまで変化させればよい。現実的には6等分
位のサンプリングで見つけることができる。
【0072】ここで、周波数がfspまで変化するチャー
トを写し、以上のように再サンプリングし、D/A変換
した結果は、図12のようになる。この図12のaはd
=0のとき、図12のbはd=1/2fspのときの応答で
ある。なお、図12では、D/A変換で周波数帯域の変
換は行っていないものとして、横軸Fの表示をしてあ
る。
【0073】したがって、図12のcのような特性のバ
ンドパスフィルタでその部分の信号レベルを検出比較す
れば、サンプリングパルスの位相が適当か否かの判断が
できる。
【0074】例えば、fsp=14MHzとして、図12
の減衰を3dB以内におさめるとすれば、図11でd=
±18ns以内にする必要がある。
【0075】なお、ケーブルやアンプの遅延などを変え
れば、A/D変換用のサンプルホールドパルスと信号分
との遅延時間差は、上記範囲外となることもある。
【0076】そこで、本実施例では、使用する時点で上
記遅延差を自動設定してCCDイメージセンサ出力と再
サンプリングのクロックとの位相を合わせる方式を採用
している。
【0077】図13に図1の光路シフト部1及び撮像信
号形成部2を有するカメラ部200の出力信号とA/D
変換器4におけるサブサンプリングパルスとの位相を合
わせる本実施例装置の要部の構成を示す。
【0078】図13において、上記カメラ部200から
の前記R,G,Bの各チャンネルの撮像信号は、アンプ
202で増幅され、前記LPF3を介し、さらに前記A
/D変換器4に送られる。なお、図13にはRチャンネ
ルの構成のみ示すが、Bチャンネルについては端子22
1を介して同様の構成に送られ、Gチャンネルについて
は端子222を介して同様の構成に送られる。
【0079】上記A/D変換器4では、上記アンプ20
2を介した信号がサンプルホールドされてA/D変換さ
れる。このA/D変換器4の出力は、前記合成メモリ5
に蓄えられた後、前記D/A変換器6でアナログ信号に
戻され、さらに前記LPF8で低域通過処理がなされ、
端子18RからRチャンネルの出力信号Scaとして出力
される。
【0080】一方、上記カメラ部200からの同期信号
(sync)は、前記再サブナイキストサンプリングタイミ
ング発生回路7のPLL(phase locked loop)回路20
3に送られる。このPLL回路203は、上記同期信号
を基にしてタイミングパルスを発生し、このタイミング
パルスが所定遅延時間Dの遅延回路208〜211に順
次送られる。また、これら遅延回路208〜211のう
ちの初段の遅延回路208への入力は切換スイッチSW
1の被切換端子241にサンプリングパルスC1 として
送られ、遅延回路208の出力(遅延回路209の入
力)はスイッチSW1の被切換端子242にサンプリン
グパルスC2 として、遅延回路209の出力(遅延回路
210の入力)はスイッチSW1の被切換端子243に
サンプリングパルスC3 として、遅延回路210の出力
(遅延回路211の入力)はスイッチSW1の被切換端
子244にサンプリングパルスC4 として、遅延回路2
11の出力はスイッチSW1の被切換端子245にサン
プリングパルスC5 として送られる。
【0081】当該切換スイッチSW1は、被切換端子2
41から被切換端子245までが1フィールド毎に順次
切り換えられるものであり、したがって共通端子k1か
らはサンプリングパルスC1 からC5 までが1フィール
ド毎に切り換わって出力される。
【0082】この切換スイッチSW1の制御信号は、上
記LPF8の出力に基づいて生成されている。すなわ
ち、上記LPF8の出力は、前記再サブナイキストサン
プリングタイミング発生回路7の減衰検出用のバンドパ
スフィルタ212に送られ、さらにそのピークを検波し
てサンプルホールドする検波ホールド回路213を介し
て低速のA/D変換器214でディジタル化される。こ
のディジタルデータは、メモリ/比較回路215にて記
憶されると共に比較が行われる。このメモリ/比較回路
215は、上記サンプリングパルスC1 〜C5 のクロッ
クに対応した各ディジタル値を比較し、最高の値をとる
サンプリングパルスを選定するように、上記切換スイッ
チSW1を制御する。
【0083】また、切換スイッチSW2は、共通端子K
2と被切換端子aとを接続したときは、端子223を介
して供給される初期設定のサンプリングパルスを選定す
るようスイッチSW1に命じ、共通端子k2と被切換端
子bとを接続したときには前記自動選定のための制御信
号を上記端子224を介して上記スイッチSW1に送
る。なお、上記サンプリングパルスの位相の自動選定の
開始は、カメラ部200の電源投入後の初期準備期間に
行う。
【0084】以上の説明では、バンドパスフィルタ21
2をD/A変換器6でのディジタル/アナログ変換後に
設けたが、ディジタル/アナログ変換の前のディジタル
系に上記バンドパスフィルタ212と等価のディジタル
バンドパスフィルタを設け、このディジタルバンドパス
フィルタの出力に対して上述同様の検出等を行うことも
可能である。また、サンプリングパルスの位相の設定は
遅延回路208〜211によって行ったが、PLL回路
203のコントロール電圧を可変することでもできる。
【0085】また、前述したように、カメラ部200の
被写体として例えば図12に示したような減衰が生ずる
周波数帯域内の、ある単一周波数を生ずる垂直パターン
からなる図14に示すようなテストバーを用いる他に、
図10に示した cos2π(fsp/2)tに位相も合致するテス
ト信号をカメラ部200で生成して、上記被写体の撮像
信号の代わりとすることもできる。
【0086】ところで、前述した図18に示す従来例の
ような空間画素ズラシをした3板式のCCDカメラの場
合には、前記折り返し成分Sofの低域成分を減衰するた
めに、原信号S0 の高域成分を前記オプティカルローパ
スフィルタで減衰させている。また、(1/2)fs
辺の信号を有効に取り出すため、前記図18内のディテ
ール形成回路108等を使用している。
【0087】この図18のようなCCDカメラでは、理
想条件として、1/2ピッチシフトが正確で、R,G用
の撮像レンズの色倍率が等しく、かつR,Gを等量に含
む被写体を撮像する場合は、H方向2倍の画素のCCD
イメージセンサを用いたと等価に近づくので、前記図1
2のbのような明確な減衰が生じない。しかし、単色被
写体の場合は、図12のbのような減衰が生ずる。
【0088】したがって、この図18に示したようなC
CDカメラに対してサンプリングパルスの位相選定を行
う場合には、ディテール形成を行わない状態で、サンプ
リングパルスの位相を選定する。この場合、例えば、R
チャンネル用のサンプリングパルスには、撮像レンズ1
00の前にR用の色フィルタを、Gチャンネルのサンプ
リングパルスには、撮像レンズ100の前にG用の色フ
ィルタを付けた状態でサンプリングパルスの位相を選定
する。
【0089】図18の構成において上記色フィルタ付の
状態でのサンプリングパルスの位相選定と、本実施例に
おけるサンプリングパルスの自動位相選定後のバンドパ
スフィルタの出力の様子は、図15のようになる。すな
わち、図15には、前述の図1のようにfsp=14MH
zにおける空間画素ずらしをした3板式CCDカメラの
Rチャンネル,Gチャンネルのカメラ出力に対して、サ
ンプリングパルスの位相(時間遅延、70nsで2π)
を変化させたときの、6.5MHz〜7.5MHzの帯
域通過を行うバンドパスフィルタ出力のレベルの一例を
示す。すなわちこの図15において、図中「DTL有
り」で示す本実施例におけるサンプリング自動位相選定
後のバンドパスフィルタ出力レベル変動は少ないが、G
色のみの被写体に対しては30nsのときがよく、R色
のみの被写体に対しては50ns位のところがよいの
で、Gチャンネル位相は30ns、Rチャンネル位相は
50nsに設定する。
【0090】実際は、上記理想条件が、CCDの画面上
全体に渡って満足されることは少ないので、ディテール
信号形成の効果は画面の場所によって異なってくる。通
常のCCDカメラではこれでもしかたないが(この場合
は2fspで再サンプリングすれば位相の問題がない)、
a0も利用する高解像度のCCDカメラとして用いると
きは、前記光像シフト法としてオプティカルローパスフ
ィルタ(OLPF)は光像シフト板として用い、ディテ
ール信号形成は行わず、その代わり、R,G,B信号の
各高域増幅用のアンプを通して、再サンプリング回路に
導く構成がよい。このときは、本実施例のサンプリング
パルス位相自動選定方法も有効に働く。上記高域増幅用
のアンプの特性は、例えば図16に示すような特性とす
る。
【0091】図17のA及びBには、空間画素ズラシ方
式の3板式CCDカメラにおいてディテール信号形成を
行わない前述の構成で、H方向に光像シフトし、メモリ
合成したもので、fsp=14MHz、テストパターンは
10MHzまでの例におけるサンプリングパルスの位相
が最適時と最悪時の信号の状態を示している。このケー
スでは、Gチャンネルの場合、再サンプリングの位相が
悪いと、4MHz以上は大きく減衰しているのがわか
る。また、光像のシフトやメモリの合成など関係なく、
(1/2)fsp近辺の減衰は、再サンプリングのサンプ
リングパルス位相によって決まる。
【0092】なお、CCDカメラの出力をサブナイキス
トサンプリング周波数で再サンプリングする場合におい
て、CCDカメラ出力と再サンプリングの位相を調整す
る方法は、特開平5−9555号公報などにあるが、具
体的にどうするかなどは不明である。また、初期設定の
みでは条件の変化に対応できないことがある。さらに、
位相が合っていないと折り返し成分の含む信号のうちナ
イキスト周波数近辺がD/A変換後に再現されないこと
が生じる。
【0093】
【発明の効果】本発明に係る撮像信号処理方法及び装置
においては、所定の空間サンプリング周波数で各素子が
配列される固体撮像素子からの撮像信号を再サンプリン
グするとき、空間サンプリング周波数に相当する時間軸
上での周波数(ナイキスト周波数)の近辺の周波数帯域
に相当する成分レベルが最高になるサンプリング位相を
選定して再サンプリングのクロックとすることで、最大
出力を取り出すことができ、したがって、折り返し成分
の悪影響を軽減して高域をカットすることなく全帯域の
撮像信号を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明の撮像信号処理方法及び装置が適用され
るCCDカメラの概略構成を示すブロック回路図であ
る。
【図2】本実施例のCCDカメラに設けられている各C
CDイメージセンサの空間サンプリング位置及び光路シ
フト部の光路シフト動作を説明するための図である。
【図3】本実施例のCCDカメラにおける再サブナイキ
ストサンプリング処理を説明するための撮像信号のスペ
クトルを示す図である。
【図4】本実施例のCCDカメラに設けられている理想
LPFの特性を示す図である。
【図5】本実施例のCCDカメラのディテール信号を形
成する回路構成を示すブロック回路図である。
【図6】本実施例のCCDカメラのディテール信号を形
成する他の例の回路構成を示すブロック回路図である。
【図7】CCDイメージセンサの周波数レスポンスを示
す図である。
【図8】サンプリング周波数fspによる再サンプリング
で得られるスペクトルを示す図である。
【図9】サンプリング周波数2fspによる再サンプリン
グで得られるスペクトルを示す図である。
【図10】テストバーを写した場合のCCDイメージセ
ンサの出力信号の例を示す図である。
【図11】ナイキスト周波数のサンプリングパルスでサ
ンプリングした後の信号の成分レベルが最高になる点を
説明するための図である。
【図12】再サンプリングし、D/A変換した結果につ
いて説明するための図である。
【図13】再サブナイキストサンプリングタイミング発
生回路の具体的構成を説明するためのブロック回路図で
ある。
【図14】テストバーを示す図である。
【図15】サンプリングパルスの自動位相選定後のバン
ドパスフィルタの出力の様子を示す図である。
【図16】高域増幅用アンプの特性を示す図である。
【図17】再サンプリングの最適時と最悪時を比較する
ための図である。
【図18】従来の3板式のCCDカメラの概略構成を示
すブロック回路図である。
【図19】従来の3板式のCCDカメラに設けられてい
る各CCDイメージセンサの空間サンプリング位置を説
明するための図である。
【図20】従来のCCDカメラから出力される撮像信号
が形成される様子を示す図である。
【符号の説明】
1 光路シフト部 2 撮像信号形成部 3,8 ローパスフィルタ(LPF) 4 A/D変換回路 5 合成メモリ 6 D/A変換回路 7 再サブナイキストサンプリングタイミング発生回路 17R 赤色用CCDイメージセンサ 17G 緑色用CCDイメージセンサ 17B 青色用CCDイメージセンサ 212 バンドパスフィルタ 213 検波ホールド回路 215 メモリ/比較回路 SW1,SW2 スイッチ 208〜211 遅延回路

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 所定の空間サンプリング周波数で各素子
    が配列される固体撮像素子からの撮像信号を、上記空間
    サンプリング周波数に相当する時間軸上での周波数のサ
    ンプリングパルスで再サンプリングする撮像信号処理方
    法であって、 上記空間サンプリング周波数に相当する時間軸上での周
    波数のサンプリングパルスで再サンプリングした後の信
    号から、当該空間サンプリング周波数に相当する時間軸
    上での周波数の近辺の周波数帯域に相当する成分レベル
    を取り出し、 当該成分レベルが最高になるサンプリング位相を選定し
    て上記再サンプリングのクロックとすることを特徴とす
    る撮像信号処理方法。
  2. 【請求項2】 所定の空間サンプリング周波数で各素子
    が配列される固体撮像素子からの撮像信号を、上記空間
    サンプリング周波数に相当する時間軸上での周波数のサ
    ンプリングパルスで再サンプリングする撮像信号処理装
    置であって、 上記空間サンプリング周波数に相当する時間軸上での周
    波数のサンプリングパルスで再サンプリングした後の信
    号から、当該空間サンプリング周波数に相当する時間軸
    上での周波数の近辺の周波数帯域に相当する成分レベル
    を取り出す成分レベル取り出し手段と、 当該成分レベルが最高になるサンプリング位相を選定し
    て上記再サンプリングのクロックとする再サンプリング
    クロック設定手段とを有することを特徴とする撮像信号
    処理装置。
JP28972694A 1994-11-24 1994-11-24 撮像信号処理方法及び装置 Expired - Fee Related JP3692554B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28972694A JP3692554B2 (ja) 1994-11-24 1994-11-24 撮像信号処理方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28972694A JP3692554B2 (ja) 1994-11-24 1994-11-24 撮像信号処理方法及び装置

Publications (2)

Publication Number Publication Date
JPH08149381A true JPH08149381A (ja) 1996-06-07
JP3692554B2 JP3692554B2 (ja) 2005-09-07

Family

ID=17746966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28972694A Expired - Fee Related JP3692554B2 (ja) 1994-11-24 1994-11-24 撮像信号処理方法及び装置

Country Status (1)

Country Link
JP (1) JP3692554B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007060847A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮像装置
WO2009136329A1 (en) * 2008-05-06 2009-11-12 Nxp B.V. Calibration of linear time-invariant system's step response
CN116793330A (zh) * 2023-08-25 2023-09-22 山西大学 基于连续变量量子纠缠源的量子增强型光纤陀螺仪及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007060847A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮像装置
JPWO2007060847A1 (ja) * 2005-11-22 2009-05-07 パナソニック株式会社 撮像装置
US7999873B2 (en) 2005-11-22 2011-08-16 Panasonic Corporation Imaging device with plural lenses and imaging regions
JP4976310B2 (ja) * 2005-11-22 2012-07-18 パナソニック株式会社 撮像装置
WO2009136329A1 (en) * 2008-05-06 2009-11-12 Nxp B.V. Calibration of linear time-invariant system's step response
US8686779B2 (en) 2008-05-06 2014-04-01 Nxp, B.V. Calibration of linear time-invariant system's step response
CN116793330A (zh) * 2023-08-25 2023-09-22 山西大学 基于连续变量量子纠缠源的量子增强型光纤陀螺仪及方法
CN116793330B (zh) * 2023-08-25 2023-11-14 山西大学 基于连续变量量子纠缠源的量子增强型光纤陀螺仪及方法

Also Published As

Publication number Publication date
JP3692554B2 (ja) 2005-09-07

Similar Documents

Publication Publication Date Title
KR100666290B1 (ko) 촬상 장치 및 촬상 방법
EP0868090B1 (en) Digital video camera apparatus and recording apparatus
US5119208A (en) Image signal recording apparatus
JPS59174074A (ja) 固体撮像装置の出力信号再生回路
KR970006299B1 (ko) 촬상 장치
JPH08149381A (ja) 撮像信号処理方法及び装置
KR930000457B1 (ko) 서브나이키스트 샘플링에 의한 영상신호의 대역압축 전송방식
JP2001086394A (ja) 撮像装置
US6020922A (en) Vertical line multiplication method for high-resolution camera and circuit therefor
JPH048992B2 (ja)
JP3651015B2 (ja) 固体撮像装置
US5159461A (en) Image signal recording apparatus
JP3421864B2 (ja) ビデオカメラ
JPH06339146A (ja) テレビジョンカメラ
JP3119662B2 (ja) コンポーネント信号標本化回路及び再生回路
JP3728075B2 (ja) 撮像方法及び撮像装置
JP4077956B2 (ja) 撮像装置及び撮像方法
JP2554633B2 (ja) デジタルデータ変換方法
JP3425161B2 (ja) 簡易型テレビカメラ
JP3075040B2 (ja) 色信号処理装置
JP3216061B2 (ja) 撮像記録装置
JP2803101B2 (ja) テレビジョンカメラ
JP2000232602A (ja) ビデオカメラ
JPH01233984A (ja) 映像信号の伝送方式
JPH05145945A (ja) 映像信号記録及び記録再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050613

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080701

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090701

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees