JPH11262022A - 単板式カラーカメラ - Google Patents
単板式カラーカメラInfo
- Publication number
- JPH11262022A JPH11262022A JP10058394A JP5839498A JPH11262022A JP H11262022 A JPH11262022 A JP H11262022A JP 10058394 A JP10058394 A JP 10058394A JP 5839498 A JP5839498 A JP 5839498A JP H11262022 A JPH11262022 A JP H11262022A
- Authority
- JP
- Japan
- Prior art keywords
- color
- signal
- rows
- arrangement
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000000926 separation method Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000012935 Averaging Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 10
- 230000000295 complement effect Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 39
- 238000012546 transfer Methods 0.000 description 14
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 13
- 230000003111 delayed effect Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 125000002015 acyclic group Chemical group 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
離回路を有する単板式カラーカメラを提供する。 【解決手段】 CCD10は、駆動回路40により駆動
され、全画素独立読出駆動が行なわれる。走査線遅延器
18〜22により4ライン分のデータが並列に2次元レ
ジスタアレイ30に入力し、補間処理回路34で4行6
列の画素に対応するデータに基づいて色信号G、Mg、
Cy、Yeごとに補間処理が行われる。色差信号生成回
路36は、補間処理された色信号をもとに色分離処理を
行う。
Description
関し、特に、アレイ状に配列された色フィルタに対応し
て、アレイ状に配置される光電変換素子を含む固体撮像
デバイスからの信号を処理する色分離回路を有する単板
式カラーカメラに関する。
スとして広く用いられているCCD(Charge Coupled D
evice )は、受けた光の明暗に応じて出力する信号の振
幅を変化させるだけで、その出力信号にはカラー情報が
含まれない。したがって、カラー情報を得るためには光
学的な手段を用いて、CCDに入射する光にフィルタを
かける等の工夫が必要となる。
CCDから三原色信号を取出す、いわゆる単板式方式が
採用され、このCCDの受光面側に色フィルタアレイを
用いた、いわゆる同時式のカラー撮像方式が採用されて
いる。
4は、家庭用カラーカメラにおけるCCDの構成とし
て、一般に用いられているインターライン転送CCD1
0の構成を示す概略ブロック図である。
状に配置されたpn接合型フォトダイオードからなる感
光部12と、CCDにより構成されるアナログシフトレ
ジスタを含む転送部14と、転送部14により転送され
た電荷を受けて、順次転送された信号電荷を電圧に変換
した信号を水平方向に転送して出力する水平転送レジス
タ16とを含む。
フォトダイオードは、垂直水平とも3画素が配置された
構成としている。実際に、カラーカメラに使用されるC
CDでは、たとえば、垂直方向に500画素、水平方向
には500〜800画素に対応するフォトダイオードが
アレイ状に配置されている。
フォトダイオードに光が入射すると電荷が発生し、ダイ
オード内に蓄積されていく。次に、シフトゲートに所定
の電圧を印加することにより、蓄積された電荷は一斉に
アナログシフトレジスタ14に転送される。CCDアナ
ログシフトレジスタ14は、クロックパルス電圧φV1,
φV2,φV3が印加されることにより、電荷を順次水平転
送レジスタ16に向かって転送していく。水平転送レジ
スタ16では、送られてきた信号電荷を電圧に変換した
後、外部から与えられる水平駆動信号φH1,φH2,φH3
に駆動されて、順次撮像信号出力として外部に出力す
る。
インターライン転送CCDの駆動方法としては、一般に
フレーム蓄積方式とフィールド蓄積方式の2つのモード
が存在する。カラーカメラにおいては、色差順次方式の
色フィルタアレイに対応しても、全画素読み出し動作を
前提としたフレーム蓄積方式が用いられる場合がある。
1画素ごとに読み出すことが可能なフレーム蓄積モード
で動作している場合について考えることにする。
5は、従来の単板式カラーカメラ2000の主要部の構
成を示す概略ブロック図である。
は、被写体からの光を受ける光学系2と、光学系2によ
り結像された光学像を電気信号に変換するCCD10
と、CCD10に対して全画素独立読出駆動を行なう駆
動回路2102と、CCD10からの出力信号を受け
て、各画素に対応する三原色信号R、G、Bを出力する
色分離回路2101とを含む。
信号を受けて、輝度信号CL ならびに色差信号CR およ
びCB を生成するCL CR CB 生成回路2104と、C
L C R CB 生成回路2104との間で、CCD10から
の読出信号D(x,y)、輝度信号CL 、色差信号CR
およびCB の授受を行ない、少なくとも1走査線分以上
のこれらの信号を保持することが可能なランダムアクセ
スメモリ2106(以下、RAMと呼ぶ)と、CL CR
CB 生成回路2104からの信号を受けて、所定の演算
により三原色信号RGBを分離して出力するマトリクス
回路2108とを含む。
0においては、CCD10は、上述したとおり、全画素
独立読出動作を行なう。すなわち、駆動回路2102
は、CCD10内での垂直方向2画素の混合を行なわな
い駆動パルスを発生する。
の形態における色フィルタアレイの配列とこの配列を有
する色フィルタアレイを含むCCD10からの信号読出
を説明する模式図である。
ィルタにおいては、色フィルタとしてマゼンダ(以下、
Mgで表わす),緑色(以下、Gで表わす),シアン
(以下、Cyで表わす),黄色(以下、Yeで表わす)
の色フィルタがモザイク状に配置されている。
る加色法が成り立つので、三原色である赤(R),緑
(G),青(B)に対して、補色関係にあるMg,Y
e,Cyとの間には以下の関係が成り立つ。
Ye,Cyを用いることで、三原色のR,G,Bのうち
輝度信号に対して大きな比重を有するG信号の強度をR
信号およびB信号よりも大きくとることが可能となる。
26に示すように、垂直方向(y方向)0番目の第0ラ
インについては、水平方向(x方向)に色フィルタMg
およびGが交互に配置されることに対応して、CCD2
010からの読出信号は、このラインに対応する走査線
については、MgとGとが交互に出力される信号とな
る。次の第1ライン(y=1に相当)については、信号
Yeと信号Cyとが交互に出力される。
る各画素(x,y)とフィルタ色との関係は、nを自然
数とするとき、以下のような関係になる。
(すなわち、y=1,3,5…)xが偶数であれば、色
フィルタの色はYeであり、xが奇数であれば、色フィ
ルタの色はCyである。
y=0,4,8,…)xが奇数であれば、色フィルタの
色はMgであり、xが偶数であれば、色フィルタの色は
Gである。
ち、y=2,6,10,…)xが奇数であれば、色フィ
ルタの色はGであり、xが偶数であれば、色フィルタの
色はMgである。
gおよびGの色フィルタの属する行が偶数行であり、Y
eおよびCyの色フィルタの属する行が奇数行であると
したが、以下の説明で明らかとなるように、たとえば、
上記の配列が1行分ずれた色フィルタの配列について
も、同様な考察が可能である。
素からの色差信号の生成]上述したとおり、CCD10
から全画素独立して出力信号が読出され、これらの信号
が、RAM2106に保持される。
素(x,y)ごとに輝度信号CL (x,y)ならびに第
1の色差信号CR (x,y)および第2の色差信号CB
(x,y)をそれぞれ以下の演算により生成することが
可能である。
に対応する光電変換素子からの出力信号をD(x,y)
で表わすことにする。
の画素(x,y)、(x+1,y)、(x,y+1)、
(x+1,y+1)からの出力信号に対する線形演算に
より、輝度信号および2つの色差信号を抽出することが
可能である。
のようになる。 Cc(x,y)=Kc(x,y)・D(x,y)+Kc(x+1,y)・D( x+1,y)+Kc(x,y+1)・D(x,y+1)+Kc(x+1,y+1 )・D(x+1,y+1) …(4) (ここで、cは、L ,R ,B のいずれかである)このと
き、画素(X,Y)のフィルタの色とCL CR CB 信号
を作成するための係数KL (X,Y)、KR (X,
Y)、KB (X,Y)とは以下の関係があるものとす
る。ここで、X=x,x+1、Y=y,y+1である。
yである場合 KL (X,Y)=1、KR (X,Y)=−1、K
B (X,Y)=1 ii) 画素(X,Y)のフィルタの色がYeである場合 KL (X,Y)=1、KR (X,Y)=1、KB (X,
Y)=−1 iii ) 画素(X,Y)のフィルタの色がMgである場
合 KL (X,Y)=1、KR (X,Y)=1、KB (X,
Y)=1 iv) 画素(X,Y)のフィルタの色がGである場合 KL (X,Y)=1、KR (X,Y)=−1、K
B (X,Y)=−1 以上のフィルタの色と係数KL 、KR 、KB との関係に
基づいて、実際に輝度信号および色差信号が生成される
過程をより具体的に説明する。
素(0,0)に対応する輝度信号押色差信号を求めるこ
とにする。
ると、輝度信号CL (0,0)は以下の式(14)に表
わされる。
(6)から算出される。
(7)により算出される。
の色差信号は、画素(0,0),(1,0),(0,
1),(1,1)からの出力信号を用いて算出すること
ができる。
マゼンタ色フィルタに対応している場合を示している
が、注目する画素が他の色フィルタである場合にも、そ
の画素(x,y)を含む2行2列の画素(x,y),
(x+1,y),(x,y+1),(x+1,y+1)
からの出力信号の線形演算により輝度信号および色差信
号を求めることができる。
の問題点]しかしながら、上記のような色分離方式に
は、以下に述べるような問題点がある。
に入力する光強度に、水平方向の輝度レベルの変化H1
(画面の左から右で輝度レベルが変化するエッジ)部分
がある場合を考える。
エッジ部分には色成分がない無彩色の光信号が入力し、
輝度レベルだけが変化しているものとする。
かって、輝度レベルがb/a(b>a)だけ変化したも
のとする。
対応する輝度信号および色信号を、上記の場合について
算出すると以下のようになる。
は、以下のようになる。 CL (0,0)=D(0,0)+D(1,0)+D(0,1)+D(1,1) =a×Mg+b×G+a×Ye+b×Cy =a×(R+B+R+G)+b×(2G+B) …(8) 次に、第1の色差信号CR (0,0)については以下の
ようになる。
ようになる。
が成り立つ。
B=S,G=2Sを上記式(17)〜(19)に代入す
ると、第1および第2の色差信号について、以下の結果
が得られる。
号が発生してしまう。この結果、画面上には偽色が現
れ、画質劣化に要因になる。
レベルの変化H2がある場合に、画素(1,0)につい
ての色差信号を算出すると以下のようになる。
画素(1,0)において偽色が発生する。
べての画素について同様のことがいえる。
在する場合について、同様に画素(0,2)について、
色差信号を算出すると以下のようになる。
ようになる。 CR (0,2)=D(1,2)+D(0,3)−D(0,2)−D(1,3) =b×Mg+a×Ye−b×G−a×Cy =a×(R+G−G−B)+b×(R+B−G)…(15) 色差信号CB (0,2)については以下のようになる。
り、CR (0,2)=0およびCB (0,2)=0が得
られる。
いことがわかる。同様にして、図26に示した垂直方向
の輝度信号の変化V2が存在する場合も、そのエッジ部
分の画素については、色差信号の値はともに0となり、
垂直方向のエッジに対しては偽色が発生しないことがわ
かる。
(x,y)に対して、それを含む2行2列の画素(x,
y),(x+1,y),(x,y+1),(x+1,y
+1)からの出力信号に基づいて色差信号を演算する方
法では、水平方向に著しい輝度変化(エッジ)があるよ
うな場合に、偽色が発生する。このため画面上に画像を
再生した場合、本来色のない部分に偽色があらわれ画質
を劣化させてしまう。
R,G,B信号を生成する過程で、偽色信号成分により
偽輝度信号が発生してしまい輝度信号の劣化につながっ
てしまう。
ためになされたものであって、その目的は、有効画素数
に対して、解像度を劣化させることなく高い解像度で輝
度信号および色差信号を再生するこが可能な単板式カラ
ーカメラを提供することである。
全画素独立読出された出力信号に基づいて、画素ごとに
対応する輝度信号および色差信号を生成することが可能
な色分離方法を提供することである。
ラーカメラは、画素に各々対応する光電変換素子が、ア
レイ状に配列された固体撮像手段を備え、固体撮像手段
は、受光面側に、対応する光電変換素子に対して色フィ
ルタがモザイク状に配列される色フィルタアレイを含
み、色フィルタアレイは、任意の(2×m)行(2×
n)列(m,n:自然数)の画素に対応して、1行ごと
に交互に配置されるm個の第1の行と、m個の第2の行
とを含み、各第1の行は、交互に配置される緑色フィル
タおよび第1の補色フィルタを有し、各第2の行は、交
互に配置される第2の補色フィルタおよび第3の補色フ
ィルタを有し、固体撮像手段の出力を受けて、(2×
m)行(2×n)列の画素の中央位置に対応する色デー
タを生成する色分離手段をさらに備え、色分離手段は、
緑色ならびに第1ないし第3の補色ごとに、(2×m)
行(2×n)列の画素に対応する複数の光電変換素子か
らの出力のうち、対応する色フィルタの配置された光電
変換素子からの出力に対して、少なくとも列方向および
行方向のいずれか一方について、低域透過フィルタとし
ての処理を行う色補間手段と、色補間手段からの出力を
受けて、中央位置に対応する色データを分離する第1の
演算手段とを含む。
求項1記載の単板式カラーカメラの構成において、自然
数mの値が2であり、自然数nの値が3である。
2記載の単板式カラーカメラの構成において、第1ない
し第3の補色は、それぞれマゼンダ、黄色、シアンであ
り、色補間手段は、低域透過フィルタ処理を行うデジタ
ルフィルタリング手段を含み、4行6列の画素に対応す
る光電変換素子からの出力をD(x、y)(x=0〜
5、y=0〜3)とし、加重平均処理において、D
(x、y)に対応する重み係数をw(x、y)とすると
き、デジタルフィルタリング手段は、w(0,1)=
3,w=(0,3)=1,w(2,1)=6, w(2,
3)=2,w=(4,1)=3,w(4,3)=1とす
る第1の加重平均処理、w(1,1)=3,w=(1,
3)=1,w(3,1)=6, w(3,3)=2,w=
(5,1)=3,w(5,3)=1とする第2の加重平
均処理、w(0,0)=1,w=(0,2)=3,w
(2,0)=2, w(2,2)=6,w=(4,0)=
1,w(4,2)=3とする第3の加重平均処理および
w(1,0)=1,w=(1,2)=3,w(3,1)
=2, w(3,3)=6,w=(5,0)=1,w
(5,2)=3とする第4の加重平均処理のいずれかを
4行6列の画素に対応する色フィルタの配列に応じて選
択して実行する。
2または3記載の単板式カラーカメラの構成において、
色分離手段は、4行4列の画素に対応する光電変換素子
からの出力のうち、中央位置を囲む2行2列の光電変換
素子からの出力を加算することで輝度信号を出力する第
2の演算手段を含む。
の実施の形態の単板式カラーカメラの構成のうち、撮像
素子であるCCD10に撮像対象の光学像を結ぶ光学系
2から色分離回路100までを含む色信号処理系100
0の構成を示す概略ブロック図である。
受ける光学系2と、光学系2により結像された光学像を
電気信号に変換するCCD10と、CCD10に対して
全画素独立読出駆動を行なう駆動回路40と、CCD1
0の出力信号を受けて、撮像信号から周知の方法でノイ
ズ除去を行う相関2重サンプリング回路(以下、CDS
回路と呼ぶ)44と、CDS回路44の出力を増幅する
オートゲインコントロール回路(以下、AGC回路と呼
ぶ)46と、AGC回路46の出力をデジタル信号に変
換するA/D変換回路48と、A/D変換回路48から
のCCD10の偶数ラインの出力信号と奇数ラインの出
力信号を入れ子状に保持するフレームメモリ50と、駆
動回路40からのCCD駆動信号を受けて、出力信号が
読み出される画素の水平アドレスHA,垂直アドレスV
Aを出力する制御回路42を含む。
ムメモリ50からの第1入力信号を1走査線時間分だけ
遅延して第2入力信号を出力する走査線遅延器18と、
第2入力信号を1走査線時間分だけ遅延して第3入力信
号を出力する走査線遅延器20と、第3入力信号を1走
査線時間分だけ遅延して第4入力信号を出力する走査線
遅延器22と、第1〜第4入力信号を受けて、輝度信号
Y、第1の色差信号Cb、第2の色差信号Crを出力す
る2次元非巡回型デジタルフィルタである色分離回路1
00とを含む。
を並列に順次受けて、4行5列分の画素からのデータ
(その時点で信号の読み出されたCCDの色フィルタの
配列に対応して、緑色、黄色、シアン、マゼンダの色信
号を含む。)を保持する2次元レジスタアレイ30と、
フレームメモリ50からの信号および2次元レジスタア
レイ30からの信号ならびに走査線遅延器18〜22か
らの信号を受けて、緑色、黄色、シアン、マゼンダの各
色信号ごとに加重平均処理を行うことで、4行6列の画
素の中央位置に対応する色信号を補間生成する補間処理
回路34と、補間により生成された色信号から色差信号
Cb、Crを生成する色差信号生成回路36と、2次元
レジスタアレイ30からの信号を受けて、輝度信号Yを
生成する輝度信号生成回路32と、輝度信号Yおよび2
次元レジスタアレイ30からの信号を受けてアパーチャ
信号APを出力するアパーチャ信号生成回路38とを含
む。
は、通常、絞り、フォーカス、ズーム等の可変機構を備
える。
チャ信号に応じてアパーチャ補正(輪郭強調処理)を行
うアパーチャ補正回路(図示せず)を含む。
類の入力信号は、4走査線分(4ライン分)の撮像信号
に該当し、これらの信号は4ライン1まとめにして色分
離回路100に入力されることになる。
線遅延器18〜22により、FIR(Finite Impulse R
esponse )フィルタが実現される。
施の形態1における補間処理動作を説明するための色フ
ィルタアレイの配列の模式図である。
の場合の補間処理時の重付け係数の配置を示し、図4
は、図2の緑色フィルタの配列の場合の補間処理時の重
付け係数の配置を示し、図5は、図2のシアン色フィル
タの配列の場合の補間処理時の重付け係数の配置を示
し、図6は、図2の黄色フィルタの配列の場合の補間処
理時の重付け係数の配置を示す。
おいて、CCD10から順次データが読み出される方向
をy方向とし、これに垂直な方向をx方向とする。
の加重平均による補間処理により、4行6列の画素の中
央位置に対応するマゼンダ色信号成分、緑色信号成分、
シアン色信号成分および黄色信号成分を生成する。
図2に示したもののほかに、図2に示した配列を1行だ
けずらせたものと、列方向に1列だけずらせたものと、
行および列方向に1行および1列ずらせたものの4種類
あり、図2以外の配列の場合は、それに応じて、各色フ
ィルタに対する加重平均の重付け係数の配列も図3〜図
6の中の他の配列にそれぞれ対応することになる。
D10は全画素独立読出動作を行なう。すなわち、図2
に示すように、垂直方向(x方向)0番目の第0ライン
については、水平方向(y方向)に色フィルタYeおよ
びCyが交互に配置されることに対応して、CCD10
からの読出信号は、このラインに対応する走査線につい
ては、YeとCyとが交互に出力される信号となる。次
の第1ライン(x=1に相当)については、信号Mgと
信号Gとが交互に出力される。
うなCCD10からの読み出し信号を受ける走査線遅延
回路18、20、22および2次元レジスタアレイ30
の構成をさらに詳しく示すブロック図である。
器48からの出力信号を保持するフレームメモリ50か
らの出力信号d00を受け、1クロック分遅延した信号
を出力するレジスタ300と、レジスタ300の出力を
受けて1クロック分遅延して信号d02を出力するレジ
スタ302と、信号d02を受けて1クロック分遅延し
て信号を出力するレジスタ304と、レジスタ304の
出力を受けて1クロック分遅延して信号d04を出力す
るレジスタ306とを含む。
査線遅延器18からの信号d10を受けて、1クロック
分遅延した信号を出力するレジスタ308と、レジスタ
308の出力を受けて1クロック分遅延して信号d12
を出力するレジスタ310と、信号d12を受けて1ク
ロック分遅延した信号を出力するレジスタ312と、レ
ジスタ312の出力を受けて1クロック分遅延して信号
d14を出力するレジスタ314と、走査線遅延器20
からの信号d20を受けて、1クロック分遅延した信号
を出力するレジスタ316と、レジスタ316の出力を
受けて1クロック分遅延して信号d22を出力するレジ
スタ318と、信号d22を受けて1クロック分遅延し
た信号を出力するレジスタ320と、レジスタ320の
出力を受けて1クロック分遅延して信号d24を出力す
るレジスタ322と、走査線遅延器22からの信号d3
0を受けて、1クロック分遅延した信号を出力するレジ
スタ324と、レジスタ324の出力を受けて1クロッ
ク分遅延して信号d32を出力するレジスタ326と、
信号d32を受けて1クロック分遅延した信号を出力す
るレジスタ328と、レジスタ328の出力を受けて1
クロック分遅延して信号d34を出力するレジスタ33
0とを含む。
り、シリアルに読み出されたCCD10からの信号は、
4行5列の画素に対応する光電変換素子からの信号がそ
れぞれ並列に出力されるように変換される。
CCD10中の画素(x,y)に対応する光電変換素子
からの出力信号を、記号dxyで表わしたことに相当す
る。
の画素群の中央位置におけるマゼンダ色信号、緑色信
号、シアン色信号、黄色信号をそれぞれ算出するには、
上記4行6列の画素群中の4行5列の画素からの信号を
用いればよいため、二次元レジスタアレイとしては、4
行6列分のレジスタではなく、図7に示したような4行
4列のレジスタ300〜330で構成することが可能で
ある。
構成をより詳しく示すブロック図である。
2,d04を受けて第1の補間信号SI1を出力する補
間演算部342と、信号d20,d22,d24を受け
て第2の補間信号SI2を出力する補間演算部344
と、信号d10,d12,d14を受けて第3の補間信
号SI3を出力する補間演算部346と、信号d30,
d32,d34を受けて第4の補間信号SI4を出力す
る補間演算部348と、信号SI1とSI2を受けて第
5の補間信号SI5を出力する補間演算部350と、信
号SI5を受けて1クロック分遅延した第6の補間信号
SI6を出力するレジスタ354と、信号SI3とSI
4を受けて第7の補間信号SI7を出力する補間演算部
352と、信号SI7を受けて1クロック分遅延した第
8の補間信号SI8を出力するレジスタ356と、制御
回路42に制御されて、第5〜第8の補間信号のそれぞ
れを、緑色信号G、シアン色信号Cy、マゼンダ色信号
Mgおよび黄色信号Yeとして出力する選択回路358
とを含む。
を受けてその強度を2倍にして出力する乗算器3422
と、信号d00および信号d04の加算結果を出力する
加算器3424と、加算器3424と乗算器3422の
加算結果を第1の補間信号SI1として出力する加算器
3426とを含む。補間演算部344、346および3
48の構成も、受ける信号が異なる以外、基本的に補間
演算部342の構成と同様である。
3倍にして出力する乗算器3502と、乗算器3502
の出力と信号SI1との加算結果を信号SI5として出
力する加算器3504とを含む。
3倍にして出力する乗算器3522と、乗算器3522
の出力と信号SI4との加算結果を信号SI7として出
力する加算器3524とを含む。
した配置である場合、補間演算部350は、第1のクロ
ックタイミングで図6に示した重付け係数の配置による
加重平均処理を行うことに対応し、この時の補間演算結
果はレジスタ354に保持され信号SI6として選択回
路358に与えられる。
ロックタイミングでは、補間演算部350は、図5に示
した重付け係数の配置による加重平均処理を行うことに
対応し、この時の補間演算結果は信号SI5として選択
回路358に与えられる。
した配置である場合、補間演算部352は、上記第1の
クロックタイミングで図4に示した重付け係数の配置に
よる加重平均処理を行うことに対応し、この時の補間演
算結果はレジスタ356に保持され信号SI8として選
択回路358に与えられる。
演算部352は、図3に示した重付け係数の配置による
加重平均処理を行うことに対応し、この時の補間演算結
果は信号SI7として選択回路358に与えられる。
されるCCD10からの現在の読み出し位置を示す水平
アドレスHAの最下位ビットh−addLSBおよび垂
直アドレスVAの最下位ビットv−addLSBに応じ
て、第5〜第8の補間信号SI5〜SI8と緑色信号
G、シアン色信号Cy、マゼンダ色信号Mgおよび黄色
信号Yeとの対応づけを切り換えて出力する。
た配置である場合は、第5の補間信号SI5がシアン色
信号Cyに、第6の補間信号SI6が黄色信号Yeに、
第7の補間信号SI7がマゼンダ色信号Mgに、第8の
補間信号SI8が緑色信号Gにそれぞれ対応するため、
選択回路358は、このような対応づけとなるように信
号を出力する。
色フィルタの配列が変化した場合は、それに応じて、選
択回路358は上述した対応づけを変化させる。
色信号G、シアン色信号Cy、マゼンダ色信号Mgおよ
び黄色信号Yeのそれぞれについて、4行6列の画素に
対応する光電変換素子からの読み出し信号に対する所定
の加重平均処理により、4行6列の画素の中央位置に対
応した信号が生成されることになる。
6の構成をより詳しく示すブロック図である。
は、黄色信号Yeとマゼンダ信号Mgを受けて加算する
加算器362と、緑信号Gとシアン信号Cyとを受けて
加算する加算器368と、加算器368の出力に−1を
乗算する乗算器374と、加算器362の出力と乗算器
374の出力を加算して信号Crを出力する加算機37
6とを含む。
ダ信号Mgとシアン色信号Cyとを受けて加算する加算
器364と、緑信号Gと黄色信号Yeとを受けて加算す
る加算器366と、加算器366の出力に−1を乗算す
る乗算器372と、加算器364の出力と乗算器372
の出力を加算して信号Cbを出力する加算機370とを
含む。
下に示す演算処理により、緑色信号G、シアン色信号C
y、マゼンダ色信号Mgおよび黄色信号Yeから色差信
号CbおよびCrを生成する。
け係数に応じて加重平均処理を行うことは、行方向およ
び列方向についてローパスフィルタによるフィルタ処理
を行うことに相当し、このようにして生成された信号
G,Mg,Ye,Cyにより色差信号を生成すること
で、偽色の発生を抑制することが可能となる。
としては、上記補間処理により得られた緑色信号G、シ
アン色信号Cy、マゼンダ色信号Mgおよび黄色信号Y
eから以下の演算により、生成する構成とすることも可
能である。
応する光電変換素子からの信号のうち、中央位置を囲む
2行2列の画素に対応する信号から直接上記の式に基づ
いて演算し、生成する構成とすることも可能である。
することが可能であるが、同時に補間により解像度は低
下してしまう。人間の目の感度は、色情報に比べて輝度
情報に対して高いので、輝度信号Yについては補間処理
を行わない信号を直接用いることで、人間の感じる解像
度の低下を抑制することが可能となる。
成を行うための輝度信号生成回路32の構成を示す概略
ブロック図である。
び信号d22を加算する加算器322と、加算器322
の出力を受けて保持する324と、加算器322とレジ
スタ324との出力を受けて、加算結果を輝度信号Yと
して出力する加算器326とを含む。
図2に示される配置である場合、まず、第1のクロック
タイミングにおいて、加算器322からは信号G13と
信号Y23との加算結果が出力され、この値はレジスタ
324に保持される。
く第2のクロックタイミングにおいて、加算器322か
らは信号Mg12と信号Cy22との加算結果が出力さ
れる。したがって、加算器326からは、第2のクロッ
クタイミングにおいて、以下の式(23)であらわされ
る輝度信号が出力される。
列の中央位置に対して、それを囲む2行2列の画素に対
応する光電変換素子からの信号に基づいて生成されるた
め、補間処理による解像度の低下を抑制することが可能
となる。
によるデジタルフィルタにより補間処理を実現した場合
の水平方向の周波数に対する利得の関係を示す図であ
る。
け係数によるデジタルフィルタにより補間処理を実現し
た場合の垂直方向の周波数に対する利得の関係を示す図
である。
波数を表し、縦軸は利得をデシベル(dB)表示したも
のである。
周波数を表す。いずれの利得の周波数依存性もローパス
フィルタとしての特性を示しており、上述したとおり、
このような特性のフィルタ処理により信号G,Mg,Y
e,Cyにより色差信号を生成することで、偽色の発生
を抑制することが可能となる。
も、緑色信号、シアン色信号、マゼンダ色信号および黄
色信号に限定されることなく、他の色信号の組み合わ
せ、たとえばフレーム色差順次方式の色フィルタで用い
られるYM、CG、YG、CMの組み合わせに対して適
用することも可能である。
発明は、緑色フィルタと3つの補色フィルタとからなる
色フィルタが色差順次方式で配列されている場合にも必
ずしも限定されない。
ィルタアレイの配列が図2に示した配列となっている場
合について説明した。
に基づく、色フィルタアレイの配列方法としては、図2
に示した配列以外に図13に示したような配列方法も存
在する。
では、x=2の行およびx=4の行のマゼンダ色フィル
タと緑色フィルタとは、y方向について、まったく同様
な配列となっていた。
=2の行とx=4の行とでは、マゼンダ色フィルタと緑
色フィルタとは、y方向に1画素分ずれた配置となって
いる。
配列の場合の補間処理時の重付け係数の配置を示し、図
15は、図13の緑色フィルタの配列の場合の補間処理
時の重付け係数の配置を示し、図16は、図13のシア
ン色フィルタの配列の場合の補間処理時の重付け係数の
配置を示し、図17は、図13の黄色フィルタの配列の
場合の補間処理時の重付け係数の配置を示す。
タアレイを実施の形態2では4行5列とし、これに応じ
て、実施の形態1の図8に示した補間処理回路の構成を
変更することで、このような重み付け係数にる補間処理
を行うことが可能である。
向)についてはローパスフィルタとしてのフィルタ処理
をしたことに相当するので、実施の形態1と同様に、こ
のようなフィルタ処理により信号G,Mg,Ye,Cy
により色差信号を生成することで、偽色の発生を抑制す
ることが可能となる。
は、補間処理を行って、その中央位置における色信号を
生成する画素ブロックとして、4行6列の画素ブロック
をもちいた。
ては、このような構成に限定されず、より大きな画素群
からなる画素ブロックを用いることも可能である。
クとして6行6列の画素ブロックを用いた場合を示す。
ックに対応する色フィルタアレイの配列を示す図であ
る。
配列の場合の補間処理時の重付け係数の配置を示し、図
20は、図18の緑色フィルタの配列の場合の補間処理
時の重付け係数の配置を示し、図21は、図18のシア
ン色フィルタの配列の場合の補間処理時の重付け係数の
配置を示し、図22は、図18の黄色フィルタの配列の
場合の補間処理時の重付け係数の配置を示す。
ジスタアレイの構成を示す概略ブロック図である。
タアレイと異なる点は、レジスタを6行4列の配置とし
た点である。
た補間処理回路の構成を変更することで、このような重
み付け係数にる補間処理を行うことも可能である。
直方向(x方向)について、ローパスフィルタとしての
フィルタ処理をしたことに相当するので、実施の形態1
と同様に、このようなフィルタ処理により信号G,M
g,Ye,Cyにより色差信号を生成することで、偽色
の発生を抑制することが可能となる。
行6列の色フィルタに対応する重付け係数の配置の加重
平均による補間処理を行う場合について説明したが、本
発明はこのような場合に限定されない。たとえば、補間
処理を行う対象となる画素は、より一般に、m,nを自
然数とするとき、(2×m)行(2×n)列の画素であ
ってもかまわない。
ば、、輝度信号については高い解像度を維持したまま
で、被写体の明度が変化し輝度レベルが急激に変化する
エッジが存在する場合も、偽色信号の発生を抑えること
ができ、画質劣化のない高画質な画像を再現することが
可能である。
の構成を示す概略ブロック図である。
模式図である。
処理時の重付け係数の配置を示す図である。
の重付け係数の配置を示す図である。
理時の重付け係数の配置を示す図である。
時の重付け係数の配置を示す図である。
ジスタアレイ30の構成を示すブロック図である。
回路34の構成を示すブロック図である。
路36の構成を示すブロック図である。
ブロック図である。
対する利得の変化を示す図である。
対する利得の変化を示す図である。
す模式図である。
補間処理時の重付け係数の配置を示す図である。
理時の重付け係数の配置を示す図である。
間処理時の重付け係数の配置を示す図である。
理時の重付け係数の配置を示す図である。
す模式図である。
補間処理時の重付け係数の配置を示す図である。
理時の重付け係数の配置を示す図である。
間処理時の重付け係数の配置を示す図である。
理時の重付け係数の配置を示す図である。
構成を示すブロック図である。
る。
示す概略ブロック図である。
動作を説明するための模式図である。
Claims (4)
- 【請求項1】 単板式デジタルカラーカメラであって、 画素に各々対応する光電変換素子が、アレイ状に配列さ
れた固体撮像手段を備え、 前記固体撮像手段は、 受光面側に、対応する前記光電変換素子に対して色フィ
ルタがモザイク状に配列される色フィルタアレイを含
み、 前記色フィルタアレイは、 任意の(2×m)行(2×n)列(m,n:自然数)の
画素に対応して、1行ごとに交互に配置されるm個の第
1の行と、m個の第2の行とを含み、 各前記第1の行は、 交互に配置される緑色フィルタおよび第1の補色フィル
タを有し、 各前記第2の行は、 交互に配置される第2の補色フィルタおよび第3の補色
フィルタを有し、 前記固体撮像手段の出力を受けて、前記(2×m)行
(2×n)列の画素の中央位置に対応する色データを生
成する色分離手段をさらに備え、 前記色分離手段は、 緑色ならびに第1ないし第3の補色ごとに、前記(2×
m)行(2×n)列の画素に対応する複数の光電変換素
子からの出力のうち、対応する色フィルタの配置された
光電変換素子からの出力に対して、少なくとも列方向お
よび行方向のいずれか一方について、低域透過フィルタ
としての処理を行う色補間手段と、 前記色補間手段からの出力を受けて、前記中央位置に対
応する色データを分離する第1の演算手段とを含む、単
板式カラーカメラ。 - 【請求項2】 前記自然数mの値が2であり、前記自然
数nの値が3である、請求項1記載の単板式カラーカメ
ラ。 - 【請求項3】 前記第1ないし第3の補色は、それぞれ
マゼンダ、黄色、シアンであり、 前記色補間手段は、 前記低域透過フィルタ処理を行うデジタルフィルタリン
グ手段を含み、 前記4行6列の画素に対応する光電変換素子からの出力
をD(x、y)(x=0〜5、y=0〜3)とし、加重
平均処理において、前記D(x、y)に対応する重み係
数をw(x、y)とするとき、 前記デジタルフィルタリング手段は、 w(0,1)=3,w=(0,3)=1,w(2,1)
=6, w(2,3)=2,w=(4,1)=3,w
(4,3)=1とする第1の加重平均処理、 w(1,1)=3,w=(1,3)=1,w(3,1)
=6, w(3,3)=2,w=(5,1)=3,w
(5,3)=1とする第2の加重平均処理、 w(0,0)=1,w=(0,2)=3,w(2,0)
=2, w(2,2)=6,w=(4,0)=1,w
(4,2)=3とする第3の加重平均処理およびw
(1,0)=1,w=(1,2)=3,w(3,1)=
2, w(3,3)=6,w=(5,0)=1,w(5,
2)=3とする第4の加重平均処理のいずれかを前記4
行6列の画素に対応する色フィルタの配列に応じて選択
して実行する、請求項2記載の単板式カラーカメラ。 - 【請求項4】 前記色分離手段は、 前記4行4列の画素に対応する前記光電変換素子からの
出力のうち、前記中央位置を囲む2行2列の前記光電変
換素子からの出力を加算することで輝度信号を出力する
第2の演算手段を含む、請求項2または3記載の単板式
カラーカメラ。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05839498A JP3609606B2 (ja) | 1998-03-10 | 1998-03-10 | 単板式カラーカメラ |
US09/263,597 US6822680B1 (en) | 1998-03-10 | 1999-03-05 | One-chip color camera that can suppress generation of pseudo color signal while maintaining high resolution and method of separating color data |
KR1019990007822A KR100552016B1 (ko) | 1998-03-10 | 1999-03-09 | 디지탈 컬러 카메라 및 색 데이타 분리 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05839498A JP3609606B2 (ja) | 1998-03-10 | 1998-03-10 | 単板式カラーカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11262022A true JPH11262022A (ja) | 1999-09-24 |
JP3609606B2 JP3609606B2 (ja) | 2005-01-12 |
Family
ID=13083144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05839498A Expired - Fee Related JP3609606B2 (ja) | 1998-03-10 | 1998-03-10 | 単板式カラーカメラ |
Country Status (3)
Country | Link |
---|---|
US (1) | US6822680B1 (ja) |
JP (1) | JP3609606B2 (ja) |
KR (1) | KR100552016B1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100390847B1 (ko) * | 2001-06-30 | 2003-07-12 | 주식회사 하이닉스반도체 | 이미지 센서의 칼라 보간 장치 |
KR100421348B1 (ko) * | 1999-10-19 | 2004-03-06 | 마츠시타 덴끼 산교 가부시키가이샤 | 컬러 촬상 장치 |
US6876763B2 (en) | 2000-02-03 | 2005-04-05 | Alst Technical Excellence Center | Image resolution improvement using a color mosaic sensor |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7466358B1 (en) * | 1999-11-22 | 2008-12-16 | Panasonic Corporation | Solid-state imaging device for enlargement of dynamic range |
US7339709B2 (en) * | 2003-03-04 | 2008-03-04 | Kabushiki Kaisha Toshiba | Method and apparatus for forming image |
KR100694481B1 (ko) * | 2005-04-26 | 2007-03-12 | 매그나칩 반도체 유한회사 | 카메라 시스템 |
JP4730082B2 (ja) * | 2005-12-22 | 2011-07-20 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
JP5574615B2 (ja) * | 2009-04-20 | 2014-08-20 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
TWI389576B (zh) * | 2009-07-02 | 2013-03-11 | Mstar Semiconductor Inc | 影像處理裝置以及影像處理方法 |
JP2011041210A (ja) * | 2009-08-18 | 2011-02-24 | Sony Corp | 信号処理装置、撮像装置及び信号処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5187747A (en) * | 1986-01-07 | 1993-02-16 | Capello Richard D | Method and apparatus for contextual data enhancement |
US6434266B1 (en) * | 1993-12-17 | 2002-08-13 | Canon Kabushiki Kaisha | Image processing method and apparatus for converting colors in a color image |
JP3392564B2 (ja) * | 1995-02-27 | 2003-03-31 | 三洋電機株式会社 | 単板式カラービデオカメラ |
JP3649841B2 (ja) * | 1997-02-20 | 2005-05-18 | 三洋電機株式会社 | 単板式カラーカメラ |
-
1998
- 1998-03-10 JP JP05839498A patent/JP3609606B2/ja not_active Expired - Fee Related
-
1999
- 1999-03-05 US US09/263,597 patent/US6822680B1/en not_active Expired - Fee Related
- 1999-03-09 KR KR1019990007822A patent/KR100552016B1/ko not_active IP Right Cessation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100421348B1 (ko) * | 1999-10-19 | 2004-03-06 | 마츠시타 덴끼 산교 가부시키가이샤 | 컬러 촬상 장치 |
US6876763B2 (en) | 2000-02-03 | 2005-04-05 | Alst Technical Excellence Center | Image resolution improvement using a color mosaic sensor |
KR100390847B1 (ko) * | 2001-06-30 | 2003-07-12 | 주식회사 하이닉스반도체 | 이미지 센서의 칼라 보간 장치 |
Also Published As
Publication number | Publication date |
---|---|
US6822680B1 (en) | 2004-11-23 |
KR100552016B1 (ko) | 2006-02-14 |
KR19990077724A (ko) | 1999-10-25 |
JP3609606B2 (ja) | 2005-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100430741B1 (ko) | 주위화소로부터의3원색색신호의보간에의해화소간의색신호성분을생성하는단판식비디오카메라 | |
JP3649841B2 (ja) | 単板式カラーカメラ | |
JP3735867B2 (ja) | 輝度信号生成装置 | |
JP4600315B2 (ja) | カメラ装置の制御方法及びこれを用いたカメラ装置 | |
JP2005012692A (ja) | 画像信号処理装置 | |
JP3609606B2 (ja) | 単板式カラーカメラ | |
JP3755921B2 (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
KR100447916B1 (ko) | 고해상도이며의사색의발생을억제할수있는단판식컬러카메라 | |
WO2013100093A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
WO2013100097A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JPS5875393A (ja) | 単板カラ−撮像装置 | |
JP3459538B2 (ja) | 単板式カラーカメラの色信号処理回路 | |
JP2539592B2 (ja) | 撮像用カメラ | |
JP2004350319A (ja) | 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 | |
JP2635545B2 (ja) | 固体撮像装置 | |
JP3408169B2 (ja) | 画像データの処理方法及び画像データ処理装置 | |
JP2940820B2 (ja) | 単板式カラーカメラおよび色信号の分離方法 | |
JPH11168737A (ja) | 撮像装置における輝度信号処理回路 | |
JP2715163B2 (ja) | 撮像装置 | |
JP3515585B2 (ja) | 2板式撮像装置 | |
KR20120042631A (ko) | 촬상 장치, 신호 처리 방법, 및 프로그램 | |
JPH07107496A (ja) | 固体撮像装置 | |
JP2002010142A (ja) | 撮像装置 | |
JPH0870466A (ja) | 輪郭補正装置 | |
JPS6351633B2 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041014 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071022 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |