JP4216973B2 - 信号処理装置 - Google Patents
信号処理装置 Download PDFInfo
- Publication number
- JP4216973B2 JP4216973B2 JP31872999A JP31872999A JP4216973B2 JP 4216973 B2 JP4216973 B2 JP 4216973B2 JP 31872999 A JP31872999 A JP 31872999A JP 31872999 A JP31872999 A JP 31872999A JP 4216973 B2 JP4216973 B2 JP 4216973B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency
- spectral sensitivity
- photoelectric conversion
- frequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000035945 sensitivity Effects 0.000 claims description 160
- 230000003595 spectral effect Effects 0.000 claims description 160
- 238000006243 chemical reaction Methods 0.000 claims description 106
- 238000000034 method Methods 0.000 claims description 33
- 239000006185 dispersion Substances 0.000 claims description 31
- 238000000354 decomposition reaction Methods 0.000 claims description 22
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 15
- 230000002194 synthesizing effect Effects 0.000 description 8
- 230000005484 gravity Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は信号処理装置に関するものである。
【0002】
【従来の技術】
信号処理装置に用いられる画像入力装置の一例として、例えば2次元配列CCDを用いた入力装置がある。又、色フィルターの2次元配列の1つとして例えばベイヤー配列がある。色フィルターがベイヤー配列を持つ2次元CCDから出力された画像データ中には、空間サンプリング周波数の低いレッド(以下Rで示す)、ブルー(以下Bで示す)の色信号と、空間サンプリング周波数が高く3色中輝度信号に最も近い信号であるグリーン(以下Gで示す)の輝度信号とがある。従って多くの場合に、入力信号を例えばウェーブレット変換により周波数分解した後、Gの輝度信号の高域情報に基づいてR、Bの色信号成分の高域情報を推定することが可能である。このような高域情報の推定を行った後で逆ウェーブレット変換を行うことにより、高域情報の回復された色信号が得られる。
【0003】
図11は上記したベイヤー配列をなす全画素配列を示す図である。図11においてR信号は輝度成分より色度成分を多く含み、所定領域における画素数が2番目に多い。また、G信号は輝度成分を最も多く含み、所定領域における画素数が1番多い。また、B信号は輝度成分より色度成分を多く含み、所定領域における画素数が2番目に多い。
【0004】
特開平09−284798号公報は、ベイヤー配列における欠落したG画素を補間した図12(A)に示すような2×2画素配列のブロックにおいて、局所的関数を基底関数(ここではHarr関数)としたウェーブレット変換による周波数域分解方法を開示している。Harr関数を用いているので垂直方向の局所的関数は図12(B)に示すようなLPF(ローパスフィルタ)とHPF(ハイパスフィルタ)とが適用され、水平方向の局所的関数は図12(C)に示すようなLPF(ローパスフィルタ)とHPF(ハイパスフィルタ)とが適用される。また、このときのウェーブレット変換においては例えば以下の演算式が用いられる。
【0005】
GLL={(GUL+GUR)+(GDL+GDR)}/4
GHL={(GUL−GUR)+(GDL−GDR)}/4
GLH={(GUL+GUR)−(GDL+GDR)}/4
GHH={(GUL−GUR)−(GDL−GDR)}/4
上記ウェーブレット変換により図12(D)に示すように、周波数分解されたG画素の4つの成分、GLL、GHL、GLH、GHHが得られる。
【0006】
【発明が解決しようとする課題】
しかしながら、上記した特開平09−284798号公報を含む従来技術は以下の問題点を有する。
【0007】
第一に、周波数域の分解において、周波数分解数をどのように決定するかについての具体的方法を開示していない。
【0008】
また、異なる画素数を持つ所定領域情報間で高周波成分の生成を行った場合には、局所領域の重心位置に違いによってデータの急激な変化部分に偽色が発生する。
【0009】
また、画像全体で相関係数、及び相似性算出を行ったときに、画像全体について高周波成分の存在する範囲が少ない場合は、高周波成分の生成が行われない。
【0010】
また、被写体にR又はBの高域情報よりも、Gの高域情報が少ない場合には、高域情報生成を用いた画素補間処理を行うと、推定に依らない補間手段を用いた場合と比較して高域情報が減少して画像の精細度が悪くなる。
【0011】
また、高域情報を正確に求めると、演算量が多く実処理時間が長くなってしまう。
【0012】
また、振幅の分散を用いた場合でも、演算量が多く実処理時間が長くなってしまう。
【0013】
また、被写体に高域情報が少ない場合には、高域情報の推定による補間と、高域情報の推定を行わない補間とで出力結果に大きな差が無く、高域情報推定のための補間の演算量が多く実処理時間が長くなってしまう。
【0014】
本発明は上記した課題に着目してなされたものであり、その目的とするところは、推定に用いる高域情報量に応じて周波数分解数を決定することにより、最小の演算時間となる少ない周波数分解数でそれ以上の分解数の場合とほぼ同等の画像が得られる信号処理装置を提供することにある。
【0015】
また、本発明の他の目的は、局所領域の重心位置の違いによる、データの急激な変化部分での偽色発生を抑圧可能な信号処理装置を提供することにある。
【0016】
また、本発明の他の目的は、高周波成分の推定が必要で有るにもかかわらず、高周波成分の生成が行われない場合が少なくなる信号処理装置を提供することにある。
【0017】
また、本発明の他の目的は、R又はBの高域情報よりも、Gの高域情報が少ない場合にも高域情報が減少せず、R又はBがもとから持つ画像の精細度が劣化せず、かつ、情報量が同等の場合にキュービックやリニア等の推定に依らない補間を行った場合には、同等の画像が少ない演算量で求まる信号処理装置を提供することにある。
【0018】
また、本発明の他の目的は、高域情報全てを比較する場合と比較して、ほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することにある。
【0019】
また、本発明の他の目的は、振幅の分散を用いた場合と比較してほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することにある。
【0020】
また、本発明の他の目的は、高周波推定による補間手段と、推定に依らない補間手段とによる出力結果に大きな差が無い場合には、少ない演算量で、信号処理を実現可能な信号処理装置を提供することにある。
【0021】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第1の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも1つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第1番目の分光感度特性をもつ光電変換単位領域の数が、第2番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第1番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第2番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第1番目と第2番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【0022】
また、本発明の第2の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも1つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第1番目の分光感度特性をもつ光電変換単位領域の数が、第2番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第1番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第2番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第1番目と第2番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【0023】
また、本発明の第3の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも1つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第1番目の分光感度特性をもつ光電変換単位領域の数が、第2番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第1番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第2番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第1番目の分光感度特性を持つ光電変換領域からの信号の振幅の分散を演算する分散演算手段と、得られた分散値と閾値とを比較する分散値比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【0024】
また、本発明の第4の態様に係る信号処理装置は、複数の分光感度特性を持つ画像入力手段を持ち、少なくとも1つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第1番目の分光感度特性をもつ光電変換単位領域の数が、第2番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第1番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第2番目以降の出力信号を出力する周波数合成手段と、上記周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第1番目の分光感度特性を持つ光電変換領域からの信号振幅の最大値と最小値の差を演算する演算手段と、この信号振幅の最大値と最小値の差と閾値とを比較する比較手段とを具備する高周波信号比較手段と、キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、を具備する。
【0031】
【発明の実施の形態】
以下に述べる本発明の各実施形態を実現するにあたって、ここでは、入力された信号を分光感度特性により周波数分解して、情報量が多い分光感度特性の高周波成分を、情報量が少ない他の分光感度特性の高周波成分の推定に用いることで高精細な信号を得る信号処理装置を用いる。このような信号処理装置は、画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第1番目の分光感度特性をもつ光電変換単位領域の数が、第2番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、この周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第1番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、この高周波成分信号生成手段から得られた第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第2番目以降の出力信号を出力する周波数合成手段とを備えている。上記した信号処理装置の構成は特開平09−284798号公報に開示されている。
【0032】
ここで、少なくとも1つの分光感度特性に関する信号の情報量が、他の分光感度特性より多い信号とはG信号であり、Gの輝度信号の高域情報を元に、他の分光感度特性に関する信号としてのR、Bの色信号成分の高域情報を推定することが可能である。また、上記周波数分解手段は、ウェーブレット変換などのように、分布が局所的な関数を基底関数として周波数分解を行う。また、上記周波数合成手段は、逆ウェーブレット変換のような、分布が局所的な関数を基底関数として周波数合成を行う。
【0033】
図1は上記した各手段を用いて信号処理を行うことによりRの色信号成分の高域情報を推定するまでの手順を説明するための図である。まず図1を用いて特開平09−284798号公報に記載の高域情報推定処理について説明する。ここではR信号とG信号に関してのみ説明するが、B信号とG信号に関しても同様である。図1の(a)、(b)は、上記画像入力手段により入力されたG信号G0LLとR信号R0LLとを示す。また、図1の(c)、(d)は、それぞれ上記周波数分解手段での周波数分解処理104により得られたG信号低周波成分G1LLと、G信号高周波成分G1HH、G1HL、G1LHを示す。また、(b’)は、G1LLと同一サイズのデータに変換されたR信号低周波成分R1LLを示す。
【0034】
次に上記相関係数算出手段による相関係数算出処理103により信号G1LLと信号R1LLとの間で相関係数εR,Gが算出される。ここでの相関係数εR,Gは同一画素位置にある信号G1LLと信号R1LLとの間で画素単位で算出される。得られた相関係数εR,Gは、G信号高周波成分G1HH、G1HL、G1LHとともに上記高周波成分信号生成手段へ転送される。ここで図1の(f)に示す高周波成分推定処理106により、上記相関係数εR,GとG信号高周波成分G1HH、G1HL、G1LHとが乗算されてR信号の高周波成分R1HH、R1HL、R1LHが生成される。次に上記周波数合成手段におけるウェーブレット逆変換処理により、R信号R1LLと、高周波成分R1HH、R1HL、R1LHとが周波数合成されて高精細なR信号R0LL(図1の(g))が得られる。
【0035】
本実施形態では上記した信号処理に加えて、重心合わせ処理100、周波数分解数の決定処理101、ブロック分解処理102、さらに、図2に示すような構成をもつ切り替え手段107により、キュービックやリニアーなどの高周波成分の推定に依らない補間処理105と、高周波成分推定処理106とを切り替える切り替え処理とを別個にあるいは適宜組み合わせて行うことを特徴とする。以下、これらの処理について詳細に説明する。
【0036】
(第1実施形態)
以下に本発明の第1実施形態を説明する。図3は本発明の第1実施形態において、ウェーブレット変換を用いた周波数分解における周波数分解数の決定方法を説明するための図である。第1実施形態では、上記周波数分解手段の分解数を、第1番目の分光感度特性を持つ光電変換単位領域の数(すなわち、光電変換領域の画素数)と、第2番目以降である他の分光感度特性を持つ光電変換単位領域の数との間の比率に応じて決定することを特徴とする。すなわち、分光感度特性の異なる光電変換単位領域の数の比率により周波数分解における周波数分解数を決定する。
【0037】
このことを具体例を用いて説明する。図3の(A)に示すようなベイヤー配列に従った全画素配列があったときに、高域情報を多く含む成分(図3の(B)に示すようなG輝度信号成分)の画素数は水平方向についてはk=8であり、垂直方向についてはj=4となり、高域情報を少なく含む成分(図3の(C)に示すようなR信号成分)の画素数は水平方向についてはn=4であり、垂直方向についてはm=2となっている。そこで本実施形態では、水平方向の周波数域分解数をk/n以上の整数の最小値(ここでは2)に設定し、垂直方向の周波数域分解数をj/m以上の整数の最小値(ここでは2)に設定するようにする。すなわち、ベイヤー配列の場合、水平垂直共にGの画素数が、R、Bの画素数の2倍存在することから、2周波数域とする。
【0038】
このように第1実施形態においては、ウェーブレット変換を行うにあたって、複数の周波数域を空間サンプリング周波数に応じて決定しており、空間サンプリング周波数の高い即ち高域情報を多く含むGの輝度信号データをウェーブレット変換して、水平垂直それぞれについて2以上の複数の周波数域に分解し、同様にR、Gの色信号データについても、水平垂直それぞれに2以上の複数の周波数域に分解している。これによって推定に用いる高域情報量に応じて周波数分解数が決定されることになり、最小の演算時間となる少ない周波数分解数でそれ以上(ここでは2倍以上)の分解数の場合とほぼ同等の画質の画像を得ることができる。また、周波数分解数が多くなるほど特定周波数により発生するモアレは改善される。
【0039】
(第2実施形態)
次に本発明の第2実施形態について説明する。本来ウェーブレット変換処理の対象は、本質的には連続な信号が対象となる。従って離散系を対象とした場合、相関を算出する部分で画素数が異なるとそれぞれ色データの重心が異なることから局所領域にずれが生じ、特定方向に偽色が発生する。そこで第2実施形態では、上記相関係数算出手段の2つの入力信号の所定領域における各分光感度特性の画素の重心を合わせるための画素補間手段を設け、ウェーブレット変換により周波数成分を分解する前に、この画素補間手段により、情報量の多い分光感度特性のデータ数と、情報量の少ない分光感度特性のデータ数を等しくする。すなわち、RとBの高域情報を推定するときに、それぞれ画素補間によりR、G、B全画素を同一画素数にした後にウェーブレット変換処理(低域相関→高域推定)を行うようにすれば、上記したような偽色の発生を抑圧することが可能である。
【0040】
上記のことを具体例を用いて説明する。図4の(A)に示すようなベイヤー配列に従った全画素配列があったときに、このようなベイヤー配列のG画素配列(輝度成分)は図4の(B)、R画素配列(色度成分)は図4の(C)、B画素配列(色度成分)は図4の(D)に示すようになる。図4の(B)において、補間前の最も左上部の2×2画素のG信号の重心は2×2画素の中心(黒丸の部分)となる。また、図4の(C)に示す最も左上部の2×2画素のR信号の重心及び、図4の(D)に示す最も左上部の2×2画素のB信号の重心は各画素の中心(黒丸の部分)となる。このため、水平及び垂直方向に0.5画素のずれが生じ、これが原因となって方向性のある偽色が発生する。
【0041】
そこで、画素補間により図4の(E)、(F)、(G)に示すようにR、G、B全画素が同一画素数になるようにすると、R、G、Bの各信号の重心はすべて2×2画素の中心となる。このようにして各色信号での重心の違いによる偽色の発生を防止することができる。
【0042】
(第3実施形態)
次に本発明の第3実施形態を説明する。第3実施形態では、図5の(A)に示すように1つの画像を複数のブロック(00ブロック〜mnブロック)に分解する画像分解手段を設け、この画像分解手段により分解されたブロック毎に相関係数及び相似性の算出を行って各色信号の高域情報を推定することを特徴とする。
【0043】
以下にこのことを具体的に説明する。図5の(C)は、処理前の1つの原画像を示している。2×2画素のブロック単位でその低周波成分と高周波成分とを図5の(B)のごとく規定すると、図5の(C)に示す画像では、最も右下部に高周波成分を含んでいることになる。このように画像の一部にしか高周波成分が含まれていない場合には、1つの画像を複数に分解した場合と分解しない場合とで以下の違いが発生する。
【0044】
すなわち、図5の(C)に示す画像を分解することなしに推定処理を施すと、全画像での相関係数(高周波成分と低周波成分との比)が低いため、すなわち、位置による周波数成分の違いが発生するために高周波成分の推定が適切に行われなくなって、高周波成分は図5の(D)に示すように処理後に減少してしまう。
【0045】
そこで図5の(E)に示すような1つの画像を複数ブロック(ここでは1ブロック=2×2画素ごと)に分解した上で推定処理を行うと、最も右下部のブロックでの相関係数(高周波成分と低周波成分との比)が高いため、すなわち、位置による周波数成分の違いが少なくなるために適切な高周波成分の推定が行われ、高周波成分は図5の(F)に示すように推定処理後でも減少しない。
【0046】
上記した第3実施形態によれば、1つの画像内で、高域情報量の部位依存がある場合でも、高域情報が少なくなることなしに高周波成分を推定することができる。
【0047】
(第4実施形態)
以下に本発明の第4実施形態を説明する。第4実施形態では、上記周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較する高周波信号比較手段と、キュービックやリニアーなどの高周波成分の推定に依らない補間手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段とを備えている。すなわち、高周波信号比較手段(高域情報比較手段)により各色信号の高域情報を比較し、R又はBの高域情報よりもGの高域情報が少ない場合には、ウェーブレット変換処理による高域情報の推定(高周波推定処理)に代わって、キュービックやリニアなどの高域情報生成を用いない補間処理に適応的に切り替えるようにする。
【0048】
図6はこのような高周波推定方法の切り替えのようすを示している。すなわち、相関係数(第2番目以降の分光感度特性の高域情報量と第1番目の分光感度特性の高域情報量との比、すなわち、RまたはBの高域情報量とGの高域情報量との比)が1になる点を境にして、相関が小さい左側(高周波成分の推定量<補間量)ではキュービックやリニアーなどの補間処理を行い、相関が大きい右側(高周波成分の推定量>補間量)では高周波推定処理を行うようにする。
【0049】
上記した第4実施形態によれば、R又はBの高域情報よりも、Gの高域情報が少ない場合に発生するアーティファクト(色境界が斜めの場合はギザギザノイズ)の発生を抑圧することができる。
【0050】
(第5実施形態)
以下に本発明の第5実施形態を説明する。第5実施形態では、上記高周波信号比較手段が第1番目と第2番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを備えていることを特徴とする。すなわち、各色信号の高域情報を比較する手段として、Gの振幅の分散とR、Bの振幅の分散の比較手段を用いるようにする。
【0051】
上記のことを具体例を用いて説明する。図7の(A)に示すようなベイヤー配列をなすn×m画素の全画素配列において、以下の分散に関する式
【0052】
【数1】
【0053】
を用いて各色R、G、Bごとに振幅の分散を求める。次に第2番目以降の分光感度特性の信号振幅の分散と第1番目の分光感度特性の信号振幅の分散(RまたはBの信号振幅の分散とGの信号振幅の分散の比)を求め、この比の値が1より大きいか否かで上記した高周波推定処理と補間処理とを切り替えるようにする(図7の(B))。
【0054】
上記第5実施形態によれば、Gが変化せずR、Bの少なくとも一方が変化する画像におけるアーティファクトの発生を抑圧可能である。高域情報全てを比較する場合よりも演算量が少なく、少ない処理時間で実現可能になる。
【0055】
(第6実施形態)
以下に本発明の第6実施形態を説明する。第6実施形態では、上記高周波信号比較手段が第1番目と第2番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを備えていることを特徴とする。すなわち、高域情報を比較する手段として、Gの最大値と最小値の差とR、Bの最大値と最小値の差とを比較する手段を用いる。
【0056】
より具体的には、第2番目以降の分光感度特性の|信号最大値−信号最小値|と、第1番目の分光感度特性の|信号最大値−信号最小値|との比(ここでは、|RまたはBの最大値−RまたはBの最小値|と、|Gの最大値−Gの最小値|との比を求め、この比の値が1よりも小さい場合には補間処理を行い、1よりも大きい場合には高周波推定処理を行うようにする(図8)。
【0057】
第6実施形態では上記した第5実施形態と比較して、1ブロック中の少ない領域だけに最大振幅が発生している場合には、1ブロック中の他の広い領域においてアーティファクトが発生してしまう欠点があるが、演算量が少なく、少ない処理時間で推定処理を実現可能となる。
【0058】
(第7実施形態)
以下に本発明の第7実施形態を説明する。第7実施形態では、上記高周波信号比較手段が第1番目の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られた分散値と閾値とを比較する分散値比較手段とを備えていることを特徴とする。すなわち、G信号の分散値を比較した結果、G信号の高域情報が閾値よりも低く、ウェーブレット変換による高域情報の推定を用いた場合と、キュービックやリニアなどの補間による場合とで画素補間結果に大きな違いがない場合には、高域情報生成を行わないキュービックやリニアなどの補間手段に適応的に切り替えるようにする。
【0059】
より具体的には、第2番目以降の分光感度特性の信号振幅の分散と第1番目の分光感度特性の信号振幅の分散(RまたはBの信号振幅の分散とGの信号振幅の分散の比)を求め、この比の値が閾値(例えば1.1あるいは1.2)よりも小さい場合には、上記した高周波推定処理の代わりにキュービックやリニアなどの補間処理に切り替えるようにする(図9)。
【0060】
上記した第7実施形態によれば、第5実施形態のように閾値を用いない場合よりも演算量が少なく、ほぼ同等の結果を得ることが可能である。
【0061】
(第8実施形態)
以下に本発明の第8実施形態を説明する。第8実施形態では、上記高周波信号比較手段が第1番目の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られた信号振幅の最大値と最小値の差と閾値とを比較する比較手段とを備えていることを特徴とする。G信号の高域情報が閾値よりも低くく、ウェーブレット変換による高域情報の推定を用いた場合と、キュービックやリニアなどの補間による場合とで画素補間結果に大きな違いがない場合には、高域情報生成をしないキュービックやリニアなどの補間手段に適応的に切り替えるようにする。
【0062】
より具体的には、第2番目以降の分光感度特性の|信号最大値−信号最小値|と、第1番目の分光感度特性の|信号最大値−信号最小値|との比(ここでは、|RまたはBの最大値−RまたはBの最小値|と、|Gの最大値−Gの最小値|との比を求め、この比の値が閾値(例えば1.1あるいは1.2)よりも小さい場合には、上記した高周波推定処理の代わりにキュービックやリニアなどの補間処理に切り替えるようにする(図10)。
【0063】
上記した第8実施形態によれば、第6実施形態のように閾値を用いない場合よりも演算量が少なく、ほぼ同等の結果を得ることが可能である。
【0064】
【発明の効果】
請求項1に記載の発明によれば、推定に用いる高域情報量に応じて周波数分解数を決定可能にしたので、最小の演算時間となる少ない周波数分解数でそれ以上の分解数の場合とほぼ同等の画像が得られる信号処理装置を提供することができる。
【0065】
また、請求項2に記載の発明によれば、局所領域の重心位置の違いによる、データの急激な変化部分での偽色発生を抑圧可能な信号処理装置を提供することができる。
【0066】
また、請求項3に記載の発明によれば、高周波成分の推定が必要で有るにもかかわらず、高周波成分の生成が行われない場合が少なくなる信号処理装置を提供することができる。
【0067】
また、請求項4に記載の発明によれば、少なくとも1つの分光感度特性に関する信号の情報量が他の分光感度特性より多い信号(例えばG信号)の高域情報が、他の分光感度特性に関する信号(例えばR又はB信号)よりも少ない場合であっても高域情報が減少せず、かつ、他の分光感度特性に関する信号(例えばR又はB信号)がもとから持つ画像の精細度が劣化せず、かつ、情報量が同等の場合にキュービックやリニア補間を行った場合には、同等の画像が少ない演算量で求まる信号処理装置を提供することができる。
【0068】
また、請求項5に記載の発明によれば、高域情報全てを比較する場合と比較して、ほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することができる。
【0069】
また、請求項6に記載の発明によれば、振幅の分散を用いた場合と比較してほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能な信号処理装置を提供することができる。
【0070】
また、請求項7または請求項8に記載の発明によれば、出力結果に大きな差が無い場合には、少ない演算量で、処理を実現可能な信号処理装置を提供することができる。
【0071】
また、請求項9または請求項10に記載の発明によれば、フーリエ変換等を用いて周波数分解するよりも少ない処理時間、回路規模で実現することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態の方法によりRの色信号成分の高域情報を推定するまでの手順を説明するための図である。
【図2】切り替え手段の構成を示す図である。
【図3】本発明の第1実施形態を具体的に説明するための図である。
【図4】本発明の第2実施形態を具体的に説明するための図である。
【図5】本発明の第3実施形態を具体的に説明するための図である。
【図6】本発明の第4実施形態を具体的に説明するための図である。
【図7】本発明の第5実施形態を具体的に説明するための図である。
【図8】本発明の第6実施形態を具体的に説明するための図である。
【図9】本発明の第7実施形態を具体的に説明するための図である。
【図10】本発明の第8実施形態を具体的に説明するための図である。
【図11】ベイヤー配列をなす全画素配列を示す図である。
【図12】G画素を補間した画素配列に対してウェーブレット変換により周波数分解を行う手順を説明するための図である。
【符号の説明】
100 重心合わせ処理
101 周波数分解数の決定処理
102 ブロック分解処理
103 相関係数算出処理
104 周波数分解処理
105 補間処理
106 高周波成分推定処理
107 切り替え手段
Claims (4)
- 複数の分光感度特性を持つ画像入力手段を持ち、少なくとも1つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第1番目の分光感度特性をもつ光電変換単位領域の数が、第2番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、
上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、
この周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、
この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第1番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第2番目以降の出力信号を出力する周波数合成手段と、
上記周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第1番目と第2番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを具備する高周波信号比較手段と、
キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、
上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、
を具備することを特徴とする信号処理装置。 - 複数の分光感度特性を持つ画像入力手段を持ち、少なくとも1つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第1番目の分光感度特性をもつ光電変換単位領域の数が、第2番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、
上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、
この周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、
この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第1番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第2番目以降の出力信号を出力する周波数合成手段と、
上記周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の高周 波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第1番目と第2番目以降の分光感度特性を持つ光電変換領域からの信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを具備する高周波信号比較手段と、
キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、
上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、
を具備することを特徴とする信号処理装置。 - 複数の分光感度特性を持つ画像入力手段を持ち、少なくとも1つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第1番目の分光感度特性をもつ光電変換単位領域の数が、第2番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、
上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、
この周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、
この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第1番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第2番目以降の出力信号を出力する周波数合成手段と、
上記周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第1番目の分光感度特性を持つ光電変換領域からの信号の振幅の分散を演算する分散演算手段と、得られた分散値と閾値とを比較する分散値比較手段とを具備する高周波信号比較手段と、
キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、
上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、
を具備することを特徴とする信号処理装置。 - 複数の分光感度特性を持つ画像入力手段を持ち、少なくとも1つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
画素配列がベイヤー配列をなし、上記複数の分光感度特性のうち、第1番目の分光感度特性をもつ光電変換単位領域の数が、第2番目以降である他の分光感度特性をもつ光電変換単位領域の数の複数倍存在する画像入力手段と、
上記画像入力手段の所定領域からの信号を、その周波数成分に応じて複数に分解する周波数分解手段と、
この周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の低周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号との間で、相関係数を算出する相関係数算出手段と、
この相関係数算出手段から得られた相関係数と、前記周波数分解手段から得られた第1番目の分光感度特性を持つ光電変換領域の高周波成分信号に基づいて、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量の少ない第2番目以降の分光感度特性を持つ光電変換領域の低周波成分信号とを合成して、高精細な第2番目以降の出力信号を出力する周波数合成手段と、
上記周波数分解手段から得られた、第1番目の分光感度特性を持つ光電変換領域の高周波成分信号と、情報量が少ない第2番目以降の分光感度特性を持つ光電変換領域の高周波成分信号とを比較するものであって、第1番目の分光感度特性を持つ光電変換領域からの信号振幅の最大値と最小値の差を演算する演算手段と、この信号振幅の最大値と最小値の差と閾値とを比較する比較手段とを具備する高周波信号比較手段と、
キュービックやリニアーなどの高周波信号成分の推定に依らない補間手段と、
上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段と上記周波数合成手段による高周波信号成分の推定処理と、キュービックやリニアーなどの補間処理とを適応的に切り替える高周波推定方法切り替え手段と、
を具備することを特徴とする信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31872999A JP4216973B2 (ja) | 1999-11-09 | 1999-11-09 | 信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31872999A JP4216973B2 (ja) | 1999-11-09 | 1999-11-09 | 信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001136542A JP2001136542A (ja) | 2001-05-18 |
JP4216973B2 true JP4216973B2 (ja) | 2009-01-28 |
Family
ID=18102307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31872999A Expired - Fee Related JP4216973B2 (ja) | 1999-11-09 | 1999-11-09 | 信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4216973B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4713794B2 (ja) * | 2001-09-18 | 2011-06-29 | オリンパス株式会社 | 信号処理装置 |
JP5035585B2 (ja) * | 2005-04-27 | 2012-09-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4728265B2 (ja) * | 2007-02-20 | 2011-07-20 | 富士通セミコンダクター株式会社 | ノイズ特性測定装置及びノイズ特性測定方法 |
JP5035646B2 (ja) * | 2010-07-20 | 2012-09-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5105215B2 (ja) * | 2011-07-25 | 2012-12-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
-
1999
- 1999-11-09 JP JP31872999A patent/JP4216973B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001136542A (ja) | 2001-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4657564B2 (ja) | 電子スチルカメラ及び画像処理方法 | |
Lukac et al. | Demosaicked image postprocessing using local color ratios | |
US7710476B2 (en) | Color filter array, imaging device, and image processing unit | |
US7986854B2 (en) | Method and apparatus for improving quality of composite video signal and method and apparatus for removing artifact of composite video signal | |
JP5677040B2 (ja) | 画像処理装置およびその制御方法 | |
JP3670754B2 (ja) | 信号処理装置 | |
US9824424B2 (en) | Image amplifying method, image amplifying device, and display apparatus | |
JP2010045751A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
KR101685885B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 | |
US20080124000A1 (en) | Imaging device | |
KR20080078606A (ko) | 단일화된 삼차원 비선형 필터링을 이용한 비디오 노이즈제거 장치 및 방법 | |
JP5822157B2 (ja) | ノイズ低減装置、ノイズ低減方法及びプログラム | |
JP3309941B2 (ja) | ノイズ検出回路、ノイズ除去回路及び輪郭強調回路 | |
JP2008072377A (ja) | 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 | |
JP5129685B2 (ja) | 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置 | |
US7679676B2 (en) | Spatial signal conversion | |
JP4216973B2 (ja) | 信号処理装置 | |
JP2001119705A (ja) | カラー撮像装置 | |
JP4658875B2 (ja) | 画像処理装置 | |
Sung et al. | Color filter array demosaicking by using subband synthesis scheme | |
JP3813362B2 (ja) | 画像処理装置及び画像処理方法 | |
EP1779655A1 (en) | A unit for and method of image conversion | |
JPS6142910B2 (ja) | ||
JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |