JP4334488B2 - 画素信号処理装置及び方法 - Google Patents
画素信号処理装置及び方法 Download PDFInfo
- Publication number
- JP4334488B2 JP4334488B2 JP2005037497A JP2005037497A JP4334488B2 JP 4334488 B2 JP4334488 B2 JP 4334488B2 JP 2005037497 A JP2005037497 A JP 2005037497A JP 2005037497 A JP2005037497 A JP 2005037497A JP 4334488 B2 JP4334488 B2 JP 4334488B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- value
- spectral sensitivity
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
このような画素信号処理装置は、二次元平面上に配列され、各々が複数の分光感度特性、例えば赤(R)、緑(G)、青(B)のうちのいずれか一つの分光感度特性、即ち色を有し、例えばベイヤ型に配列されたカラーフィルタで覆われた撮像素子(イメージセンサ)を備えるもので、カラー撮像装置の一部として用いられ、イメージセンサから出力された画素信号のうちの、各画素位置において欠落している色信号を補間するために用いられる。
2次元平面上に配列され、各々が第1乃至第Nの分光感度特性のうちのいずれか1つを有する画素の画素信号の組に基づき、第h(hは1からNのうちのいずれか一つ)の分光感度特性の画素信号が存在する注目画素位置における第k(kはhを除く1からNのうちのいずれか一つ)の分光感度特性の画素信号を生成する画素信号処理装置において、
前記注目画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて第1の閾値及び第2の閾値を算出するフィルタ閾値算出手段と、
前記注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分を出力するh信号非線形ローパスフィルターと、
前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分を出力するk信号非線形ローパスフィルターと、
前記k信号非線形ローパスフィルターと前記h信号非線形ローパスフィルターによって得られた値の差を、前記注目画素位置における前記第hの画素信号の値に加算して、前記注目画素位置における前記第kの画素信号を求める演算手段とを有し、
前記h信号非線形ローパスフィルターが、
前記注目画素位置の近傍の、前記第hの分光感度特性を有する第1の複数の画素(以下「第1の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置の前記第hの分光感度特性の画素信号の各々の信号値の差(以下「第1の差」と言う)の絶対値が前記第1の閾値よりも大きいかどうかの判定を行い、前記第1の差の絶対値が前記第1の閾値よりも大きいときは、前記注目画素位置の前記第hの分光感度特性の画素信号の信号値を選択し、前記第1の差の絶対値が前記第1の閾値よりも小さいときは前記第1の近傍画素の信号値を選択する第1の比較選択手段と、
前記第1の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第1の平均値演算手段とを有し、
前記平均値演算手段によって演算された結果を、注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分とし、
前記k信号非線形ローパスフィルターが、
前記注目画素位置の近傍の、前記第kの分光感度特性を有する第2の複数の画素(以下「第2の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置に隣接する複数の前記第kの分光感度特性の画素の信号の平均値との差(以下「第2の差」と言う)の絶対値が前記第2の閾値よりも大きいかどうかの判定を行い、前記第2の差の絶対値が前記第2の閾値よりも大きいときは、前記複数の第kの分光感度特性の画素の信号の前記平均値を選択し、前記第2の差の絶対値が前記第2の閾値よりも小さいときは前記第2の近傍画素の信号値を選択する第2の比較選択手段と、
前記第2の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第2の平均値演算手段とを有し、
前記平均値演算手段によって演算された結果を、前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分とする
ことを特徴とする画素信号処理装置を提供する。
また、本発明は、一般的に言えば、2次元平面上に配列され、各々が第1乃至第Nの分光感度特性のうちのいずれか1つを有する画素の画素信号の組に基づき、第h(hは1からNのうちのいずれか一つ)の分光感度特性の画素信号が存在する注目画素位置における第k(kはhを除く1からNのうちのいずれか一つ)の分光感度特性の画素信号を生成する画素信号処理装置及び方法に関するものであるが、以下の実施の形態では、Nが3であり、第1から第Nの分光感度特性を有する画素が、R、G、B画素の3種の画素である。
図1はこの発明の実施の形態1の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。
レンズ1から入射した光は、例えば固体撮像素子で構成される2次元イメージセンサ2の撮像面に結像する。イメージセンサ2は、2次元的に配列された複数の光電変換素子を有し、この複数の光電変換素子は、例えば図2に示すように、ベイヤ(Bayer)型に配置された、赤(R)、緑(G)、青(B)の3原色に対応する分光感度特性を有するカラーフィルタで覆われており、各光電変換素子からは、カラーフィルタの色に対応した色成分のアナログ信号が出力される。
図9には非線形ローパスフィルタ8gの構成全体を示す。図9に示す非線形フィルタ8gは、入力端子13と、出力端子14と、選択手段15及び16と、既知色フィルタ21と、未知色フィルタ31とを有する。入力端子13及び出力端子14は、それぞれ非線形フィルタ8gの入力端子及び出力端子を構成する。
未知色フィルタ31は、G信号が存在しない画素位置(例えば、図4の(i,j))の近傍におけるG信号の非線形フィルタリングを行うものであり、例えば図11に示されるように構成されている。
選択手段15及び16は、フィルタリングの対象がG信号が存在しない画素位置の近傍か、G信号が存在する画素位置の近傍かに応じて未知色フィルタ31及び既知色フィルタ21のいずれかを選択して非線形フィルタリングを行わせ、フィルタリングの結果を選択して出力する。選択手段16の出力が、図7に示す出力値となる。
なお、選択手段25cでは、G信号がG(i−1,j)であるので、「G信号とG(i−1,j)の差の絶対値が第1の閾値以上大きくない」という条件が常に満たされ、したがって常にG信号が選択されて出力される。したがって、比較手段24cと選択手段25cを省略し、ラッチ23bの出力を直接2ビットシフト器26cに入力しても良い。
その結果、出力端子14から図7に示す非線形フィルタ出力(GNF)が得られる。
無彩色部分では、例えば白から黒のように信号の変化が大きかったとしても、全ての色成分の信号が同様に変化するので、白色部分と黒色部分の信号を混ぜてローパスフィルタ値を求めても、後の演算手段10の説明部分で出てくる(kNF(i,j)−hNF(i,j))の結果は変わらないため、信号の変化の大きさに影響を受けない。
一方、有彩色部分の場合、例えば赤色から黄色に変化する場所付近で、注目画素に近い値を持つ画素の信号だけを用いた場合と、赤色部分(Rは高くGBは低い)と黄色部分(RGは高くBは低い)の信号を混ぜてしまった場合とでは、後の演算手段10の説明部分で出てくる(kNF(i,j)−hNF(i,j))の結果は大きく変わるため、信号の変化による影響を受けやすい。
そのため、彩度の高い部分では、閾値を小さくすることで、一つの色と別の色の境界部分などで、注目画素の色と別の色の画素の画素信号が用いられることが少なくなり、代わりに注目画素の画素信号が用いられることが多くなり、これにより、色が変化する部分において、注目画素の色と別の色の画素の画素信号の影響を受けないようにすることができる。一方、無彩色の場合には閾値を大きくすることで、より多くの近傍の画素の信号を用いてローパスフィルタ値を求めることができるため、無彩色部分での補間精度が向上する。
閾値sは、例えば、以下の式(2a)、(2b)のように設定される。
s=f(c)
c≧T1のときは f(c)=N1
c<T1かつc≧T2のときは f(c)=a×c+b
c<T2のときは f(c)=N2
…(2b)
ただし、
T1>T2
N1<N2
a=(N1−N2)/(T1−T2)
b=(T1×N2−T2×N1)/(T1−T2)
とする
c=|Gm−Rm|+|Gm−Bm| …(2c)
c=|Rm−Zm|+|Gm−Zm|+|Bm−Zm| …(2d)
上記の式(2c)、(2d)において、Rm、Gm、Bmは、それぞれ(i,j)の位置におけるR、G、Bの画素信号の平均値であり、Zmは(i,j)の位置におけるすべての画素の画素信号の平均値である。
G’=(G(i−1,j−2)+G(i−2,j−1)+G(i,j−1)+G(i−1,j))/4
B’=(B(i−2,j−2)+B(i,j−2)+B(i−2,j)+B(i,j))/4
c=|G’−R’|+|G’−B’|
…(3)
G’=(G(i,j−1)+G(i−1,j)+G(i+1,j)+G(i,j+1))/4
B’=B(i,j)
c=|G’−R’|+|G’−B’|
…(4)
G’={G(i−1,j−2)/4+G(i+1,j−2)/4+G(i,j−1)+G(i−1,j)/4+G(i+1,j)/4}/2
B’={B(i,j−2)+B(i,j)}/2
c=|G’−R’|+|G’−B’|
…(5)
G’={G(i−2,j−1)/4+G(i,j−1)/4+G(i−1,j)+G(i−2,j+1)/4+G(i,j+1)/4}/2
B’={B(i−2,j)+B(i,j)}/2
c=|G’−R’|+|G’−B’|
…(6)
Cr=|Y−RAve|
Cb=|Y−BAve|
c=Cr+Cb
…(7)
画素信号生成手段12rは、2次元メモリ6rから読み出された画素信号に基いて、各画素位置の画素信号R’を生成する。例えば、各画素位置においてRが受光色である場合、2次元メモリ6rから出力される、その画素位置の画素信号Rをそのまま画素信号R’として出力し、各画素位置においてRが不足色である場合、その画素位置の近傍の領域内の画素信号に基いて、平均、置き換えなどにより求めた値を有する画素信号を用いても良い。平均を用いる場合、例えば各画素位置からの水平、垂直方向の画素間距離が「1」である領域内の、同色の画素信号を有する画素の、画素信号の単純平均を求めてよい。ここで、「画素間距離」は、一つの画素と他の画素の水平方向、又は垂直方向の座標値の差を意味する。置き換えの場合には、水平方向又は垂直方向に座標値が「1」だけ異なる画素位置の画素信号の値を用いる。
画素信号生成手段12g、12bは画素信号生成手段12rと同様に構成されており、画素信号生成部12gは、2次元メモリ6gから読み出された画素信号に基いて、各画素位置の画素信号G’を生成し、画素信号生成部12bは、2次元メモリ6bから読み出された画素信号に基いて、各画素位置の画素信号B’を生成する。
閾値生成手段12eは、彩度計算手段12dで計算された彩度cを用いて、例えば式(2b)の関係を有する閾値sを出力する。彩度係数生成手段12eは例えばルックアップテーブルにより構成することができる。
演算手段10は、例えば図24に示すように、選択手段42k、42h、41と、差計算手段43と、加算手段44と、制御手段45とを有する。
選択手段41は、2次元メモリ6r、6g、6bのうちの一つを選択し、選択された2次元メモリ6r、6g、6bから読み出された画素信号を加算手段44に供給する。
選択手段42kはローパスフィルタ8r、8g、8bの出力RNF,GNF,BNFを受け、これらのうちの1つを選択して出力する。選択手段42hは、ローパスフィルタ8r、8g、8bの出力RNF,GNF,BNFを受け、これらのうちの1つを選択して出力する。
補間対象画素がR,G,Bのうちの第hの色の色成分値を有し、補間対象画素の第kの色の色成分値を補間により求めるときは、選択手段41が第hの色の色成分値を記憶している2次元メモリを選択し、補間対象画素の第hの色の色成分値(例えばh(i,j)で表される)を読み出し、選択手段42kが第kの色のローパスフィルタの出力kNFを選択し、選択手段42hが、第hの色のローパスフィルタの出力hNFを選択する。
加算手段44の出力が、補間対象画素の第kの色の色成分値(補間値)として用いられる。
また、非線形ローパスフィルタ8r、8g、8bと、選択手段42hとで、補間対象画素(注目画素)位置の近傍の領域内の複数の画素位置における、第hの分光感度特性の画素信号の低周波数成分を非線形ローパスフィルタリングの結果(hNF)として出力するh信号非線形ローパスフィルタが構成されている。
図示の例の補間値算出手段は、補間対称画素の位置における一つの色(第hの色)の画素信号hと、差計算手段43で求めた差(kNF−hNF)とを加算することにより、補間対象画素位置における他の色(第kの色)の画素信号kを求める。
図に示されているG信号は元々イメージセンサー2上にGの色フィルタが配置されているため、その色フィルタを介して得られる信号であり、空白の箇所は他のR,Bの色フィルタが配置されているため、Gの色信号が欠落した場所である。この欠落した場所におけるG信号を補間する必要がある。
補間のための従来の方法として、周辺の画素の平均値を用いる平均補間方式(バイリニア補間)があるが、信号の変化の大きい箇所では精度の高い補間が期待できない。
…(8)
ステップS1;R画素位置におけるG信号(GonR)を求めるための処理。
ステップS2;B画素位置におけるG信号(GonB)を求めるための処理。
ステップS3;G画素位置におけるR信号(RonG)を求めるための処理。
ステップS4;G画素位置におけるB信号(BonG)を求めるための処理。
ステップS5;B画素位置におけるR信号(RonB)を求めるための処理。
ステップS6;R画素位置におけるB信号(BonR)を求めるための処理。
これら6つの処理は、
「h色(h=R、G、又はB)の画素信号が存在する画素位置におけるk色(k=R、G、又はB、但しhはkとは異なる)の画素信号を求めるための処理」
と一般化して言うことができる。これらの6つの処理の各々は画面上(1フレーム内)のすべての画素位置について行われる。
ステップS1乃至S6の処理は、例えば、図示しない制御手段(図24の制御手段45はその一部として構成することもできる)により、フィルタ閾値算出手段12及び演算手段10を順次動作させることにより、実行される。
R画素の位置におけるG信号は式(8)に従い次式(9)によって算出される。なお、R画素は(i+n,j+m)(n、mは奇数)の位置に存在するため、これに伴い式(9)は式(8)とは座標値が異なるものとなる。
…(9)
…(10)
…(11)
R(i+n,j+v)=G(i+n,j+v)+(RNF(i+n,j+v)−GNF(i+n,j+v))
…(12)
…(13)
B(i+n,j+v)=G(i+n,j+v)+(BNF(i+n,j+v)−GNF(i+n,j+v))
…(8)
…(14)
その場合、図1に示すように、演算手段10にて算出したgr、gbを一度2次元メモリ6gへ出力し、一時的に記憶保持した後、再度非線形ローパスフィルタ8gにて算出することとなる。
…(15)
B(i+n,j+m)=G(i+n,j+m)+(BNF(i+n,j+m)−GNF(i+n,j+m))
…(16)
選択した注目画素とその周辺の画素の信号を用いて閾値sを算出する(ステップS11)。
選択した注目画素位置におけるG色のNF値とR色のNF値を算出し(ステップS12、S13)、その差に所定の定数rを乗じた値をNFの差とする(ステップS14)。
そして、注目画素位置におけるR色信号に、NFの差を加算してG色信号を算出する(ステップS15)。得られたG色信号の値は2次元メモリ6gへ出力する(ステップS1
6)。以上の処理をR信号が予め存在する全ての画素について繰り返し実行する(ステップS17)。
ステップS2〜S6の処理も、ステップS1と同様である。即ち、ステップS2〜S6の各々の手順は、図36のフローチャートの「R」と「G」を、注目画素の色(h)と補間により求めたい色(k)に置き換えたものとして示される。
ステップS10の処理は選択手段41における処理及び図示しない制御手段による処理に対応し、
ステップS11の処理は、フィルタ閾値算出手段12における処理に対応し、
ステップS12の処理は、非線形ローパスフィルタ8g及び選択手段42kにおける処理に対応し、
ステップS13の処理は、非線形ローパスフィルタ8r及び選択手段42hにおける処理に対応し、
ステップS14の処理は、差計算手段43における処理に対応し、
ステップS15の処理は、加算手段44における処理に対応し、
ステップS16の処理は、演算手段10から2次元メモリ6gへのデータ転送、書き込みに対応する。
ステップS17の処理、及び各ステップにおける各手段の制御は、制御手段(図24の制御手段45はその一部をなすが、その全体は図示されていない)によって行われる。
ステップS20の処理は、画素信号生成手段12r、12g、12bにおける処理に対応し、
ステップS21の処理は、彩度計算手段12dにおける処理に対応し、ステップS22〜S26の処理は、閾値生成手段12eにおける処理に対応する。
次に実施の形態2の画素信号処理装置を説明する。実施の形態2の画素信号処理装置を備えた撮像装置の全体的構成は、図1に示すごとくであるが、演算手段10の構成が実施の形態1とは異なる。図38は、実施の形態2の演算手段の構成を示す。図38に示された演算手段は、概して図24の演算手段と同様であるが、差計算手段43の代わりに比計算手段46を備え、加算手段44の代わりに、乗算手段47を備える点で異なる。
図示の例の補間値算出手段は、補間対称画素の位置における一つの色(第hの色)の画素信号hと、比計算手段46で求めた比(kNF/hNF)とを乗算することにより、補間対象画素位置における他の色の(第kの色)の画素信号kを求める。
…(17)
…(18)
…(19)
R画素の位置におけるG信号は式(17)に従い次式(20)によって算出される。なお、R画素は(i+n,j+m)(n、mは奇数)の位置に存在するため、これに伴い式(20)は式(17)とは座標値が異なるものとなる。
…(20)
…(21)
…(22)
R(i+n,j+v)=G(i+n,j+v)×(RNF(i+n,j+v)/GNF(i+n,j+v))
…(23)
…(24)
B(i+n,j+v)=G(i+n,j+v)×(BNF(i+n,j+v)/GNF(i+n,j+v))
…(25)
その場合、図1に示すように、演算手段10にて算出したgr、gbを一度2次元メモリ6gへ出力し、一時的に記憶保持した後、再度非線形ローパスフィルタ8gにて算出することとなる。
…(26)
…(27)
選択した注目画素とその周辺の画素の信号を用いて閾値sを算出する(ステップS31)。
選択した注目画素位置におけるG色のNF値とR色のNF値を算出し(ステップS32、S33)、その比に所定の定数rを乗じた値をNFの比とする(ステップS34)。
そして、注目画素位置におけるR色信号に、NFの比を加算してG色信号を算出する(ステップS35)。得られたG色信号の値は2次元メモリ6gへ出力する(ステップS1
6)。以上の処理をR信号が予め存在する全ての画素について繰り返し実行する(ステップS37)。
ステップS2〜S6の処理も、ステップS1と同様である。即ち、ステップS2〜S6の各々の手順は、図43のフローチャートの「R」と「G」を、注目画素の色(h)と補間により求めたい色(k)に、置き換えたものとして示される。
ステップS30の処理は選択手段41における処理及び図示しない制御手段による処理に対応し、
ステップS31の処理は、フィルタ閾値算出手段12における処理に対応し、
ステップS32の処理は、非線形ローパスフィルタ8g及び選択手段42kにおける処理に対応し、
ステップS33の処理は、非線形ローパスフィルタ8r及び選択手段42hにおける処理に対応し、
ステップS34の処理は、比計算手段46における処理に対応し、
ステップS45の処理は、乗算手段47における処理に対応し、
ステップS46の処理は、演算手段10から2次元メモリ6gへのデータ転送、書き込みに対応する。
ステップS47の処理、及び各ステップにおける各手段の制御は、制御手段(図34の制御手段45はその一部をなすが、その全体は図示されていない)によって行われる。
Claims (14)
- 2次元平面上に配列され、各々が第1乃至第Nの分光感度特性のうちのいずれか1つを有する画素の画素信号の組に基づき、第h(hは1からNのうちのいずれか一つ)の分光感度特性の画素信号が存在する注目画素位置における第k(kはhを除く1からNのうちのいずれか一つ)の分光感度特性の画素信号を生成する画素信号処理装置において、
前記注目画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて第1の閾値及び第2の閾値を算出するフィルタ閾値算出手段と、
前記注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分を出力するh信号非線形ローパスフィルターと、
前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分を出力するk信号非線形ローパスフィルターと、
前記k信号非線形ローパスフィルターと前記h信号非線形ローパスフィルターによって得られた値の差を、前記注目画素位置における前記第hの画素信号の値に加算して、前記注目画素位置における前記第kの画素信号を求める演算手段とを有し、
前記h信号非線形ローパスフィルターが、
前記注目画素位置の近傍の、前記第hの分光感度特性を有する第1の複数の画素(以下「第1の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置の前記第hの分光感度特性の画素信号の各々の信号値の差(以下「第1の差」と言う)の絶対値が前記第1の閾値よりも大きいかどうかの判定を行い、前記第1の差の絶対値が前記第1の閾値よりも大きいときは、前記注目画素位置の前記第hの分光感度特性の画素信号の信号値を選択し、前記第1の差の絶対値が前記第1の閾値よりも小さいときは前記第1の近傍画素の信号値を選択する第1の比較選択手段と、
前記第1の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第1の平均値演算手段とを有し、
前記平均値演算手段によって演算された結果を、注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分とし、
前記k信号非線形ローパスフィルターが、
前記注目画素位置の近傍の、前記第kの分光感度特性を有する第2の複数の画素(以下「第2の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置に隣接する複数の前記第kの分光感度特性の画素の信号の平均値との差(以下「第2の差」と言う)の絶対値が前記第2の閾値よりも大きいかどうかの判定を行い、前記第2の差の絶対値が前記第2の閾値よりも大きいときは、前記複数の第kの分光感度特性の画素の信号の前記平均値を選択し、前記第2の差の絶対値が前記第2の閾値よりも小さいときは前記第2の近傍画素の信号値を選択する第2の比較選択手段と、
前記第2の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第2の平均値演算手段とを有し、
前記平均値演算手段によって演算された結果を、前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分とする
ことを特徴とする画素信号処理装置。 - 2次元平面上に配列され、各々が第1乃至第Nの分光感度特性のうちのいずれか1つを有する画素の画素信号の組に基づき、第h(hは1からNのうちのいずれか一つ)の分光感度特性の画素信号が存在する注目画素位置における第k(kはhを除く1からNのうちのいずれか一つ)の分光感度特性の画素信号を生成する画素信号処理装置において、
前記注目画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて第1の閾値及び第2の閾値を算出するフィルタ閾値算出手段と、
前記注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分を出力するh信号非線形ローパスフィルターと、
前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分を出力するk信号非線形ローパスフィルターと、
前記k信号非線形ローパスフィルターと前記h信号非線形ローパスフィルターによって得られた値の比を、前記注目画素位置における前記第hの画素信号の値に乗じて、前記注目画素位置における前記第kの画素信号を求める演算手段とを有し、
前記h信号非線形ローパスフィルターが、
前記注目画素位置の近傍の、前記第hの分光感度特性を有する第1の複数の画素(以下「第1の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置の前記第hの分光感度特性の画素信号の各々の信号値の差(以下「第1の差」と言う)の絶対値が前記第1の閾値よりも大きいかどうかの判定を行い、前記第1の差の絶対値が前記第1の閾値よりも大きいときは、前記注目画素位置の前記第hの分光感度特性の画素信号の信号値を選択し、前記第1の差の絶対値が前記第1の閾値よりも小さいときは前記第1の近傍画素の信号値を選択する第1の比較選択手段と、
前記第1の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第1の平均値演算手段とを有し、
前記平均値演算手段によって演算された結果を、前記注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分とし、
前記k信号非線形ローパスフィルターが、
前記注目画素位置の近傍の、前記第kの分光感度特性を有する第2の複数の画素(以下「第2の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置に隣接する複数の前記第kの分光感度特性の画素の信号の平均値との差(以下「第2の差」と言う)の絶対値が前記第2の閾値よりも大きいかどうかの判定を行い、前記第2の差の絶対値が前記第2の閾値よりも大きいときは、前記複数の第kの分光感度特性の画素の信号の前記平均値を選択し、前記第2の差の絶対値が前記第2の閾値よりも小さいときは前記第2の近傍画素の信号値を選択する第2の比較選択手段と、
前記第2の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第2の平均値演算手段とを有し、
前記平均値演算手段によって演算された結果を、前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分とする
ことを特徴とする画素信号処理装置。 - 前記フィルタ閾値算出手段は、前記注目画素位置の近傍の領域内の複数の画素位置における画素信号の彩度が高い場合には、彩度が低い場合よりも、第1の閾値及び第2の閾値をより低く設定することを特徴とする請求項1又は2に記載の画素信号処理装置。
- 前記フィルタ閾値算出手段は、
前記注目画素位置の近傍の領域内の複数の画素位置における画素の信号から、第1及至第Nの分光感度特性毎にそれぞれの分光感度特性を有する画素の信号の平均値を算出し、異なる分光感度特性の画素信号の平均値の間の差の大きさから彩度を算出する
ことを特徴とする請求項1乃至3のいずれかに記載の画素信号処理装置。 - 前記フィルタ閾値算出手段は、
前記注目画素位置の近傍の領域内の複数の画素位置における画素の信号から、全画素信号の平均値、及び第1及至第Nの分光感度特性毎にそれぞれの分光感度特性を有する画素の信号の平均値を算出し、全画素信号の平均値と、第1及至第Nの分光感度特性の各々の画素の信号の平均値との差の大きさから彩度を算出する
ことを特徴とする請求項1乃至3のいずれかに記載の画素信号処理装置。 - 前記第1及び第2の平均値演算手段の各々が、前記第1の比較選択手段によって選択された複数の画素の信号値の平均値を算出するに当たり、前記複数の画素の各々の、前記注目画素からの距離が大きいほど小さな重み付け係数を用いた加重平均を求めることを特徴とする請求項1又は2に記載の画素信号処理装置。
- 前記第1から第Nの分光感度特性を有する画素が、R、G、B画素の3種の画素であることを特徴とする請求項1乃至6のいずれかに記載の画素信号処理装置。
- 2次元平面上に配列され、各々が第1乃至第Nの分光感度特性のうちのいずれか1つを有する画素の画素信号の組に基づき、第h(hは1からNのうちのいずれか一つ)の分光感度特性の画素信号が存在する注目画素位置における第k(kはhを除く1からNのうちのいずれか一つ)の分光感度特性の画素信号を生成する画素信号処理方法において、
前記注目画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて第1の閾値及び第2の閾値を算出するフィルタリング閾値算出ステップと、
前記注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分を出力するh信号非線形ローパスフィルタリングステップと、
前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分を出力するk信号非線形ローパスフィルタリングステップと、
前記k信号非線形ローパスフィルタリングステップと前記h信号非線形ローパスフィルタリングステップによって得られた値の差を、前記注目画素位置における前記第hの画素信号の値に加算して、前記注目画素位置における前記第kの画素信号を求める演算ステップとを有し、
前記h信号非線形ローパスフィルタリングステップが、
前記注目画素位置の近傍の、前記第hの分光感度特性を有する第1の複数の画素(以下「第1の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置の前記第hの分光感度特性の画素信号の各々の信号値の差(以下「第1の差」と言う)の絶対値が前記第1の閾値よりも大きいかどうかの判定を行い、前記第1の差の絶対値が前記第1の閾値よりも大きいときは、前記注目画素位置の前記第hの分光感度特性の画素信号の信号値を選択し、前記第1の差の絶対値が前記第1の閾値よりも小さいときは前記第1の近傍画素の信号値を選択する第1の比較選択ステップと、
前記第1の比較選択ステップによって選択された複数の画素の信号値の平均値を算出する第1の平均値演算ステップとを有し、
前記平均値演算ステップによって演算された結果を、前記注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分とし、
前記k信号非線形ローパスフィルタリングステップが、
前記注目画素位置の近傍の、前記第kの分光感度特性を有する第2の複数の画素(以下「第2の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置に隣接する複数の前記第kの分光感度特性の画素の信号の平均値との差(以下「第2の差」と言う)の絶対値が前記第2の閾値よりも大きいかどうかの判定を行い、前記第2の差の絶対値が前記第2の閾値よりも大きいときは、前記複数の第kの分光感度特性の画素の信号の前記平均値を選択し、前記第2の差の絶対値が前記第2の閾値よりも小さいときは前記第2の近傍画素の信号値を選択する第2の比較選択ステップと、
前記第2の比較選択ステップによって選択された複数の画素の信号値の平均値を算出する第2の平均値演算ステップとを有し、
前記平均値演算ステップによって演算された結果を、前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分とする
ことを特徴とする画素信号処理方法。 - 2次元平面上に配列され、各々が第1乃至第Nの分光感度特性のうちのいずれか1つを有する画素の画素信号の組に基づき、第h(hは1からNのうちのいずれか一つ)の分光感度特性の画素信号が存在する注目画素位置における第k(kはhを除く1からNのうちのいずれか一つ)の分光感度特性の画素信号を生成する画素信号処理方法において、
前記注目画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて第1の閾値及び第2の閾値を算出するフィルタリング閾値算出ステップと、
前記注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分を出力するh信号非線形ローパスフィルタリングステップと、
前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分を出力するk信号非線形ローパスフィルタリングステップと、
前記k信号非線形ローパスフィルタリングステップと前記h信号非線形ローパスフィルタリングステップによって得られた値の比を、前記注目画素位置における前記第hの画素信号の値に乗じて、前記注目画素位置における前記第kの画素信号を求める演算ステップとを有し、
前記h信号非線形ローパスフィルタリングステップが、
前記注目画素位置の近傍の、前記第hの分光感度特性を有する第1の複数の画素(以下「第1の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置の前記第hの分光感度特性の画素信号の各々の信号値の差(以下「第1の差」と言う)の絶対値が前記第1の閾値よりも大きいかどうかの判定を行い、前記第1の差の絶対値が前記第1の閾値よりも大きいときは、前記注目画素位置の前記第hの分光感度特性の画素信号の信号値を選択し、前記第1の差の絶対値が前記第1の閾値よりも小さいときは前記第1の近傍画素の信号値を選択する第1の比較選択ステップと、
前記第1の比較選択ステップによって選択された複数の画素の信号値の平均値を算出する第1の平均値演算ステップとを有し、
前記平均値演算ステップによって演算された結果を、前記注目画素位置における、前記第hの分光感度特性の画素信号の低周波数成分とし、
前記k信号非線形ローパスフィルタリングステップが、
前記注目画素位置の近傍の、前記第kの分光感度特性を有する第2の複数の画素(以下「第2の近傍画素」と言う)の各々について、その信号値と、前記注目画素位置に隣接する複数の前記第kの分光感度特性の画素の信号の平均値との差(以下「第2の差」と言う)の絶対値が前記第2の閾値よりも大きいかどうかの判定を行い、前記第2の差の絶対値が前記第2の閾値よりも大きいときは、前記複数の第kの分光感度特性の画素の信号の前記平均値を選択し、前記第2の差の絶対値が前記第2の閾値よりも小さいときは前記第2の近傍画素の信号値を選択する第2の比較選択ステップと、
前記第2の比較選択ステップによって選択された複数の画素の信号値の平均値を算出する第2の平均値演算ステップとを有し、
前記平均値演算ステップによって演算された結果を、前記注目画素位置における、前記第kの分光感度特性の画素信号の低周波数成分とする
ことを特徴とする画素信号処理方法。 - 前記フィルタリング閾値算出ステップは、前記注目画素位置の近傍の領域内の複数の画素位置における画素信号の彩度が高い場合には、彩度が低い場合よりも、第1の閾値及び第2の閾値をより低く設定することを特徴とする請求項8又は9に記載の画素信号処理方法。
- 前記フィルタリング閾値算出ステップは、
前記注目画素位置の近傍の領域内の複数の画素位置における画素の信号から、第1及至第Nの分光感度特性毎にそれぞれの分光感度特性を有する画素の信号の平均値を算出し、異なる分光感度特性の画素信号の平均値の間の差の大きさから彩度を算出する
ことを特徴とする請求項8乃至10のいずれかに記載の画素信号処理方法。 - 前記フィルタリング閾値算出ステップは、
前記注目画素位置の近傍の領域内の複数の画素位置における画素の信号から、全画素信号の平均値、及び第1及至第Nの分光感度特性毎にそれぞれの分光感度特性を有する画素の信号の平均値を算出し、全画素信号の平均値と、第1及至第Nの分光感度特性の各々の画素の信号の平均値との差の大きさから彩度を算出する
ことを特徴とする請求項8乃至10のいずれかに記載の画素信号処理方法。 - 前記第1及び第2の平均値演算ステップの各々が、前記第1の比較選択ステップによって選択された複数の画素の信号値の平均値を算出するに当たり、前記複数の画素の各々の、前記注目画素からの距離が大きいほど小さな重み付け係数を用いた加重平均を求めることを特徴とする請求項8又は9に記載の画素信号処理方法。
- 前記第1から第Nの分光感度特性を有する画素が、R、G、B画素の3種の画素であることを特徴とする請求項8乃至13のいずれかに記載の画素信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005037497A JP4334488B2 (ja) | 2005-02-15 | 2005-02-15 | 画素信号処理装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005037497A JP4334488B2 (ja) | 2005-02-15 | 2005-02-15 | 画素信号処理装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006229299A JP2006229299A (ja) | 2006-08-31 |
JP4334488B2 true JP4334488B2 (ja) | 2009-09-30 |
Family
ID=36990305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005037497A Expired - Fee Related JP4334488B2 (ja) | 2005-02-15 | 2005-02-15 | 画素信号処理装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4334488B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4596069B2 (ja) * | 2008-12-04 | 2010-12-08 | 株式会社ニコン | ノイズ除去フィルタ処理回路、画像処理回路、撮像装置及びノイズ除去プログラム |
WO2012117583A1 (ja) | 2011-02-28 | 2012-09-07 | 富士フイルム株式会社 | カラー撮像装置 |
-
2005
- 2005-02-15 JP JP2005037497A patent/JP4334488B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006229299A (ja) | 2006-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100755601B1 (ko) | 화소 신호 처리 장치 및 화소 신호 처리 방법 | |
US7551214B2 (en) | Pixel interpolation method | |
JP5486737B2 (ja) | 撮像装置及び信号量補正方法 | |
US6133953A (en) | Color camera having a single imaging element and capable of restricting unwanted false color signal | |
KR100768619B1 (ko) | 화소 신호 처리 장치 및 방법 | |
US8711268B2 (en) | Methods and apparatuses for anti-shading correction with extended color correlated temperature dependency | |
CN101494795B (zh) | 使用绿色光谱范围重叠的单位像素群的图像传感器及方法 | |
EP2106149A2 (en) | Image processing apparatus, image processing method, and program for attaining image processing | |
US9092881B2 (en) | Color interpolation apparatus | |
JP2004241991A (ja) | 撮像装置、画像処理装置及び画像処理プログラム | |
JP2014200008A (ja) | 画像処理装置および方法、並びにプログラム | |
JP4334488B2 (ja) | 画素信号処理装置及び方法 | |
JP4148927B2 (ja) | 画素信号処理方法及び装置 | |
JPWO2006059365A1 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
JP2014200000A (ja) | 画像処理装置および方法、並びにプログラム | |
EP1173029A2 (en) | Color image pickup device | |
JP4962293B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
KR100733010B1 (ko) | 이미지 센서의 결함픽셀 보간 방법 및 장치 | |
JP4334496B2 (ja) | 画素信号処理装置、及び画素信号処理方法 | |
JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
WO2015083502A1 (ja) | 画像処理装置、該方法および該プログラム | |
JP4708180B2 (ja) | 画像処理装置 | |
KR100996797B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 | |
JP5106221B2 (ja) | 撮像装置 | |
JP2009049533A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090623 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090623 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4334488 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |