JP4128538B2 - 画素信号処理方法及び装置 - Google Patents
画素信号処理方法及び装置 Download PDFInfo
- Publication number
- JP4128538B2 JP4128538B2 JP2004018248A JP2004018248A JP4128538B2 JP 4128538 B2 JP4128538 B2 JP 4128538B2 JP 2004018248 A JP2004018248 A JP 2004018248A JP 2004018248 A JP2004018248 A JP 2004018248A JP 4128538 B2 JP4128538 B2 JP 4128538B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color component
- value
- interpolation
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims description 94
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims 2
- 239000003086 colorant Substances 0.000 description 10
- 230000007423 decrease Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
2次元平面上に配列され、各々が第1乃至第N(Nは2以上の整数)の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第J(Jは1からNのうちのいずれか一つ)の色成分値を有する注目画素の位置における第K(KはJを除く1からNのうちのいずれか一つ)の色成分値を表す画素信号を補間により生成する画素信号処理方法において、
注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別するステップと、
上記変化の態様を判別するステップでの判別結果に応じて、
上記補間を第1の補間方法で行って第1の補間値を生成する第1の補間演算ステップ又は上記補間を上記第1の補間方法とは異なる第2の補間方法で行って第2の補間値を生成する第2の補間演算ステップのいずれか一方を実行する補間演算ステップと
を備え、
上記第1の補間演算ステップ及び第2の補間演算ステップは、上記注目画素の上記第Jの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行うことを特徴とする
画素信号処理方法を提供する。
図1は、この発明の実施の形態1の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。レンズ1から入射した光は、2次元撮像素子2に結像する。2次元撮像素子2は、2次元的に配列された複数の光電変換素子を有し、この複数の光電変換素子は、例えば図2に示すように、ベイヤ(Bayer)型に配置された、赤(R)、緑(G)、青(B)の3原色に対応する分光感度特性を有する色フィルタで覆われており、各光電変換素子からは、色フィルタの色に対応した色成分のアナログ信号が出力される。
図示のように、補間処理回路4は、フレームメモリ11と、読出し制御回路16と、プロセッサ35と、メモリ36とを有する。プロセッサ35は、図2に示されるベイヤ配列型の画像データの各画素に対する不足色成分値の補間処理のため、図4、図5、図6のフローチャートに示すように動作する。プロセッサ35で計算された不足色成分値(補間値)はメモリ36に書き込まれる。
(P1) R画素及びB画素の位置におけるG成分値を求める処理、
(P2) G画素の位置におけるR成分値及びB成分値を求める処理、
(P3) R画素の位置におけるB成分値を求める処理、及び
(P4) B画素の位置におけるR成分値を求める処理
が含まれ、例えば上に記載の順で行われる。
なお、上記のように、ある色成分を有する画素とその画素の色成分値を同じ符号で表すことがある。
dV=|G34−G54|
dH=|G43−G45|
例えば細かい横縞の画像のように画像中に水平方向の相関が強い場合はdH<dVとなり、細かい縦縞の画像のように垂直方向の相関が強い場合はdV<dHとなる。
ステップST13aでは、注目画素の近傍の領域内に位置し、注目画素を中心として水平方向(上記相関判別ステップST12で相関が強いと判定された方向)に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判定する。即ち、画素位置との関係で、画素の色成分値が単調に変化(増加又は減少)しているかどうかを判定する。
これは例えば以下のようにして行われる。即ち、注目画素R44、及び注目画素R44に対して水平方向(相関が強いと判定された方向)に整列し、注目画素に近接し(例えば2画素分離れた位置の)、注目画素を中心として互いに反対側に位置する画素R24、R64のR成分値R44、R24、R64の大小関係が調べられる。即ち、R成分値R24、R44、R64が以下の条件1、2のいずれかを満たすかどうかの判定が行われる。
条件2:R24>R44かつR64>R44
G44=(G34+G54)/2
ステップST13bでは、注目画素の近傍の領域内に位置し、注目画素を中心として垂直方向(上記相関判別ステップST12で相関が強いと判定された方向)に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかの判定が行われる。
そのため、例えばR画素R42、R44、R46のR成分値R42、R44、R46の大小関係が調べられる。そして、その結果によりステップST14bもしくはステップST15b以下の処理のどちらか一方が行われる。即ち、R成分値R42、R44、R46が以下の条件1、2のいずれかを満たすときはステップST14bの処理が、そうでないときはステップST15b以下の処理が行われる。
条件2:R42>R44かつR46>R44
G44=(G43+G45)/2
以上の補間処理がすべてのR画素の位置におけるG成分値に対して行われる。
ベイヤ配列においては、G画素を中心にした場合、R、G、B各画素の配置は図8に示されるように、注目画素が奇数行にある場合(a)と、偶数行にある場合(b)とで異なり、RとBが入れ替わった配置となっている。まず、奇数行におけるG画素の位置におけるR成分値及びB成分値の補間を、図5及び図9を参照して説明する。
そのため、例えばG画素G24、G44、G64のG成分値G24、G44、G64の大小関係が調べられる。そして、その結果によりステップST23もしくはステップST24以下の処理のどちらか一方が行われる。即ち、G成分値G24、G44、G64が以下の条件1、2のいずれかを満たすときはステップST23の処理が、そうでないときはステップST24以下の処理が行われる。
条件2:G24>G44かつG64>G44
R44=(R34+R54)/2
そのため、例えば、G画素G42、G44、G46のG成分値G42、G44、G46の大小関係が調べられる。そして、その結果によりステップST23もしくはステップST24以下の処理のどちらか一方が行われる。即ち、G成分値G42、G44、G46が以下の条件1、2のいずれかを満たすときはステップST23の処理が、そうでないときはステップST24以下の処理が行われる。
条件2:G42>G44かつG46>G44
B44=(B43+B45)/2
図6はR画素の位置におけるB成分値の補間の際のプロセッサ35の動作を示すフローチャート、図10はR画素の位置におけるB成分値の補間を行う際に利用される画素とその色成分値を示す。図10におけるR画素R44が注目画素になる。
d(45)=|B53−B35|
d(−45)=|B55−B33|
このd(45)、d(−45)の大小関係に応じて、ステップST33a以下の処理もしくはステップST33b以下の処理が行われる。即ち、d(45)<d(−45)のときは(45度の方向に相関が強いときは)ステップST33a以下の処理が、それ以外のときは(−45度の方向に相関が強いときは)ステップST33b以下の処理が行われる。なお、d(45)、d(−45)を求める式は上記のものに限定されない。
ステップST33aでは、注目画素の近傍の領域内に位置し、注目画素を中心として45度の方向(上記相関判別ステップST32で相関が強いと判定された方向)に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかを判定する。
そのため、例えばR画素R62、R44、R26のR成分値R62、R44、R26の大小関係が調べられる。そして、その結果によりステップST34aもしくはステップST35a以下の処理が行われる。即ち、R62、R44、R26が以下の条件1、2のいずれかを満たすときはステップST34aの処理が、そうでないときはステップST35a以下の処理が行われる。
条件2:R62>R44かつR26>R44
B44=(B53+B35)/2
まず、ステップST33bでは、ステップ33aと同様に、注目画素の近傍の領域内に位置し、注目画素を中心として−45度の方向(上記相関判別ステップST32で相関が強いと判定された方向)に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかの判定が行われる。
そのため、例えばR画素R22、R44、R66のR成分値R22、R44、R66の大小関係が調べられる。そして、その結果によりステップST34bもしくはステップST35b以下の処理のどちらか一方が行われる。即ち、R成分値R22、R44、R66が以下の条件1、2のいずれかを満たすときはステップST34bの処理が、そうでないときはステップST35b以下の処理が行われる。
条件2:R22>R44かつR66>R44
B44=(B33+B55)/2
最初に変化の態様についての判定について述べる。
そこで、図11(a)、(b)の場合、即ち、条件1、条件2のいずれかが満たされるときは、ステップST14aによる相似関係を仮定した補間処理を行い、図11(c)、(d)の場合、即ち条件1、条件2のいずれも満たされないときは、ステップST15a以下の処理、特に単調変化を仮定した補間処理(ST17a)を行うこととしている。但し、変化分が極めて小さい場合には、単調変化を仮定した補間処理(ST17a)の代わりに線形補間(ST18a)を行っている。
これにより、変化の態様に応じて最適な補間処理を選択して実行することができる。
前者は、例えば次第に明るさが変化している場合であり、後者は、例えば一つの色から別の色になめらかに切り替わっている場合である。
単調変化を仮定した補間処理では、上記のように、既知色の色成分値と不足色の色成分値が同じように且つ同じ向きに単調に変化するか、同じように且つ逆向きに単調に変化すると仮定し、以下の関係が満たされるように、注目画素位置における、不足色の色成分値y0を定める。
(y0−y1)/(x0−x1)=(y1−y2)/(x1−x2)
この式を変形すると、
x0、y0は上記のように、注目画素位置における既知色の色成分値、不足色の色成分値であり、例えば、注目画素R44におけるG成分値を求める場合(式(3)の場合)、R44がx0となり、G44がy0となる。
即ち、図13に示す、既知色の色成分値をx成分、不足色の色成分値y成分とする2次元平面内で、(x1,y1)、(x2,y2)を通る直線の傾きは、
(y1−y2)/(x1−x2)
であり、xのx1からx0への変化に伴うyの増分Δy(=y0−y1)は、
Δy0={(y1−y2)/(x1−x2)}×(x0−x1)
であり、またこの直線は(x1,y1)を通るので、Δy0にy1を加算した値が、y0となる。即ち、y0を与える式は、上記の式(1)の通りとなる。このように、単調変化を仮定した補間処理は、xy座標面内において、(x1,y1)、(x2,y2)を通る直線上に補間値があるとの推測に基づく補間であり、「直線にのせる補間」と呼ぶこともできる。
G1、G2は画素G34、G54のG成分値をそれらの平均値で置き換えた点であり、G0は画素R44上に補間されるG成分値を表した点である。
図14から、二つの色の色成分値が同じように変化する場合には、相似関係を仮定した補間処理により満足できる結果が得られることが分る。
図15及び図16において、横軸は画素がGRGRと並ぶ方向(例えば奇数行)での各画素の位置を表し、縦軸は各画素の色成分値を表し、■はG画素の色成分値を表し、◆はR画素の色成分値を表し、○は単調変化を仮定した補間処理による結果を表し、△は相似関係を仮定した補間処理による結果を表し、各数値は各々の色成分値を表す。
次に、実施の形態1で説明した補間処理をハードウエアで実現した例を説明する。
この実施の形態2で用いられる補間処理回路4の構成は図17に示すごとくであり、図3と同様のフレームメモリ11と、読み出し制御回路16、メモリ36のほか、図3のプロセッサ35の代わりに、相関判別回路12、第1の補間演算回路13、第2の補間演算回路14、及び選択回路15を備えている。
相関判別回路12は、フレームメモリ11からの出力OUT11をもとに画像における相関の強い方向を判別し、その判別結果は、補間演算回路13、補間演算回路14及び選択回路15に供給される。
補間演算回路14は、フレームメモリ11からの出力OUT11、相関判別回路12の判別結果に基づき、後述の補間(単調変化を仮定した補間又は線形補間)を行って補間結果OUT14を出力する。
dH=|G43−G45|
dH<dVであるときは、水平方向の相関が強いと判断し、そうでないときは、垂直方向の相関が強いと判断する。
このdV、dHの大小関係により、補間演算回路13、補間演算回路14、選択回路15の動作が変わる。
まず、dH<dVであるときの補間演算回路13、補間演算回路14、選択回路15の動作について述べる。
OUT14=(G34+G54)/2
条件2:R24>R44かつR64>R44
条件2:R42>R44かつR46>R44
OUT14=(R34+R54)/2
条件2:G24>G44かつG64>G44
次に奇数行のG画素の位置におけるB成分値の補間処理について説明する。
条件2:G42>G44かつG46>G44
以上が奇数行のG画素の位置におけるB成分値の補間処理である。
以上は奇数行のG画素の位置におけるR成分値、B成分値の補間処理であるが、偶数行のG画素の位置におけるR成分値、B成分値の補間処理もRとBが入れ替わる以外は同様に行われる。
図10に示された、注目画素R44の近傍の領域内に位置する複数の画素の色成分値がフレームメモリ4から読み出され、OUT11として出力される。即ち注目画素R44と、注目画素に対し、右斜め上から左斜め下の方向(45度の方向)に整列したR画素R62、R26、左斜め上から右斜め下の方向(−45度の方向)に整列したR画素R22、R66、のR成分値R44、R62、R26、R22、R66と、注目画素に対し、右斜め上から左斜め下の方向(45度の方向)に整列したB画素B71、B53、B35、B17、左斜め上から右斜め下の方向(−45度の方向)に整列したB画素B11、B33、B55、B77のB成分値B71、B53、B35、B17、B11、B33、B55、B77、が読み出される。
d(−45)=|B55−B33|
d(45)<d(−45)であるときは、右上がりの方向の相関が強いと判断し、そうでないときは、左上がりの方向の相関が強いと判断する。
このd(45)、d(−45)の大小関係により、補間演算回路13、補間演算回路14、選択回路15の動作が変わる。まず、d(45)<d(−45)であるときの補間演算回路13、補間演算回路14、選択回路15の動作について述べる。
OUT14=(B53+B35)/2
条件2:R62>R44かつR26>R44
OUT14=(B33+B55)/2
条件2:R22>R44かつR66>R44
以上がR画素の位置におけるB成分値の補間処理である。
B画素の位置におけるR成分値の補間処理はRとBが入れ替わる以外はR画素の位置におけるB成分値の補間処理と同様に行われる。
Claims (10)
- 2次元平面上に配列され、各々が第1乃至第N(Nは2以上の整数)の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第J(Jは1からNのうちのいずれか一つ)の色成分値を有する注目画素の位置における第K(KはJを除く1からNのうちのいずれか一つ)の色成分値を表す画素信号を補間により生成する画素信号処理方法において、
注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別するステップと、
上記変化の態様を判別するステップでの判別結果に応じて、
上記補間を第1の補間方法で行って第1の補間値を生成する第1の補間演算ステップ又は上記補間を上記第1の補間方法とは異なる第2の補間方法で行って第2の補間値を生成する第2の補間演算ステップのいずれか一方を実行する補間演算ステップとを備え、
上記第1の補間演算ステップ及び第2の補間演算ステップは、上記注目画素の上記第Jの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行い、
注目画素の近傍の領域内に位置する画素信号の相関の強い方向を判別する相関判別ステップをさらに有し、
上記変化の態様を判別するステップは、注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別し、
上記第1の補間演算ステップ及び第2の補間演算ステップは、上記注目画素の上記第Jの色成分値と、上記注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列する画素の色成分値とに基づいて上記補間を行い、
上記第1の補間演算ステップは、
画素の2次元平面上の配列を互いに直交するH軸及びV軸を含む2次元座標平面上に表し、色成分値を上記2次元平面に垂直なZ軸に表す三次元直交座標系において、
上記注目画素の周辺に位置し、上記相関判別ステップで相関が強いと判定された方向に整列した上記第Jの色成分を有する複数の画素のそれぞれの位置における、それらの画素の上記第Jの色成分の値の平均値と、上記注目画素の位置における該注目画素の色成分の値とで作る第1の多角形と、
上記注目画素の周辺に位置し、上記相関判別ステップで相関が強いと判定された方向に整列した上記第Kの色成分を有する複数の画素のそれぞれの位置における、それらの画素の上記第Kの色成分の平均値と、上記第1の補間演算ステップで補間により求められる上記注目画素の位置における上記第Kの色成分の値とで作る第2の多角形とが互いに相似になるように、
上記注目画素の位置における上記第Kの色成分の値を定め,
上記第2の補間演算ステップは、上記相関判別ステップで相関が強いと判定された方向に整列する画素のうち、上記第Jの色成分を有する画素の上記第Jの成分値をx成分とし、上記第Kの色成分を有する画素の上記第Kの成分値をもとに算出した値をy成分とする二つの2次元データ(x1,y1)、(x2,y2)、及び注目画素の上記第Jの色成分値x0を用いた以下の式(1)、
上記変化の態様を判別するステップは、注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色の色成分を有する画素及び注目画素の色成分値が、それぞれの画素の位置との関係で、単調に変化しているかどうかの判定を行い、単調に変化していると判定したときは、上記第2の補間演算ステップの出力を、それ以外のときは、上記第1の補間演算ステップの出力を選択して出力する
ことを特徴とする画素信号処理方法。 - 2次元平面上に配列され、各々が第1乃至第N(Nは2以上の整数)の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第J(Jは1からNのうちのいずれか一つ)の色成分値を有する注目画素の位置における第K(KはJを除く1からNのうちのいずれか一つ)の色成分値を表す画素信号を補間により生成する画素信号処理方法において、
注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別するステップと、
上記変化の態様を判別するステップでの判別結果に応じて、
上記補間を第1の補間方法で行って第1の補間値を生成する第1の補間演算ステップ又は上記補間を上記第1の補間方法とは異なる第2の補間方法で行って第2の補間値を生成する第2の補間演算ステップのいずれか一方を実行する補間演算ステップとを備え、
上記第1の補間演算ステップ及び第2の補間演算ステップは、上記注目画素の上記第Jの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行い、
注目画素の近傍の領域内に位置する画素信号の相関の強い方向を判別する相関判別ステップをさらに有し、
上記変化の態様を判別するステップは、注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別し、
上記第1の補間演算ステップ及び第2の補間演算ステップは、上記注目画素の上記第Jの色成分値と、上記注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列する画素の色成分値とに基づいて上記補間を行い、
上記第1の補間演算ステップは、
上記注目画素の周辺に位置し、上記相関判別ステップで相関が強いと判定された方向に整列した上記第Jの色成分を有する複数の画素の上記第Jの色成分の値の平均値と、上記注目画素の位置における上記第Jの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記2次元平面上における距離との比と、
上記注目画素の周辺に位置し、上記相関判別ステップで相関が強いと判定された方向に整列した上記第Kの色成分を有する複数の画素の上記第Kの色成分の値の平均値と、上記第2の補間演算ステップで補間により求められる上記注目画素の位置における上記第Kの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記2次元平面上における距離との比が互いに同じになるように、
上記注目画素の位置における上記第Kの色成分の値を定め、
上記第2の補間演算ステップは、上記相関判別ステップで相関が強いと判定された方向に整列する画素のうち、上記第Jの色成分を有する画素の上記第Jの成分値をx成分とし、上記第Kの色成分を有する画素の上記第Kの成分値をもとに算出した値をy成分とする二つの2次元データ(x1,y1)、(x2,y2)、及び注目画素の上記第Jの色成分値x0を用いた以下の式(1)、
上記変化の態様を判別するステップは、注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色の色成分を有する画素及び注目画素の色成分値が、それぞれの画素の位置との関係で、単調に変化しているかどうかの判定を行い、単調に変化していると判定したときは、上記第2の補間演算ステップの出力を、それ以外のときは、上記第1の補間演算ステップの出力を選択して出力する
ことを特徴とする画素信号処理方法。 - 上記第2の補間演算ステップは、
上記二つの2次元データのx成分x1、x2の差の絶対値がある閾値以下のとき、上記注目画素の近傍の領域内に位置する画素の、注目画素と同じ色の色成分値を用いた線形補間を行い、
上記二つの2次元データのx成分x1、x2の差の絶対値が上記閾値を超えるとき、上記式(1)を用いた補間を行う
ことを特徴とする請求項1又は2に記載の画素信号処理方法。 - 上記変化の態様を判別するステップは、注目画素の色成分値をx0で表し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する2つの画素が有する色成分値をx1、x2で表したとき、x0、x1、x2が以下の条件1及び2、即ち、
条件1:x0>x1かつx0>x2
条件2:x0<x1かつx0<x2
のいずれも満たさないときに上記色成分値が単調に変化していると判定する
ことを特徴とする請求項1又は2に記載の画素信号処理方法。 - 各々が第1乃至第Nの色成分のうちの一つを発生する第1乃至第N種類の光電変換素子が2次元平面上に配列された撮像素子の上記光電変換素子の各々から得られる信号を、上記画素信号の組の少なくとも一部として用いることを特徴とする請求項1又は2に記載の画素信号処理方法。
- 2次元平面上に配列され、各々が第1乃至第N(Nは2以上の整数)の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第J(Jは1からNのうちのいずれか一つ)の色成分値を有する注目画素の位置における第K(KはJを除く1からNのうちのいずれか一つ)の色成分値を表す画素信号を補間により生成する画素信号処理装置において、
上記補間を第1の補間方法で行って第1の補間値を生成する第1の補間演算手段と、
上記補間を上記第1の補間方法とは異なる第2の補間方法で行って第2の補間値を生成する第2の補間演算手段と、
注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様に応じて、上記第1の補間値と上記第2の補間値のいずれかを、選択して出力する選択手段とを備え、
上記第1の補間演算手段及び第2の補間演算手段は、上記注目画素の上記第Jの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行い、
注目画素の近傍の領域内に位置する画素信号の相関の強い方向を判別する相関判別手段と、
上記選択手段は、注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様に応じて、上記第1の補間値と上記第2の補間値のいずれかを、選択して出力し、
上記第1の補間演算手段及び第2の補間演算手段は、上記注目画素の上記第Jの色成分値と、上記注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列する画素の色成分値とに基づいて上記補間を行い、
上記第1の補間演算手段は、
画素の2次元平面上の配列を互いに直交するH軸及びV軸を含む2次元座標平面上に表し、色成分値を上記2次元平面に垂直なZ軸に表す三次元直交座標系において、
上記注目画素の周辺に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、上記第Jの色成分を有する複数の画素のそれぞれの位置における、それらの画素の上記第Jの色成分の値の平均値と、上記注目画素の位置における該注目画素の色成分の値とで作る第1の多角形と、
上記注目画素の周辺に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、上記第Kの色成分を有する複数の画素のそれぞれの位置における、それらの画素の上記第Kの色成分の平均値と、上記第1の補間演算手段で補間により求められる上記注目画素の位置における上記第Kの色成分の値とで作る第2の多角形とが互いに相似になるように、
上記注目画素の位置における上記第Kの色成分の値を定め、
上記第2の補間演算手段は、上記相関判定手段で相関が強いと判定された方向に整列する画素のうち、上記第Jの色成分を有する画素の上記第Jの色成分値をx成分とし、上記第Kの色成分を有する画素の上記第Kの色成分値をもとに算出した値をy成分とする二つの2次元データ(x1,y1)、(x2,y2)、及び注目画素の上記第Jの色成分値x0を用いた以下の式(1)、
上記選択手段は、注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、注目画素と同じ色の色成分を有する画素及び注目画素の色成分値が、それぞれの画素の位置との関係で、単調に変化しているかどうかの判定を行い、単調に変化していると判定したときは、上記第2の補間演算手段の出力を、それ以外のときは、上記第1の補間演算手段の出力を選択して出力する
ことを特徴とする画素信号処理装置。 - 2次元平面上に配列され、各々が第1乃至第N(Nは2以上の整数)の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第J(Jは1からNのうちのいずれか一つ)の色成分値を有する注目画素の位置における第K(KはJを除く1からNのうちのいずれか一つ)の色成分値を表す画素信号を補間により生成する画素信号処理装置において、
上記補間を第1の補間方法で行って第1の補間値を生成する第1の補間演算手段と、
上記補間を上記第1の補間方法とは異なる第2の補間方法で行って第2の補間値を生成する第2の補間演算手段と、
注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様に応じて、上記第1の補間値と上記第2の補間値のいずれかを、選択して出力する選択手段とを備え、
上記第1の補間演算手段及び第2の補間演算手段は、上記注目画素の上記第Jの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行い、
注目画素の近傍の領域内に位置する画素信号の相関の強い方向を判別する相関判別手段と、
上記選択手段は、注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様に応じて、上記第1の補間値と上記第2の補間値のいずれかを、選択して出力し、
上記第1の補間演算手段及び第2の補間演算手段は、上記注目画素の上記第Jの色成分値と、上記注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列する画素の色成分値とに基づいて上記補間を行い、
上記第1の補間演算手段は、
上記注目画素の周辺に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、上記第Jの色成分を有する複数の画素の上記第Jの色成分の値の平均値と、上記注目画素の位置における上記第Jの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記2次元平面上における距離との比と、
上記注目画素の周辺に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、上記第Kの色成分を有する複数の画素の上記第Kの色成分の値の平均値と、上記第2の補間演算手段で補間により求められる上記注目画素の位置における上記第Kの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記2次元平面上における距離との比が互いに同じになるように、
上記注目画素の位置における上記第Kの色成分の値を定め、
上記第2の補間演算手段は、上記相関判定手段で相関が強いと判定された方向に整列する画素のうち、上記第Jの色成分を有する画素の上記第Jの色成分値をx成分とし、上記第Kの色成分を有する画素の上記第Kの色成分値をもとに算出した値をy成分とする二つの2次元データ(x1,y1)、(x2,y2)、及び注目画素の上記第Jの色成分値x0を用いた以下の式(1)、
上記選択手段は、注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、注目画素と同じ色の色成分を有する画素及び注目画素の色成分値が、それぞれの画素の位置との関係で、単調に変化しているかどうかの判定を行い、単調に変化していると判定したときは、上記第2の補間演算手段の出力を、それ以外のときは、上記第1の補間演算手段の出力を選択して出力する
ことを特徴とする画素信号処理装置。 - 上記第2の補間演算手段は、
上記二つの2次元データのx成分x1、x2の差の絶対値がある閾値以下のとき、上記注目画素の近傍の領域内に位置する画素の、注目画素と同じ色の色成分値を用いた線形補間を行い、
上記二つの2次元データのx成分x1、x2の差の絶対値が上記閾値を超えるとき、上記式(1)を用いた補間を行う
ことを特徴とする請求項6又は7に記載の画素信号処理装置。 - 上記選択手段は、注目画素の色成分値をx0で表し、上記相関判定手段で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する2つの画素が有する色成分値をx1、x2で表したとき、x0、x1、x2が以下の条件1及び2、即ち、
条件1:x0>x1かつx0>x2
条件2:x0<x1かつx0<x2
のいずれも満たさないときに上記色成分値が単調に変化していると判定する
ことを特徴とする請求項6又は7に記載の画素信号処理装置。 - 各々が第1乃至第Nの色成分のうちの一つを発生する第1乃至第N種類の光電変換素子が2次元平面上に配列された撮像素子をさらに有し、上記光電変換素子の各々から得られる信号が上記画素信号の組の少なくとも一部として用いられることを特徴とする請求項6又は7に記載の画素信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004018248A JP4128538B2 (ja) | 2004-01-27 | 2004-01-27 | 画素信号処理方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004018248A JP4128538B2 (ja) | 2004-01-27 | 2004-01-27 | 画素信号処理方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005217478A JP2005217478A (ja) | 2005-08-11 |
JP4128538B2 true JP4128538B2 (ja) | 2008-07-30 |
Family
ID=34902818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004018248A Expired - Fee Related JP4128538B2 (ja) | 2004-01-27 | 2004-01-27 | 画素信号処理方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4128538B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3729842B1 (ja) | 2004-12-02 | 2005-12-21 | 三菱電機株式会社 | 画素信号処理装置及び方法 |
JP4708180B2 (ja) * | 2005-12-20 | 2011-06-22 | 三菱電機株式会社 | 画像処理装置 |
US8724895B2 (en) | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
JP5248368B2 (ja) * | 2009-03-06 | 2013-07-31 | 株式会社東芝 | 画像処理装置 |
JP2011041210A (ja) | 2009-08-18 | 2011-02-24 | Sony Corp | 信号処理装置、撮像装置及び信号処理方法 |
JP6056659B2 (ja) * | 2013-05-30 | 2017-01-11 | 株式会社Jvcケンウッド | 映像信号処理装置及び方法 |
-
2004
- 2004-01-27 JP JP2004018248A patent/JP4128538B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005217478A (ja) | 2005-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110365961B (zh) | 图像去马赛克装置及方法 | |
KR100755601B1 (ko) | 화소 신호 처리 장치 및 화소 신호 처리 방법 | |
JP5840008B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US7881539B2 (en) | Image processing apparatus and method, program recording medium, and program | |
KR20180118790A (ko) | 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치 | |
JP4935440B2 (ja) | 画像処理装置およびカメラ装置 | |
KR100768619B1 (ko) | 화소 신호 처리 장치 및 방법 | |
JP4128538B2 (ja) | 画素信号処理方法及び装置 | |
JP2018067190A (ja) | 画像処理装置、その制御方法、プログラムならびに記録媒体 | |
CN115004220B (zh) | 用于原始低光图像增强的神经网络 | |
JP4148927B2 (ja) | 画素信号処理方法及び装置 | |
JP2008053875A (ja) | 画像処理装置および方法、プログラム、並びにプログラム格納媒体 | |
JP4128536B2 (ja) | 画素信号処理装置及び方法 | |
KR20220112211A (ko) | 카테고리컬 맵들의 업샘플링에 대한 방법 및 시스템 | |
US20070126896A1 (en) | Pixel signal processing apparatus and pixel signal processing method | |
JP6435560B1 (ja) | 画像処理装置、画像処理方法、プログラム及び撮像装置 | |
JP6105960B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP5400655B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器 | |
JP4334496B2 (ja) | 画素信号処理装置、及び画素信号処理方法 | |
JP4326435B2 (ja) | 画像読取装置及び信号処理方法 | |
JP2009065283A (ja) | 画像ぶれ補正装置 | |
JP2009017583A (ja) | 画像処理装置 | |
JP2010066925A (ja) | 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム | |
JP2006115408A (ja) | 画素信号生成装置、撮像装置および画素信号生成方法 | |
JP2012175289A (ja) | 画像処理装置、及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080513 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080514 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |