JP4666786B2 - 画像補間装置 - Google Patents
画像補間装置 Download PDFInfo
- Publication number
- JP4666786B2 JP4666786B2 JP2001030656A JP2001030656A JP4666786B2 JP 4666786 B2 JP4666786 B2 JP 4666786B2 JP 2001030656 A JP2001030656 A JP 2001030656A JP 2001030656 A JP2001030656 A JP 2001030656A JP 4666786 B2 JP4666786 B2 JP 4666786B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- interpolation
- image
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラにおいて、カラー画像の画質を向上させるために設けられる画像補間装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、カラー画像を検出するために、ＣＣＤ等の撮像素子の前面にベイヤー配列のカラーフィルタを設けたものが知られている。このカラーフィルタは、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の各カラーフィルタ要素を市松模様に配列して構成され、これらのカラーフィルタ要素は撮像素子のフォトダイオードにそれぞれ対応している。したがってフォトダイオードにより、各カラーフィルタ要素に対応した色の画素信号が生成され、例えばＲのカラーフィルタ要素に対応したフォトダイオードによりＲの画素信号が生成される。
【０００３】
撮像素子から出力された画素信号をそのまま用いるよりも高画質のカラー画像を表示するため、画素信号に対して補間処理を施すことがある。通常の補間処理では、フォトダイオードによってＲ信号が得られた画素に対しては、その周囲に位置する画素のＧ信号の相加平均をとることによってＧ信号が生成され、また、その周囲に位置する画素のＢ信号の相加平均をとることによってＢ信号が生成される。ところが、例えば空間周波数の高い画像において、補間処理によって求めようとしている画素の実際の色とその周囲の画素の実際の色とが大きく異なることがあり、このような場合、補間処理により得られた画素の色信号の値によって、再生画像に色にじみが生じる。
【０００４】
【発明が解決しようとする課題】
したがって本発明は、補間処理によって再生画像に色にじみが生じることを減少させることを目的としている。
【０００５】
【課題を解決するための手段】
本発明に係る第１の画像補間装置は、カラーフィルタと撮像素子とパターン設定部とＧ補間処理手段とＲ／Ｂ補間処理手段と第１の補間/修正処理手段と第２の補間/修正処理手段を備えている。
カラーフィルタは、水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成される。
撮像素子は、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する。パターン設定手段は、撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出する。Ｇ補間処理手段は、第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求める。Ｒ／Ｂ補間処理手段は、第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求める。第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い第１の類似画素を抽出し、第１パターンに属する画像の各画素のＲ信号と第１の類似画素の色差信号Ｃｂ，Ｃｒに基づいて、Ｂ信号を補間により求めるとともに、Ｇ補間処理手段により求められたＧ信号を修正する。第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い第２の類似画素を抽出し、第４パターンに属する画像の各画素のＢ信号と第２の類似画素の色差信号Ｃｂ，Ｃｒに基づいて、Ｒ信号を補間により求めるとともに、Ｇ補間処理手段により求められたＧ信号を修正する。
【０００６】
Ｇ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。Ｒ／Ｂ補間処理手段において、隣接する画素は第１および第４パターンに属する画像に含まれる。第１の補間／修正処理手段および第２の補間／修正処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。
【０００７】
第１の補間/修正処理手段および第２の補間/修正処理手段は、好ましくは、隣接する画素におけるＧ信号の値を用いて、輝度値が最も近い類似画素を抽出する。類似画素の色合いが補間処理によって求めようとしている画素の色合いに近いと推定することにより、色にじみが減少する。
【０００８】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、色差信号Ｃｂ，Ｃｒが類似画素の色差信号Ｃｂ，Ｃｒにそれぞれ等しいと仮定してＢ信号を求めるとともにＧ信号を修正してもよい。同様に第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、色差信号Ｃｂ，Ｃｒが類似画素の色差信号Ｃｂ，Ｃｒにそれぞれ等しいと仮定してＲ信号を求めるとともにＧ信号を修正してもよい。
【０００９】
第１の補間／修正処理手段は、例えば下記式に従ってＢ信号を求めるとともにＧ信号を求める。これにより、さらに色にじみを減少させることが可能になる。
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
g'＝1.443×R(x,y)+0.443×Ｃｂ-2.737×Ｃｒ
ｂ＝1.293×R(x,y)+2.293×Ｃｂ-1.812×Ｃｒ
ただし、R(x',y')，G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、R(x,y)は第１パターンに属する画像の画素のＲ信号、ｂは第１の補間／修正処理手段により求められる第１パターンに属する画像の画素のＢ信号、g'は修正されたＧ信号である。
【００１０】
第２の補間／修正処理手段は、例えば下記式に従ってＲ信号を求める。
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ｒ＝0.773×B(x,y)-1.773×Ｃｂ+1.401×Ｃｒ
g'＝1.116×B(x,y)-2.116×Ｃｂ-0.715×Ｃｒ
ただし、R(x',y')，G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、B(x,y)は第４パターンに属する画像の画素のＢ信号、ｒは第２の補間／修正処理手段により求められる第４パターンに属する画像の画素のＲ信号、g'は修正されたＧ信号である。
【００１１】
第１の補間／修正処理手段は、隣接する画素におけるＧ信号およびＲ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。また、第２の補間／修正処理手段は、隣接する画素におけるＧ信号およびＢ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。
【００１２】
本発明に係る第２の画像補間装置は、マトリクス状に配置された各画素において、受光面に結像された被写体像に対応した色信号が生成される撮像素子と、対象画素の近傍に位置する複数の隣接画素の色信号を用いて補間処理を施すことにより、対象画素の色信号を求める補間処理手段と、対象画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、対象画素の色信号と類似画素の色差信号Ｃｂ、Ｃｒに基づいて、補間処理手段によって得られた対象画素の色信号を修正する修正処理手段とを備えたことを特徴としている。
【００１３】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１実施形態である画像補間装置を備えたデジタルカメラ１０の概略的な構成を示している。
【００１４】
撮影レンズ１１の後方には撮像素子であるＣＣＤ１２が配設され、ＣＣＤ１２の受光面にはカラーフィルタ１３が設けられている。すなわち撮影レンズ１１によって得られた被写体Ｓの光学像がＣＣＤ１２の受光面に結像され、ＣＣＤ１２のフォトダイオードには、被写体像を構成するカラーの画素信号が発生する。画素信号はＣＣＤ１２から読み出され、Ａ／Ｄ変換器１４においてデジタル信号に変換される。そして画素信号はホワイトバランス調整回路１５においてホワイトバランス調整を施され、画像メモリ１６に格納される。
【００１５】
画素信号は画像メモリ１６から読み出され、パターン設定部１７に入力される。パターン設定部１７では、後述するように、所定の配列パターンを構成する画素信号が全画素信号の中から抽出され、第１、第２、第３および第４パターンに分類される。補間処理部１８では、パターン設定部１７において抽出された画素信号がそのパターンに応じた補間処理を施される。補間処理部１８から出力された、補間後の画素信号はメモリカード等の記録媒体Ｄに記録される。なおホワイトバランス調整回路１５は、Ａ／Ｄ変換器１４の後段ではなく、補間処理部１８の後段に設けられてもよい。
【００１６】
図２はカラーフィルタ１３におけるカラーフィルタ要素の配列と、パターン設定部１７において抽出される、各パターンに属する画像の画素信号とを示している。カラーフィルタ１３は、ベイヤー配列に従って配置されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタ要素から構成される。すなわちカラーフィルタ１３は、水平方向にＲとＧのカラーフィルタ要素が交互に並ぶ第１の列１３ａと、この第１の列１３ａの上下側に隣接し、水平方向にＧとＢのカラーフィルタ要素が交互に並ぶ第２の列１３ｂとから構成され、ＣＣＤ１２では、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号が生成される。
【００１７】
カラーフィルタ１３は、左上にＲ、右上と左下にＧ、右下にＢのカラーフィルタ要素が配置された２×２の画素マトリクスＭ１に区画される。パターン設定部１７では、ＣＣＤ１２によって生成されるＲ，Ｇ，Ｂ信号から、画素マトリクスＭ１において左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像が抽出される。
【００１８】
パターン設定部１７において、第１パターンは、Ｃ言語で表わされた論理式（１）に従って、１つの画像を構成する全ての画素信号から抽出される。
！（ｘ％２） ＆＆ ！（ｙ％２） （１）
なお論理式（１）において、「ｘ」と「ｙ」は画像の左隅を原点とする横座標と縦座標をそれぞれ示す。すなわち、左隅のＲ信号の座標は(0,0)その右隣のＧ信号の座標は(1,0)である。また論理式（１）において、「！」は論理否定、「％」は剰余、「＆＆」は論理積を示す。したがって論理式（１）によれば、ｘ座標とｙ座標がともに偶数である画素信号（すなわちＲ信号）から成る画像が抽出される。
【００１９】
同様に、第２パターン、第３パターンおよび第４パターンは、論理式（２）、（３）
および（４）に従って抽出される。
（ｘ％２） ＆＆ ！（ｙ％２） （２）
！（ｘ％２） ＆＆ （ｙ％２） （３）
（ｘ％２） ＆＆ （ｙ％２） （４）
【００２０】
図３〜図９を参照して補間処理部１８における処理を説明する。図３は、画像メモリ１６に格納された、１つの画像を構成する画素の座標と色を示している。補間処理部１８では、後述するように、Ｇ補間処理ルーチン（図４）と、Ｒ／Ｂ補間処理ルーチン（図５）と、第１の補間／修正処理ルーチンと（図７、８）、第２の補間／修正処理ルーチン（図９）とが実行される。これらの処理ルーチンにおいて、補間によって画素データを求めようとしている対象画素の座標は(x,y)である。
【００２１】
図４はＧ補間処理ルーチンのフローチャートである。Ｇ補間処理ルーチンでは、第１および第４パターンに属する画像に関する補間処理が行われる。
【００２２】
ステップ１０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と右側に隣接する画素のＧ信号であるG(x+1,y)との差の絶対値が、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と下側に隣接する画素のＧ信号であるG(x,y+1)との差の絶対値よりも小さいか否かが判定される。対象画素の座標が(2,2)である場合（すなわち第１パターンの画像）を例にとって説明すると、対象画素はR(2,2)であり、ステップ１０１では|G(1,2)-G(3,2)|が|G(2,1)-G(2,3)|よりも小さいか否かが判定される。
【００２３】
なお対象画素が第１パターンに属する画像に含まれるとき、すなわちＲ信号であるとき、その左右に隣接する画素は第２パターンに属する画像に含まれ、またその上下に隣接する画素は第３パターンに含まれる。一方、対象画素が第４パターンに属する画像に含まれるとき、すなわちＢ信号であるとき、その左右に隣接する画素は第３パターンに属する画像に含まれ、またその上下に隣接する画素は第２パターンに含まれる。
【００２４】
ステップ１０１において、対象画素の左右に隣接する画素信号の差の絶対値の方が上下に隣接する画素信号の差の絶対値よりも小さいと判定されたとき、ステップ１０２が実行され、左右に隣接する画素信号であるG(x-1,y)とG(x+1,y)の相加平均が、対象画素のＧ信号ｇとして求められる。これに対して、対象画素の左右に隣接する画素信号の差の絶対値が上下に隣接する画素信号の差の絶対値よりも小さくないと判定されたとき、ステップ１０３において、上下に隣接する画素信号であるG(x,y-1)とG(x,y+1)の相加平均が、対象画素のＧ信号ｇとして求められる。ステップ１０２または１０３の実行により、Ｇ補間処理ルーチンは終了する。
【００２５】
このようにＧ補間処理ルーチンでは、第１および第４パターンに属する画像の各画素に関し、左右および上下に隣接する４つのＧ信号において、差の小さい方の組の２つのＧ信号の平均値が対象画素のＧ信号として求められる。第１および第４パターンに属する画像の全ての画素に対してＧ補間処理ルーチンが実行されると、１つの画像を構成する全画素におけるＧ信号が求められたことになる。
【００２６】
図５はＲ／Ｂ補間処理ルーチンのフローチャートである。Ｒ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像に関する補間処理が行われる。
【００２７】
ステップ２０１では対象画素が第２パターンに属する画像に含まれるか否かが判定される。対象画素が第２パターンに属する画像に含まれるとき、すなわち対象画素が画素マトリクスＭ１（図２）の右上のＧ信号であるとき、ステップ２０２が実行される。これに対して対象画素が第２パターンに含まれないとき、すなわち第３パターンに含まれ、画素マトリクスＭ１（図２）の左下のＧ信号であるとき、ステップ２０３が実行される。
【００２８】
ステップ２０２では、対象画素の左右に隣接する画素信号（第１パターンの画像）であるR(x-1,y)とR(x+1,y)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の上下に隣接する画素信号（第４パターンの画像）であるB(x,y-1)とB(x,y+1)の相加平均が対象画素のＢ信号ｂとして求められる。
【００２９】
ステップ２０３では、対象画素の上下に隣接する画素信号（第１パターンの画像）であるR(x,y-1)とR(x,y+1)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の左右に隣接する画素信号（第４パターンの画像）であるB(x-1,y)とB(x+1,y)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３０】
ステップ２０２または２０３の実行によりＲ／Ｂ補間処理ルーチンは終了する。このようにＲ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像の各画素に関し、左右および上下に隣接する画素信号を補間することにより、対象画素のＲおよびＢ信号が求められる。Ｇ補間処理ルーチン（図４）が完了し、かつ第２および第３パターンに属する画像の全ての画素に対してＲ／Ｂ補間処理ルーチンが実行されると、図６から理解されるように、１つの画像を構成する全画素におけるＧ信号が求められ、また第２および第３パターンに属する画像の各画素に関してＲ信号ｒとＢ信号ｂが求められたことになる。すなわち第１パターンに属する画像に関しては、Ｂ信号がまだ求められておらず、また第４パターンに属する画像に関しては、Ｒ信号がまだ求められていない。
【００３１】
図７および図８は、第１パターンに属する画像の各画素に関してＢ信号を求めるとともに、Ｇ補間処理ルーチン（図４）により求められたＧ信号を修正する第１の補間／修正処理ルーチンのフローチャートである。
【００３２】
ステップ３０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の右側に隣接する画素のＧ信号であるG(x+1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。換言すれば、対象画素の左右に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。左側の画素のＧ信号が対象画素のＧ信号により近いとき、ステップ３０２において、パラメータｐが−１に定められる。これに対し、右側の画素のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０３において、パラメータｐが１に定められる。
【００３３】
ステップ３０４では、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の下側に隣接する画素のＧ信号であるG(x,y+1)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。すなわち対象画素の上下に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。上側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０５において、パラメータｑが−１に定められる。これに対し、下側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０６において、パラメータｑが１に定められる。
【００３４】
ステップ３０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、Ｇ信号の大きさが比較される。対象画素の左側の画素のＧ信号が右側の画素のＧ信号よりも対象画素のＧ信号に近く、かつ対象画素の上側の画素のＧ信号が下側の画素のＧ信号よりも対象画素のＧ信号に近いとき、パラメータｐ，ｑはともに−１であり、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG(x,y)との差の絶対値よりも小さいか否かが判定される。左側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０８において、パラメータｓがｐすなわち−１に定められる。これに対し、上側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００３５】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ３０７、３０８または３０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号に関し、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号の値が検討され、左側に隣接する画素のＧ信号が最も近ければパラメータｓは−１に、右側に隣接する画素のＧ信号が最も近ければパラメータｓは１に、上側に隣接する画素のＧ信号が最も近ければパラメータｓは−２に、下側に隣接する画素のＧ信号が最も近ければパラメータｓは２に、それぞれ定められる。
【００３６】
この明細書では、４つの隣接する画素において、対象画素のＧ信号に最も近いＧ信号を有する画素を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝度値に最も近いものが好ましいが、対象画素の輝度値が未知であるため、Ｇ信号を用いて輝度値を判定し、類似画素を抽出している。
【００３７】
ステップ３１０ではパラメータｓが−１であるか否か、すなわち類似画素が対象画素の左側に隣接する画素であるか否かが判定される。パラメータｓが−１であるとき、ステップ３１１が実行され、類似画素のＲ，Ｇ，Ｂ信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用いて、色差信号Ｃｂ，Ｃｒが求められる。
【００３８】
色差信号Ｃｂ，Ｃｒはそれぞれ（５）式および（６）式に従って演算される。
Ｃｂ＝-0.169×R(x-1,y)-0.331×G(x-1,y)+0.5×B(x-1,y) （５）
Ｃｒ＝0.5×R(x-1,y)-0.419×G(x-1,y)-0.081×B(x-1,y) （６）
（５）式と（６）式は従来公知である。
【００３９】
ステップ３１２では、対象画素のＧ信号が（７）式に従って演算され、修正されたＧ信号ｇ’が求められる。また対象画素のＢ信号が（８）式に従って演算され、補間されたＢ信号ｂが求められる。これにより、第１の補間／修正処理ルーチンは終了する。
g'＝1.443×R(x,y)+0.443×Ｃｂ-2.737×Ｃｒ （７）
ｂ＝1.293×R(x,y)+2.293×Ｃｂ-1.812×Ｃｒ （８）
（７）式および（８）式において、R(x,y)は対象画素のＲ信号である。
【００４０】
このように本実施形態では、対象画素の色差信号Ｃｂ、Ｃｒは類似画素の色差信号Ｃｂ、Ｃｒにそれぞれ等しいと仮定して対象画素のＢ信号を求め、またＧ信号を修正している。
【００４１】
ステップ３１０においてパラメータｓが−１ではないと判定されたとき、ステップ３１３へ進み、パラメータｓが１であるか否かが判定され、類似画素が対象画素の右側に隣接する画素であるか否かが判定される。パラメータｓが１であるとき、ステップ３１４が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて、色差信号Ｃｂ、Ｃｒが求められる。
【００４２】
色差信号Ｃｂ、Ｃｒはそれぞれ（５ａ）式および（６ａ）式に従って演算される。
Ｃｂ＝-0.169×R(x+1,y)-0.331×G(x+1,y)+0.5×B(x+1,y) （５ａ）
Ｃｒ＝0.5×R(x+1,y)-0.419×G(x+1,y)-0.081×B(x+1,y) （６ａ）
【００４３】
次いでステップ３１２が実行される。すなわち、対象画素のＧ信号が（７）式に従って演算され、修正されたＧ信号g'が求められる。また対象画素のＢ信号が（８）式に従って演算され、補間されたＢ信号ｂが求められる。これにより第１の補間／修正処理ルーチンは終了する。
【００４４】
ステップ３１３においてパラメータｓが１ではないと判定されたとき、ステップ３１５へ進み、パラメータｓが−２であるか否かが判定され、類似画素が対象画素の上側に隣接する画素であるか否かが判定される。パラメータｓが−２であるとき、ステップ３１６が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて色差信号Ｃｂ、Ｃｒが求められる。
【００４５】
色差信号Ｃｂ、Ｃｒはそれぞれ（５ｂ）式および（６ｂ）式に従って演算される。
Ｃｂ＝-0.169×R(x,y-1)-0.331×G(x,y-1)+0.5×B(x,y-1) （５ｂ）
Ｃｒ＝0.5×R(x,y-1)-0.419×G(x,y-1)-0.081×B(x,y-1) （６ｂ）
【００４６】
次いで、ステップ３１１、３１４の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号が（７）式に従って演算され、また対象画素のＢ信号が（８）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００４７】
ステップ３１５においてパラメータｓが−２ではないと判定されたとき、パラメータｓは２である、すなわち類似画素が対象画素の下側に隣接する画素であると見做され、ステップ３１７において、類似画素のＲ，Ｇ，Ｂ信号を用いて色差信号Ｃｂ、Ｃｒが求められる。
【００４８】
色差信号Ｃｂ，Ｃｒはそれぞれ（５ｃ）式および（６ｃ）式に従って演算される。
Ｃｂ＝-0.169×R(x,y+1)-0.331×G(x,y+1)+0.5×B(x,y+1) （５ｃ）
Ｃｒ＝0.5×R(x,y+1)-0.419×G(x,y+1)-0.081×B(x,y+1) （６ｃ）
【００４９】
次いで、ステップ３１１、３１４、３１６の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号が（７）式に従って演算され、また対象画素のＢ信号が（８）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５０】
第１の補間／修正処理ルーチンは、第１パターンに属する画像の全ての画素に関して実行される。Ｇ補間処理ルーチン（図４）、Ｒ／Ｂ補間処理ルーチン（図５）および第１の補間／修正処理ルーチン（図７及び図８）が完了した時点において、第１、第２および第３パターンに属する画像に関して、Ｒ，Ｇ，Ｂ信号が求められており、第４パターンに属する画像におけるＲ信号はまだ決定されていない。
【００５１】
第４パターンの画像のＲ信号は、第２の補間／修正処理ルーチンにより求められる。また第２の補間／修正処理ルーチンでは、Ｇ補間処理ルーチン（図４）により求められたＧ信号が修正される。図９は第２の補間／修正処理ルーチンのフローチャートの後半部分を示している。なお第２の補間／修正処理ルーチンの前半部分は図７に示す第１の補間／修正処理ルーチンと同じであるので、図示を省略する。
【００５２】
ステップ４１０、４１１、４１３〜４１７の処理内容はステップ３１０、３１１、３１３〜３１７（図８）と同じである。
【００５３】
ステップ４１２では、対象画素のＲ信号ｒが（９）式に従って演算され、補間されたＲ信号ｒが求められる。また対象画素のＧ信号が（１０）式に従って演算され、修正されたＧ信号g'が求められる。
ｒ＝0.773×B(x,y)-1.773×Ｃｂ+1.401×Ｃｒ （９）
g'＝1.116×B(x,y)-2.116×Ｃｂ-0.715×Ｃｒ （１０）
【００５４】
第２の補間／修正処理ルーチンは、第４パターンに属する画像の全ての画素に関して実行される。
【００５５】
このように第２の補間／修正処理ルーチンでは、第１の補間／修正処理ルーチンと同様に、対象画素の色差信号Ｃｂ，Ｃｒは類似画素の色差信号Ｃｂ，Ｃｒに等しいと仮定し、対象画素のＲ信号を補間により求め、またＧ信号を修正している。
【００５６】
以上のように本実施形態では、特に第１の補間／修正処理ルーチン（図７および図８）と第２の補間／修正処理ルーチン（図９）において、対象画素に関して、その左右および上下に位置する画素から輝度値が最も近いものを類似画素として抽出し、補間処理を行っている。この補間処理において、２つの画素における輝度値が近いほど色の相関が強いため、対象画素の色差信号を類似画素の色差信号とすることにより、実際の色により近い画素信号を得ることができる。したがって本実施形態によれば、再生画像における色にじみを減少させることができる。
【００５７】
さらに本実施形態では、Ｇ補間処理ルーチンにより求められたＧ信号が（７）、（１０）式に従って修正されるので、対象画素の色合いが周囲に位置する画素の色合いに近くなり、画像全体として色にじみがより減少する。
【００５８】
図１０および図１１を参照して第２実施形態を説明する。図１０は、第２の補間／修正処理ルーチンの前半部分を示し、図１１は、第２の補間／修正処理ルーチンの前半部分を示している。その他の構成は第１実施形態と同じであるので省略する。
【００５９】
ステップ５０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１１）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.299×(R(x-1,y)-R(x,y))|＜
｜0.587×(G(x+1,y)-G(x,y))+0.299×(R(x+1,y)-R(x,y))| （１１）
不等式（１１）が真であるとき、すなわち左側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０２において、パラメータｐが−１に定められる。これに対し、不等式（１１）が偽であるとき、すなわち右側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０３において、パラメータｐが１に定められる。
【００６０】
ステップ５０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１２）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.299×(R(x,y-1)-R(x,y))|＜
｜0.587×(G(x,y+1)-G(x,y))+0.299×(R(x,y+1)-R(x,y))| （１２）
不等式（１２）が真であるとき、すなわち上側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０５において、パラメータｑが−１に定められる。これに対し、不等式（１２）が偽であるとき、すなわち下側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０６において、パラメータｑが１に定められる。
【００６１】
ステップ５０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１３）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.299×(R(x+p,y)-R(x,y))|＜
｜0.587×(G(x,y+q)-G(x,y))+0.299×(R(x,y+q)-R(x,y))| （１３）
パラメータｐ，ｑがともに−１であり、かつ不等式（１３）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ５０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１３）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００６２】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ５０７、５０８または５０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号およびＲ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＲ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００６３】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図８に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて、色差信号Ｃｂ，Ｃｒが求められ、対象画素のＢ信号が補間により求められるとともに、Ｇ信号が修正される。
【００６４】
第２の補間／修正処理ルーチン（図１１）では、第４パターンの画像のＲ信号が補間により求められるとともに、Ｇ信号が修正される。ステップ６０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１４）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.144×(B(x-1,y)-B(x,y))|＜
｜0.587×(G(x+1,y)-G(x,y))+0.144×(B(x+1,y)-B(x,y))| （１４）
不等式（１４）が真であるときは、ステップ６０２においてパラメータｐが−１に定められ、不等式（１４）が偽であるときは、ステップ６０３においてパラメータｐが１に定められる。
【００６５】
ステップ６０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１５）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.144×(B(x,y-1)-B(x,y))|＜
｜0.587×(G(x,y+1)-G(x,y))+0.144×(B(x,y+1)-B(x,y))| （１５）
不等式（１５）が真であるときは、ステップ６０５においてパラメータｑが−１に定められ、不等式（１５）が偽であるときは、ステップ６０６においてパラメータｑが１に定められる。
【００６６】
ステップ６０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１６）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.144×(B(x+p,y)-B(x,y))|＜
｜0.587×(G(x,y+q)-G(x,y))+0.144×(B(x,y+q)-B(x,y))| （１６）
パラメータｐ，ｑがともに−１であり、かつ不等式（１６）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ６０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１６）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ６０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００６７】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ６０７、６０８または６０９が実行される。このようにして第２の補間／修正処理ルーチンでは、対象画素のＧ信号およびＢ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＢ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００６８】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図９に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて、色差信号Ｃｂ，Ｃｒが求められ、対象画素のＲ信号が補間により求められるとともに、Ｇ信号が修正される。
【００６９】
以上のように本実施形態では、第１の補間／修正処理ルーチン（図１０）と第２の補間／修正処理ルーチン（図１１）において、輝度値としてＧ信号およびＲ信号あるいはＢ信号を用いているので、色差信号をより正確に検討することができる。したがって、再生画像における色にじみを、第１実施形態よりも減少させることができる。
【００７０】
【発明の効果】
以上のように本発明によれば、補間処理によって再生画像に生じる色にじみを減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である画像補間装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】カラーフィルタにおけるカラーフィルタ要素の配列と、パターン設定部において抽出される各パターンに属する画像の画素信号とを示す図である。
【図３】１つの画像を構成する画素の座標と色を示す図である。
【図４】Ｇ補間処理ルーチンのフローチャートである。
【図５】Ｒ／Ｂ補間処理ルーチンのフローチャートである。
【図６】Ｇ補間処理ルーチンとＲ／Ｂ補間処理ルーチンが実行されたことによって求められた画素信号を示す図である。
【図７】第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図８】第１の補間／修正処理ルーチンのフローチャートの後半部分である。
【図９】第２の補間／修正処理ルーチンのフローチャートの後半部分である。
【図１０】第２実施形態における第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図１１】第２実施形態における第２の補間／修正処理ルーチンのフローチャートの前半部分である。
【符号の説明】
１２ 撮像素子
１３ カラーフィルタ
【発明の属する技術分野】
本発明は、例えばデジタルカメラにおいて、カラー画像の画質を向上させるために設けられる画像補間装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、カラー画像を検出するために、ＣＣＤ等の撮像素子の前面にベイヤー配列のカラーフィルタを設けたものが知られている。このカラーフィルタは、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の各カラーフィルタ要素を市松模様に配列して構成され、これらのカラーフィルタ要素は撮像素子のフォトダイオードにそれぞれ対応している。したがってフォトダイオードにより、各カラーフィルタ要素に対応した色の画素信号が生成され、例えばＲのカラーフィルタ要素に対応したフォトダイオードによりＲの画素信号が生成される。
【０００３】
撮像素子から出力された画素信号をそのまま用いるよりも高画質のカラー画像を表示するため、画素信号に対して補間処理を施すことがある。通常の補間処理では、フォトダイオードによってＲ信号が得られた画素に対しては、その周囲に位置する画素のＧ信号の相加平均をとることによってＧ信号が生成され、また、その周囲に位置する画素のＢ信号の相加平均をとることによってＢ信号が生成される。ところが、例えば空間周波数の高い画像において、補間処理によって求めようとしている画素の実際の色とその周囲の画素の実際の色とが大きく異なることがあり、このような場合、補間処理により得られた画素の色信号の値によって、再生画像に色にじみが生じる。
【０００４】
【発明が解決しようとする課題】
したがって本発明は、補間処理によって再生画像に色にじみが生じることを減少させることを目的としている。
【０００５】
【課題を解決するための手段】
本発明に係る第１の画像補間装置は、カラーフィルタと撮像素子とパターン設定部とＧ補間処理手段とＲ／Ｂ補間処理手段と第１の補間/修正処理手段と第２の補間/修正処理手段を備えている。
カラーフィルタは、水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成される。
撮像素子は、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する。パターン設定手段は、撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出する。Ｇ補間処理手段は、第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求める。Ｒ／Ｂ補間処理手段は、第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求める。第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い第１の類似画素を抽出し、第１パターンに属する画像の各画素のＲ信号と第１の類似画素の色差信号Ｃｂ，Ｃｒに基づいて、Ｂ信号を補間により求めるとともに、Ｇ補間処理手段により求められたＧ信号を修正する。第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い第２の類似画素を抽出し、第４パターンに属する画像の各画素のＢ信号と第２の類似画素の色差信号Ｃｂ，Ｃｒに基づいて、Ｒ信号を補間により求めるとともに、Ｇ補間処理手段により求められたＧ信号を修正する。
【０００６】
Ｇ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。Ｒ／Ｂ補間処理手段において、隣接する画素は第１および第４パターンに属する画像に含まれる。第１の補間／修正処理手段および第２の補間／修正処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。
【０００７】
第１の補間/修正処理手段および第２の補間/修正処理手段は、好ましくは、隣接する画素におけるＧ信号の値を用いて、輝度値が最も近い類似画素を抽出する。類似画素の色合いが補間処理によって求めようとしている画素の色合いに近いと推定することにより、色にじみが減少する。
【０００８】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、色差信号Ｃｂ，Ｃｒが類似画素の色差信号Ｃｂ，Ｃｒにそれぞれ等しいと仮定してＢ信号を求めるとともにＧ信号を修正してもよい。同様に第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、色差信号Ｃｂ，Ｃｒが類似画素の色差信号Ｃｂ，Ｃｒにそれぞれ等しいと仮定してＲ信号を求めるとともにＧ信号を修正してもよい。
【０００９】
第１の補間／修正処理手段は、例えば下記式に従ってＢ信号を求めるとともにＧ信号を求める。これにより、さらに色にじみを減少させることが可能になる。
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
g'＝1.443×R(x,y)+0.443×Ｃｂ-2.737×Ｃｒ
ｂ＝1.293×R(x,y)+2.293×Ｃｂ-1.812×Ｃｒ
ただし、R(x',y')，G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、R(x,y)は第１パターンに属する画像の画素のＲ信号、ｂは第１の補間／修正処理手段により求められる第１パターンに属する画像の画素のＢ信号、g'は修正されたＧ信号である。
【００１０】
第２の補間／修正処理手段は、例えば下記式に従ってＲ信号を求める。
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ｒ＝0.773×B(x,y)-1.773×Ｃｂ+1.401×Ｃｒ
g'＝1.116×B(x,y)-2.116×Ｃｂ-0.715×Ｃｒ
ただし、R(x',y')，G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、B(x,y)は第４パターンに属する画像の画素のＢ信号、ｒは第２の補間／修正処理手段により求められる第４パターンに属する画像の画素のＲ信号、g'は修正されたＧ信号である。
【００１１】
第１の補間／修正処理手段は、隣接する画素におけるＧ信号およびＲ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。また、第２の補間／修正処理手段は、隣接する画素におけるＧ信号およびＢ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。
【００１２】
本発明に係る第２の画像補間装置は、マトリクス状に配置された各画素において、受光面に結像された被写体像に対応した色信号が生成される撮像素子と、対象画素の近傍に位置する複数の隣接画素の色信号を用いて補間処理を施すことにより、対象画素の色信号を求める補間処理手段と、対象画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、対象画素の色信号と類似画素の色差信号Ｃｂ、Ｃｒに基づいて、補間処理手段によって得られた対象画素の色信号を修正する修正処理手段とを備えたことを特徴としている。
【００１３】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１実施形態である画像補間装置を備えたデジタルカメラ１０の概略的な構成を示している。
【００１４】
撮影レンズ１１の後方には撮像素子であるＣＣＤ１２が配設され、ＣＣＤ１２の受光面にはカラーフィルタ１３が設けられている。すなわち撮影レンズ１１によって得られた被写体Ｓの光学像がＣＣＤ１２の受光面に結像され、ＣＣＤ１２のフォトダイオードには、被写体像を構成するカラーの画素信号が発生する。画素信号はＣＣＤ１２から読み出され、Ａ／Ｄ変換器１４においてデジタル信号に変換される。そして画素信号はホワイトバランス調整回路１５においてホワイトバランス調整を施され、画像メモリ１６に格納される。
【００１５】
画素信号は画像メモリ１６から読み出され、パターン設定部１７に入力される。パターン設定部１７では、後述するように、所定の配列パターンを構成する画素信号が全画素信号の中から抽出され、第１、第２、第３および第４パターンに分類される。補間処理部１８では、パターン設定部１７において抽出された画素信号がそのパターンに応じた補間処理を施される。補間処理部１８から出力された、補間後の画素信号はメモリカード等の記録媒体Ｄに記録される。なおホワイトバランス調整回路１５は、Ａ／Ｄ変換器１４の後段ではなく、補間処理部１８の後段に設けられてもよい。
【００１６】
図２はカラーフィルタ１３におけるカラーフィルタ要素の配列と、パターン設定部１７において抽出される、各パターンに属する画像の画素信号とを示している。カラーフィルタ１３は、ベイヤー配列に従って配置されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタ要素から構成される。すなわちカラーフィルタ１３は、水平方向にＲとＧのカラーフィルタ要素が交互に並ぶ第１の列１３ａと、この第１の列１３ａの上下側に隣接し、水平方向にＧとＢのカラーフィルタ要素が交互に並ぶ第２の列１３ｂとから構成され、ＣＣＤ１２では、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号が生成される。
【００１７】
カラーフィルタ１３は、左上にＲ、右上と左下にＧ、右下にＢのカラーフィルタ要素が配置された２×２の画素マトリクスＭ１に区画される。パターン設定部１７では、ＣＣＤ１２によって生成されるＲ，Ｇ，Ｂ信号から、画素マトリクスＭ１において左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像が抽出される。
【００１８】
パターン設定部１７において、第１パターンは、Ｃ言語で表わされた論理式（１）に従って、１つの画像を構成する全ての画素信号から抽出される。
！（ｘ％２） ＆＆ ！（ｙ％２） （１）
なお論理式（１）において、「ｘ」と「ｙ」は画像の左隅を原点とする横座標と縦座標をそれぞれ示す。すなわち、左隅のＲ信号の座標は(0,0)その右隣のＧ信号の座標は(1,0)である。また論理式（１）において、「！」は論理否定、「％」は剰余、「＆＆」は論理積を示す。したがって論理式（１）によれば、ｘ座標とｙ座標がともに偶数である画素信号（すなわちＲ信号）から成る画像が抽出される。
【００１９】
同様に、第２パターン、第３パターンおよび第４パターンは、論理式（２）、（３）
および（４）に従って抽出される。
（ｘ％２） ＆＆ ！（ｙ％２） （２）
！（ｘ％２） ＆＆ （ｙ％２） （３）
（ｘ％２） ＆＆ （ｙ％２） （４）
【００２０】
図３〜図９を参照して補間処理部１８における処理を説明する。図３は、画像メモリ１６に格納された、１つの画像を構成する画素の座標と色を示している。補間処理部１８では、後述するように、Ｇ補間処理ルーチン（図４）と、Ｒ／Ｂ補間処理ルーチン（図５）と、第１の補間／修正処理ルーチンと（図７、８）、第２の補間／修正処理ルーチン（図９）とが実行される。これらの処理ルーチンにおいて、補間によって画素データを求めようとしている対象画素の座標は(x,y)である。
【００２１】
図４はＧ補間処理ルーチンのフローチャートである。Ｇ補間処理ルーチンでは、第１および第４パターンに属する画像に関する補間処理が行われる。
【００２２】
ステップ１０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と右側に隣接する画素のＧ信号であるG(x+1,y)との差の絶対値が、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と下側に隣接する画素のＧ信号であるG(x,y+1)との差の絶対値よりも小さいか否かが判定される。対象画素の座標が(2,2)である場合（すなわち第１パターンの画像）を例にとって説明すると、対象画素はR(2,2)であり、ステップ１０１では|G(1,2)-G(3,2)|が|G(2,1)-G(2,3)|よりも小さいか否かが判定される。
【００２３】
なお対象画素が第１パターンに属する画像に含まれるとき、すなわちＲ信号であるとき、その左右に隣接する画素は第２パターンに属する画像に含まれ、またその上下に隣接する画素は第３パターンに含まれる。一方、対象画素が第４パターンに属する画像に含まれるとき、すなわちＢ信号であるとき、その左右に隣接する画素は第３パターンに属する画像に含まれ、またその上下に隣接する画素は第２パターンに含まれる。
【００２４】
ステップ１０１において、対象画素の左右に隣接する画素信号の差の絶対値の方が上下に隣接する画素信号の差の絶対値よりも小さいと判定されたとき、ステップ１０２が実行され、左右に隣接する画素信号であるG(x-1,y)とG(x+1,y)の相加平均が、対象画素のＧ信号ｇとして求められる。これに対して、対象画素の左右に隣接する画素信号の差の絶対値が上下に隣接する画素信号の差の絶対値よりも小さくないと判定されたとき、ステップ１０３において、上下に隣接する画素信号であるG(x,y-1)とG(x,y+1)の相加平均が、対象画素のＧ信号ｇとして求められる。ステップ１０２または１０３の実行により、Ｇ補間処理ルーチンは終了する。
【００２５】
このようにＧ補間処理ルーチンでは、第１および第４パターンに属する画像の各画素に関し、左右および上下に隣接する４つのＧ信号において、差の小さい方の組の２つのＧ信号の平均値が対象画素のＧ信号として求められる。第１および第４パターンに属する画像の全ての画素に対してＧ補間処理ルーチンが実行されると、１つの画像を構成する全画素におけるＧ信号が求められたことになる。
【００２６】
図５はＲ／Ｂ補間処理ルーチンのフローチャートである。Ｒ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像に関する補間処理が行われる。
【００２７】
ステップ２０１では対象画素が第２パターンに属する画像に含まれるか否かが判定される。対象画素が第２パターンに属する画像に含まれるとき、すなわち対象画素が画素マトリクスＭ１（図２）の右上のＧ信号であるとき、ステップ２０２が実行される。これに対して対象画素が第２パターンに含まれないとき、すなわち第３パターンに含まれ、画素マトリクスＭ１（図２）の左下のＧ信号であるとき、ステップ２０３が実行される。
【００２８】
ステップ２０２では、対象画素の左右に隣接する画素信号（第１パターンの画像）であるR(x-1,y)とR(x+1,y)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の上下に隣接する画素信号（第４パターンの画像）であるB(x,y-1)とB(x,y+1)の相加平均が対象画素のＢ信号ｂとして求められる。
【００２９】
ステップ２０３では、対象画素の上下に隣接する画素信号（第１パターンの画像）であるR(x,y-1)とR(x,y+1)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の左右に隣接する画素信号（第４パターンの画像）であるB(x-1,y)とB(x+1,y)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３０】
ステップ２０２または２０３の実行によりＲ／Ｂ補間処理ルーチンは終了する。このようにＲ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像の各画素に関し、左右および上下に隣接する画素信号を補間することにより、対象画素のＲおよびＢ信号が求められる。Ｇ補間処理ルーチン（図４）が完了し、かつ第２および第３パターンに属する画像の全ての画素に対してＲ／Ｂ補間処理ルーチンが実行されると、図６から理解されるように、１つの画像を構成する全画素におけるＧ信号が求められ、また第２および第３パターンに属する画像の各画素に関してＲ信号ｒとＢ信号ｂが求められたことになる。すなわち第１パターンに属する画像に関しては、Ｂ信号がまだ求められておらず、また第４パターンに属する画像に関しては、Ｒ信号がまだ求められていない。
【００３１】
図７および図８は、第１パターンに属する画像の各画素に関してＢ信号を求めるとともに、Ｇ補間処理ルーチン（図４）により求められたＧ信号を修正する第１の補間／修正処理ルーチンのフローチャートである。
【００３２】
ステップ３０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の右側に隣接する画素のＧ信号であるG(x+1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。換言すれば、対象画素の左右に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。左側の画素のＧ信号が対象画素のＧ信号により近いとき、ステップ３０２において、パラメータｐが−１に定められる。これに対し、右側の画素のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０３において、パラメータｐが１に定められる。
【００３３】
ステップ３０４では、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の下側に隣接する画素のＧ信号であるG(x,y+1)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。すなわち対象画素の上下に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。上側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０５において、パラメータｑが−１に定められる。これに対し、下側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０６において、パラメータｑが１に定められる。
【００３４】
ステップ３０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、Ｇ信号の大きさが比較される。対象画素の左側の画素のＧ信号が右側の画素のＧ信号よりも対象画素のＧ信号に近く、かつ対象画素の上側の画素のＧ信号が下側の画素のＧ信号よりも対象画素のＧ信号に近いとき、パラメータｐ，ｑはともに−１であり、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG(x,y)との差の絶対値よりも小さいか否かが判定される。左側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０８において、パラメータｓがｐすなわち−１に定められる。これに対し、上側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００３５】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ３０７、３０８または３０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号に関し、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号の値が検討され、左側に隣接する画素のＧ信号が最も近ければパラメータｓは−１に、右側に隣接する画素のＧ信号が最も近ければパラメータｓは１に、上側に隣接する画素のＧ信号が最も近ければパラメータｓは−２に、下側に隣接する画素のＧ信号が最も近ければパラメータｓは２に、それぞれ定められる。
【００３６】
この明細書では、４つの隣接する画素において、対象画素のＧ信号に最も近いＧ信号を有する画素を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝度値に最も近いものが好ましいが、対象画素の輝度値が未知であるため、Ｇ信号を用いて輝度値を判定し、類似画素を抽出している。
【００３７】
ステップ３１０ではパラメータｓが−１であるか否か、すなわち類似画素が対象画素の左側に隣接する画素であるか否かが判定される。パラメータｓが−１であるとき、ステップ３１１が実行され、類似画素のＲ，Ｇ，Ｂ信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用いて、色差信号Ｃｂ，Ｃｒが求められる。
【００３８】
色差信号Ｃｂ，Ｃｒはそれぞれ（５）式および（６）式に従って演算される。
Ｃｂ＝-0.169×R(x-1,y)-0.331×G(x-1,y)+0.5×B(x-1,y) （５）
Ｃｒ＝0.5×R(x-1,y)-0.419×G(x-1,y)-0.081×B(x-1,y) （６）
（５）式と（６）式は従来公知である。
【００３９】
ステップ３１２では、対象画素のＧ信号が（７）式に従って演算され、修正されたＧ信号ｇ’が求められる。また対象画素のＢ信号が（８）式に従って演算され、補間されたＢ信号ｂが求められる。これにより、第１の補間／修正処理ルーチンは終了する。
g'＝1.443×R(x,y)+0.443×Ｃｂ-2.737×Ｃｒ （７）
ｂ＝1.293×R(x,y)+2.293×Ｃｂ-1.812×Ｃｒ （８）
（７）式および（８）式において、R(x,y)は対象画素のＲ信号である。
【００４０】
このように本実施形態では、対象画素の色差信号Ｃｂ、Ｃｒは類似画素の色差信号Ｃｂ、Ｃｒにそれぞれ等しいと仮定して対象画素のＢ信号を求め、またＧ信号を修正している。
【００４１】
ステップ３１０においてパラメータｓが−１ではないと判定されたとき、ステップ３１３へ進み、パラメータｓが１であるか否かが判定され、類似画素が対象画素の右側に隣接する画素であるか否かが判定される。パラメータｓが１であるとき、ステップ３１４が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて、色差信号Ｃｂ、Ｃｒが求められる。
【００４２】
色差信号Ｃｂ、Ｃｒはそれぞれ（５ａ）式および（６ａ）式に従って演算される。
Ｃｂ＝-0.169×R(x+1,y)-0.331×G(x+1,y)+0.5×B(x+1,y) （５ａ）
Ｃｒ＝0.5×R(x+1,y)-0.419×G(x+1,y)-0.081×B(x+1,y) （６ａ）
【００４３】
次いでステップ３１２が実行される。すなわち、対象画素のＧ信号が（７）式に従って演算され、修正されたＧ信号g'が求められる。また対象画素のＢ信号が（８）式に従って演算され、補間されたＢ信号ｂが求められる。これにより第１の補間／修正処理ルーチンは終了する。
【００４４】
ステップ３１３においてパラメータｓが１ではないと判定されたとき、ステップ３１５へ進み、パラメータｓが−２であるか否かが判定され、類似画素が対象画素の上側に隣接する画素であるか否かが判定される。パラメータｓが−２であるとき、ステップ３１６が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて色差信号Ｃｂ、Ｃｒが求められる。
【００４５】
色差信号Ｃｂ、Ｃｒはそれぞれ（５ｂ）式および（６ｂ）式に従って演算される。
Ｃｂ＝-0.169×R(x,y-1)-0.331×G(x,y-1)+0.5×B(x,y-1) （５ｂ）
Ｃｒ＝0.5×R(x,y-1)-0.419×G(x,y-1)-0.081×B(x,y-1) （６ｂ）
【００４６】
次いで、ステップ３１１、３１４の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号が（７）式に従って演算され、また対象画素のＢ信号が（８）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００４７】
ステップ３１５においてパラメータｓが−２ではないと判定されたとき、パラメータｓは２である、すなわち類似画素が対象画素の下側に隣接する画素であると見做され、ステップ３１７において、類似画素のＲ，Ｇ，Ｂ信号を用いて色差信号Ｃｂ、Ｃｒが求められる。
【００４８】
色差信号Ｃｂ，Ｃｒはそれぞれ（５ｃ）式および（６ｃ）式に従って演算される。
Ｃｂ＝-0.169×R(x,y+1)-0.331×G(x,y+1)+0.5×B(x,y+1) （５ｃ）
Ｃｒ＝0.5×R(x,y+1)-0.419×G(x,y+1)-0.081×B(x,y+1) （６ｃ）
【００４９】
次いで、ステップ３１１、３１４、３１６の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号が（７）式に従って演算され、また対象画素のＢ信号が（８）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５０】
第１の補間／修正処理ルーチンは、第１パターンに属する画像の全ての画素に関して実行される。Ｇ補間処理ルーチン（図４）、Ｒ／Ｂ補間処理ルーチン（図５）および第１の補間／修正処理ルーチン（図７及び図８）が完了した時点において、第１、第２および第３パターンに属する画像に関して、Ｒ，Ｇ，Ｂ信号が求められており、第４パターンに属する画像におけるＲ信号はまだ決定されていない。
【００５１】
第４パターンの画像のＲ信号は、第２の補間／修正処理ルーチンにより求められる。また第２の補間／修正処理ルーチンでは、Ｇ補間処理ルーチン（図４）により求められたＧ信号が修正される。図９は第２の補間／修正処理ルーチンのフローチャートの後半部分を示している。なお第２の補間／修正処理ルーチンの前半部分は図７に示す第１の補間／修正処理ルーチンと同じであるので、図示を省略する。
【００５２】
ステップ４１０、４１１、４１３〜４１７の処理内容はステップ３１０、３１１、３１３〜３１７（図８）と同じである。
【００５３】
ステップ４１２では、対象画素のＲ信号ｒが（９）式に従って演算され、補間されたＲ信号ｒが求められる。また対象画素のＧ信号が（１０）式に従って演算され、修正されたＧ信号g'が求められる。
ｒ＝0.773×B(x,y)-1.773×Ｃｂ+1.401×Ｃｒ （９）
g'＝1.116×B(x,y)-2.116×Ｃｂ-0.715×Ｃｒ （１０）
【００５４】
第２の補間／修正処理ルーチンは、第４パターンに属する画像の全ての画素に関して実行される。
【００５５】
このように第２の補間／修正処理ルーチンでは、第１の補間／修正処理ルーチンと同様に、対象画素の色差信号Ｃｂ，Ｃｒは類似画素の色差信号Ｃｂ，Ｃｒに等しいと仮定し、対象画素のＲ信号を補間により求め、またＧ信号を修正している。
【００５６】
以上のように本実施形態では、特に第１の補間／修正処理ルーチン（図７および図８）と第２の補間／修正処理ルーチン（図９）において、対象画素に関して、その左右および上下に位置する画素から輝度値が最も近いものを類似画素として抽出し、補間処理を行っている。この補間処理において、２つの画素における輝度値が近いほど色の相関が強いため、対象画素の色差信号を類似画素の色差信号とすることにより、実際の色により近い画素信号を得ることができる。したがって本実施形態によれば、再生画像における色にじみを減少させることができる。
【００５７】
さらに本実施形態では、Ｇ補間処理ルーチンにより求められたＧ信号が（７）、（１０）式に従って修正されるので、対象画素の色合いが周囲に位置する画素の色合いに近くなり、画像全体として色にじみがより減少する。
【００５８】
図１０および図１１を参照して第２実施形態を説明する。図１０は、第２の補間／修正処理ルーチンの前半部分を示し、図１１は、第２の補間／修正処理ルーチンの前半部分を示している。その他の構成は第１実施形態と同じであるので省略する。
【００５９】
ステップ５０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１１）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.299×(R(x-1,y)-R(x,y))|＜
｜0.587×(G(x+1,y)-G(x,y))+0.299×(R(x+1,y)-R(x,y))| （１１）
不等式（１１）が真であるとき、すなわち左側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０２において、パラメータｐが−１に定められる。これに対し、不等式（１１）が偽であるとき、すなわち右側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０３において、パラメータｐが１に定められる。
【００６０】
ステップ５０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１２）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.299×(R(x,y-1)-R(x,y))|＜
｜0.587×(G(x,y+1)-G(x,y))+0.299×(R(x,y+1)-R(x,y))| （１２）
不等式（１２）が真であるとき、すなわち上側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０５において、パラメータｑが−１に定められる。これに対し、不等式（１２）が偽であるとき、すなわち下側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０６において、パラメータｑが１に定められる。
【００６１】
ステップ５０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１３）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.299×(R(x+p,y)-R(x,y))|＜
｜0.587×(G(x,y+q)-G(x,y))+0.299×(R(x,y+q)-R(x,y))| （１３）
パラメータｐ，ｑがともに−１であり、かつ不等式（１３）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ５０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１３）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００６２】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ５０７、５０８または５０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号およびＲ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＲ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００６３】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図８に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて、色差信号Ｃｂ，Ｃｒが求められ、対象画素のＢ信号が補間により求められるとともに、Ｇ信号が修正される。
【００６４】
第２の補間／修正処理ルーチン（図１１）では、第４パターンの画像のＲ信号が補間により求められるとともに、Ｇ信号が修正される。ステップ６０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１４）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.144×(B(x-1,y)-B(x,y))|＜
｜0.587×(G(x+1,y)-G(x,y))+0.144×(B(x+1,y)-B(x,y))| （１４）
不等式（１４）が真であるときは、ステップ６０２においてパラメータｐが−１に定められ、不等式（１４）が偽であるときは、ステップ６０３においてパラメータｐが１に定められる。
【００６５】
ステップ６０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１５）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.144×(B(x,y-1)-B(x,y))|＜
｜0.587×(G(x,y+1)-G(x,y))+0.144×(B(x,y+1)-B(x,y))| （１５）
不等式（１５）が真であるときは、ステップ６０５においてパラメータｑが−１に定められ、不等式（１５）が偽であるときは、ステップ６０６においてパラメータｑが１に定められる。
【００６６】
ステップ６０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１６）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.144×(B(x+p,y)-B(x,y))|＜
｜0.587×(G(x,y+q)-G(x,y))+0.144×(B(x,y+q)-B(x,y))| （１６）
パラメータｐ，ｑがともに−１であり、かつ不等式（１６）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ６０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１６）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ６０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００６７】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ６０７、６０８または６０９が実行される。このようにして第２の補間／修正処理ルーチンでは、対象画素のＧ信号およびＢ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＢ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００６８】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図９に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて、色差信号Ｃｂ，Ｃｒが求められ、対象画素のＲ信号が補間により求められるとともに、Ｇ信号が修正される。
【００６９】
以上のように本実施形態では、第１の補間／修正処理ルーチン（図１０）と第２の補間／修正処理ルーチン（図１１）において、輝度値としてＧ信号およびＲ信号あるいはＢ信号を用いているので、色差信号をより正確に検討することができる。したがって、再生画像における色にじみを、第１実施形態よりも減少させることができる。
【００７０】
【発明の効果】
以上のように本発明によれば、補間処理によって再生画像に生じる色にじみを減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である画像補間装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】カラーフィルタにおけるカラーフィルタ要素の配列と、パターン設定部において抽出される各パターンに属する画像の画素信号とを示す図である。
【図３】１つの画像を構成する画素の座標と色を示す図である。
【図４】Ｇ補間処理ルーチンのフローチャートである。
【図５】Ｒ／Ｂ補間処理ルーチンのフローチャートである。
【図６】Ｇ補間処理ルーチンとＲ／Ｂ補間処理ルーチンが実行されたことによって求められた画素信号を示す図である。
【図７】第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図８】第１の補間／修正処理ルーチンのフローチャートの後半部分である。
【図９】第２の補間／修正処理ルーチンのフローチャートの後半部分である。
【図１０】第２実施形態における第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図１１】第２実施形態における第２の補間／修正処理ルーチンのフローチャートの前半部分である。
【符号の説明】
１２ 撮像素子
１３ カラーフィルタ
Claims (10)
- 水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成されるカラーフィルタと、
前記各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する撮像素子と、
前記撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出するパターン設定手段と、
前記第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求めるＧ補間処理手段と、
前記第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求めるＲ／Ｂ補間処理手段と、
前記第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い第１の類似画素を抽出し、前記第１パターンに属する画像の各画素のＲ信号と前記第１の類似画素の色差信号Ｃｂ，Ｃｒに基づいて、Ｂ信号を補間により求めるとともに、前記Ｇ補間処理手段により求められたＧ信号を修正する第１の補間／修正処理手段と、
前記第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い第２の類似画素を抽出し、前記第４パターンに属する画像の各画素のＢ信号と前記第２の類似画素の色差信号Ｃｂ，Ｃｒに基づいて、Ｒ信号を補間により求めるとともに、前記Ｇ補間処理手段により求められたＧ信号を修正する第２の補間／修正処理手段とを備え、
前記第１の補間／修正処理手段が、前記第１パターンに属する画像の各画素に関し、色差信号Ｃｂ，Ｃｒが前記類似画素の色差信号Ｃｂ，Ｃｒにそれぞれ等しいと仮定して、前記Ｂ信号を求めるとともに前記Ｇ信号を修正し、
前記第２の補間／修正処理手段が、前記第４パターンに属する画像の各画素に関し、色差信号Ｃｂ，Ｃｒが前記類似画素の色差信号Ｃｂ，Ｃｒにそれぞれ等しいと仮定して、前記Ｒ信号を求めるとともに前記Ｇ信号を修正することを特徴とする画像補間装置。 - 前記Ｇ補間処理手段において、前記隣接する画素が前記第２および第３パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｒ／Ｂ補間処理手段において、前記隣接する画素が前記第１および第４パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段および前記第２の補間／修正処理手段において、前記隣接する画素が前記第２および第３パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段および第２の補間／修正処理手段が、前記隣接する画素におけるＧ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段が、下記式に従って前記Ｂ信号を求めるとともに前記Ｇ信号を修正することを特徴とする請求項１に記載の画像補間装置。
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
g'＝1.443×R(x,y)+0.443×Ｃｂ-2.737×Ｃｒ
ｂ＝1.293×R(x,y)+2.293×Ｃｂ-1.812×Ｃｒ
ただし、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、R(x,y)は第１パターンに属する画像の画素のＲ信号、ｂは前記第１の補間／修正処理手段により求められる前記第１パターンに属する画像の画素のＢ信号、g'は修正されたＧ信号である。 - 前記第２の補間／修正処理手段が、下記式に従って前記Ｒ信号を求めるとともに前記Ｇ信号を修正することを特徴とする請求項１に記載の画像補間装置。
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ｒ＝0.773×B(x,y)-1.773×Ｃｂ+1.401×Ｃｒ
g'＝1.116×B(x,y)-2.116×Ｃｂ-0.715×Ｃｒ
ただし、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、B(x,y)は第４パターンに属する画像の画素のＢ信号、ｒは前記第２の補間／修正処理手段により求められる前記第４パターンに属する画像の画素のＲ信号、g'は修正されたＧ信号である。 - 前記第１の補間／修正処理手段が、前記隣接する画素におけるＧ信号およびＲ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記第２の補間／修正処理手段が、前記隣接する画素におけるＧ信号およびＢ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- マトリクス状に配置された各画素において、受光面に結像された被写体像に対応した色信号が生成される撮像素子と、
対象画素の近傍に位置する複数の隣接画素の色信号を用いて補間処理を施すことにより、前記対象画素の色信号を求める補間処理手段と、
前記対象画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出するとともに、色差信号Ｃｂ，Ｃｒが前記類似画素の色差信号Ｃｂ，Ｃｒにそれぞれ等しいと仮定し、前記対象画素の色信号と前記類似画素の色差信号Ｃｂ、Ｃｒに基づいて、前記補間処理手段によって得られた前記対象画素の色信号を修正する修正処理手段と
を備えることを特徴とする画像補間装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001030656A JP4666786B2 (ja) | 2001-02-07 | 2001-02-07 | 画像補間装置 |
| US10/050,991 US7046277B2 (en) | 2001-01-26 | 2002-01-22 | Image interpolating device, including interpolation and modification processors |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001030656A JP4666786B2 (ja) | 2001-02-07 | 2001-02-07 | 画像補間装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002232902A JP2002232902A (ja) | 2002-08-16 |
| JP4666786B2 true JP4666786B2 (ja) | 2011-04-06 |
Family
ID=18894844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001030656A Expired - Fee Related JP4666786B2 (ja) | 2001-01-26 | 2001-02-07 | 画像補間装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4666786B2 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11331858A (ja) * | 1998-05-15 | 1999-11-30 | Fuji Film Microdevices Co Ltd | 画像信号処理装置およびプログラムを記録した媒体 |
| JP2000023174A (ja) * | 1998-07-01 | 2000-01-21 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
| JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2001061157A (ja) * | 1999-06-14 | 2001-03-06 | Nikon Corp | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
| JP2002223452A (ja) * | 2001-01-26 | 2002-08-09 | Asahi Optical Co Ltd | 画像補間装置 |
-
2001
- 2001-02-07 JP JP2001030656A patent/JP4666786B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11331858A (ja) * | 1998-05-15 | 1999-11-30 | Fuji Film Microdevices Co Ltd | 画像信号処理装置およびプログラムを記録した媒体 |
| JP2000023174A (ja) * | 1998-07-01 | 2000-01-21 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
| JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2001061157A (ja) * | 1999-06-14 | 2001-03-06 | Nikon Corp | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
| JP2002223452A (ja) * | 2001-01-26 | 2002-08-09 | Asahi Optical Co Ltd | 画像補間装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002232902A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US10217034B2 (en) | Image processing device, imaging device, and image processing method | |
| JP2007259401A (ja) | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ | |
| JP6282123B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4548390B2 (ja) | 撮像装置及び信号処理方法 | |
| JP5621053B2 (ja) | 画像処理装置、方法及びプログラム並びに撮像装置 | |
| JP3905708B2 (ja) | 画像補間装置 | |
| US7046277B2 (en) | Image interpolating device, including interpolation and modification processors | |
| KR20150123738A (ko) | 화상처리장치 및 화상처리방법 | |
| JP4334150B2 (ja) | 画像補間装置 | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| US7106341B2 (en) | Image interpolating device | |
| US6900833B2 (en) | Image interpolating device | |
| JPH06153087A (ja) | 画素欠陥補正方法 | |
| JP4334152B2 (ja) | 画像補間装置 | |
| JP5673186B2 (ja) | 撮像装置及び撮像装置の補間処理方法 | |
| JP4334151B2 (ja) | 画像補間装置 | |
| JP4666786B2 (ja) | 画像補間装置 | |
| JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| JP4495355B2 (ja) | 画像補間装置 | |
| US7916188B2 (en) | Correction approximating straight line group information generating method of multi-divided reading CCD, and correction processing device manufacturing method of multi-divided reading CCD | |
| JP2003134523A (ja) | 撮像装置及び撮像方法 | |
| JP2002232903A (ja) | 画像補間装置 | |
| KR20090103669A (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080111 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100302 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110105 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |