WO2005062626A1

WO2005062626A1 - 画素信号処理装置及び画素信号処理方法

Info

Publication number: WO2005062626A1
Application number: PCT/JP2004/018456
Authority: WO
Inventors: Junko Makita; Shoutarou Moriya; Hiroaki Sugiura; Koichi Yamashita; Takashi Itow; Tetsuya Kuno
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2003-12-22
Filing date: 2004-12-10
Publication date: 2005-07-07
Also published as: CN1898967A; US20070126896A1; US7719575B2; JPWO2005062626A1; KR100811965B1; JP4128585B2; TWI277945B; KR20060101778A; CN100574454C; TW200527376A

Abstract

　注目画素位置の近傍の領域内の複数の画素位置における、第Ｋの分光感度特性の画素信号と第Ｌの分光感度特性の画素信号をそれぞれ説明変数、目的変数として回帰分析を施し（８）、第Ｌの分光感度特性の画素信号を求める（９）。撮像素子の出力信号に対しローパスフィルタリングする（７ａ～７ｃ）ことにより得られた画素信号を記説明変数及び目的変数として用いても良い。上記のようにすることで、２次元平面上に配列された複数の分光感度特性のうちのいずれか１つを有する画素信号の組の、各画素位置における不足色の補間を行う場合に、偽色の発生を低減することができる。

Description

明細書

画素信号処理装置及び画素信号処理方法

技術分野

[0001] 本発明は、画素信号処理装置及び画素信号処理方法に関し、特に 2次元平面上に配列され、各々が複数の分光感度特性のうちのいずれ力 1つを有する画素信号の組に基づき、上記複数の分光感度特性のうちの一つの分光感度特性の画素信号が存在する注目画素位置における他の分光感度特性の画素信号を生成する画素信号処理装置及び画素信号処理方法に関する。

このような画素信号処理装置は、例えば、各々が複数の分光感度特性、例えば赤（ R)、緑 (G)、青 (B)のうちのいずれか一つの分光感度特性、即ち色を有する複数種類の光電変換素子が 2次元平面上に、例えばべィャ型に配列された撮像素子をさらに備えるもので、カラー撮像装置の一部として用いられ、撮像素子から出力された画素信号のうちの、各画素位置において欠落している分光感度特性の画素信号を補間するために用いられる。

背景技術

[0002] 従来の、赤、緑、青の 3原色の色フィルタがべィャ型に配置された撮像素子を有する撮像装置では、例えば下記の特許文献 1に示されるように、解像感を高めるために、色毎の局所的な出力信号の分布に基づいて各画素の出力信号を平均値で置き換え、これによつて想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いて、る。

[0003] 特許文献 1 :特開 2001— 197512公報。段落 0048— 0049 (図 7)

発明の開示

発明が解決しょうとする課題

[0004] この従来の方法では、局所的な領域においては色信号に相関があることに基づく補間処理を行っている力色の相関関係を誤って認識してしまうことにより、固有の偽色を引き起こしてしまう問題があった。例えば、出力信号が急激に変化する箇所の付近、つまりある色と別の色との境界付近においては、生成された信号のレベルが信号変化曲線力外れてしま、、本来画像中にな、黒ずみや白抜けや偽色が発生してしまうと言う問題があった。

課題を解決するための手段

[0005] この発明に係る撮像装置は、

2次元平面上に配列され、各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1 つを有する画素の画素信号の組に基づき、第 K(Kは 1から Nのうちのいずれか一つ )の分光感度特性の画素信号が存在する第 1の注目画素位置における第 L (Lは Κを除く 1から Νのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、

上記第 1の注目画素位置の近傍の領域内の複数の画素位置における、上記第 Κ の分光感度特性の画素信号を説明変数、上記第 Lの分光感度特性の画素信号を目的変数として回帰分析を施し、上記第 Κの分光感度特性の画素信号と第 Lの分光感度特性の画素信号の相関を表す回帰式を算出する回帰分析手段と、

上記注目画素位置における上記第 Κの分光感度特性の画素信号に対して上記回帰式に基づく変換式を用いることにより、上記注目画素位置における上記第 Lの分光感度特性の画素信号を求める演算手段と

を有するものである。

発明の効果

[0006] この発明に係る画素信号処理装置は、上記のように構成されているので、第 1の注目画素位置の近傍の領域内の画素位置における、第 Κと第 Lの分光感度特性の画素信号の相関関係に則った生成信号を算出することができる。従って、第 1の注目画素が色の境界付近にある場合でも、第 1の注目画素位置の近傍の領域内の画素の相関関係を示す回帰式力第 Lの生成信号を算出するため、色の境界部分にある画素の出力信号の影響を直接受けることはない。また、相関関係を数式で表すため、任意の相関関係に対応することが出来る。以上により、従来の手法でみられた黒ずみや白抜けのような偽色の発生を低減できる。

図面の簡単な説明

[0007] [図 1]この発明の実施の形態 1の画素信号処理装置を備えたデジタルスチルカメラなどの撮像装置の構成を示すブロック図である。

[図 2]べィャ型に配置された R、 G、 Bの 3原色の色フィルタを示す説明図である。

[図 3]色フィルタがべィャ型に配列されている 2次元撮像素子の出力信号を模式的に示す 2次元配列図である。

圆 4]図 3の 2次元配列図を各色ごとに分割した状態を示す説明図である。

圆 5]この発明の実施の形態 1一 3における補間手順を示すフローチャートである。

[図 6]この発明の実施の形態 1において、 R色の出力信号を有する画素における G色の信号を生成する手順を示すフローチャートである。

[図 7]R色、 G色ローパスフィルタ出力力もなる 9組のデータ力も得られる回帰直線を模式的に示す説明図である。

圆 8]この発明の実施の形態 1一 3において、回帰直線の傾きと切片を算出するフロ一チャートである。

圆 9]撮像素子の出力を AZD変換することにより得られる出力信号の値の一例を示す説明図である。

[図 10]この発明の実施の形態 1において、図 9の出力信号力算出されるローバスフィルタ出力を示す説明図である。

[図 11]この発明の実施の形態 1において、図 10のローパスフィルタ出力力も得られる回帰直線を示す説明図である。

[図 12]この発明の実施の形態 2の画素信号処理装置を備えたデジタルスチルカメラなどの撮像装置の構成を示すブロック図である。

[図 13]この発明の実施の形態 2において、 R色の出力信号を有する画素における G 色の信号を生成する手順を示すフローチャートである。

[図 14]この発明の実施の形態 2において、回帰分析手段が画像の相関性を評価するフローチャートである。

圆 15]この発明の実施の形態 2において、注目画素が R色の出力信号を有する場合に、不足色の G色を生成するために参照する画素の配列を説明するための説明図である。

[図 16]この発明の実施の形態 2において、 G色の出力信号を有する画素における R 色の信号を生成する手順を示すフローチャートである。

[図 17]この発明の実施の形態 2において、注目画素が G色の出力信号を有する場合に、不足色の R, B色を生成するために参照する画素の配列を説明するための説明図である。

[図 18]この発明の実施の形態 2において、 R色の出力信号を有する画素における B 色の信号を生成する手順を示すフローチャートである。

[図 19]この発明の実施の形態 2において、注目画素が R色の出力信号を有する場合に、不足色の B色を生成するために参照する画素の配列を説明するための説明図である。

[図 20]この発明の実施の形態 3の画素信号処理装置を備えたデジタルスチルカメラなどの撮像装置の構成を示すブロック図である。

[図 21]この発明の実施の形態 3において、 G色の出力信号を有する画素における R 色の信号を生成する手順を示すフローチャートである。

[図 22]この発明の実施の形態 3において、注目画素が G色の出力信号を有する場合に、不足色の R, B色を生成するために参照する画素の配列を説明するための説明図である。

[図 23]この発明の実施の形態 3にお、て、 R色の出力信号を有する画素における B 色の信号を生成する手順を示すフローチャートである。

[図 24]この発明の実施の形態 3において、注目画素が R色の出力信号を有する場合に、不足色の B色を生成するために参照する画素の配列を説明するための説明図である。

符号の説明

[0008] 2 2次元撮像素子、 7a— 7c ローパスフィルタ、 8, 10, 12 回帰分析手段、 9, 13 演算手段。

発明を実施するための最良の形態

[0009] 以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、デジタルスチルカメラの一部として用いるのに適したものである力本発明はこれに限定されない。 [0010] 実施の形態 1.

図 1は、この発明の実施の形態 1の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。レンズ 1から入射した光は、赤 (R)、緑 (G)、青（B)の 3原色に対応する分光感度特性を有する色フィルタが、例えば、図 2に示すように、べィャ（Ba yer)型に配置された 2次元撮像素子 2に結像する。

[0011] 2次元撮像素子 2は入射光を光電変換し入射光量に応じたレベルのアナログ画素信号を画素ごとに出力する。このアナログ画素信号は AZD変換器 3にてデジタル画素信号に変換され、出力され、フレームメモリ 4に記憶される。

[0012] フレームメモリ 4に記憶された画素信号は、デマルチプレクサ 5で R、 G、 B色ごとに 2 次元メモリ 6a— 6cに分配され、記憶される。即ち R色の画素信号カモリ 6aに、 G色の画素信号メモリ 6bに、 B色の画素信号力メモリ 6cにそれぞれ記憶される。ローパスフィルタ 7a— 7cはそれぞれメモリ 6a— 6cに対応して設けられたものであり、メモリ 6a 一 6cから読み出された画素信号に対してローノスフィルタリングを行って、その結果を出力する。

[0013] 2次元撮像素子 2は、 R、 G、 Bの色フィルタ力それぞれの画素の位置に対応して、例えば図 2に示すようにべィャ型に配置されたものであるので、各画素位置からは一つの色の画素信号のみが得られ、他の 2つの色の画素信号は得られない。言換えると、各画素位置には一つの色の画素信号のみが存在し、他の色の画素信号が存在しない。

以下、各画素位置において画素信号が存在しない色を「不足色」と言うことがある。例えば、撮像素子 2の出力において、 R色の画素信号が存在する画素位置の不足色は G色と B色である。

本実施の形態では、回帰分析手段 8と演算手段 9とは、ローパスフィルタ 7a— 7cから出力される画素信号に基づいて、各画素位置の不足色の画素信号を補間により求める。

[0014] この補間は、以下の 6つの処理を含む。

(PI) R色の画素信号が存在する画素位置における G色の画素信号を求めるための処理。 (P2) B色の画素信号が存在する画素位置における G色の画素信号を求めるための処理。

(P3) G色の画素信号が存在する画素位置における R色の画素信号を求めるための処理。

(P4) G色の画素信号が存在する画素位置における B色の画素信号を求めるための処理。

(P5) R色の画素信号が存在する画素位置における B色の画素信号を求めるための処理。

(P6) B色の画素信号が存在する画素位置における R色の画素信号を求めるための処理。

これら 6つの処理は、

「K色 (K=R、 G、又は B)の画素信号が存在する画素位置における L色（L=R、 G 、又は B、但し Lは Kとは異なる）の画素信号を求めるための処理」

と一般ィ匕して言うことができる。

これらの 6つの処理の各々は画面上（1フレーム内）のすベての画素位置について行われる。

上記の 6つの処理の各々は例えば順に行われる。上記の 6つの処理を各画素位置 (注目画素位置）について行うに当たり、回帰分析手段 8は、注目画素位置 (補間対象画素位置）の近傍の領域 (即ち、第 1の注目画素とその周辺の (該注目画素からの距離が所定の距離以内の）画素を含む領域）内の画素位置における K色の画素信号と、 L色の画素信号とを、該当するローパスフィルタ（7a— 7cのうちの 2つ）から受け取り、受け取った画素信号の相関を表す回帰式を算出する。

演算手段 9は、回帰分析手段 8で算出した回帰式の定数とフレームメモリ 4に格納されて、る注目画素位置の K色の画素信号 (撮像素子 2の出力）を用いて、注目画素位置における L色の画素信号を算出し、算出の結果得られた画素信号を、結果メモリ 14に格納する。以下、上記のように算出の結果得られた画素信号を、「生成画素信号」又は単に「生成信号」と呼ぶことがある。これに対し、ローパスフィルタ 7a— 7cにおけるフィルタリングの結果として得られた画素信号を単に「ローパスフィルタ出力」と呼ぶことがある。また、ローパスフィルタリング前の画素信号、即ち、撮像素子の出力を AZD変換することにより得られた画素信号)を単に「出力信号」と呼ぶことがある。なおまた、 AZD変換は信号の形を変えるのみであるので、フレームメモリ 4に格納された画素信号を、撮像素子 2から出力された画素信号、或いは撮像素子の出力信号と呼ぶことちある。

[0016] 上記の 6つの処理がすべて終わったときに、 1画面上のすべての画素位置のすべての不足色の画素信号が揃う。結果メモリ 14に格納された生成信号と、フレームメモリ 4に格納されている出力信号とを組み合せたものは、 1画面上のすべての画素位置におけるすべての色 (R、 G、 B)の画素信号の組を成す。演算手段 9は、このような画素信号の組、即ちフレームメモリ 4に格納された出力信号と結果メモリ 14に格納された生成信号を合わせたものを RGBのカラー信号として出力する。

[0017] 以下詳細に説明する。

図 3は、撮像素子 2の出力を AZD変換することにより得られる画素信号を模式的に示した 2次元配列図である。図において、各マスは各画素位置を表し、その中に記載されている R、 G、 Bが各画素位置における画素信号の色を表し、カツコ内の数字が各画素位置の座標値 (1 =行、 m =列）をそれぞれ示してヽる。

[0018] 出力信号は、図 3に示すように、各画素位置に一つの色の画素信号のみが存在し、同じ画素位置には他の色の画素信号が存在しない。言い換えると、同じ画素位置を占めることがな、ように配列されたものである。

AZD変^ ^3の出力は、上記のようにフレームメモリ 4に格納され、フレームメモリ 4 力も読み出された信号は、デマルチプレクサ 5で分割されて、色ごとに 2次元メモリ 6a 一 6cに格納される。

[0019] 図 4 (a)一（c)は、 2次元メモリ 6a— 6cの各々に記憶された画素信号を及びその画素位置を模式的に示す。

図示のように各色の出力信号は、すべての画素位置を占めるわけではなぐ例えば R色の出力信号は 4つの画素位置ごとに 1つの画素位置のみを占め、残りの 3つの画素位置においては不足色の画素信号となっており、 G色の出力信号は 2つの画素位置ごとに 1つの画素位置を占め、残りの 1つの画素位置においては不足色の画素信号となっており、 B色の出力信号は 4つの画素位置ごとに一つの画素位置を占め、残りの 3つの画素位置においては不足色の画素信号となっている。

[0020] 本発明の画素信号処理装置は、各画素位置におけるすべての不足色の画素信号を補間により求めるためのものである。

[0021] 以下、ローパスフィルタ 7a— 7c、回帰分析手段 8、及び演算手段 9で行われる各画素位置の不足色の画素信号を生成する補間処理について更に詳しく説明する。図 5 は補間の手順を示すフローチャートである。

以下の説明で、撮像素子 2の出力において、ある画素位置に画素信号が存在するときに、その「画素は出力信号を有する」と言い、逆にある画素位置に画素信号が存在しな、ときにその「画素は出力信号を有しな、」と言うことがある。

[0022] まず、 R色の出力信号を有する画素の位置における G色の信号を生成し (ステップ ST9)、次に B色の出力信号を有する画素の位置における G色の信号を生成し (ステップ ST10)、次に G色の出力信号を有する画素の位置における R色の信号を生成し (ステップ ST11)、次に G色の出力信号を有する画素の位置における B色の信号を生成し (ステップ ST12)、次に R色の出力信号を有する画素の位置における B色の信号を生成し (ステップ ST13)、最後に B色の出力信号を有する画素の位置における R色の信号を生成する (ステップ ST14)。

[0023] 次に、 R色の出力信号を有する画素を注目画素として、注目画素における不足色の一つである G色の信号を生成する処理 (ステップ ST9)について詳細に説明する。図 4はステップ ST9の手順を示すフローチャートである。

[0024] 例えば注目画素として図 3の R色の出力信号を有する画素位置（2, 2)の画素を選択したとする (ステップ ST16)。なお、画素位置（2, 2)が R色の出力信号を有することを表すため図 6のステップ ST16のように「R (2, 2)」と表記する場合がある。以下、他の色の出力信号を有する画素につ、ても同様である。

上記のように、注目画素として図 3の R色の出力信号を有する画素位置（2, 2)の画素が選択されると、回帰分析手段 8は、図 3中の注目画素位置（2, 2)の近傍の領域内の画素位置、即ち注目画素位置（2, 2)の注目画素とその周辺の 8つの画素位置 (1, 1)、 (1, 2)、 (1, 3)、 (2, 1)、 (2, 3)、 (3, 1)、 (3, 2)、 (3, 3)における R色のローパスフィルタ出力と G色のローパスフィルタ出力からなるデータを、ローパスフィルタ 7a、 7bから受け取る。

なお、図 3に示す例では、注目画素位置からの垂直方向及び垂直方向の距離が 1 画素である画素位置を周辺の画素位置として、る。

ローパスフィルタ出力としては、例えば、所定の範囲内にある同じ色の画素の出力信号の平均値などがある。具体的には、 3X3領域内に含まれる同じ色の画素の出力信号の平均値をその領域の中心位置におけるローパスフィルタ出力とする場合、図 4 (a)の太線で囲まれた 3 X 3領域内に含まれる 4つの R色画素の出力信号の平均値力 3X3領域の中心位置（1=1, m=l)における R色のローパスフィルタ出力となる。よって、図 3の 9つの画素位置（1, 1)、 (1, 2)、 (1, 3)、 (2, 1)、 (2, 2)、 (2, 3) 、 (3, 1)、 (3, 2)、 (3, 3)における R色のローパスフィルタ出力は、以下の式 (4)一（ 12)により得られる。ここで、 R は R色のローパスフィルタ出力を示す。

LPF

R (1 1) = (R(0, 0)+R(0, 2)+R(2, 0)+R(2, 2))/4

…(

R (1, 2) = (R(0, 2)+R(2, 2))/ 2 … ）

LPF

R (1, 3) = (R(0, 2) +R(0, 4) +R(2, 2)+R(2, 4))/4

LPF

ー(6)

R (2, 1) = (R(2, 0)+R(2, 2))/ 2 … ）

LPF

R (2, 2) =R(2, 2) …

LPF

R (2, 3) = (R(2, 2)+R(2, 4))/2 …ゆ）

LPF

R (3, 1) = (R(2, 0) +R(2, 2) +R(4, 0)+R(4, 2))/4

LPF

…ひ。）

R (3, 2) = (R(2, 2)+R(4, 2))/ 2 ー（11)

LPF

R (3, 3) = (R(2, 2) +R(2, 4) +R(4, 2)+R(4, 4))/4

LPF

-(12)

同様に、図 3の 9つの画素位置（1, 1)、 (1, 2)、 (1, 3)、 (2, 1)、 (2, 2)、 (2, 3)、 (3, 1)、 (3, 2)、 (3, 3)における G色のローパスフィルタ出力は、以下の式（13)—（ 21)により得られる。ここで、 G は G色のローパスフィルタ出力を示す。 G (1, 1) (G(0, 1)+G(1, 0)+G(l, 2)+G(2, l))/4

•••(13)

G (1, 2) (G(0, 1)+G(0, 3)+G(l, 2)+G(2, 1)+G(2, 3))/5

•••(14)

G (1, 3) (G(0, 3)+G(l, 2)+G(l, 4)+G(2, 3))/4

ー（15)

G (2, 1) (G(l, 0)+G(l, 2)+G(2, 1)+G(3, 0)+G(3, 2))/5

•••(16)

G (2, 2) (G(l, 2)+G(2, 1)+G(2, 3)+G(3, 2))/4

-(17)

G (2, 3) (G(l, 2)+G(l, 4)+G(2, 3)+G(3, 2)+G(3, 4))/5

•••(18)

G (3, 1) (G(2, 1)+G(3, 0)+G(3, 2)+G(4, l))/4

•••(19)

G (3, 2) (G(2, 1)+G(2, 3)+G(3, 2)+G(4, 1)+G(4, 3))/5

ー(20)

G (3, 3) (G(2, 3)+G(3, 2)+G(3, 4)+G(4, 3))/4

ー(21)

[0027] そして回帰分析手段 8は、式 (4)一（12)で得られた R色のローノスフィルタ出力 R しを説明変数 e(i)とし (ステップ ST17)、式（13)—（21)で得られた G色のローパスフ

PF

ィルタ出力 G を目的変数 p (i)として (ステップ ST18)、回帰分析を行!、、式（22)で

LPF

示す回帰直線を算出する (ステップ ST19)。

[0028] G =aXR +b ---(22)

LPF LPF

[0029] 回帰直線の一例が図 7に示されている。このような回帰直線を表す回帰式は、 G

LPF

を目的変数、 R

LPFを説明変数として、最小二乗法により得られるものである。

[0030] 図 8は、回帰直線の定数 a (切片）、 b (傾き）を算出するために、ステップ ST19が実施する相関算出処理の詳細を示すフローチャートである。説明変数を e(i)、目的変数を p(i)、データ総数を N (上記の例では N = 9)、データ番号を i=l一 N、とする。図 8に示すように、最初にデータ数設定ステップ ST1において、演算に使用するデータの総数を設定し、次に積和演算ステップ ST2において、説明変数と目的変数を用いた積和演算を行い kl、 k2、 k3を算出し、次に傾き算出ステップ ST3において、ステップ ST2で得られた kl、 k2を用いて回帰直線の傾き aを算出し、次に切片算出ステップ ST4において、ステップ ST2で得られた k2、 k3を用いて回帰直線の切片 b の値を算出する。

[0031] このようにして得られた回帰直線は注目画素の近傍の領域における R色と G色の相関を表しているため、注目画素における R色と G色の信号もこの回帰直線上の値と近い値であると考えられる。

[0032] 演算手段 9は、回帰分析手段 8で算出した回帰直線の傾きと切片を示す定数 a、 bと、フレームメモリ 4に格納されている注目画素の出力信号 R (2, 2)を受け取り、式（23 )に基づく変換を行うことで、注目画素の位置における G色の信号 g (2, 2)を生成する（ステップ ST20)。なお、上記の例のように、 G、 R、 B色の生成信号はそれぞれ小文字の「_g」、「_r」、「b」で表す。

[0033] g (2, 2) =a XR (2, 2) +b (23)

[0034] 生成した信号は結果メモリ 14に格納する (ステップ ST21)。

[0035] 以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップ ST22)。なお、当然ながら、注目画素を変えるたびにその周囲の画素が変わり、異なる画素を用いて回帰分析を行なうので、異なる値の定数 a、 bが得られ、これを用いて各画素の生成信号が求められる。

以上により、図 5のステップ ST9の処理が終わる。

図 5のステップ ST10乃至 ST14の各々においても、ステップ ST9と同様に、伹し異なる色について、上記のような一連の処理が行われる。

図 5のステップ ST9から ST14がすべて終わると、すべての画素の不足色につ!、て補間が完了し、出力信号 (撮像素子 2の出力を AZD変換することにより得られた画素信号)と生成信号 (補間により求められた画素信号)を合せれば、すべての画素のすべての色の画素信号が揃ったものとなる。即ち、 1画面分のカラー画像が得られる。そこで、演算手段 9は結果メモリ 14に格納された生成信号とフレームメモリ 4に格納された出力信号を合せて、 RGBの色信号として出力する (ステップ ST15)。

[0036] 尚、上記の例において、各色の信号を生成する順序は図 5に示した順序に限るものではなぐ信号を生成する順序を入れ替えても差し支えなヽ。

[0037] 上記した方式で補間を行うと、注目画素とその周囲画素における各色信号の任意の相関関係を表す回帰直線に従った生成信号で補間することが出来る。このため、上記特許文献 1 (特開 2001-197512号公報）に開示された方法が抱える、色の境界付近での黒ずみや白抜けなどの画像劣化が発生すると言う問題が著しく改善される。

[0038] 例えば、図 9中の数値で示すような出力信号が各画素から得られ、破線部分に色の境界が存在するような場合には、中央に位置する注目画素および注目画素の周囲に位置する周辺の画素の位置における R色と G色のローパスフィルタ出力は図 10 のようになる。これらの値から回帰直線を求めた結果を図 11に示す。このとき回帰直線の傾きは 0. 0807、切片は 74. 591だった。この結果と注目画素の出力信号である R(2, 2) = 9を式（23)に代入し、不足色の G色の信号を算出すると、式（24)の様になる。

[0039] g (2, 2) = 0. 0807 X 9 + 74. 591 = 75 (24)

[0040] このように算出された g (2, 2)は周辺の画素の G色と近い値になり、色の境界付近部分で黒ずみや白抜け等の画像劣化を発生することがなくなる。

[0041] なお、上記の例ではローパスフィルタが各画素の周囲の出力信号の単純平均値を求めて、るが、重み付け加算平均値を求めるようにしても良!、。

[0042] 実施の形態 2.

図 12は、この発明の実施の形態 2の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。

実施の形態 2は、回帰分析手段 10及びローパスフィルタ 7a— 7c以外の構成は実施の形態 1と同様である。

[0043] 本実施の形態の回帰分析手段 10は、回帰直線の算出に先立って、注目画素の周囲における画像の相関性の判定を行う。具体的には、例えば、注目画素の不足色のうち生成したい色と同じ色の出力信号を有する画素の中から、注目画素を挟んで上下、左右あるいは斜め方向など反対側に位置する 2つの画素の出力信号 (撮像素子 2の出力を AZD変換することにより得られた画素信号)の差をそれぞれ算出し、比較する。そして、出力信号の差が最も小さくなる 2つの画素を結ぶ直線の方向に強い相関があると判定する。

[0044] 回帰分析手段 10は、相関が強いと判定された方向にある画素の中から、注目画素の出力信号と同じ色の画素を複数選択し、選択した画素における出力信号をフレームメモリ 4から受け取り、ローパスフィルタ出力をローパスフィルタ 7a— 7cからそれぞれ受け取る。

そして、選択した画素における出力信号を説明変数、ローパスフィルタ出力を目的変数として回帰分析を行い、色の相関を表す回帰直線を算出する。

[0045] 次に動作について説明する。補間の手順は実施の形態 1と同様、図 5のフローチヤートに従う。最初に、図 5のステップ ST9の処理、即ち R色の出力信号を有する画素を注目画素とし、注目画素における不足色の一つである G色の信号を生成する処理について説明する。図 13はその手順を示すフローチャートである。

[0046] まず、注目画素として R色の出力信号を有する画素位置 (1, m)の画素を選択する（ ST23)。

次に、注目画素の周囲における画像の相関性の判定を行う（ST24、 ST25、 S26 、 ST27)。

図 13のステップ ST24、 ST25、 S26、 ST27と同じステップ力図 14にも示されて!/ヽる。但し、図 14には、画素の位置について具体的な座標値の例が示されている。以下、図 13のステップ ST24、 ST25、 S26、 ST27及びこれらにそれぞれ対応する図 1 4のステップ ST5、 ST6、 S7、 ST8、並びに注目画素の周囲の画素を示す図 15を参照して説明する。

[0047] 例えば、注目画素として R色の出力信号を有する画素位置 (1, m)、例えば図 15の

(3, 3)の画素が選択されたとき（図 13のステップ ST23)、注目画素の上下左右にある画素（上下又は左右方向に整列した画素）のうち、生成した!/、不足色と同じ G色の出力信号を有する画素の信号を用いて注目画素における縦方向と横方向の画像の相関性を比較する。そのためにまず注目画素の上下にある G色画素の差分値 G (V) 及び左右にある G色画素の差分値 G (H)を算出する (ステップ ST24、 ST5)。次にこれらの差分値 G (V)、 G (H)の大小関係を比較し (ステップ ST25、 ST6)、差分値が小さい方向（水平方向（横方向）あるいは垂直方向（縦方向））に強い相関性があると判定する。そして、強い相関性がある方向にある画素のうち、注目画素の近傍にあつて、注目画素の色と同じ R色の出力信号を有する画素を選択画素とする (ステップ S T26、 ST27、 ST7、 ST8)。

具体的には、値 G (V)≤G (H)であるときは、垂直方向の相関性が強いと判断し、垂直方向に並んだ画素のうち、注目画素の色と同じ R色の出力信号を有する画素 R( 1-2, m)、R(l, m)R(l+ 2, m)、例えば R(l, 3)、R(3, 3)、R (5, 3)を選択画素とする（ステップ ST26、 ST7)。一方、値 G (V) >G (H)であるときは、水平方向の相関性が強いと判断し、水平方向に並んだ画素のうち、注目画素の色と同じ R色の出力信号を有する画素 R(l, m— 2)、R (1, m)R (l, m+ 2)、例えば R (3, 1)、R (3, 3)、R (3, 5)を選択画素とする（ステップ ST27、 ST8)。

[0048] 以上のようにして相関性の判定がなされた後、回帰分析手段 10は、選択された画素における R色の出力信号をフレームメモリ 4から受け取って説明変数 e (i) (1= 1-3 )とし (ステップ ST28)、 G色のローパスフィルタ出力をローパスフィルタ 7bから受け取つて目的変数 P (i) (i= 1一 3)とする (ステップ ST29)。

[0049] ローパスフィルタ 7a— 7cは、回帰分析手段 10から相関性の判定の結果を受け取つて、各画素位置につ、て相関性の強!、と判定された方向に並んだ画素の出力信号のみに基いてローパスフィルタリングを行なう。例えば、上記の相関性の判定で垂直方向に相関が強いと判断された場合は、各画素を中心とする縦 3画素 X横 1画素の領域にある画素の出力信号の平均値をローパスフィルタ出力とし、上記の相関性の判定で水平方向に相関が強、と判断された場合は、縦 1画素 X横 3画素の領域にある画素の出力信号の平均値をローパスフィルタ出力とする。具体的には、垂直方向に相関が強いと判断された場合には、例えば図 15中の画素位置（1, 3)についてのローパスフィルタ出力は、太線で示した領域に含まれる画素の出力信号の平均値となる。他の画素位置（3, 3)、 (5, 3)についても同様である。よって、垂直方向に相関が強い場合に各選択画素における G色のローパスフィルタ出力は、以下の式（25)— (27)より算出される。

[0050] G (1, 3) = (G (0, 3) +G (2, 3) ) /2 (25)

LPF

G (3, 3) = (G (2, 3) +G (4, 3) ) /2 (26)

LPF

G (5, 3) = (G (4, 3) +G (6, 3) ) /2 (27)

LPF

[0051] 回帰分析手段 10は、説明変数 e (i) (R色の出力信号)及び目的変数 p (i) (G色の口一パスフィルタ出力）を用いて回帰分析を行い (ステップ ST30)、 R色と G色の相関を表す回帰直線の傾きと切片の値を算出し、実施の形態 1と同様、注目画素における G色の生成信号を算出する (ステップ ST31)。生成した信号は結果メモリ 14に格納する（ステップ ST32)。

[0052] 以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップ ST33)。

これにより図 5のステップ ST9の処理が終わる。

図 5のステップ ST10においては、ステップ ST9と同様に、但し R色を B色に変えて、即ち、 B色の出力信号を有する画素の G色の信号を求めるため、上記と同様の一連の処理が行われる。

[0053] 図 5のステップ ST11においては、 G色の出力信号を有する画素の R色の信号を求めるため、一連の処理が行われる。この処理はステップ ST9や ST10とは以下のように異なる。以下、図 16及び図 17を参照してステップ ST11の詳細を説明する。

[0054] まず、注目画素として例えば図 17中の G色の出力信号を有する画素位置（3, 3)の画素を選択する（ST34)。

G色出力信号を有する画素の周辺に、不足色である R色の出力信号を有する画素は水平方向または垂直方向のどちらか一方に整列した位置にしか存在しない。よつて、回帰分析手段 10は相関方向の判定は行わず、該当する色の画素が存在する方向が水平方向であるか垂直方向であるかの判定を行い（ST35)、存在する方向を選択する（ステップ ST36、 ST37)。例えば、図 17に示すように水平方向に存在する場合には、水平方向に並んだ G色の画素信号を有する画素位置 (1, m— 2)、 (1, m)、 (1 , m+ 2)の画素を選択する（ST36)。なお、図 17とは異なり垂直方向に存在する場合には、垂直方向に並んだ G色の画素信号を有する画素位置 (1 2, m)、 (1, m)、 (1 + 2, m)の画素を選択する（ST37)。

[0055] 上記以外の処理（ST38乃至 ST43)は、図 13の ST28乃至 33を参照して説明したのと同様である。

即ち、図 13を参照して説明した、 R色の出力信号を有する画素の G色の信号を生成する場合と同様、選択画素の出力信号 (撮像素子 2の出力を AZD変換することにより得られた信号)を説明変数 e (i)とし (ステップ ST38)、 R色のローパスフィルタ出力を目的変数 p (i)として (ステップ ST39)回帰分析を行!ヽ (ステップ ST40)、得られた回帰直線と注目画素の出力信号から注目画素における R色の生成信号を算出する (ステップ ST41)。生成した信号は結果メモリ 14に格納する (ステップ ST42)。以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップ ST43)。

これにより図 5のステップ ST11の処理が終わる。

図 5のステップ ST12においては、ステップ ST11と同様に、但し R色を B色に変えて、即ち、 G色の出力信号を有する画素の B色の信号を求めるため、上記と同様の一連の処理が行われる。

[0056] 図 5のステップ ST13においては、 R色の出力信号を有する画素の B色の信号を求めるため、一連の処理が行われる。この処理はステップ ST9乃至 ST12とは以下のように異なる。以下、図 18及び図 19を参照してステップ ST13の詳細を説明する。

[0057] まず、注目画素として図 19中の R色の出力信号を有する画素位置（3, 3)の画素を選択する（ST44)。

次に、注目画素の周囲における画像の相関性の判定を行う（ST45、 ST46、 ST4 7、 ST48)。この場合は、図 13の場合と異なり、水平 ·垂直方向力も 45度傾斜した 2 つの斜め方向の相関性を求める（ステップ ST45— 48)。

即ち、注目画素の右上がりの斜め方向に整列した画素及び右下がりの斜め方向に整列したる画素のうち、生成したい不足色と同じ R色の出力信号を有する画素の信号を用いて注目画素における右上がりの斜め方向と左上がりの斜め方向の画像の相関性を比較する。そのためにまず注目画素の右上がりの斜め方向に並び、注目画素を挟んで反対側に位置する B色の画素相互間の差分値 B (D1) = I B (l— 1, m+ 1) -B (l+ 1, m-1) Iと、右下がりの斜め方向に並び、注目画素を挟んで反対側に位置する B色の画素相互間の差分値 B (D2) = I B (l— 1, m-1) -B (1+ 1, m+ 1)を算出する (ステップ ST45)。次にこれらの差分値 B (D1)、 B (D2)の大小関係を比較し (ステップ ST46)、差分値が小さ!/、方向（右上がり斜め方向ある!/、は右下がり斜め方向）に強い相関性があると判定する。そして、強い相関性がある方向に位置する画素のうち、注目画素の近傍にあって、注目画素の色と同じ R色の出力信号を有する画素を選択画素とする（ステップ ST47、 ST48)。

具体的には、値 B (D1)≤B (D2)であるときは、右上がりの斜め方向の相関性が強いと判断し、右上がりの斜め方向に並んだ画素のうち、注目画素の色と同じ R色の出力信号を有する画素位置ひ 2, m+ 2)、 (1, m)、 (1+ 2, m)の画素を選択画素とする（ステップ ST47)。一方、値 B (D1) >B (D22)であるときは、右下がりの斜め方向の相関性が強いと判断し、右下がりの斜め方向に並んだ画素のうち、注目画素の色と同じ R色の出力信号を有する画素位置 (1 2, m— 2)、 (1, m)、 (1+ 2, m+ 2)の画素を選択画素とする (ステップ ST48)。

[0058] 以上のようにして相関性の判定がなされた後、回帰分析手段 10は、選択された画素における R色の出力信号をフレームメモリ 4から受け取って説明変数 e (i) (1= 1-3 )とし (ステップ ST49)、 B色のローパスフィルタ出力をローパスフィルタ 7cから受け取つて目的変数 P (i) (i = 1一 3)とする (ステップ ST50)。

[0059] このときの各画素位置についてのローパスフィルタ出力は、その画素を中心とする斜め方向に並んだ 2画素の画素位置の画素の出力信号の平均値とする。

[0060] 回帰分析手段 10は、説明変数 e (i) (R色の出力信号)及び目的変数 p (i) (B色の口一パスフィルタ出力）を用いて回帰分析を行い (ステップ ST51)、 R色と B色の相関を表す回帰直線の傾きと切片の値を算出し、実施の形態 1と同様、注目画素における B色の生成信号を算出する (ステップ ST52)。生成した信号は結果メモリ 14に格納する（ステップ ST53)。

[0061] 以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップ ST54)。

これにより図 5のステップ ST13の処理が終わる。図 5のステップ ST14においては、ステップ ST13と同様に、但し R色と B色を入れ替えて、即ち、 R色の出力信号を有する画素の B色の信号を求めるため、上記と同様の一連の処理が行われる。

図 5のステップ ST9から ST14がすべて終わると、すべての画素の不足色につ!、て補間が完了し、出力信号 (撮像素子 2の出力を AZD変換することにより得られた画素信号)と生成信号 (補間により求められた画素信号)を合せれば、すべての画素のすべての色の画素信号が揃ったものとなる。即ち、 1画面分のカラー画像が得られる。そこで、演算手段 9は結果メモリ 14に格納された生成信号と撮像素子 2からの出力信号を合せて、 RGBの色信号として出力する (ステップ ST15)。

[0062] この実施の形態 2では、注目画素の周囲における画像の相関性の判定を行い、相関性の強いと判断された方向に並んだ画素の出力信号のみを説明変数として用いている。その結果、例えば、輝度差が少ないエッジの稜線方向の画素を選択することとなる。従って、相関性の低い方向（相関性の強い方向に対して垂直な方向）からの影響、例えばエッジの稜線の法線方向からの影響を排除することが出来る。

[0063] また、実施の形態 2では、説明変数としてローパスフィルタ出力の代わりに出力信号

(撮像素子 2の出力を AZD変換することにより得られた画素信号)の値そのものを用いて回帰直線を算出するため、局所的な色の相関性をより正確に表す回帰直線が得られる。その結果、より正確な不足色の信号の生成が可能となる。

[0064] また、注目画素の周囲における出力信号の相関性の判定を行い、相関性の強いと判断された方向に並んだ画素の出力信号のみを説明変数として用いているが、相関性の判定を行わず、ローパスフィルタ出力の代わりに出力信号を用いることとしても良い。即ち、注目画素の周囲のあらゆる方向の（方向を限定することなく）画素の出力信号を説明変数として用いても良い。

[0065] 実施の形態 3.

図 20は、この発明の実施の形態 3の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。

実施の形態 3は、回帰分析手段 12と演算手段 13以外の構成は実施の形態 2と同様である。 [0066] 本実施の形態では、ある色について上記実施の形態 1や実施の形態 2で説明した回帰分析及び演算を含む補間によって生成された画素信号を、他の色の補間のための回帰分析において説明変数や目的変数として用いる。以下その一例として、上記の実施の形態 2で算出された G色の生成信号を、 R色及び B色の生成信号の算出のために用いる場合にっ、て説明する。

[0067] 次に動作について説明する。補間の手順は実施の形態 2と同様、図 5のフローチヤートに従う。ステップ ST9及び ST10の処理は、実施の形態 2について説明したのと同様である。ステップ ST9の処理により、 R色の出力信号を有する画素位置の G色の生成信号が得られ、ステップ ST10の処理により、 B色の出力信号を有する画素位置の G色の生成信号が得られ、これらが結果メモリ 14に格納される。結果メモリ 14に格納された G色の生成信号とフレームメモリ 4に格納された G色の出力信号とを合せると、 G色の画素信号が 1画面分揃う。

[0068] 図 5のステップ ST11においては、 G色の出力信号を有する画素の R色の信号を求めるため、一連の処理が行われる。図 21はその手順を示すフローチャートである。

[0069] まず、注目画素として G色の出力信号を有する画素位置 (1, m)の画素を選択する（ ST55) ₀例えば図 22中の画素位置（3, 3)の画素を選択した場合を想定する。

回帰分析手段 12は、（ST9、 ST10とは異なり、）相関判定を行わず、代わりに、注目画素の左右に注目画素の不足色である R色の画素が存在するかどうかの判定を行い (ステップ ST56)、存在する場合には、注目画素の近傍にあって、 R色の出力信号を有する図 22中の 6つの画素位置（1 2, m— 1)、 (1-2, m+ l)、 (1, m— 1)、 (1, m+ l)、 (1+ 2, m— 1)、 (1+ 2, m+ 1)の画素を選択画素とし (ステップ ST57)、一方存在しない場合には、注目画素の近傍にあって、 R色の出力信号を有する図 22 中の 6つの画素位置（1—1, m— 2)、 (1+ 1, m— 2)、 (1—1, m)、 (1+ 1, m)、 (1—1, m + 2)、 (1+ 1, m+ 2)の画素を選択画素とする (ステップ ST58)。図 22の場合、注目画素の左右に R色の画素が存在するので、ステップ ST56の判定結果が「Y」となり、ステップ ST57に進み、画素位置（1, 2)、 (1, 4)、 (3, 2)、 (3, 4)、 (5, 2)、 (5, 4) の画素を選択画素とする。

[0070] ステップ ST59では、選択画素位置における G色の生成信号 g (1-2, m— 1)、 g (1-2 , m+l)、g(l, m— l)、g(l, m+l)、g(l+2, m— l)、g(l+2, m+1)を説明変数 e(

1) (i=l一 6)とし (ステップ ST57で Yだった場合）、又は gG— 1, m— 2)、 g(l+l, m—

2)、g(l— 1, m)、g(l+l, m)、g(l— 1, m+2)、g(l+l, m+2)を説明変数 e(i) (i= 1一 6)とする (ステップ ST57の Nだった場合)。図 22の場合、 g(l, 2)、 g(l, 4)、 g( 3, 2)、g(3, 4)、g(5, 2)、g(5, 4)を説明変数 e(i) (i=l一 6)とする。

[0071] ステップ ST60では、選択画素位置における R色の出力信号 R(l— 2, m— 1)、 R(l— 2, m+l)、R(l, m— 1)、R(1, m+l)、R(l+2, m— l)、R(l+2, m+1)を目的変数 p (i) (i= 1一 6)とし (ステップ ST57で Yだった場合）、又は R (1-1, m— 2)、 R (1+ 1 , m— 2)、R(1— 1, m)、R(l+l, m)、R(l— 1, m+2)、R(l+l, m+2)を目的変数 p (i) (i=l一 6)とする (ステップ ST57の Nだった場合)。図 22に示す例の場合には、ステップ ST57で Yだったので、選択画素位置における R色の出力信号 R(l, 2)、 R( 1, 4)、R(3, 2)、R(3, 4)、R(5, 2)、R(5, 4)を目的変数 p(i) (i=l一 6)とする。

[0072] そしてこのようにして定めた説明変数及び目的変数を用いて回帰分析を行、、注目画素の近傍の領域内における G色と R色の相関を表す回帰直線を算出する (ステップ ST61)。このとき、局所的な色の相関をより正確に求めるために、上記した 6つの画素位置（1—2, m— 1)、 (1-2, m+1), (1, m— 1)、 (1, m+1), (1+2, m— 1)、 (1+ 2, m+1)、又は（1—1, m— 2)、 (1+1, m— 2)、 (1—1, m)、 (1+1, m)、 (1—1, m+2 )、 (1+1, m+2)、例えば図 22中の 6つの画素位置（1, 2)、 (1, 4)、 (3, 2)、 (3, 4 )、 (5, 2)、 (5, 4)の選択画素のうち、出力信号、若しくは生成信号が他の選択画素や注目画素の有する値と大きく異なる画素を選択画素力外して回帰直線の算出を行っても良い。

[0073] 演算手段 13では、得られた回帰直線と注目画素の出力信号 G (3, 3)から、注目画素の不足色である R色の信号を生成する (ステップ ST62)。生成した信号は結果メモリ 14に格納する（ステップ ST63)。

[0074] 以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップ ST64)。

これにより図 5のステップ ST11の処理が終わる。

[0075] 図 5のステップ ST12においては、ステップ ST11と同様に、但し R色を B色に変えて、即ち、 G色の出力信号を有する画素の B色の信号を求めるため、上記と同様の一連の処理が行われる。この処理も図 21と同様である。但し、図 21のステップ ST55乃至 ST64で「R」とあるのを「B」と読み替える必要がある。

[0076] まず、注目画素として G色の出力信号を有する画素位置 (1, m)の画素を選択する（ ST55)₀例えば図 22中の（3, 3)を選択した場合を想定する。

回帰分析手段 12は、注目画素の左右に注目画素の不足色である B色の画素が存在するかどうかの判定を行い (ステップ ST56)、存在する場合には、注目画素の近傍にあって、 B色の出力信号を有する図 22中の 6つの画素位置（1 2, m— 1)、 (1-2, m+l)、 (1, m— 1)、 (1, m+l)、 (1+2, m— 1)、 (1+2, m+ 1)の画素を選択画素とし (ステップ ST57)、一方存在しない場合には、注目画素の近傍にあって、 B色の出力信号を有する図 22中の 6つの画素位置（1 1, m— 2)、 (1+1, m— 2)、 (1-1, m)、 (1+1, m)、 (1-1, m+2)、 (1+1, m+2)の画素を選択画素とする（ステップ ST58) 。図 22の場合、注目画素の左右に B色の画素が存在しないので、ステップ ST56の判定結果が「N」となり、ステップ ST58に進み、画素位置（2, 1)、 (2, 3)、 (2, 5)、 ( 4, 1)、 (4, 3)、 (4, 5)の画素を選択画素とする。

[0077] ステップ ST59では、選択画素位置における G色の生成信号 g (1-2, m— 1)、 g (1-2 , m+l)、g(l, m— l)、g(l, m+l)、g(l+2, m— l)、g(l+2, m+1)を説明変数 e(

1) (i=l一 6)とし (ステップ ST57で Yだった場合）、又は gG 1, m 2)、 g(l+l, m—

2)、g(l— 1, m)、g(l+l, m)、g(l— 1, m+2)、g(l+l, m+2)を説明変数 e(i) (i= 1一 6)とする (ステップ ST57の Nだった場合)。図 22の場合、 g(2, l)、g(2, 3)、g( 2, 5)、g(4, l)、g(4, 3)、g(4, 5)を説明変数 e(i) (i=l一 6)とする。

[0078] ステップ ST60では、選択画素の B色の出力信号 B(l— 2, m— 1)、 B(l— 2, m+1), B(l, m— 1)、 B(l, m+l)、 B(l+2, m— 1)、 B(l+2, m+1)を目的変数 p(i) (i=l 一 6)とし (ステップ ST57で Yだった場合）、又は B (1-1, m-2)、 B(l+1, m—2)、 B( 1-1, m)、 B(l+1, m)、 B(l— 1, m+2)、 B(l+1, m+2)を目的変数 p(i) (i=l— 6 )とする (ステップ ST57の Nだった場合)。図 22に示す例の場合には、ステップ ST5 7で Nであったので、選択画素の B色の出力信号 B (2, 1)、B(2, 3)、B(2, 5)、B(4 , 1)、Β(4, 3)、Β(4, 5)を目的変数 p(i) (i=l一 6)とする。 [0079] そしてこのようにして定めた説明変数及び目的変数を用いて回帰分析を行、、注目画素の近傍の領域における G色と B色の相関を表す回帰直線を算出する (ステツプ ST61)。このとき、局所的な色の相関をより正確に求めるために、上記した 6つの画素位置（1—2, m— 1)、 (1-2, m+ l)、 (1, m— 1)、 (1, m+ l)、 (1+ 2, m— 1)、 (1+ 2, m+ 1)、又は（1 1, m— 2)、 (1+ 1, m— 2)、 (1—1, m)、 (1+ 1, m)、 (1—1, m+ 2 )、 (1+ 1, m+ 2)、例えば図 22中の 6つの画素位置（2, 1)、 (2, 3)、 (2, 5)、 (4, 1 )、 (4, 3)、 (4, 5)の選択画素のうち、出力信号、若しくは生成信号が他の選択画素や注目画素の有する値と大きく異なる画素を選択画素力外して回帰直線の算出を行っても良い。

[0080] 演算手段 13では、得られた回帰直線と注目画素の出力信号 G (3, 3)から、注目画素の不足色である B色の信号を生成する (ステップ ST62)。生成した信号は結果メモリ 14に格納する（ステップ ST63)。

[0081] 以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップ ST64)。

これにより図 5のステップ ST12の処理が終わる。

[0082] 図 5のステップ ST13においては、 B色の出力信号を有する画素の R色の信号を求めるため、一連の処理が行われる。図 23はその手順を示すフローチャートである。

[0083] まず、注目画素として R色の出力信号を有する画素位置 (1, m)の画素を選択する（ステップ ST65)。例えば図 24中の（3, 3)を選択した場合を想定する。

回帰分析手段 12は、注目画素の周囲の B色の出力信号を有する 4つの画素位置（

1-1, m— 1)、 (1-1, m+ 1) , (1+ 1, m— 1)、 (1+ 1, m+ 1) ,図 24の場合、 (2, 2)、

(2, 4)、 (4, 2)、 (4, 4)の B色の画素を第 1の組の選択画素 (選択画素 1)とする (ステツプ ST66)。

そして、結果メモリ 14に格納されている選択画素 1の画素位置の G色の生成信号 g (2, 2)、 g (2, 4)、 g (4, 2)、 g (4, 4)を説明変数 e (i) (i= 1—4)とする (ステップ ST6 7)とし、選択画素 1の画素位置の B色の出力信号 B (2, 2)、B (2, 4)、B (4, 2)、B ( 4, 4)を目的変数 p (i) (i= 1-4) (ステップ ST67)とする。

さらに、 G色の出力信号を有する 4つの画素位置（1 1, m)、 (1, m— 1)、 (1, m+ 1) 、 (1+ 1, m)、図 24の場合、 (2, 3)、 (3, 2)、 (3, 4)、 (4, 3)の画素を第 2の組の選択 (選択画素 2)とする (ステップ ST69)。

そして、選択画素 2の G色の出力信号 G (2, 3)、G (3, 2)、G (3, 4)、 G (4, 3)を説明変数 e (i) (i= 5— 8)とする (ステップ ST70)とし、結果メモリ 14に格納されて、る選択画素 2の B色の生成信号 b (2, 3)、 b (3, 2)、 b (3, 4)、 b (4, 3)を目的変数 p (i) (i = 5-8)とする（ステップ ST71)。

[0084] そしてこのようにして定めた説明変数 e (i) (i= l— 8)及び目的変数 p (i) (1= 1-8) を用いて回帰分析を行い、注目画素の近傍の領域内における B色と G色の相関を表す回帰直線を算出する (ステップ ST72)。このとき、局所的な色の相関をより正確に求めるために、上記した 8つの画素位置（1 1, m— 1)、 (1-1, m+ l)、 (1+ 1, m— 1) 、 (1+ 1, m+ l)、 (1-1, m)、 (1, m— 1)、 (1, m+ l)、 (1+ 1, m)、例えば図 24中の場合、 (2, 2)、 (2, 4)、 (4, 2)、 (4, 4)、 (2, 3)、 (3, 2)、 (3, 4)、 (4, 3)選択画素のうち、出力信号、若しくは生成信号が他の選択画素や注目画素の有する値と大きく異なる画素を選択画素力外して回帰直線の算出を行っても良い。

[0085] 演算手段 13では、得られた回帰直線と注目画素の生成信号 g (3, 3)から、注目画素の不足色である B色の信号を生成する (ステップ ST73)。生成した信号は結果メモリ 14に格納する（ステップ ST74)。

[0086] 以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップ ST75)。

これにより図 5のステップ ST13の処理が終わる。

[0087] 図 5のステップ ST14においては、ステップ ST13と同様に、但し R色と B色を入れ替えて、即ち、 B色の出力信号を有する画素の R色の信号を求めるため、上記と同様の一連の処理が行われる。この処理も図 23と同様である。但し、図 23のステップ ST65 乃至 ST74で「B」とあるのを「R」と読み替える必要がある。

[0088] 図 5のステップ ST9から ST14がすべて終わると、すべての画素の不足色について補間が完了し、出力信号と生成信号を合せれば、すべての画素のすべての色の画素信号が揃ったものとなる。即ち、 1画面分のカラー画像が得られる。そこで、演算手段 9は結果メモリ 14に格納された生成信号とフレームメモリ 4に格納された出力信号を合せて、 RGBの色信号として出力する (ステップ ST15)。

[0089] 実施の形態 3のステップ ST11乃至 ST14では、ローパスフィルタ出力を使用する代わりに、各画素の出力信号に加えて、補間により得られた生成信号も用いることで、注目画素の周辺の画素の有する信号をそのままの形で用いることが出来る。また、注目画素の近傍にある画素の信号を用いることが出来る。そのため、局所的な色の相関性をより正確に表す回帰直線が得られる。その結果、より正確に不足色の信号を生成することができる。

[0090] 上記の実施の形態 1、 2及び 3の説明では、 2次元撮像素子が、 R、 G、 Bの 3つの色の色フィルタがべィャ型に配置されたものである力本発明は、一般的に言えば、各々が第 1乃至第 N (上記の実施の形態では N = 3)の分光感度特性のうちのいずれか 1つの分光感度特性を有する N種類の光電変換素子が 2次元平面上に配列された撮像素子を備える場合に適用可能である。

回帰分析手段（8、 10、 12)は、実施の形態 1、 2及び 3のいずれにおいても、第 1の注目画素位置の近傍の領域内の複数の画素位置における、第 K (上記の例では K =R、 G又は B)の分光感度特性の画素信号と第 L (上記の例では L=R、 G又は B、但し Lは Kとは異なる）の分光感度特性の画素信号を受け取り、第 Kの分光感度特性の画素信号を説明変数、第 Lの分光感度特性の画素信号を目的変数として回帰分析を施し、第 Kの分光感度特性の画素信号と第 Lの分光感度特性の画素信号の相関を表す回帰式を算出し、演算手段（9、 13)が、第 1の注目画素位置における第 K の分光感度特性の画素信号に対して上記回帰式に基づく変換式を用いることにより、第 1の注目画素位置における第 Lの分光感度特性の画素信号を求める。

[0091] 上記の実施の形態 1、 2及び 3のいずれにおいても、ローパスフィルタ（7a— 7c)が、N種類の光電変換素子力の出力信号に対してローノスフィルタリングを行って、第 1乃至第 Nの分光感度特性に対応したローノスフィルタ出力を生成する。

そして、実施の形態 1においては、説明変数及び目的変数の双方に、ローパスフィルタリングによって得られた画素信号が用いられ、実施の形態 2においては、説明変数として出力信号が用いられ、目的変数として、ローパスフィルタリングにより得られた画素信号が用いられる。 [0092] 実施の形態 3においては、実施の形態 2と同様の回帰分析及び演算により生成したある画素についてのある色の画素信号を、その近傍の他の画素についての他の色の画素信号の補間のための回帰分析の際に説明変数として用いている。

このようにする代わりに、実施の形態 1と同様の回帰分析及び演算により生成したある画素についてのある色の画素信号を、その近傍の他の画素についての他の色の画素信号の補間のための回帰分析の際に説明変数として用いても良い。

さらに、実施の形態 1や実施の形態 2の回帰分析及び演算に代わり、公知の補間手段を用いても良い。そのような補間手段は、一般ィ匕して言えば、第 1の注目画素の近傍の領域内にあり、第 M (Mは Kを除く 1から Nの、ずれか)分光感度特性の画素信号が存在する第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号と第 Kの分光感度特性の画素信号とに基、て、第 2の注目画素位置における第 Kの分光感度特性の画素信号を補間により求めるものである。

この補間手段が実施の形態 1や実施の形態 2で説明したのと同様の回帰分析及び演算により補間を行なう場合の構成を一般ィ匕して言えば以下の通りである。即ち、回帰分析手段が、第 2の注目画素位置第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号と第 Kの分光感度特性の画素信号を受け取り、第 Mの分光感度特性の画素信号を説明変数、第 Kの分光感度特性の画素信号を目的変数として回帰分析を施し、第 Mの分光感度特性の画素信号と第 Kの分光感度特性の画素信号の相関を表す回帰式を算出し、演算手段が、第 2 の注目画素位置における第 Mの分光感度特性の画素信号に対して回帰式に基づく変換式を用いることにより、第 2の注目画素位置における第 Kの分光感度特性の画素信号を求め、このようにして求められた画素信号力「補間により求められた第 Kの分光感度特性の画素信号」として、第 Lの画素信号の補間のために説明変数として用いられる。

[0093] 実施の形態 3ではさらに、回帰分析及び演算により求めた画素信号を、他の色の画素信号の補間のための回帰分析において目的変数の一部として用いている。これを、色が第 1乃至第 Nの分光感度特性を有する場合に一般ィヒして表現すれば以下の通りとなる。

即ち、第 2注目画素位置第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 M (Mは Lを除く 1から Nの、ずれか)の分光感度特性の画素信号と第 L の分光感度特性の画素信号とに基いて、第 2の注目画素位置における第 Lの分光感度特性の画素信号を補間により求める補間手段をさらに有し、回帰分析手段が、さらに、上記補間により求められた画素信号を目的変数の一部として用いる。

[0094] そして、このような補間手段が、上記した実施の形態 3で説明した回帰分析手段及び演算手段で構成されている場合の構成を一般ィ匕して言えば以下の通りとなる。即ち、回帰分析手段が、第 2の注目画素位置第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号と第 Lの分光感度特性の画素信号を受け取り、第 Mの分光感度特性の画素信号を説明変数、第 Lの分光感度特性の画素信号を目的変数として回帰分析を施し、第 Mの分光感度特性の画素信号と第 Lの分光感度特性の画素信号の相関を表す回帰式を算出し、演算手段力第 2の注目画素位置における第 Mの分光感度特性の画素信号に対して回帰式に基づく変換式を用いることにより、第 2の注目画素位置における第 Lの分光感度特性の画素信号を求め、このようにして求められた画素信号力 ^補間により求められた第 Lの分光感度特性の画素信号」として目的変数の一部として用いられる。

[0095] 実施の形態 1乃至 3のいずれにおいても、回帰分析手段（8、 10、 12)は、回帰式として y = a'x + b (yは目的変数としての第 Yの分光感度特性の画素信号、 xは説明変数として第 Xの分光感度特性の画素信号、 a及び bは定数)なる直線を選択し、演算手段（9、 13)は、注目画素位置における第 Xの分光感度特性の画素信号 Xを、上記直線に基づぐ変換式、

Y' =a-X+b

に代入して変換することにより、注目画素位置における第 Yの分光感度特性の画素信号 Y，を得る。ここで、第 Kの分光感度特性の画素信号が存在する第 1の注目画素位置における第 Lの分光感度特性の画素信号を生成するときは、 X=K、 Y=L、 Y' =L 'であり、第 Mの分光感度特性の画素信号が存在する第 2の注目画素位置における第 Kの分光感度特性の画素信号を生成するときは、 X=M、 Y=K、 Υ ，=K 'である。

第 Μの分光感度特性の画素信号が存在する第 2の注目画素位置における第 Lの分光感度特性の画素信号を生成するときは、 X=M、 Y=L、 Y' =L 'である。図 8のステップ ST2では、 kl、k2、k3を説明変数 e (i)、目的変数 p (i)により求めているが、上記のように、説明変数を x (i)、目的変数を y(i)で表す場合には、 kl、 k2、 k3を求める式は以下の通りとなる。

[数 1]

Claims

請求の範囲

[1] 2次元平面上に配列され、各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1 つを有する画素の画素信号の組に基づき、第 K (Kは 1から Nのうちのいずれか一つ )の分光感度特性の画素信号が存在する第 1の注目画素位置における第 L (Lは Κを除く 1から Νのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、

上記第 1の注目画素位置における上記第 Κの分光感度特性の画素信号に対して上記回帰式に基づく変換式を用いることにより、上記第 1の注目画素位置における上記第 Lの分光感度特性の画素信号を求める演算手段と

を有する画素信号処理装置。

[2] 各々が第 1乃至第 Νの分光感度特性のうちのいずれか 1つを有する Ν種類の光電変換素子が 2次元平面上に配列された撮像素子と、

上記撮像素子の出力信号に対しローパスフィルタリングするローパスフィルタリング手段とをさらに有し、

上記回帰分析手段が、上記説明変数及び上記目的変数として、上記ローパスフィルタリングにより得られた画素信号を用いることを特徴とする請求項 1に記載の画素信号処理装置。

[3] 各々が第 1乃至第 Νの分光感度特性のうちのいずれか 1つを有する Ν種類の光電変換素子が 2次元平面上に配列された撮像素子と、

上記回帰分析手段が、上記説明変数として、上記撮像素子力出力された画素信号を用い、上記目的変数として、上記ローパスフィルタリングにより得られた画素信号を用いることを特徴とする請求項 1に記載の画素信号処理装置。

[4] 上記第 1の注目画素の近傍の領域内にあり、第 M (Mは Kを除く 1から Nのいずれ力分光感度特性の画素信号が存在する第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号と上記第 Kの分光感度特性の画素信号とに基いて、上記第 2の注目画素位置における第 Kの分光感度特性の画素信号を補間により求める補間手段をさらに有し、

上記回帰分析手段が、上記補間により求められた画素信号を上記説明変数として用いることを特徴とする請求項 1に記載の画素信号処理装置。

[5] 上記第 1の注目画素の近傍の領域内にあり、第 M (Mは Kを除く 1から Nのいずれ力分光感度特性の画素信号が存在する第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号と上記第 Lの分光感度特性の画素信号とに基いて、上記第 2の注目画素位置における第 Lの分光感度特性の画素信号を補間により求める補間手段をさらに有し、

上記回帰分析手段が、さらに、上記補間により求められた画素信号を上記目的変数の一部として用いることを特徴とする請求項 4に記載の画素信号処理装置。

[6] 上記第 1の注目画素の近傍の領域内にあり、第 M (Mは Kを除く 1から Nのいずれ力分光感度特性の画素信号が存在する第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号と上記第 Lの分光感度特性の画素信号とに基いて、上記第 2の注目画素位置における第 Lの分光感度特性の画素信号を補間により求める補間手段をさらに有し、

上記回帰分析手段が、上記補間により求められた画素信号を上記目的変数の一部として用いることを特徴とする請求項 1に記載の画素信号処理装置。

[7] 上記補間手段が上記回帰分析手段及び上記演算手段により構成され、

上記回帰分析手段が、上記第 2の注目画素位置第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号を説明変数、上記第 Kの分光感度特性の画素信号を目的変数として回帰分析を施し、上記第 Mの分光感度特性の画素信号と第 Kの分光感度特性の画素信号の相関を表す回帰式を算出し、

上記演算手段が、上記第 2の注目画素位置における上記第 Mの分光感度特性の画素信号に対して上記回帰式に基づく変換式を用いることにより、上記第 2の注目画素位置における上記第 Kの分光感度特性の画素信号を求める

ことを特徴とする請求項 4に記載の画素信号処理装置。

[8] 上記補間手段が上記回帰分析手段及び上記演算手段により構成され、

上記回帰分析手段が、上記第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号を説明変数、上記第 Lの分光感度特性の画素信号を目的変数として回帰分析を施し、上記第 Mの分光感度特性の画素信号と第 Lの分光感度特性の画素信号の相関を表す回帰式を算出し、

上記演算手段が、

上記第 2の注目画素位置における上記第 Mの分光感度特性の画素信号に対して上記回帰式に基づく変換式を用いることにより、上記第 2の注目画素位置における上記第 Lの分光感度特性の画素信号を求める

ことを特徴とする請求項 5に記載の画素信号処理装置。

[9] 上記ローパスフィルタ手段は、上記撮像素子から出力された画素信号の平均値若しくは重み付け加算平均値をローパスフィルタ出力とすることを特徴とする請求項 2に記載の画素信号処理装置。

[10] 各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1つを有する N種類の光電変換素子が 2次元平面上に配列された撮像素子をさらに有し、

上記回帰分析手段は、上記第 1の注目画素の周囲において、上記撮像素子から出力された画素信号の相関性を判定し、相関が強いと判断された画素位置の画素信号を上記説明変数及び上記目的変数として用いることを特徴とする請求項 1に記載の画素信号処理装置。

[11] 上記回帰分析手段は、上記第 1の注目画素の周囲において、分光感度特性の種類が同一で、上記第 1の注目画素を挟んで反対の位置にある 2つの画素の画素信号の差を算出し、上記画素信号の差が小さい場合に相関性が高いと判定し、相関性が最も高くなる 2つの画素を結ぶ直線の方向に位置する画素を上記説明変数及び目的変数として用いることを特徴とする請求項 10記載の画素信号処理装置。

[12] 上記撮像素子の出力信号に対しローパスフィルタリングするローパスフィルタリング手段とをさらに有し、

上記ローパスフィルタリング手段が、

上記相関性が最も高くなる画素を結ぶ直線の方向に位置する画素のみに基いて口ーノスフイノレタリングを行なう

ことを特徴とする請求項 10に記載の画素信号処理装置。

[13] 各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1つを有する N種類の光電変換素子が 2次元平面上に配列された撮像素子をさらに備え、

上記演算手段は、上記撮像素子から出力された画素信号に対して、上記回帰式に基づく変換式を用いることにより、上記第 1の注目画素位置における上記第 Lの分光感度特性の画素信号を求める

ことを特徴とする請求項 1に記載の画素信号処理装置。

[14] 上記第 1の注目画素の近傍の領域内にあり、第 M (Mは Kを除く 1から Nのいずれ力分光感度特性の画素信号が存在する第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号と上記第 Kの分光感度特性の画素信号とに基いて、上記第 2の注目画素位置における第 Kの分光感度特性の画素信号を補間により求める補間手段をさらに有し、

上記演算手段は、上記補間手段による補間により求められた画素信号に対して、上記回帰式に基づく変換式を用いることにより、上記第 1の注目画素位置における上記第 Lの分光感度特性の画素信号を求める

ことを特徴とする請求項 1に記載の画素信号処理装置。

[15] 上記回帰分析手段は、回帰式として下記の式（1)

y=a-x+b - " (1)

(yは第 Yの分光感度特性の画素信号、

Xは第 Xの分光感度特性の画素信号、

a及び bは定数）

で表される直線を選択し、

上記演算手段は、上記第 1又は第 2の注目画素位置における第 Xの分光感度特性の画素信号 Xを、上記直線に基づく下記の変換式（2)

Y' =a-X+b - -- (2)

(ここで、上記第 1の注目画素位置における上記第 Lの分光感度特性の画素信号を生成するときは、 X=K、 Y=L、 Y' =L 'であり、

上記第 2の注目画素位置における上記第 Kの分光感度特性の画素信号を生成するときは、 X=M、 Y=K、 Υ，=Κ，であり、

上記第 2の注目画素位置における上記第 Lの分光感度特性の画素信号を生成するときは、 X=M、 Y=L、 Y' =L 'である）

に代入して変換することにより、上記第 1又は第 2の注目画素位置における第 Yの分光感度特性の画素信号 Y'を得る

ことを特徴とする請求項 1に記載の画素信号処理装置。

上記回帰分析手段は、上記回帰式の定数 a及び bを下記の式（3)

[数 2]

により算出することを特徴とする請求項 15に記載の画素信号処理装置。

2次元平面上に配列され、各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1 つを有する画素の画素信号の組に基づき、第 K(Kは 1から Nのうちのいずれか一つ )の分光感度特性の画素信号が存在する第 1の注目画素位置における第 L (Lは Κを除く 1から Νのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、

上記第 1の注目画素位置の近傍の領域内の複数の画素位置における、上記第 Κ の分光感度特性の画素信号を説明変数、上記第 Lの分光感度特性の画素信号を目的変数として回帰分析を施し、上記第 Kの分光感度特性の画素信号と第 Lの分光感度特性の画素信号の相関を表す回帰式を算出する回帰分析ステップと、

上記第 1の注目画素位置における上記第 Kの分光感度特性の画素信号に対して上記回帰式に基づく変換式を用いることにより、上記第 1の注目画素位置における上記第 Lの分光感度特性の画素信号を求める演算ステップと

を有する画素信号処理方法。

[18] 各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1つを有する N種類の光電変換素子が 2次元平面上に配列された撮像素子力出力される画素信号を受けるステツプと、

上記撮像素子力出力された画素信号に対しローパスフィルタリングするステップとをさらに有し、

上記回帰分析ステップが、上記説明変数及び上記目的変数として、上記ローパスフィルタリングにより得られた画素信号を用いることを特徴とする請求項 17に記載の画素信号処理方法。

[19] 各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1つを有する N種類の光電変換素子が 2次元平面上に配列された撮像素子力出力される画素信号を受けるステツプと、

上記撮像素子から出力される画素信号に対しローパスフィルタリングするステップとをさらに有し、

上記回帰分析ステップが、上記説明変数として、上記撮像素子から出力された画素信号を用い、上記目的変数として、上記ローパスフィルタリングにより得られた画素信号を用いることを特徴とする請求項 17に記載の画素信号処理方法。

[20] 上記第 1の注目画素の近傍の領域内にあり、第 M (Mは Kを除く 1から Nのいずれ力分光感度特性の画素信号が存在する第 2の注目画素位置の近傍の領域内の複数の画素位置における、第 Mの分光感度特性の画素信号と上記第 Kの分光感度特性の画素信号とに基いて、上記第 2の注目画素位置における第 Kの分光感度特性の画素信号を補間により求める補間ステップをさらに有し、上記回帰分析ステップが、上記補間により求められた画素信号を上記説明変数として用いることを特徴とする請求項 17に記載の画素信号処理方法。