JP5503491B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像の画素補間方法に係り、特に単板カラー撮像装置のカラーフィルタに由来する欠落画素を補間する画像処理装置および画像処理プログラムに関する。

放送用カメラなどの高品質なカメラでは、３枚の撮像素子で３原色の画像を撮影する３板撮像方式が用いられるが、民生用スチルカメラなどの小型で安価なカメラでは、撮像素子の画素にカラーフィルタを搭載した単板カラー撮像方式が広く用いられている。

単板カラー撮像方式では、撮像素子の画素ごとに異なるカラーフィルタが搭載されている。したがって、撮影された画像信号は、ある色に着目した場合、モザイク状の画像（画素欠落画像）となり、多くの欠落画素が存在することになる。そのため、一般的なカメラでは、デモザイキングと呼ばれる画素補間処理を行って欠落画素を再構成し、１枚のカラー画像（デモザイク画像）を生成する。

カラーフィルタ配列は、補色フィルタによるものと、原色フィルタによるものに分類される。近年は素子の感度の向上などにより、色再現性に優れた原色フィルタが多く用いられている。
図９に示すように、原色カラーフィルタ配列としては、ベイヤー配列が一般的である（例えば、特許文献１参照）。これは、解像度や感度に対して影響の大きいグリーン信号（Ｇ信号）のフィルタを市松状に配置し、残りの画素に赤信号（Ｒ信号）のフィルタと青信号（Ｂ信号）のフィルタを配置するものである。

図１０に示すように、ベイヤー配列のカラーフィルタを通して取得されたＧ信号は、有効画素が市松状に配置されている。そのため、Ｇ信号を補間する最も単純な方法としては、周辺４画素の平均値を欠落画素の値として補間する方法が挙げられる。すなわち、欠落画素Ｇ３、Ｇ４の値を補間するために、それぞれ周辺４画素の有効画素Ｇ１、Ｇ２の値の平均値を用いる方法である。この手法は計算量が少ないため、動画のデモザイキングには適しているが、エッジなどの高い周波数成分を持つ部分を精度良く再現することが難しく市松状の凹凸が生じるという問題がある。

そこで、Ｇ信号の補間のために様々な手法が検討されている。非特許文献１で開示された技術では、欠落画素の周辺の画素において、水平、垂直、斜め方向などの相関を判定して補間する手法が提案されている（非特許文献１参照）。
例えば図１１に示すように、点線で囲まれた画素に対してＧａ〜Ｇｅとおく。値が未知の欠落画素Ｇｅの値を、その周辺の画素Ｇａ〜Ｇｄの値から求めるために、次の（１）式のようにΔＨとΔＶとを定義する。

ΔＨ＜ΔＶであれば、水平方向の相関が高いと判定し、水平方向の画素Ｇｂ，Ｇｃの値を用いて画素Ｇｅの値を補間する。一方、ΔＨ≧ΔＶであれば、垂直方向の相関が高いと判定し、垂直方向の画素Ｇａ，Ｇｄの値を用いて画素Ｇｅの値を補間する。

米国特許第３９７１０６５号公報

B. K. Gunturk, et al. "Demosaicking:Color Filter Array Interpolation", IEEE signal processing magazine [44] January 2005

しかしながら、前述の画素補間方法では、元の画像信号におけるエッジなどの高い周波数成分を持つ部分では、相関の高い方向である相関方向の判定を誤ってしまうことがあるという問題がある。ここで、元の画像信号とは、仮にカラーフィルタ配列がすべての画素についてＧ信号のフィルタが配列されている場合に取得されるＧ信号である。
例えば図１２に示すように、エッジを模した元の画像信号１００を考える。元の画像信号１００に対応する画素の値が、元の画像信号に対応する画素値１０１であり、元の画像信号１００から単板カラー撮像方式により、画素欠落画像１０２を取得したとする。ここで、「ｎｕｌｌ」は、値がないことを示す。点線丸印で示す欠落画素の値を補間する場合、本来は、欠落画素の値に「１２８」が入るべきである。しかし、前述した方法では、ΔＨ＝ΔＶ＝０となり、垂直方向に相関が高いと判定され、点線丸印で示す欠落画素の値は、「０」の値が入力されてしまう（デモザイク画像（補間画像）１０３参照）。
また、一般的には、品質のよい補間方法ほど演算量が大きくなるという問題がある。特に、動画に適用する場合には、デモザイク画像の品質もさることながら、同時に少ない演算量で処理が可能であるということも望まれている。

本発明は、以上のような問題点に鑑みてなされたものであり、元の画像信号を精度良く再現し、かつ比較的演算量が少ないため、動画像により適切に適用することができる画像処理装置および画像処理プログラムを提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の画像処理装置は、予め設定された条件の値を持つ画素である有効画素と予め設定された条件の値を持たない画素である欠落画素とを有する画素欠落画像から、前記欠落画素の値を補間して補間画像を生成する画像処理装置であって、固定値挿入手段と、フィルタ手段と、相関方向判定手段と、画素補間手段と、を備える構成とした。

かかる構成において、画像処理装置は、固定値挿入手段によって、前記画素欠落画像における前記欠落画素に予め定めた値である固定値を挿入し、固定値挿入画像を生成する。
そして、画像処理装置は、フィルタ手段によって、前記固定値挿入画像に偶数タップの対称形フィルタを施し、フィルタ処理画像を生成する。これによって、欠落画素の値に、元の画像信号における周辺の画素の特徴を有する値が保持される。

そして、画像処理装置は、相関方向判定手段によって、前記欠落画素の値の補間に用いる画素を特定するために、前記フィルタ処理画像を用いて、前記欠落画素に対応する位置の周辺の画素の値から、水平方向の相関を示す水平相関値と垂直方向の相関を示す垂直相関値とを算出し、相関の高い方向である相関方向を判定する。これによって、元の画像の特徴に従って欠落画素の値を補間する方向を特定することができる。

また、画像処理装置は、画素補間手段によって、前記相関方向判定手段が判定した相関方向に基づいて、前記画素欠落画像における前記欠落画素の周辺の前記有効画素の値を用いて前記欠落画素の値を補間する。これによって、欠落画素の値に元の画像信号に近い値が入力される。

また、請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、画素補間手段が、前記相関方向判定手段が水平方向と判定した場合、前記画素欠落画像における前記欠落画素の水平方向に隣接する前記有効画素の値を用いて前記欠落画素の値を補間し、前記相関方向判定手段が垂直方向と判定した場合、前記画素欠落画像における前記欠落画素の垂直方向に隣接する前記有効画素の値を用いて前記欠落画素の値を補間する、構成とした。これによって、元の画像の特徴に従って欠落画素の値に元の画像信号に近い値が入力される。

さらに、請求項３に記載の画像処理装置は、請求項１または請求項２に記載の画像処理装置において、フィルタ手段が、前記固定値挿入画像に対して水平および垂直方向に偶数タップの対称形フィルタを施す、構成とした。これによって、ナイキスト周波数に近い空間周波数までレスポンスを維持したフィルタ処理画像を得ることができる。

また、請求項４に記載の画像処理装置は、請求項１から請求項３のいずれか一項に記載の画像処理装置において、画素欠落画像が、前記有効画素と前記欠落画素により市松模様を成す市松状画像である、構成とした。これによって、ベイヤー配列のＧ信号に対応するような市松状の画像の欠落画素を補間することができる。

そして、請求項５に記載の画像処理装置は、請求項４に記載の画像処理装置において、相関方向判定手段が、前記欠落画素の前記画素欠落画像における座標（Ｘ，Ｙ）を（Ｘ１，Ｙ１）、偶数タップの対称形フィルタのタップ数をｋ（ｋは偶数）とした場合に、前記フィルタ処理画像において、前記欠落画素に対応する位置の前記水平相関値の算出は、Ｘ１−Ｍ−ｋ／２≦Ｘ≦Ｘ１＋Ｍ−（ｋ／２−１）（Ｍは１以上の整数）の範囲の画素を用いて算出し、前記欠落画素に対応する位置の前記垂直相関値の算出は、Ｙ１−Ｍ−ｋ／２≦Ｙ≦Ｙ１＋Ｍ−（ｋ／２−１）（Ｍは１以上の整数）の範囲の画素を用いて算出する、構成とした。ここで、Ｍは、相関方向の判定に用いる画素の範囲を定めるもので、１以上の整数である。これによって、欠落画素に対応する位置を中心とした範囲を、相関方向の判定に用いる画素の範囲とすることができる。

そして、請求項６に記載の画像処理装置は、請求項４または請求項５に記載の画像処理装置において、相関方向判定手段が、前記フィルタ処理画像において前記欠落画素に対応する位置の周辺の画素の値のばらつきの大小を算出し、ばらつきの小さい方向を前記相関方向と判定する。これによって、元の画像の特徴を精度良く判定することができる。

また、請求項７に記載の画像処理装置は、請求項４または請求項５に記載の画像処理装置において、相関方向判定手段が、前記欠落画素の前記画素欠落画像における座標（Ｘ，Ｙ）を（Ｘ１，Ｙ１）、前記偶数タップの対称形フィルタのタップ数をｋ（ｋは偶数）とした場合に、前記フィルタ処理画像において、前記欠落画素に対応する位置の前記水平相関値の算出は、Ｘ１−Ｍ−ｋ／２≦Ｘ≦Ｘ１＋Ｍ−（ｋ／２−１）（Ｍは１以上の整数）の範囲内の隣接画素同士の差分の和により算出し、前記欠落画素に対応する位置の前記垂直相関値の算出は、Ｙ１−Ｍ−ｋ／２≦Ｙ≦Ｙ１＋Ｍ−（ｋ／２−１）（Ｍは１以上の整数）の範囲内の隣接画素同士の差分の和により算出する。これによって、元の画像の特徴を精度良く判定することができる。

また、請求項８に記載の画像処理プログラムは、予め設定された条件の値を持つ画素である有効画素と予め設定された条件の値を持たない画素である欠落画素とを有する画素欠落画像から、前記欠落画素の値を補間して補間画像を生成するために、コンピュータを、固定値挿入手段、フィルタ手段、相関方向判定手段、画素補間手段、として機能させる構成とした。

かかる構成において、画像処理プログラムは、固定値挿入手段によって、前記画素欠落画像における前記欠落画素に予め定めた値である固定値を挿入し、固定値挿入画像を生成する。
そして、画像処理プログラムは、フィルタ手段によって、前記固定値挿入画像に偶数タップの対称形フィルタを施し、フィルタ処理画像を生成する。これによって、欠落画素の値に、元の画像信号における周辺の画素の特徴を有する値が保持される。

そして、画像処理プログラムは、相関方向判定手段によって、前記欠落画素の値の補間に用いる画素を特定するために、前記フィルタ処理画像を用いて、前記欠落画素に対応する位置の周辺の画素の値から、水平方向の相関を示す水平相関値と垂直方向の相関を示す垂直相関値とを算出し、相関の高い方向である相関方向を判定する。これによって、元の画像の特徴に従って欠落画素の値を補間する方向を特定することができる。

また、画像処理プログラムは、画素補間手段によって、前記相関方向判定手段が判定した相関方向に基づいて、前記画素欠落画像における前記欠落画素の周辺の前記有効画素の値を用いて前記欠落画素の値を補間する。これによって、欠落画素の値に元の画像信号に近い値が入力される。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，２，３，８に記載の発明によれば、元の画像信号を精度良く再現し、かつ比較的演算量が少ないため、動画像により適切に適用することができる。

請求項４に記載の発明によれば、ベイヤー配列のＧ信号に対応するような市松状の画像の欠落画素を補間する手段の一つとして、元の画像信号を精度良く再現し、かつ比較的演算量が少ないため、動画像により適切に適用することができる。

請求項５に記載の発明によれば、欠落画素に対応する位置を中心とした範囲を、相関方向の判定に用いる画素の範囲とすることができる。

請求項６，７に記載の発明によれば、エッジの方向を精度良く判定することができる。

本発明の画像処理装置の構成を示すブロック図である。 本発明の画像処理装置におけるフィルタ手段による空間周波数の変化を説明する図であり、（ａ）は、固定値挿入画像の周波数特性である。（ｂ）は、フィルタの振幅特性の一例である。（ｃ）は、フィルタ処理画像の周波数特性である。 本発明の画像処理装置におけるフィルタ手段による画素シフトを説明するための図である。 本発明に係る固定値挿入画像の座標系を説明するための図である。 本発明の画像処理装置におけるフィルタ手段による画素シフトを説明するための図である。 本発明の画像処理装置における相関方向判定手段による相関方向の判定に用いる画素の範囲を説明するための図である。 本発明の画像処理装置による処理を説明する図である。 本発明の画像処理装置の動作を示すフローチャートである。 単板カラー撮像方式におけるカラーフィルタの配列を説明するための図である。 市松状画像（画素欠落画像）を説明するための図である。 従来技術に係る欠落画素の周辺の画素から相関方向を判定する方法を説明するための図である。 従来技術による画素補間方法の問題点を説明するための図である。

以下、本発明の実施形態について説明する。
［画像処理装置１の構成］
図１に示すように、画像処理装置１は、固定値挿入手段２と、フィルタ手段３と、相関方向判定手段４と、画素補間手段５とを備える。
画像処理装置１は、市松状画像（画素欠落画像）１０を入力として、デモザイク画像（補間画像）１４を出力するものである。
市松状画像（画素欠落画像）１０は、図１０に示すように、元の画像信号から取得した値を持つ画素である有効画素と元の画像信号から取得した値を持たない画素である欠落画素とが市松模様を成す画像である。この市松状画像（画素欠落画像）１０は、元の画像信号から単板カラー撮像方式により生成される。なお、この例では、市松状画像（画素欠落画像）１０は、Ｇ信号が市松状の構造となっているが、Ｒ信号やＢ信号が市松状の構造となっているものでもよい。
デモザイク画像（補間画像）１４は、欠落画素の値を補間した後の画像である。

固定値挿入手段２は、入力された市松状画像（画素欠落画像）１０のすべての欠落画素に予め定めた同一の値である固定値を挿入するものである。ここで、固定値とは、定数であり、例えば「０」とする。固定値を挿入された固定値挿入画像１１は、フィルタ手段３へ出力される。
固定値挿入画像１１は、市松状画像（画素欠落画像）１０の欠落画素に固定値を挿入した画像である。
これにより、図２（ａ）に示すように、固定値挿入画像１１の１次元方向の空間周波数特性は、ナイキスト周波数（Ｆｎ）に急峻なレスポンスを持つ特性となる。

フィルタ手段３は、固定値挿入手段２から入力された固定値挿入画像１１に偶数タップの対称形フィルタを施すものである。ここでこのフィルタを施されたフィルタ処理画像１２は、相関方向判定手段４に出力される。
フィルタ処理画像１２は、固定値挿入画像１１に偶数タップの対称形フィルタを施した画像である。

（フィルタ）
フィルタ手段３では、元の画像信号１００の持つ高い周波数をできるだけ維持しながら、固定値挿入により生じたナイキスト周波数にある成分をキャンセルするようなフィルタを用いる。このような特性のフィルタは、偶数タップの対称形フィルタを用いることにより実現できる。
以下では、図２（ｂ）に示すように、ナイキスト周波数成分を取り除くような振幅特性を持つローパスフィルタを一例として説明する。このローパスフィルタを施した画像は、高域で若干の減衰があるものの、ナイキスト周波数に近い空間周波数までレスポンスを維持した画像となる。
また、偶数タップの対称形フィルタの位相特性は、ωを角周波数、タップ数をｋ（偶数）とすると、次の（２）式のようになる。

したがって、このローパスフィルタを施した後の画像は、水平・垂直方向ともに−（ｋ−１）／２画素分、シフトした画像となる。
具体例を用いて説明する。
フィルタのタップ数を８タップとすると、例えば、次の（３）式のような係数を持つフィルタによって、図２（ｂ）の特性を持つローパスフィルタを構成できる。

これにより、図２（ｃ）の実線のような特性を持つフィルタ処理画像１２が得られる。このローパスフィルタの位相特性は、ωを角周波数とすると、次の（４）式のようになる。

したがって、このローパスフィルタを施した後の画像は、水平・垂直方向ともに−３．５画素分、シフトした画像となる。
ここで、画像のシフトについて説明する。
図３において、ローパスフィルタ３０の係数Ｃ１〜Ｃ８は、（３）式の係数に対応している。フィルタ手段３は、固定値挿入画像１１の画素座標を（Ｘ，Ｙ）とすると、まず、（１，１）から（８，１）までについてローパスフィルタ３０を施し（係数Ｃ１〜Ｃ８と対応する画素の値とを、それぞれ掛け算し、次にそれぞれの掛け算結果の総和をとり、最後に総和を係数の和で割る。つまり、重み付き平均をとる）、得られた値を（１，１）に入力する。続いて、ｘ方向へ１画素分ずらして、ローパスフィルタ３０を施し、得られた値を（２，１）に入力する。これを繰り返していく。

そうすると、固定値挿入画像１１における元の画像信号１００の画像の特徴（空間周波数領域での特徴）は、フィルタ処理画像１２では、３．５画素分、左にシフトして現れることとなる。ｙ方向へも同様にローパスフィルタ３０を施すため、固定値挿入画像１１における元の画像信号１００の画像の特徴は、フィルタ処理画像１２では、３．５画素分、上にもシフトして現れることとなる。
すなわち、図４に示すように座標系を取ると、ローパスフィルタ３０を施した後には、固定値挿入画像１１における元の画像信号１００の画像の特徴は、図５に示す位置にシフトして現れることとなる。
後記する相関方向判定手段４では、このシフトを考慮して相関の評価を行う必要がある。

フィルタ処理画像１２は、元の画像信号１００の特徴を精度良く現した画像となっているが、固定値挿入の影響を受けて画素値が本来の値から大きく変化しているため、そのままデモザイク画像（補間画像）としては利用できない。
しかし、フィルタ処理画像１２は、欠落画素の周辺の元の画像信号１００の画像の特徴は高周波数領域まで有しているため、欠落画素の値の補間に用いる画素を特定するために、相関の高い方向である相関方向の判定に用いることができる。すなわち、フィルタ処理画像１２は、元の画像信号１００のエッジの方向を判定するには適した画像となっている。

相関方向判定手段４は、フィルタ手段３から入力されたフィルタ処理画像１２を用いて、注目する欠落画素が水平、垂直のいずれの方向に高い相関を有するかを判定するものである。ここで判定された相関の高い方向である相関方向は、相関方向情報１３として画素補間手段５に出力される。
相関方向情報１３は、相関の高い方向である相関方向を示す情報である。例えば、相関方向情報１３は、「水平方向」を「００」、「垂直方向」を「０１」、「相関方向なし」を「１１」に対応付けたものである。

相関方向判定手段４は、前述したシフトを考慮しながら判定を行う。
図６（ａ）において、座標（Ｘ１，Ｙ１）の欠落画素の値を補間する場合を考える。この例は、フィルタのタップ数が８で、シフトが３．５画素分の場合である。このとき、フィルタ処理画像１２上では、値を補間しようとする欠落画素に対応する位置は、次の（５）式で表される位置となる。

そのため、相関方向の判定に用いる画素は、（５）式の座標を中心とした領域となる。図６（ａ）に示す点線で囲まれた領域は、６画素幅分の範囲となっているが、基本的に、４画素幅分、８画素幅分など偶数であれば、欠落画素に対応する位置を中心として相関方向の判定を行うことができる。この範囲は、次の（６）式によって表せる。Ｍは、相関方向の判定に用いる画素の範囲を定めるもので、１以上の整数である。

一般的には、値を補間しようとする欠落画素に対応する位置は、次の（７）式で表される位置となる。

ここで、ｋは、フィルタのタップ数であり、偶数である。また、相関方向の判定に用いる画素の範囲は、次の（８）式によって表せる。

すなわち、欠落画素の画素座標を水平、垂直ともに、−（ｋ−１）／２画素分シフトした点を中心にして、水平、垂直ともに２Ｍ画素幅の範囲を用いる。なお、Ｍは、相関方向の判定に用いる画素の範囲を定めるもので、１以上の整数である。また、相関方向の判定に用いる画素の範囲は、予め設定される。
一般には、相関方向の判定に用いる画素の範囲を広く取るほうが良い精度が得られるが、計算量の増大につながる。

次に、相関方向の判定方法について説明する。
例えば図６（ａ）において、欠落画素の座標（Ｘ１，Ｙ１）に対する水平方向の相関を水平相関値ｈ（Ｘ１，Ｙ１）、垂直方向の相関を垂直相関値ｖ（Ｘ１，Ｙ１）とする。水平相関値ｈ（Ｘ１，Ｙ１）を計算するときは、欠落画素に対応する位置の上下に隣接する行である（Ｙ１−３）、（Ｙ１−４）行目の相関値を独立に計算し、その平均値を座標（Ｘ１，Ｙ１）の水平相関値とする。同様に、垂直相関値ｖ（Ｘ１，Ｙ１）を計算するときは、欠落画素に対応する位置の左右に隣接する列である（Ｘ１−３）、（Ｘ１−４）列目の相関値を独立に計算し、その平均値を座標（Ｘ１，Ｙ１）の垂直相関値とする。
相関値の求め方としては、相関方向の判定に用いる画素の範囲内での分散や自己相関などを用いる。そして、水平相関値ｈ（Ｘ１，Ｙ１）と垂直相関値ｖ（Ｘ１，Ｙ１）とを用いて、次の（９）式を評価関数とする。

相関方向判定手段４は、この評価関数の値Ｅを閾値Ｔと比較して、相関方向を判定する。例えば、Ｅ＞Ｔのとき、相関方向情報１３は垂直方向とする。−Ｔ≦Ｅ≦Ｔのとき、相関方向情報１３は相関方向なしとする。Ｅ＜−Ｔのとき、相関方向情報１３は水平方向とする。すなわち、ばらつきの小さい方向を相関方向と判定する。なお、ここで、ばらつきとは、分散や自己相関等の従来技術によって求めることができ、複数の値が、それらの平均値からどれだけ散らばっているかを示すものである。ばらつきが小さいとは、平均値付近に集まっていることを示す。

なお、相関方向の判定に用いる画素の範囲を、図６（ｂ）に示すように、１行または１列に限定してもよい。すなわち、相関方向判定手段４は、欠落画素の座標（Ｘ１，Ｙ１）の水平相関値ｈ（Ｘ１，Ｙ１）を計算するときは、欠落画素に対応する位置の上または下に隣接する行の画素の相関値を計算する。同様に、相関方向判定手段４は、垂直相関値ｈ（Ｘ１，Ｙ１）を計算するときは、欠落画素に対応する位置の左または右に隣接する列の画素の相関値を計算する。なお、相関方向の判定に用いる画素の幅は、前述した（８）式で表せる。
これにより、計算リソースを節約することが可能である。

また、（８）式で表される範囲において、水平相関値ｈ（Ｘ１，Ｙ１）および垂直相関値ｖ（Ｘ１，Ｙ１）を次の（１０）式を用いて、隣接画素同士の差分の和により算出してもよい。

ここで、ｐ（Ｘ，Ｙ）は、座標（Ｘ，Ｙ）の画素値である。なお、上述のように、相関方向の判定に用いる画素の範囲を、図６（ｂ）に示すように、１行または１列に限定する場合には、Σの中の２つの項のいずれか１つの項のみでよい。

図１に戻って説明を続ける。
画素補間手段５は、市松状画像（画素欠落画像）１０と相関方向判定手段４から入力された相関方向情報１３とに基づいて、欠落画素の値を補間するものである。ここで補間された画像がデモザイク画像（補間画像）１４として出力される。

この画素補間手段５は、相関方向が水平方向である場合、市松状画像（画素欠落画像）１０において、欠落画素の水平方向に隣接する左右２画素の値の平均値を欠落画素の値に入力する。また、画素補間手段５は、相関方向が垂直方向である場合、市松状画像（画素欠落画像）１０において、欠落画素の垂直方向に隣接する上下２画素の値の平均値を欠落画素の値に入力する。また、画素補間手段５は、相関方向が相関方向なしである場合、市松状画像（画素欠落画像）１０において、欠落画素の水平および垂直方向に隣接する４画素の値の平均値を欠落画素の値に入力する。

次に、図７において具体例を示す。
１画素幅の水平方向の直線を模した元の画像信号１００を撮影する場合を考える。元の画像信号１００に対応する画素の値は、元の画像信号に対応する画素値１０１である。元の画像信号１００から単板カラー撮像方式により市松状画像（画素欠落画像）１０が生成される。
画像処理装置１は、市松状画像（画素欠落画像）１０から、元の画像信号１００をできるだけ忠実に再現して、デモザイク画像（補間画像）１４とするものである。元の画像信号１００を忠実に再現するためには、欠落画素およびその周辺の画素の元の画像信号１００における相関情報を正しく得る必要がある。これを、固定値挿入手段２およびフィルタ手段３（図１参照）により実現する。

図７に示すように、固定値挿入手段２（図１参照）は、市松状画像（画素欠落画像）１０のすべての欠落画素に値「０」の固定値を挿入し、固定値挿入画像１１とする。点線丸印で示す画素は、値を補間しようとする画素である。

フィルタ手段３（図１参照）は、固定値挿入画像１１に偶数タップの対称形フィルタを施し、フィルタ処理画像１２とする。フィルタ係数として（３）式を用いた場合を一例に説明する。フィルタ処理画像１２の実線丸印は、固定値挿入画像１１の点線丸印で示した画素に対応する位置である。このフィルタ処理画像１２は、元の画像信号１００の画像の特徴を有している。すなわち、水平方向の直線が、水平方向の画素の数値となって現れている。

相関方向判定手段４（図１参照）は、フィルタ処理画像１２において、欠落画素に対応する位置（実線丸印）の周辺の画素の値から水平相関値および垂直相関値を算出し、相関方向を判定する。相関判定に利用する画素範囲を図６(ｂ)の方法で選択する場合、水平方向には、値「３９」が連続して現れており、この範囲では分散は０である。一方、垂直方向には、「２，０，３９，３９，０，２」が現れており、この範囲では分散は約３２２である。したがって、相関方向判定手段４は、相関方向はばらつきの小さい水平方向と判定する。

画素補間手段５（図１参照）は、相関方向情報が水平方向であるので、市松状画像（画素欠落画像）１０において、点線丸印の欠落画素の水平方向に隣接する左右２画素の値「１２８」と「１２８」との平均値「１２８」を、欠落画素の値に入力する。他の欠落画素も上述したように値を入力し、デモザイク画像（補間画像）１４とする。
これにより、元の画像信号１００を忠実に再現していることとなる。

なお、画像処理装置１は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、画像処理装置１は、コンピュータを、前記した各手段として機能させる画像処理プログラムによって動作する。

［画像処理装置１の動作］
次に、画像処理装置１の動作について、図８を参照（構成は適宜図１を参照）して説明する。
図８のフローチャートに示すように、ステップＳ１において、固定値挿入手段２は、市松状画像（画素欠落画像）１０の欠落画素の値に固定値を挿入し、固定値挿入画像１１をフィルタ手段３に出力する。
ステップＳ２において、フィルタ手段３は、固定値挿入画像１１に偶数タップの対象形フィルタを施し、フィルタ処理画像１２を相関方向判定手段４に出力する。
ステップＳ３において、相関方向判定手段４は、フィルタ処理画像１２において、欠落画素に対応する位置の水平相関値および垂直相関値を算出し、相関方向を判定する。

相関方向が水平方向の場合（ステップＳ３・水平方向）、画素補間手段５は、市松状画像（画素欠落画像）１０において、欠落画素の水平方向に隣接する左右２画素の値の平均値を欠落画素の値に入力して補間する（ステップＳ４）。
相関方向が垂直方向の場合（ステップＳ３・垂直方向）、画素補間手段５は、市松状画像（画素欠落画像）１０において、欠落画素の垂直方向に隣接する上下２画素の値の平均値を欠落画素の値に入力して補間する（ステップＳ５）。
相関方向が相関方向なしの場合（ステップＳ３・相関方向なし）、画素補間手段５は、市松状画像（画素欠落画像）１０において、欠落画素の水平・垂直方向に隣接する４画素の値の平均値を欠落画素の値に入力して補間する（ステップＳ６）。

ステップＳ７において、画素補間手段５は、市松状画像（画素欠落画像）１０におけるすべての欠落画素について補間が完了したか否かを判定する。
すべての欠落画素について補間が完了していないときは（ステップＳ７・Ｎｏ）、ステップＳ３に戻って処理を続ける。
一方、すべての欠落画素について補間が完了したときは（ステップＳ７・Ｙｅｓ）、画像処理装置１は、補正画像生成処理を終了する。

以上の動作によって、画像処理装置１は、高精度な画素補間が比較的少ない信号処理で可能となる。

以上、本発明の実施形態に係る画像処理装置１の構成および動作について説明したが、本発明はここに説明した実施形態のみに限定されるものではなく、本発明の要旨を逸脱することなく必要に応じて種々の変形及び変更を実施し得る（ことは当業者には明らかである）。

１ 画像処理装置
２ 固定値挿入手段
３ フィルタ手段
４ 相関方向判定手段
５ 画素補間手段
１０ 市松状画像（画素欠落画像）
１１ 固定値挿入画像
１２ フィルタ処理画像
１３ 相関方向情報
１４ デモザイク画像（補間画像）
３０ ローパスフィルタ

Claims (8)

1. 予め設定された条件の値を持つ画素である有効画素と予め設定された条件の値を持たない画素である欠落画素とを有する画素欠落画像から、前記欠落画素の値を補間して補間画像を生成する画像処理装置であって、
   前記画素欠落画像における前記欠落画素に予め定めた値である固定値を挿入し、固定値挿入画像を生成する固定値挿入手段と、
   前記固定値挿入画像に偶数タップの対称形フィルタを施し、フィルタ処理画像を生成するフィルタ手段と、
   前記欠落画素の値の補間に用いる画素を特定するために、前記フィルタ処理画像を用いて、前記欠落画素に対応する位置の周辺の画素の値から、水平方向の相関を示す水平相関値と垂直方向の相関を示す垂直相関値とを算出し、相関の高い方向である相関方向を判定する相関方向判定手段と、
   前記相関方向判定手段が判定した相関方向に基づいて、前記画素欠落画像における前記欠落画素の周辺の前記有効画素の値を用いて前記欠落画素の値を補間する画素補間手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画素補間手段は、前記相関方向判定手段が水平方向と判定した場合、前記画素欠落画像における前記欠落画素の水平方向に隣接する前記有効画素の値を用いて前記欠落画素の値を補間し、前記相関方向判定手段が垂直方向と判定した場合、前記画素欠落画像における前記欠落画素の垂直方向に隣接する前記有効画素の値を用いて前記欠落画素の値を補間することを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ手段は、前記固定値挿入画像に対して水平および垂直方向に前記偶数タップの対称形フィルタを施すことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記画素欠落画像は、前記有効画素と前記欠落画素により市松模様を成す市松状画像であることを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 前記相関方向判定手段は、前記欠落画素の前記画素欠落画像における座標（Ｘ，Ｙ）を（Ｘ１，Ｙ１）、前記偶数タップの対称形フィルタのタップ数をｋ（ｋは偶数）とした場合に、前記フィルタ処理画像において、前記欠落画素に対応する位置の前記水平相関値の算出は、Ｘ１−Ｍ−ｋ／２≦Ｘ≦Ｘ１＋Ｍ−（ｋ／２−１）（Ｍは１以上の整数）の範囲の画素を用いて算出し、前記欠落画素に対応する位置の前記垂直相関値の算出は、Ｙ１−Ｍ−ｋ／２≦Ｙ≦Ｙ１＋Ｍ−（ｋ／２−１）（Ｍは１以上の整数）の範囲の画素を用いて算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記相関方向判定手段は、前記フィルタ処理画像において、前記欠落画素に対応する位置の周辺の画素の値のばらつきを算出し、ばらつきの小さい方向を前記相関方向と判定することを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 前記相関方向判定手段は、前記欠落画素の前記画素欠落画像における座標（Ｘ，Ｙ）を（Ｘ１，Ｙ１）、前記偶数タップの対称形フィルタのタップ数をｋ（ｋは偶数）とした場合に、前記フィルタ処理画像において、前記欠落画素に対応する位置の前記水平相関値の算出は、Ｘ１−Ｍ−ｋ／２≦Ｘ≦Ｘ１＋Ｍ−（ｋ／２−１）（Ｍは１以上の整数）の範囲内の隣接画素同士の差分の和により算出し、前記欠落画素に対応する位置の前記垂直相関値の算出は、Ｙ１−Ｍ−ｋ／２≦Ｙ≦Ｙ１＋Ｍ−（ｋ／２−１）（Ｍは１以上の整数）の範囲内の隣接画素同士の差分の和により算出することを特徴とする請求項４または請求項５に記載の画像処理装置。
8. 予め設定された条件の値を持つ画素である有効画素と予め設定された条件の値を持たない画素である欠落画素とを有する画素欠落画像から、前記欠落画素の値を補間して補間画像を生成するために、コンピュータを、
   前記画素欠落画像における前記欠落画素に予め定めた値である固定値を挿入し、固定値挿入画像を生成する固定値挿入手段、
   前記固定値挿入画像に偶数タップの対称形フィルタを施し、フィルタ処理画像を生成するフィルタ手段、
   前記欠落画素の値の補間に用いる画素を特定するために、前記フィルタ処理画像を用いて、前記欠落画素に対応する位置の周辺の画素の値から、水平方向の相関を示す水平相関値と垂直方向の相関を示す垂直相関値とを算出し、相関の高い方向である相関方向を判定する相関方向判定手段、
   前記相関方向判定手段が判定した相関方向に基づいて、前記画素欠落画像における前記欠落画素の周辺の前記有効画素の値を用いて前記欠落画素の値を補間する画素補間手段、
   として機能させるための画像処理プログラム。

Images