JP5006067B2

JP5006067B2 - 画像処理装置、画像処理プログラム、画像処理方法

Info

Publication number: JP5006067B2
Application number: JP2007039922A
Authority: JP
Inventors: 佐々木　　寛
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-06-29
Filing date: 2007-02-20
Publication date: 2012-08-22
Anticipated expiration: 2027-02-20
Also published as: US20090115870A1; CN101480057B; US8018501B2; JP2008035470A; CN101480057A; WO2008001629A1

Description

本発明は、ＲＧＢベイヤ配列画像からサンプリング位置を同時化したカラー画像を生成する画像処理装置、画像処理プログラム、画像処理方法に関する。

光学像を撮像して電気的なカラー画像を取得する撮像装置は、１つの画素位置において３つの色（例えば、ＲＧＢ３原色）信号を得ることができる３板撮像素子構成のものと、１つの画素位置毎に３つの色信号の内の１つの色信号しか得ることができない単板撮像素子構成のものと、に大別される。

現在市販されているデジタルカメラは、単板撮像素子構成のものが一般的である。一方、現在市販されているデジタルビデオカメラについては、３板撮像素子構成のものと、単板撮像素子構成のものと、が混在した状態にある。

撮像装置を３板撮像素子構成にすると、撮像時点で撮像画像の各画素位置において３つの色信号を得ることができるために、一般的に高画質であるが、構造が複雑となって部品点数も多くなるために高価格となる。

一方、撮像装置を単板撮像素子構成にすると、３板撮像素子構成に比して構造が簡単となる利点があるが、３種類の色信号を得るためには画素毎にＲ，Ｇ，Ｂフィルタをモザイク状（本発明の図５に示すようなベイヤ配列参照）に配置する必要があり、撮像画像の各画素位置において単一色の信号だけしか得ることができない。そこで、このようなベイヤ配列の単板撮像素子構成の撮像素子では、各画素位置において欠落している色信号を周辺の画素位置の色信号を用いて補間することにより、画素当り３つの色信号を得るようにしている。

ところで、上述したようなベイヤ配列は、２×２画素を画素配列の基本単位として、この２×２画素中の一方の対角方向にＧフィルタを２画素分、他方の対角方向にＲフィルタとＢフィルタとを１画素ずつ、ぞれぞれ配置したものとなっている。従って、Ｇ画素のサンプリング密度は、Ｒ画素のサンプリング密度およびＢ画素のサンプリング密度の２倍の密度である。このような、色信号によってサンプリング密度の異なる撮像素子を用いて撮像を行うと、エッジなどの高い空間周波数を持った撮像領域においては、Ｇ信号で表現可能な高い空間周波数が、Ｒ信号とＢ信号とでは低周波数側に折り返してしまうことになる。従って、それぞれの色信号毎に補間処理を行うと、エッジ部およびその近傍等において、偽色（本来は存在しない色）が発生する場合があることが知られている。

こうした偽色を低減する最も簡単な手段は、ベイヤ配列のＲ信号またはＢ信号のサンプリング間隔を再現することができる空間周波数まで、レンズまたは光学ローパスフィルタの特性を落として、該空間周波数の光学像を撮像素子上に結像させることである。ただし、この手段を採用すると、再現可能な空間周波数の半分の空間周波数の撮像画像しか得ることができず、解像度の低いボケた画像となってしまうことになる。そこで、撮像素子上に結像させる光学像の解像度が、Ｇ信号のサンプリング間隔において折り返し歪みによるモワレが発生しない空間周波数特性となるように、光学系を設計するのが一般的である。

このように設計された光学系を用いて、かつ偽色低減を行う技術は、従来より種々のものが提案されている。

例えば特開平８−２３７６７２号公報には、３つの色（ＲとＧとＢ）信号の補間位置を、水平方向および垂直方向ともに画素同士の中間の位置とする補間処理を施す技術が記載されている。この技術は、上記位置への補間処理を行うと、ナイキスト周波数の半分の周波数でＲ，Ｇ，Ｂの各周波数特性を近似させることができることに着目したものである。該公報に記載の技術は、このようにして偽色低減を図っているものの、ナイキスト周波数に近い周波数成分を含んだエッジ領域での偽色抑圧は十分とはいえなかった。さらに、該公報に記載の技術は、水平、垂直共に半画素位置に画素を補間するものとなっているために、この補間フィルタの周波数特性に依存した高周波成分の減衰が生じるのは避けられず、解像度が低下してしまっていた。

また、上述した特開平８−２３７６７２号公報のような各色信号の補間処理を画像内で均一の特性のフィルタで実現するのとは異なる、他の偽色低減の技術としては、画像の局所領域のＧ信号類似度、Ｇ信号とＲ信号の色信号間類似度、Ｇ信号とＢ信号の色信号間類似度、の内の少なくとも１つの方向依存に適応して、補間フィルタを切り替える方法が提案されている。

例えば米国特許第５，３８２，９７６号には、欠落しているＧ信号に対して、該Ｇ信号の画素位置の周辺の４つのＧ信号間の水平方向の類似度および垂直方向の類似度（本発明に係る図８〜図１０を参照して説明すると、垂直類似度＝｜Ｇ1−Ｇ2｜、および水平類似度＝｜Ｇ3−Ｇ4｜）を算出して、より類似度が高い方向の画素のみを使用して補間を行う技術が記載されている。そして、算出された類似度に応じて、本発明に係る図８〜図１０に示すようなＧ信号を用いた３つの線形補間方法により得られるＧ補間候補｛（Ｇ1＋Ｇ2）／２、（Ｇ3＋Ｇ4）／２、（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４｝の中から、１つのＧ補間候補を欠落しているＧ信号の補間値として選択するものとなっている。

ただし、この技術では、例えば特開平１１−２７５３７３号公報に記載されているように、水平方向と垂直方向のＧ信号の類似度が同じ場合に最適な補間選択がなされることなく（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４が選択されることがあり、このときには補間誤差が発生するという課題があった。

そして、この課題を改善する技術が、上述した特開平１１−２７５３７３号公報に記載されている。すなわち、該公報に記載の技術は、補間Ｇ信号を作成する画素位置のＲ信号またはＢ信号と、周辺の４つのＧ信号（本発明に係る図８〜図１０に示すようなＧ1、Ｇ2、Ｇ3、Ｇ4）と、の類似度（垂直類似度＝｜Ｘ−Ｇ1｜＋｜Ｘ−Ｇ2｜、水平類似度＝｜（Ｘ−Ｇ3｜＋｜Ｘ−Ｇ4｜、（ここに、Ｘは、Ｒ信号またはＢ信号である。））に応じて、垂直補間と、水平補間と、これら２つの補間を重み付け平均した補間と、の中から１つを選択するものとなっている。この技術を用いると、無彩色のエッジ領域の偽色を効果的に低減することができる利点がある一方で、彩度が高い領域では彩度が低下する場合がある。

偽色は、無彩色のエッジ領域において、より目立って検知されるものである。無彩色領域は、Ｒ信号とＧ信号とＢ信号とがほぼ同じ値をとる領域であり、Ｇ信号に対するＲ信号の比、およびＧ信号に対するＢ信号の比が、ほぼ１となる領域を意味している。偽色は、これらＲ信号とＧ信号とＢ信号との比が、補間処理を行った結果、本来とるべき比である１と異なってしまう（離れてしまう）ことにより発生するものである。

上記特開平１１−２７５３７３号公報に記載された技術は、Ｇ信号に対するＲ信号の比、またはＧ信号に対するＢ信号の比を、１に近付ける補間を、複数用意された補間候補の中から選択する技術であるといえるために、無彩色領域での偽色の発生は必然的に抑制される。

しかしこの技術を用いると、Ｇ信号に対するＲ信号の比、またはＧ信号に対するＢ信号の比が元来１とは異なる有彩色領域についても、無彩色領域と同様に、Ｇ信号に対するＲ信号の比、またはＧ信号に対するＢ信号の比を、１に近付ける補間が選択されてしまうために、有彩色領域では本来再現されるべき彩度が低下してしまうという課題がある。

この課題について、簡単な例を挙げて説明する。すなわち、ここでは、水平方向の色は同一であって、垂直方向には色が変化するような領域について考えるものとする。

ベイヤ配列におけるＲ信号を含むある１ラインについて、Ｒ信号の値が全て２００、Ｇ信号の値が全て１０の一定値をとるものとする。さらに、この着目ラインの上のラインに位置するＧ信号の値が全て５の一定値をとり、該着目ラインの下のラインに位置するＧ信号の値が全て４５の一定値をとるものとする。なお、着目ラインの上下のラインにおけるＢ信号については、説明を簡単にするために考慮しない。

このような具体的な数値例に対して、上記特開平１１−２７５３７３号公報に記載された技術を適用すると、垂直類似度が｜２００−５｜＋｜２００−４５｜＝３５０、水平類似度が｜２００−１０｜＋｜２００−１０｜＝３８０となり、垂直類似度の方が水平類似度よりも高いと判定される。従って、本来は水平補間が選択されるべきであるにも関わらず、垂直補間が選択されることになってしまい、着目ラインのＲ信号位置において得られるＧ信号補間値は（５＋４５）／２＝２５となってしまう。この場合には、この着目ラインの色差Ｒ−Ｇは２００−２５＝１７５となり、本来再現されるべき色差Ｒ−Ｇ＝２００−１０＝１９０に対して小さい値となるために、彩度が低下してしまうことになる。
特開平８−２３７６７２号公報米国特許第５，３８２，９７６号特開平１１−２７５３７３号公報

上述したような従来の技術では、単板撮像素子により撮像された各画素１色のベイヤ配列画像に対して、欠落色信号を周辺の色信号に基づき補間し、各画素について複数色の色信号を備えるカラー画像を生成する際に、エッジ部分において偽色が発生したり、この偽色を低減しようとして解像度の低下が生じたり、これら偽色や解像度低下を抑制するための画素相関を利用した適応補間方法を適用するときに適応誤りによる画質劣化が生じたりすることがあった。こうして、従来の技術は、偽色の発生、解像度の低下、および彩度の低下を抑制するについては不十分なものであった。

本発明は上記事情に鑑みてなされたものであり、ＲＧＢベイヤ配列画像における欠落色信号の補間を、偽色の発生および解像度の低下を十分に抑制しながら、彩度を低下させることなく行うことができる画像処理装置、画像処理プログラム、画像処理方法を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像処理装置は、Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成する画像処理装置であって、上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出手段と、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出手段と、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択手段と、を具備したものである。

第１の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。

また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段が、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）に対する同一色Ｘの色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0+n，ｙ0+m）と、の類似度に基づいて算出するものである。

第２の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。

さらに、第３の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記最適色差選択手段が、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものである。

第３の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保った高解像度のカラー画像を得ることができる。

第４の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、をさらに具備したものである。

第４の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保った高解像度のカラー画像を得ることができる。

第５の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、を有して構成されたものである。

第５の発明によれば、水平エッジ、垂直エッジ、それ以外の領域について適用される補間候補が用意されるために、画像に適応した補間を選択することができるとともに、エッジの方向に依存することなく偽色を低減することができ、水平、垂直方向の解像度低下を抑制することができる。

第６の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものである。

第６の発明によれば、斜め方向のエッジ領域について適用される補間候補が用意されるために、斜め方向のエッジに対しても更なる偽色の発生を低減することができ、斜め方向の解像度低下を抑制することができる。

第７の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記色差候補算出手段が、Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出する帯域制限手段を有して構成され、上記第３の補間算出手段により算出されたＧ補間候補に基づいて色差候補を算出する際には、該修正画素ＸLを用いるものである。

第７の発明によれば、Ｒ画素またはＢ画素に対する周波数特性を、隣接４画素によるＧ画素補間の周波数特性に近似するように修正した後に色差を算出するようにしたために、周波数特性の違いに起因して発生する偽色を低減することができる。

第８の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記最適色差選択手段が、Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。

第８の発明によれば、画像平坦部において、複数のＧ補間候補がノイズ等により頻繁に切り替わる誤選択によって発生し得る不自然な歪み模様を、抑制することができる。

第９の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記最適色差選択手段が、上記第１の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、上下に位置する２つの色差候補に重み付けして算出した類似度と、の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものである。

第９の発明によれば、急峻な垂直エッジ部において上下隣接Ｇ画素補間をより確実に選択することができるために、該エッジ境界部において誤選択された場合に生じ得る補間に伴う画像の劣化を、抑制することができる。

第１０の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記最適色差選択手段が、上記第２の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、左右に位置する２つの色差候補に重み付けして算出した類似度と、の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものである。

第１０の発明によれば、急峻な水平エッジ部において左右隣接Ｇ画素補間をより確実に選択することができるために、該エッジ境界部において誤選択された場合に生じ得る補間に伴う画像の劣化を、抑制することができる。

第１１の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記類似度が、Ｇ画素欠落位置の色差候補と、該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補と、の差分絶対値和であり、上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。

第１１の発明によれば、ハード化を行う際の回路規模を小さく抑制しつつ、最適な色差とＧ画素補間とを決定することが可能となる。

第１２の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記Ｘ（ｘ0，ｙ0）に対して周辺の同一色Ｘを用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段をさらに具備し、上記色差候補算出手段は、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出するものであり、上記最適色差選択手段は、上記類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ、１≦ｑ≦Ｍ）を色差として選択するものである。

第１２の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。

第１３の発明による画像処理装置は、上記第１２の発明による画像処理装置において、上記最適色差選択手段が、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものである。

第１３の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保った高解像度のカラー画像を得ることができる。

第１４の発明による画像処理装置は、上記第１３の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、をさらに具備したものである。

第１４の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保った高解像度のカラー画像を得ることができる。

第１５の発明による画像処理装置は、上記第１２の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、を有して構成されたものである。

第１５の発明によれば、水平エッジ、垂直エッジ、それ以外の領域について適用される補間候補が用意されるために、画像に適応した補間を選択することができるとともに、エッジの方向に依存することなく偽色を低減することができ、水平、垂直方向の解像度低下を抑制することができる。

第１６の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものである。

第１６の発明によれば、斜め方向のエッジ領域について適用される補間候補が用意されるために、斜め方向のエッジに対しても更なる偽色の発生を低減することができ、斜め方向の解像度低下を抑制することができる。

第１７の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記最適色差選択手段が、Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。

第１７の発明によれば、画像平坦部において、複数のＧ補間候補がノイズ等により頻繁に切り替わる誤選択によって発生し得る不自然な歪み模様を、抑制することができる。

第１８の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記最適色差選択手段が、上記第１の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、上下に位置する２つの色差候補に重み付けして算出した類似度と、の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものである。

第１８の発明によれば、急峻な垂直エッジ部において上下隣接Ｇ画素補間をより確実に選択することができるために、該エッジ境界部において誤選択された場合に生じ得る補間に伴う画像の劣化を、抑制することができる。

第１９の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記最適色差選択手段が、上記第２の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、左右に位置する２つの色差候補に重み付けして算出した類似度と、の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものである。

第１９の発明によれば、急峻な水平エッジ部において左右隣接Ｇ画素補間をより確実に選択することができるために、該エッジ境界部において誤選択された場合に生じ得る補間に伴う画像の劣化を、抑制することができる。

第２０の発明による画像処理装置は、上記第１２の発明による画像処理装置において、上記類似度が、Ｇ画素欠落位置の色差候補と、該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補と、の差分絶対値和であり、上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。

第２０の発明によれば、ハード化を行う際の回路規模を小さく抑制しつつ、最適な色差とＧ画素補間とを決定することが可能となる。

第２１の発明による画像処理プログラムは、Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成する処理を、コンピュータに実行させるための画像処理プログラムであって、コンピュータに、上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出ステップと、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出ステップと、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択ステップと、を実行させるためのプログラムである。

第２１の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。

第２２の発明による画像処理方法は、Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成するための画像処理方法であって、上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出ステップと、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出ステップと、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択ステップと、を含む方法である。

第２２の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。

第２３の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段が、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）に対する同一色Ｘの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）とに基づいた類似度と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^の複数の色差候補Ｘ^（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、に基づき算出するものである。

第２３の発明によれば、色差周辺類似度の算出領域内における任意の空間周波数の画素値変化に対して色差周辺類似度の判定エラーをより低減し、偽色の発生をさらに抑制することが可能となる。

第２４の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記最適色差選択手段が、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものである。

第２４の発明によれば、第２３の発明に対して、さらに第３の発明と同様の効果を奏することができる。

第２５の発明による画像処理装置は、上記第２４の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、をさらに具備したものである。

第２５の発明によれば、第２３の発明に対して、さらに第４の発明と同様の効果を奏することができる。

第２６の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、を有して構成されたものである。

第２６の発明によれば、第２３の発明に対して、さらに第５の発明と同様の効果を奏することができる。

第２７の発明による画像処理装置は、上記第２６の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものである。

第２７の発明によれば、第２３の発明に対して、さらに第６の発明と同様の効果を奏することができる。

第２８の発明による画像処理装置は、上記第２６の発明による画像処理装置において、上記色差候補算出手段が、Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出する帯域制限手段を有して構成され、上記第３の補間算出手段により算出されたＧ補間候補に基づいて色差候補を算出する際には、該修正画素ＸLを用いるものである。

第２８の発明によれば、第２３の発明に対して、さらに第７の発明と同様の効果を奏することができる。

第２９の発明による画像処理装置は、上記第２６の発明による画像処理装置において、上記最適色差選択手段が、Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。

第２９の発明によれば、第２３の発明に対して、さらに第８の発明と同様の効果を奏することができる。

第３０の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記類似度が、同一色Ｘかつ同一種類ｔの色差候補同士の差分絶対値の和であり、上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。

第３０の発明によれば、第２３の発明に対して、さらに第１１の発明とほぼ同様の効果を奏することができる。

第３１の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記Ｘ（ｘ0，ｙ0）に対して周辺の同一色Ｘを用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段をさらに具備し、上記色差候補算出手段は、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出するものであり、上記最適色差選択手段は、上記類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ、１≦ｑ≦Ｍ）を色差として選択するものである。

第３１の発明によれば、第２３の発明に対して、さらに第１２の発明と同様の効果を奏することができる。

第３２の発明による画像処理装置は、上記第３１の発明による画像処理装置において、上記最適色差選択手段が、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものである。

第３２の発明によれば、第２３の発明に対して、さらに第１３の発明と同様の効果を奏することができる。

第３３の発明による画像処理装置は、上記第３２の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、をさらに具備したものである。

第３３の発明によれば、第２３の発明に対して、さらに第１４の発明と同様の効果を奏することができる。

第３４の発明による画像処理装置は、上記第３１の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、を有して構成されたものである。

第３４の発明によれば、第２３の発明に対して、さらに第１５の発明と同様の効果を奏することができる。

第３５の発明による画像処理装置は、上記第３４の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものである。

第３５の発明によれば、第２３の発明に対して、さらに第１６の発明と同様の効果を奏することができる。

第３６の発明による画像処理装置は、上記第３４の発明による画像処理装置において、上記最適色差選択手段が、Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。

第３６の発明によれば、第２３の発明に対して、さらに第１７の発明と同様の効果を奏することができる。

第３７の発明による画像処理装置は、上記第３１の発明による画像処理装置において、上記類似度が、同一色Ｘかつ同一種類の色差候補同士の差分絶対値の和であり、上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。

第３７の発明によれば、第２３の発明に対して、さらに第２０の発明とほぼ同様の効果を奏することができる。

本発明の画像処理装置、画像処理プログラム、画像処理方法によれば、ＲＧＢベイヤ配列画像における欠落色信号の補間を、偽色の発生および解像度の低下を十分に抑制しながら、彩度を低下させることなく行うことが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１５は本発明の実施形態１を示したものであり、図１は画像処理装置の全体的な構成を示すブロック図である。

この画像処理装置は、図１に示すように、撮像部１０１と、Ｇ補間色差算出部１０２と、色差補間処理部１０３と、ＲＧＢ算出部１０４と、圧縮記録部１０５と、を有している。

撮像部１０１は、図示はしないが、レンズと、ＩＲカットフィルタと、光学ローパスフィルタと、単板撮像素子（以下では単に「撮像素子」などと省略する。）と、増幅器と、Ａ／Ｄ変換器と、撮像素子コントローラと、を有して構成されている。ここに、レンズは、被写体の光学像を撮像素子上に結像するためのものである。ＩＲカットフィルタは、レンズを通過する光束から赤外領域の光をカットするためのものである。光学ローパスフィルタは、レンズにより撮像素子上に結像される光学像の解像度が、Ｇ信号のサンプリング間隔において折り返し歪みによるモワレが許容レベル以上に発生しない空間周波数特性となるように帯域制限を行う光学フィルタである。撮像素子は、図５に示すようなベイヤ配列のカラーフィルタを備える単板式の撮像素子であり、例えばＣＣＤやＣＭＯＳ等により構成されている。ここに図５は、撮像部１０１の単板撮像素子により撮像された色信号のベイヤ配列を示す図である。増幅器は、この撮像素子から出力される信号をアナログ的に増幅するものである。Ａ／Ｄ変換器は、この増幅器により増幅されたアナログ信号をデジタル信号に変換するものである。撮像素子コントローラは、撮像素子を制御しながら駆動して撮像を行わせ、撮像後にＡ／Ｄ変換器から出力されるデジタル信号を色成分に応じてＧ補間色差算出部１０２へ後述するように出力するものである。

このような構成において、レンズ、ＩＲカットフィルタ、光学ローパスフィルタを介して単板撮像素子上に結像した光は、図５に示すようにベイヤ配列された色フィルタ付き画素により光電変換される。こうして光電変換された各画素の電気信号は、増幅器によって増幅され、Ａ／Ｄ変換器によってデジタル信号に変換されて、デジタルの色信号Ｒs，Ｇs，Ｂsとして出力される。撮像素子コントローラは、Ａ／Ｄ変換器から出力される色信号Ｒs，Ｇs，Ｂsを、ＲsおよびＢsと、Ｇsと、にそれぞれ分けて、Ｇ補間色差算出部１０２へ出力する。さらに、撮像素子コントローラは、各色信号Ｒs，Ｇs，Ｂsに対するノイズ低減処理機能およびホワイトバランス処理機能等を備えており、Ｇ補間色差算出部１０２へ出力されるＲs，Ｇs，Ｂsにはこれらの処理が施されている。

Ｇ補間色差算出部１０２は、入力された色信号Ｒs，Ｂsの画素位置に対応する補間Ｇ画素であるＧiと、この画素位置における色差信号Ｒ−Ｇi，Ｂ−Ｇiと、を算出する。そして、Ｇ補間色差算出部１０２は、色差信号Ｒ−Ｇi，Ｂ−Ｇiについては図７に示すような２次元配列として、この２次元配列の色差信号をラスタスキャン順に色差補間処理部１０３へ出力する。ここに図７は、Ｇ補間色差算出部１０２から出力されるＸ−Ｇi信号の２次元配列を示す図である。また、Ｇ補間色差算出部１０２は、Ｇ信号については図６に示すような２次元配列として、この２次元配列のＧ信号をラスタスキャン順にＲＧＢ算出部１０４へ出力する。ここに図６は、Ｇ補間色差算出部１０２から出力されるＧ信号の２次元配列を示す図である。このＧ補間色差算出部１０２については、後でより詳しく説明する。

色差補間処理部１０３は、色差補間手段であって、図７に示すような２次元配列中において、全画素の中で欠落している色差Ｒ−Ｇ、および全画素の中で欠落している色差Ｂ−Ｇを、周辺の同一色に係る色差Ｒ−ＧiまたはＢ−Ｇiを用いてそれぞれ補間し、補間して得られた全画素位置の色差Ｒ−Ｇと全画素位置の色差Ｂ−Ｇとを、ＲＧＢ算出部１０４へそれぞれ出力する。

ＲＧＢ算出部１０４は、ＲＧＢ画素算出手段であって、色差補間処理部１０３から入力される２種類の色差信号Ｒ−Ｇ，Ｂ−Ｇと、Ｇ補間色差算出部１０２から入力されるＧ信号と、に基づいて、ＲＧＢ信号を算出し、該算出したＲＧＢ信号に対してカラーマッチング処理とγ補正処理とを行ってＲγ，Ｇγ，Ｂγ信号を算出し、算出したＲγ，Ｇγ，Ｂγ信号を圧縮記録部１０５へ出力する。

圧縮記録部１０５は、ＲＧＢ算出部１０４から入力されたＲγ，Ｇγ，Ｂγ信号をＹ，Ｕ，Ｖ信号に変換し、さらに、このＹ，Ｕ，Ｖ信号をＪＰＥＧやＭＰＥＧ等の高能率圧縮符号化処理がなされた圧縮データに変換して、この圧縮データを記録媒体に保存する。

次に、図２は、Ｇ補間色差算出部１０２の構成を示すブロック図である。

このＧ補間色差算出部１０２は、メモリ２０１と、メモリ２０２と、縦補間Ｇ算出部２０３と、横補間Ｇ算出部２０４と、４画素補間Ｇ算出部２０５と、メモリ２０６と、メモリ２０７と、メモリ２０８と、減算部２０９と、減算部２１０と、減算部２１１と、メモリ２１２と、メモリ２１３と、メモリ２１４と、周辺類似度算出部２１５と、周辺類似度算出部２１６と、周辺類似度算出部２１７と、判定部２１８と、色差選択部２１９と、補間Ｇ選択部２２０と、メモリ２２１と、を有している。

撮像部１０１から出力された色信号Ｒs、Ｂsはメモリ２０１に、色信号Ｇsはメモリ２０２に、欠落Ｇ画素位置の２次元的な補間処理を実施可能とする画素が揃うまでの遅延を得るために、所定ライン分だけ格納される。図２に示す例においては、メモリ２０１およびメモリ２０２に格納されるライン数は、少なくとも３ラインである。

ここで、欠落Ｇ画素位置にはＲ画素またはＢ画素が配置されていることになるが、これら２つの色信号をまとめてＸ、あるいはＸ画素などと記載して、以後は説明することにする。

縦補間Ｇ算出部２０３は、図８に示すような縦方向の近傍Ｇ画素を用いて、補間式Ｇv＝（Ｇ1＋Ｇ2）／２によりＧ補間候補を算出し、メモリ２０６へ出力して記憶させるとともに、減算部２０９へ出力する補間候補算出手段、第１の補間算出手段である。ここに図８は、欠落Ｇ信号位置の縦方向補間として用いる上下方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。

横補間Ｇ算出部２０４は、図９に示すような横方向の近傍Ｇ画素を用いて、補間式Ｇh＝（Ｇ3＋Ｇ4）／２によりＧ補間候補を算出し、メモリ２０７へ出力して記憶させるとともに、減算部２１０へ出力する補間候補算出手段、第２の補間算出手段である。ここに図９は、欠落Ｇ信号位置の横方向補間として用いる左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。

４画素補間Ｇ算出部２０５は、図１０に示すような縦横４方向の近傍Ｇ画素を用いて、補間式Ｇa＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４によりＧ補間候補を算出し、メモリ２０８へ出力して記憶させるとともに、減算部２１１へ出力する補間候補算出手段、第３の補間算出手段である。ここに図１０は、欠落Ｇ信号位置の隣接４画素補間として用いる上下左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。

減算部２０９は、欠落Ｇ画素と同一位置にあるＸ画素をメモリ２０１から入力し、色差信号（色差候補）Ｘ−Ｇvを算出して、メモリ２１２へ出力し記憶させる色差候補算出手段である。

減算部２１０は、欠落Ｇ画素と同一位置にあるＸ画素をメモリ２０１から入力し、色差信号（色差候補）Ｘ−Ｇhを算出して、メモリ２１３へ出力し記憶させる色差候補算出手段である。

減算部２１１は、欠落Ｇ画素と同一位置にあるＸ画素をメモリ２０１から入力し、色差信号（色差候補）Ｘ−Ｇaを算出して、メモリ２１４へ出力し記憶させる色差候補算出手段である。

なお、メモリ２１２，２１３，２１４に格納される色差信号は、後で周辺類似度算出部２１５，２１６，２１７により周辺類似度を算出する際に用いられる。そして、周辺類似度算出部２１５，２１６，２１７は、図１１〜図１３に示すような同種色差信号（すなわち、色差候補を算出する際に用いるＧ補間候補Ｇv，Ｇh，Ｇaの種類が同一であって、かつ同一色Ｘの色差信号。従って、例えばＲ−ＧvとＢ−Ｇvとは、同種色差信号ではない。）が３行３列分含まれる近傍領域における、色差信号の類似度を算出するようになっている。従って、メモリ２１２，２１３，２１４、さらにメモリ２０６，２０７，２０８は、周辺類似度算出部２１５，２１６，２１７が類似度の算出を実施可能な遅延を得るために、それぞれ、少なくとも５ライン分のデータを格納することができるものとなっている。

こうして、メモリ２１２，２１３，２１４に色差の周辺類似度算出処理を実行可能なだけの色差信号が格納された時点で、メモリ２１２，２１３，２１４から色差信号Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇaが周辺類似度算出部２１５，２１６，２１７へそれぞれ出力される。

周辺類似度算出部２１５は、最適色差選択手段、選択手段であって、Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｖ（ｋ，ｌ）を次のように算出する。

すなわち、周辺類似度算出部２１５は、まず図１１に示すように、中央の色差信号（Ｘ−Ｇv）k,l（ここに、「（Ｘ−Ｇv）k,l」は、「Ｘ（ｋ，ｌ）−Ｇv（ｋ，ｌ）」を省略して記載したものである。以下同様。）と、その周辺位置の８つの色差信号（Ｘ−Ｇv）k-2,l-2、（Ｘ−Ｇv）k,l-2、（Ｘ−Ｇv）k+2,l-2、（Ｘ−Ｇv）k-2,l、（Ｘ−Ｇv）k+2,l、（Ｘ−Ｇv）k-2,l+2、（Ｘ−Ｇv）k,l+2、（Ｘ−Ｇv）k+2,l+2と、を用いて、第１の色差周辺類似度候補Ｓｖ1（ｋ，ｌ）を次のように算出する。ここに図１１は、縦方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。
Ｓｖ1（ｋ，ｌ）＝｜（Ｘ−Ｇv）k-2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l+2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l+2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l+2−（Ｘ−Ｇv）k,l｜

さらに、周辺類似度算出部２１５は、図１１において太線で囲んだ部分における、中央の色差信号（Ｘ−Ｇv）k,lと、その周辺位置の２つの色差信号（Ｘ−Ｇv）k,l-2、（Ｘ−Ｇv）k,l+2と、を用いて差分絶対値和を算出し、他の色差信号を用いて他の差分絶対値和を算出し、さらにこれらの差分絶対値和に以下に示すように重み付けを行って、第２の色差周辺類似度候補Ｓｖ2（ｋ，ｌ）を算出する。
Ｓｖ2（ｋ，ｌ）＝｛｜（Ｘ−Ｇv）k,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l+2−（Ｘ−Ｇv）k,l｜｝×Ｐ
＋｛｜（Ｘ−Ｇv）k-2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l+2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l+2−（Ｘ−Ｇv）k,l｜｝×Ｑ
ここに、ＰとＱとは、２Ｐ＋６Ｑ＝８を満たし、かつ、４≧Ｐ＞１、１＞Ｑ≧０となる任意定数である。

そして、周辺類似度算出部２１５は、上述したように算出された第１の色差周辺類似度候補Ｓｖ1（ｋ，ｌ）と第２の色差周辺類似度候補Ｓｖ2（ｋ，ｌ）とを比較して、値が大きくない方（同値でない場合には、値が小さい方）、つまり類似度が低くない方（同一類似度でない場合には、類似度が高い方）を、色差周辺類似度Ｓｖ（ｋ，ｌ）として採用する。

このように、２つの色差周辺類似度候補Ｓｖ1（ｋ，ｌ）、Ｓｖ2（ｋ，ｌ）の内の、値が大きくない方を色差周辺類似度Ｓｖ（ｋ，ｌ）とすることにより、急峻な縦エッジ境界部と緩やかに変化する縦エッジ境界との両方に対応することができ、判定エラーを低減することが可能となる。

同様にして、周辺類似度算出部２１６は、最適色差選択手段、選択手段であって、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｈ（ｋ，ｌ）を次のように算出する。

すなわち、周辺類似度算出部２１６は、まず図１２に示すように、中央の色差信号（Ｘ−Ｇh）k,lと、その周辺位置の８つの色差信号（Ｘ−Ｇh）k-2,l-2、（Ｘ−Ｇh）k,l-2、（Ｘ−Ｇh）k+2,l-2、（Ｘ−Ｇh）k-2,l、（Ｘ−Ｇh）k+2,l、（Ｘ−Ｇh）k-2,l+2、（Ｘ−Ｇh）k,l+2、（Ｘ−Ｇh）k+2,l+2と、を用いて、第１の色差周辺類似度候補Ｓｈ1（ｋ，ｌ）を次のように算出する。ここに図１２は、横方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。
Ｓｈ1（ｋ，ｌ）＝｜（Ｘ−Ｇh）k-2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k-2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k-2,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l+2−（Ｘ−Ｇh）k,l｜

さらに、周辺類似度算出部２１６は、図１２において太線で囲んだ部分における、中央の色差信号（Ｘ−Ｇh）k,lと、その周辺位置の２つの色差信号（Ｘ−Ｇh）k-2,l、（Ｘ−Ｇh）k+2,lと、を用いて差分絶対値和を算出し、他の色差信号を用いて他の差分絶対値和を算出し、さらにこれらの差分絶対値和に以下に示すように重み付けを行って、第２の色差周辺類似度候補Ｓｈ2（ｋ，ｌ）を算出する。
Ｓｈ2（ｋ，ｌ）＝｛｜（Ｘ−Ｇh）k-2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l−（Ｘ−Ｇh）k,l｜｝×Ｐ
＋｛｜（Ｘ−Ｇh）k-2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k-2,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l+2−（Ｘ−Ｇh）k,l｜｝×Ｑ
ここに、ＰとＱとは、２Ｐ＋６Ｑ＝８を満たし、かつ、４≧Ｐ＞１、１＞Ｑ≧０となる任意定数である。

そして、周辺類似度算出部２１６は、上述したように算出された第１の色差周辺類似度候補Ｓｈ1（ｋ，ｌ）と第２の色差周辺類似度候補Ｓｈ2（ｋ，ｌ）とを比較して、値が大きくない方（同値でない場合には、値が小さい方）、つまり類似度が低くない方（同一類似度でない場合には、類似度が高い方）を、色差周辺類似度Ｓｈ（ｋ，ｌ）として採用する。

このように、２つの色差周辺類似度候補Ｓｈ1（ｋ，ｌ）、Ｓｈ2（ｋ，ｌ）の内の、値が大きくない方を色差周辺類似度Ｓｈ（ｋ，ｌ）とすることにより、急峻な横エッジ境界部と緩やかに変化する横エッジ境界との両方に対応することができ、判定エラーを低減することが可能となる。

また、周辺類似度算出部２１７は、最適色差選択手段であって、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓａ（ｋ，ｌ）を次のように算出する。

すなわち、周辺類似度算出部２１７は、図１３に示すように、中央の色差信号（Ｘ−Ｇa）k,lと、その周辺位置の８つの色差信号（Ｘ−Ｇa）k-2,l-2、（Ｘ−Ｇa）k,l-2、（Ｘ−Ｇa）k+2,l-2、（Ｘ−Ｇa）k-2,l、（Ｘ−Ｇa）k+2,l、（Ｘ−Ｇa）k-2,l+2、（Ｘ−Ｇa）k,l+2、（Ｘ−Ｇa）k+2,l+2と、を用いて、以下に示すように差分絶対値和を算出することにより、色差周辺類似度Ｓａ（ｋ，ｌ）を算出する。ここに図１３は、欠落Ｇ信号位置の隣接４画素補間に基づき算出した色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。
Ｓａ（ｋ，ｌ）＝｜（Ｘ−Ｇa）k-2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l+2−（Ｘ−Ｇa）k,l｜

このようにして周辺類似度算出部２１５，２１６，２１７により各算出された色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）は、最適色差選択手段たる判定部２１８に入力される。なお、ここでは色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）を注目色差と周辺色差との差分絶対値和として定義したが、この定義に代えて、差分２乗和として定義するようにしても良い。

判定部２１８は、これら３つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）の値を比較して、最小となる色差周辺類似度を与えるＧ補間方法を１つ選択し、選択した補間方法に対応する選択信号を、色差選択部２１９と補間Ｇ選択部２２０とへそれぞれ出力する。なお、最小となる色差周辺類似度が複数存在する場合には、判定部２１８は、例えばＳａ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｖ（ｋ，ｌ）の順番で優先順位の高さを決めて、この優先順位に沿ってＧ補間方法を１つ選択するようになっている。

色差選択部２１９は、最適色差選択手段、選択手段であって、判定部２１８から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）の色差候補、すなわち、メモリ２１２に記憶されている色差候補（Ｘ−Ｇv）k,l、メモリ２１３に記憶されている色差候補（Ｘ−Ｇh）k,l、メモリ２１４に記憶されている色差候補（Ｘ−Ｇa）k,lの何れかを選択して入力し、色差補間処理部１０３へ色差として出力する。より具体的には、色差選択部２１９は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇv）k,lを、Ｓｈ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇh）k,lを、Ｓａ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇa）k,lを、色差補間処理部１０３へ出力するようになっている。なお、色差信号は、図７に示したような２次元配列における左上から右下へのラスタスキャン順で、色差補間処理部１０３へ出力される。

また、補間Ｇ選択部２２０は、最適色差選択手段、Ｇ補間値出力手段であって、判定部２１８から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）のＧ補間候補、すなわち、メモリ２０６に記憶されているＧ補間候補Ｇv（ｋ，ｌ）、メモリ２０７に記憶されているＧ補間候補Ｇh（ｋ，ｌ）、メモリ２０８に記憶されているＧ補間候補Ｇa（ｋ，ｌ）の何れかを選択して入力し、ＲＧＢ算出部１０４へ出力する。より具体的には、補間Ｇ選択部２２０は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合にはＧv（ｋ，ｌ）を、色差周辺類似度Ｓｈ（ｋ，ｌ）が最小である場合にはＧh（ｋ，ｌ）を、色差周辺類似度Ｓａ（ｋ，ｌ）が最小である場合にはＧa（ｋ，ｌ）を、ＲＧＢ算出部１０４へ出力するようになっている。

また、メモリ２２１は、撮像画素として得られるＧs画素のデータを一時的に記憶するためのものである。Ｇ補間色差算出部１０２は、図６に示すような欠落のない２次元配列のＧ信号を、左上から右下へのラスタスキャン順でＲＧＢ算出部１０４へ出力するようになっている。従って、ラスタスキャン順で読み出されるタイミングがくるまで、メモリ２２１はＧs画素のデータを記憶し、該タイミングになったところでＧs画素のデータをＲＧＢ算出部１０４へ出力するようになっている。

次に、図３は、色差補間処理部１０３の構成を示すブロック図である。

色差補間処理部１０３は、色差選別部３０１と、メモリ３０２と、メモリ３０３と、補間処理部３０４と、補間処理部３０５と、を有している。

Ｇ補間色差算出部１０２からの色差信号Ｘ−Ｇiは、色差補間処理部１０３の色差選別部３０１に入力されるようになっている。色差選別部３０１は、色差信号Ｘ−Ｇiが入力されると、該色差信号Ｘ−ＧiがＲ−Ｇiである場合にはメモリ３０２へ、色差信号Ｘ−ＧiがＢ−Ｇiである場合にはメモリ３０３へ、それぞれ分けて出力する。

メモリ３０２は、色差選別部３０１から色差信号Ｒ−Ｇiが入力されると、それを記憶する。このとき、メモリ３０２は、色差信号Ｒ−Ｇiの欠落画素部分を補間処理するために必要なライン数分を記憶することができるようなメモリ容量のものとなっている。

同様に、メモリ３０３は、色差選別部３０１から色差信号Ｂ−Ｇiが入力されると、それを記憶する。このとき、メモリ３０３は、色差信号Ｂ−Ｇiの欠落画素部分を補間処理するために必要なライン数分を記憶することができるようなメモリ容量のものとなっている。

こうして、補間処理が開始可能となった時点で、メモリ３０２，３０３から、補間処理に必要な画素データが、補間処理部３０４，３０５へそれぞれ出力される。

補間処理部３０４は、例えば次に示すような線形補間式を用いることにより色差信号Ｒ−Ｇの補間を行い、全ての画素位置における色差信号Ｒ−Ｇを生成して、ＲＧＢ算出部１０４へ出力する。

ここに、Ｎｏは、上述した３×３行列内における非欠落画素Ｒ−Ｇiの数である。

同様に、補間処理部３０５は、例えば次に示すような線形補間式を用いることにより色差信号Ｂ−Ｇの補間を行い、全ての画素位置における色差信号Ｂ−Ｇを生成して、ＲＧＢ算出部１０４へ出力する。

ここに、Ｎｏは、上述した３×３行列内における非欠落画素Ｂ−Ｇiの数である。

次に、図４は、ＲＧＢ算出部１０４の構成を示すブロック図である。

ＲＧＢ算出部１０４は、メモリ４０１と、加算部４０２と、加算部４０３と、カラーマトリックス処理部４０４と、γ補正部４０５と、γ補正部４０６と、γ補正部４０７と、を有している。

Ｇ補間色差算出部１０２からのＧ信号は、ＲＧＢ算出部１０４のメモリ４０１に入力されて格納される。このメモリ４０１は、色差補間処理部１０３からＧ信号と同一画素位置の色差信号Ｒ−Ｇ、および色差信号Ｂ−Ｇが入力されるまで、該Ｇ信号を保持しておくためのものである（つまり、遅延用として機能するものである）。

また、色差補間処理部１０３からの色差信号Ｒ−Ｇは、ＲＧＢ算出部１０４の加算部４０２に入力される。すると、加算部４０２は、入力された色差信号Ｒ−Ｇと同一位置のＧ信号をメモリ４０１から読み出して、色差信号Ｒ−ＧとＧ信号とを加算することによりＲ信号を生成し、カラーマトリックス処理部４０４へ出力する。

さらに、色差補間処理部１０３からの色差信号Ｂ−Ｇは、ＲＧＢ算出部１０４の加算部４０３に入力される。すると、加算部４０３は、入力された色差信号Ｂ−Ｇと同一位置のＧ信号をメモリ４０１から読み出して、色差信号Ｂ−ＧとＧ信号とを加算することによりＢ信号を生成し、カラーマトリックス処理部４０４へ出力する。

そして、メモリ４０１は、加算部４０２により算出されたＲ信号および加算部４０３により算出されたＢ信号と同一画素位置のＧ信号を、カラーマトリックス処理部４０４へ出力する。

このような処理を行うことにより、各画素位置におけるＲ信号、Ｇ信号、Ｂ信号が復元されることになる。

カラーマトリックス処理部４０４は、復元されたＲ信号、Ｇ信号、およびＢ信号が入力されると、これらを例えばｓＲＧＢ空間の信号に変換する。そして、カラーマトリックス処理部４０４は、変換したＲ信号をγ補正部４０５へ、変換したＢ信号をγ補正部４０６へ、変換したＧ信号をγ補正部４０７へ、それぞれ出力する。

γ補正部４０５，４０６，４０７は、カラーマトリックス処理部４０４から入力される変換後のＲ，Ｇ，Ｂ信号が例えば１２ビットの信号であるとすると、これらの信号をそれぞれγ補正して８ビットに変換されたＲγ信号、Ｇγ信号、Ｂγ信号をそれぞれ生成し、圧縮記録部１０５へ出力する。

その後の圧縮記録部１０５による処理は、上述した通りである。

次に、図１４は、Ｇ補間色差算出部１０２により行われる処理の概要を示すフローチャートである。この図１４を参照して説明する処理は、図２に示すような実施形態１におけるＧ補間色差算出部１０２の構成に対して適用されるだけでなく、後述する実施形態２の図１６に示すＧ補間色差算出部１０２の構成、実施形態３の図１９に示すＧ補間色差算出部１０２の構成、実施形態４の図２３に示すＧ補間色差算出部１０２の構成に対しても、共通して適用されるものとなっている。従って、必ずしも特定の実施形態にのみ依存するものではないために、この図１４の説明においては、参照符号の記載を適宜省略する。

この処理を開始すると、まず、撮像部１０１により撮像してメモリに格納されラスタスキャン順にＧ補間色差算出部１０２に入力される単板ベイヤ配列画像における、Ｇ信号欠落位置のＧ補間候補信号を格納するためのメモリと、該Ｇ信号欠落位置の色差候補信号を格納するためのメモリと、のライン数Ｎを初期値にセットする（ステップＳ１４００）。

続いて、Ｇ信号欠落位置（ｉ，ｊ）に対して、該欠落位置周辺のＧ信号を用いてＭ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｉ，ｊ）（ここに、ｔ＝１，…，Ｍ）を算出するとともに、このＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）信号（ここに、Ｘ信号は、上述したように、Ｒ信号またはＢ信号を示している。以下同様。）から上述したＭ種類のＧ補間候補Ｇt（ｉ，ｊ）を減算することにより、Ｍ種類の色差候補（Ｘ−Ｇt）i,jをそれぞれ算出して、メモリに格納する（ステップＳ１４０１）。

なお、この実施形態１および次に説明する実施形態２においてはＭ＝３であり、後述する実施形態３および実施形態４においてはＭ＝４であるが、さらに多くの種類の補間候補を用意するようにしても良い。また、上述では補間方法として線形補間を採用しているが、これに限らず、キュービック補間やその他の非線形補間を採用するようにしても構わない。さらに、上述ではＧ信号欠落位置（ｉ，ｊ）の周辺のＧ信号を用いて補間を行うようにしているが、これだけでなく、周辺のＲ信号やＢ信号も用いて補間を行うようにしても良い。このように、補間方法は限定されるものではなく、任意の補間方法を採用することが可能である。

次に、Ｎライン分の処理が終了したか否かを判定し（ステップＳ１４０２）、Ｎライン分の処理がまだ終了していないと判定された場合にはステップＳ１４０１に戻って、上述したような処理を行う。

一方、ステップＳ１４０２において、Ｎライン分の処理が終了したと判定された場合には、ライン数Ｎを、以下のように補間Ｇ信号と色差信号とを決定するために必要な所定の処理ライン数にセットする（ステップＳ１４０３）。

そして、メモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種ｔにより算出された色差（Ｘ−Ｇt）k,lと、その近傍Ｄ方向（Ｄは１以上の整数であり、図１１〜図１３に示す例においては、Ｄ＝８、つまり近傍８方向となる。）の色差（Ｘ−Ｇt）k+n,l+m（この実施形態１および後述する実施形態２〜４においては、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならないものとしたが、さらに広い周辺領域の色差を用いるようにしても良い）と、の差分絶対値和（差分を算出する方向に応じて、重み付けを行うようにしても良い）に基づいて、周辺類似度Ｓt（ｋ，ｌ）を算出する（ステップＳ１４０４）。ここに、周辺類似度Ｓt（ｋ，ｌ）は、値が小さい程、類似性が高いことを示すものとなっている。

こうして算出したＭ種類の周辺類似度Ｓt（ｋ，ｌ）（ここに、ｔ＝１，…，Ｍ）（なお、この実施形態１ではＭ＝３）の値を比較して、最小（最も類似性が高い）となる補間種インデックスｔminを選択する（ステップＳ１４０５）。

次に、選択した補間種インデックスｔminに基づいて、Ｇ信号欠落位置（ｋ，ｌ）に対する補間Ｇ信号をＧtmin（ｋ，ｌ）に決定するとともに、該Ｇ信号欠落位置（ｋ，ｌ）に対する色差信号を（Ｘ−Ｇtmin）k,lに決定し、これらをメモリに格納する（ステップＳ１４０６）。

ここでＮライン分の処理が終了したか否かを判定し（ステップＳ１４０７）、Ｎライン分の処理がまだ終了していないと判定された場合には、ステップＳ１４０４に戻って上述したような処理を行う。

また、ステップＳ１４０７において、Ｎライン分の処理が終了したと判定された場合には、さらに、出力画像としての総ライン数分の処理を終了したか否かを判定する（ステップＳ１４０８）。

ここで、総ライン数分の処理がまだ終了していないと判定された場合には、ステップＳ１４０１に戻って、メモリに格納されている不必要となった所定ライン数分のＧt、（Ｘ−Ｇt）、Ｓtを新しく算出される値により置き換えながら、上述したような処理を行う。

一方、ステップＳ１４０８において、総ライン数分の処理が終了したと判定された場合には、このＧ補間色差算出処理を終了する。

次に、図１５は、図２に示す構成のＧ補間色差算出部１０２の処理を示すフローチャートである。

このＧ補間色差算出部１０２には、撮像部１０１により撮像されてメモリに格納されている単板ベイヤ配列画像が、ラスタスキャン順に入力されるようになっている。そして、Ｇ補間色差算出部１０２は、上述したように、ラスタスキャン順に入力される単板ベイヤ配列画像の内の、Ｒs信号およびＢs信号をメモリ２０１に、Ｇs信号をメモリ２０２に、所定データ分だけそれぞれ格納するようになっている。

このように、メモリ２０１，２０２に所定データ分が格納されている状態において、欠落Ｇ信号のＧ補間候補値を格納するメモリ２０６〜２０８のライン数Ｎと、欠落Ｇ信号の色差候補値を格納するメモリ２１２〜２１４のライン数Ｎと、を所定の初期値（この実施形態１においてはＮ＝５）にセットする（ステップＳ１５００）。

次に、Ｇ信号欠落位置（ｉ，ｊ）に対して、縦補間Ｇ算出部２０３により図８に示すような上下に隣接するＧ信号の平均値を算出して、補間候補Ｇv（ｉ，ｊ）としてメモリ２０６に格納し（ステップＳ１５０１）、さらに、減算部２０９によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇv（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇv）i,jを算出して、メモリ２１２に格納する（ステップＳ１５０２）。

続いて、Ｇ信号欠落位置（ｉ，ｊ）に対して、図９に示すような左右に隣接するＧ信号の平均値を算出して、補間候補Ｇh（ｉ，ｊ）としてメモリ２０７に格納し（ステップＳ１５０３）、さらに、減算部２１０によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇh（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇh）i,jを算出して、メモリ２１３に格納する（ステップＳ１５０４）。

そして、Ｇ信号欠落位置（ｉ，ｊ）に対して、図１０に示すような上下左右に隣接するＧ信号の平均値を算出して、補間候補Ｇa（ｉ，ｊ）としてメモリ２０８に格納し（ステップＳ１５０５）、さらに、減算部２１１によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇa（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇa）i,jを算出して、メモリ２１４に格納する（ステップＳ１５０６）。

次に、この時点でＮライン分の処理が終了したか否かを判定し（ステップＳ１５０７）、Ｎライン分の処理がまだ終了していないと判定された場合には、ステップＳ１５０１に戻って上述したような処理を行う。

こうして、ステップＳ１５０７において、Ｎライン分の処理が終了したと判定された場合には、Ｎを１にセットする（ステップＳ１５０８）。

続いて、周辺類似度算出部２１５が、メモリ２１２に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧvである）により算出された色差（Ｘ−Ｇv）k,lと、その近傍８方向の同種色差（Ｘ−Ｇv）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を色差周辺類似度候補Ｓｖ1（ｋ，ｌ）として算出する。さらに、周辺類似度算出部２１５は、近傍８方向の同種色差（Ｘ−Ｇv）k+n,l+mの内の、上下近傍の同種色差（Ｘ−Ｇv）k+n,l+m（ここに、ｎ＝０、ｍ＝−２，２）に対して大きな重み付けを行って差分絶対値和をとり、色差周辺類似度候補Ｓｖ2（ｋ，ｌ）を算出する。そして、周辺類似度算出部２１５は、算出した色差周辺類似度候補Ｓｖ1（ｋ，ｌ）と色差周辺類似度候補Ｓｖ2（ｋ，ｌ）とに基づいて、周辺類似度Ｓｖ（ｋ，ｌ）を算出する（ステップＳ１５０９）。

同様に、周辺類似度算出部２１６が、メモリ２１３に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧhである）により算出された色差（Ｘ−Ｇh）k,lと、その近傍８方向の同種色差（Ｘ−Ｇh）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を色差周辺類似度候補Ｓｈ1（ｋ，ｌ）として算出する。さらに、周辺類似度算出部２１６は、近傍８方向の同種色差（Ｘ−Ｇh）k+n,l+mの内の、左右近傍の同種色差（Ｘ−Ｇh）k+n,l+m（ここに、ｎ＝−２，２、ｍ＝０）に対して大きな重み付けを行って差分絶対値和をとり、色差周辺類似度候補Ｓｈ2（ｋ，ｌ）を算出する。そして、周辺類似度算出部２１６は、算出した色差周辺類似度候補Ｓｈ1（ｋ，ｌ）と色差周辺類似度候補Ｓｈ2（ｋ，ｌ）とに基づいて、周辺類似度Ｓｈ（ｋ，ｌ）を算出する（ステップＳ１５１０）。

さらに同様に、周辺類似度算出部２１７が、メモリ２１４に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧaである）により算出された色差（Ｘ−Ｇa）k,lと、その近傍８方向の色差（Ｘ−Ｇa）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を周辺類似度Ｓａ（ｋ，ｌ）として算出する（ステップＳ１５１１）。

このようにして算出される各周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）は、上述したように、値が小さい程、類似性が高いことを示すものとなっている。

こうして３つの周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）が算出されたところで、まず、周辺類似度Ｓｖ（ｋ，ｌ）と周辺類似度Ｓｈ（ｋ，ｌ）とを比較する（ステップＳ１５１２）。

ここで、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）よりも小さいと判定された場合には、さらに、周辺類似度Ｓｖ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）とを比較する（ステップＳ１５１４）。

一方、ステップＳ１５１２において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）以上であると判定された場合には、さらに、周辺類似度Ｓｈ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）とを比較する（ステップＳ１５１３）。

そして、上述したステップＳ１５１４において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧv（ｋ，ｌ）に、色差を（Ｘ−Ｇv）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ１５１５）。

また、上述したステップＳ１５１４において周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）以上であると判定された場合、または、上述したステップＳ１５１３において周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）以上であると判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧa（ｋ，ｌ）に、色差を（Ｘ−Ｇa）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ１５１６）。

さらに、上述したステップＳ１５１３において周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧh（ｋ，ｌ）に、色差を（Ｘ−Ｇh）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ１５１７）。

こうして、ステップＳ１５１５、ステップＳ１５１６、またはステップＳ１５１７の何れかの処理を行った後に、Ｎライン分の処理が終了したか否かを判定して（ステップＳ１５１８）、処理がまだ終了していないと判定された場合には、ステップＳ１５０９に戻って上述したような処理を行う。

一方、ステップＳ１５１８において、Ｎライン分の処理が終了したと判定された場合には、さらに、出力画像としての総ライン数分の処理を終了したか否かを判定する（ステップＳ１５１９）。

ここで、総ライン数分の処理がまだ終了していないと判定された場合には、ステップＳ１５０１に戻って、メモリに格納されている不必要となったラインのＧv、Ｇh、Ｇa、（Ｘ−Ｇv）、（Ｘ−Ｇh）、（Ｘ−Ｇa）、Ｓｖ、Ｓｈ、Ｓａを新しく算出される値により置き換えながら、上述したような処理を行う。

また、ステップＳ１５１９において、総ライン数分の処理が終了したと判定された場合には、このＧ補間色差算出処理を終了する。

このような実施形態１によれば、色差を算出するときの未確定パラメータである欠落Ｇ画素を、色差信号は局所的に相関性が高いという前提条件に基づいた最も確からしいものとして、複数種類のＧ補間候補の中から１つ選択することができる。その結果として、画像の局所的なエッジに最適な欠落Ｇ画素が補間されるために、偽色の発生を抑制することができるとともに、さらに、垂直方向および水平方向のエッジ部の解像度劣化を抑制することができる。

そして、周辺類似度の算出を、色差に基づいて行っているために、彩度が低下することがなく、また偽色も有効に低減することができる。

［実施形態２］
図１６から図１８は本発明の実施形態２を示したものであり、図１６はＧ補間色差算出部の構成を示すブロック図、図１７はＧ変動量算出部により使用するＧ信号のベイヤ配列上における位置を示す図、図１８はＧ変動量算出部により算出するＧ変動量と隣接４画素補間を用いて算出した周辺類似度に対する重み係数との関係を示す線図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態２は、上述した実施形態１に対して、撮像画像の平坦部における画質の改善をさらに図るようにしたものとなっている。

すなわち、実施形態１において説明した欠落Ｇ画素に対する３つの補間切換判定は、画像平坦部において、画像の局所相関性に伴う色差周辺類似度の３つの差（画像平坦部においては、この差が本来的に小さい）よりも撮像素子固有のノイズ量に伴う変化量が優勢になると、色差類似度の最小値判定において誤判定が発生し、ノイズの空間的な発生パターンに依存して縦補間、横補間、４画素補間が、ランダム性またはある周期性を持って頻繁に切り替わる可能性がある。そして、これに伴って、不自然な模様が現れるような画質劣化が発生する場合があり得る。

そこで、本実施形態においては、このような画質劣化の発生を抑制するために、画像変動量を定量化することによる該変動量の検出処理と、検出した該変動量に適応して４画素補間の優先度を向上させる重み付け処理と、をさらに行うようにしたものである。

すなわち、本実施形態のＧ補間色差算出部１０２は、上述した実施形態１のＧ補間色差算出部１０２に対して、Ｇ変動量算出部１６０１と、メモリ１６０２と、乗算部１６０３と、をさらに追加したものとなっている。ここに、上述したメモリ２０２はＧ変動量算出部１６０１に接続され、このＧ変動量算出部１６０１は最適色差選択手段たるメモリ１６０２に接続され、メモリ１６０２は乗算部１６０３に接続され、乗算部１６０３は判定部２１８へ接続されている。さらに、乗算部１６０３は、周辺類似度算出部２１７とも接続されている。

この図１６に示したようなＧ補間色差算出部１０２の作用の内の、図２に示したＧ補間色差算出部１０２の作用と異なる部分についてを主として説明する。ここに、異なる作用部分は、主に、Ｇ変動量算出部１６０１と乗算部１６０３とに係る部分である。

Ｇ変動量算出部１６０１は、最適色差選択手段、Ｇ画素変動量算出手段であって、メモリ２０２に格納されているＧs信号の内の、図１７に示すような欠落Ｇ画素位置（ｉ，ｊ）の周辺に配置されたＧs信号を読み込んで、次に示すようにＧ変動量（ｉ，ｊ）を算出する。
Ｇ変動量（ｉ，ｊ）＝Ｄc（ｉ，ｊ）／Ｐ
＋｛Ｄr1（ｉ，ｊ）＋Ｄr2（ｉ，ｊ）＋Ｄr3（ｉ，ｊ）＋Ｄr4（ｉ，ｊ）｝／Ｑ
ここに、ＰとＱはＰ＞０、Ｑ＞０を満たす任意の定数であり、
Ｄc（ｉ，ｊ）＝｜Ｇs（ｉ−１，ｊ）−Ｇs（ｉ，ｊ−１）
＋Ｇs（ｉ＋１，ｊ）−Ｇs（ｉ，ｊ＋１）｜
＋｜Ｇs（ｉ−１，ｊ）＋Ｇs（ｉ，ｊ−１）
−Ｇs（ｉ＋１，ｊ）−Ｇs（ｉ，ｊ＋１）｜
＋｜Ｇs（ｉ−１，ｊ）−Ｇs（ｉ，ｊ−１）
−Ｇs（ｉ＋１，ｊ）＋Ｇs（ｉ，ｊ＋１）｜
Ｄr1（ｉ，ｊ）＝｜Ｇs（ｉ−２，ｊ−１）−Ｇs（ｉ−１，ｊ−２）
＋Ｇs（ｉ，ｊ−１）−Ｇs（ｉ−１，ｊ）｜
＋｜Ｇs（ｉ−２，ｊ−１）＋Ｇs（ｉ−１，ｊ−２）
−Ｇs（ｉ，ｊ−１）−Ｇs（ｉ−１，ｊ）｜
＋｜Ｇs（ｉ−２，ｊ−１）−Ｇs（ｉ−１，ｊ−２）
−Ｇs（ｉ，ｊ−１）＋Ｇs（ｉ−１，ｊ）｜
Ｄr2（ｉ，ｊ）＝｜Ｇs（ｉ，ｊ−１）−Ｇs（ｉ＋１，ｊ−２）
＋Ｇs（ｉ＋２，ｊ−１）−Ｇs（ｉ＋１，ｊ）｜
＋｜Ｇs（ｉ，ｊ−１）＋Ｇs（ｉ＋１，ｊ−２）
−Ｇs（ｉ＋２，ｊ−１）−Ｇs（ｉ＋１，ｊ）｜
＋｜Ｇs（ｉ，ｊ−１）−Ｇs（ｉ＋１，ｊ−２）
−Ｇs（ｉ＋２，ｊ−１）＋Ｇs（ｉ＋１，ｊ）｜
Ｄr3（ｉ，ｊ）＝｜Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ＋１，ｊ）
＋Ｇs（ｉ＋２，ｊ＋１）−Ｇs（ｉ＋１，ｊ＋２）｜
＋｜Ｇs（ｉ，ｊ＋１）＋Ｇs（ｉ＋１，ｊ）
−Ｇs（ｉ＋２，ｊ＋１）−Ｇs（ｉ＋１，ｊ＋２）｜
＋｜Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ＋１，ｊ）
−Ｇs（ｉ＋２，ｊ＋１）＋Ｇs（ｉ＋１，ｊ＋２）｜
Ｄr4（ｉ，ｊ）＝｜Ｇs（ｉ−２，ｊ＋１）−Ｇs（ｉ−１，ｊ）
＋Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ−１，ｊ＋２）｜
＋｜Ｇs（ｉ−２，ｊ＋１）＋Ｇs（ｉ−１，ｊ）
−Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ−１，ｊ＋２）｜
＋｜Ｇs（ｉ−２，ｊ＋１）−Ｇs（ｉ−１，ｊ）
−Ｇs（ｉ，ｊ＋１）＋Ｇs（ｉ−１，ｊ＋２）｜
である。

Ｇ変動量算出部１６０１は、このように算出したＧ変動量（ｉ，ｊ）に基づいて、図１８に示すような形状の関数を用いて、重み係数ｗ（ｉ，ｊ）を算出する。ここに、図１８に示す関数は、Ｇ変動量が所定の閾値Ｔｈ以上である場合には重みを１とし、Ｇ変動量がこの閾値Ｔｈ未満である場合にはＧ変動量に比例するような（つまり、Ｇ変動量が小さくなるに従って、重みが小さくなるような）、関数となっている。このようなＧ変動量に対する重み係数ｗ（ｉ，ｊ）の関係は、所定の計算式に基づき算出されるか、あるいは予め記憶されているルックアップテーブルを参照することにより変換されるようになっている。また、閾値Ｔｈは、撮像部１０１の増幅器の増幅量（ＩＳＯ感度に対応）に応じて変更することができるようになっていても良い。

Ｇ変動量算出部１６０１が算出した重み係数ｗ（ｉ，ｊ）は、メモリ１６０２に出力されて格納される。

次に、乗算部１６０３は、最適色差選択手段、乗算手段であって、周辺類似度算出部２１７から出力された４画素補間Ｇaに係る色差Ｘ−Ｇaの周辺類似度Ｓａと、メモリ１６０２に格納されている重み係数ｗの内のこの周辺類似度Ｓａと同一画素位置に対応する重み係数ｗと、を乗算することによりＳａ×ｗを算出し、算出したＳａ×ｗを判定部２１８へ出力する。

その後の判定部２１８による判定処理、あるいはそれ以降の処理は、上述した実施形態１と同様である。

このような処理を行うと、Ｇ変動量が所定閾値Ｔｈ未満の場合（すなわち、ｗ＜１の場合）にはＳａ×ｗはＳａ単体よりも小さい値となるために、判定部２１８の判定においてＳａ×ｗが最小値となる可能性が増大することになる。つまり、Ｇ変動量が小さい平坦な領域においては、縦補間Ｇや横補間Ｇが選択される可能性が低減され、４画素補間Ｇがより高い確率で選択されて、ノイズによる影響がキャンセルされるようになっている。

このような実施形態２によれば、エッジ部分においては上述した実施形態１とほぼ同様に偽色の発生を抑制することができるとともに、さらに、平坦な領域における不自然な模様状のノイズの発生を抑制することが可能となる。

［実施形態３］
図１９から図２２は本発明の実施形態３を示したものであり、図１９はＧ補間色差算出部の構成を示すブロック図、図２０は欠落Ｇ信号位置の斜め方向補間として用いる周辺１２画素のＧ信号のベイヤ配列上における位置を示す図、図２１は周辺１２画素補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図、図２２は光学ローパスフィルタを介して得られる撮像画像等の斜め４５度方向の周波数帯域特性を示す線図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態３は、上述した実施形態２に対して、斜め方向の解像度をさらに改善するようにしたものである。

上述した実施形態１，２においては、欠落Ｇ画素の補間を、縦方向、横方向、周辺４画素を用いた線形補間により行っていた。これらの内の縦方向補間は縦方向エッジに、横方向補間は横方向エッジに、それぞれ沿って適用された場合には、該エッジに直交する方向の周波数特性は補間によって変化することはない。つまり、エッジは鈍らされることなく保存される。これに対して、斜め方向のエッジは、実施形態１，２においては対応する方向の補間が存在せず、周辺色差類似度が最小となる補間方法としては主に周辺４画素補間が選択されることになる。

図２２における周波数特性ｆaは、撮像部１０１の光学ローパスフィルタを介して得られる撮像画像の、水平方向に対して斜め４５度方向の周波数特性を示し、つまり、光学ローパスフィルタの斜め４５度方向の周波数特性を略示している。

この光学ローパスフィルタの斜め方向の周波数特性ｆaは、図示のように、空間周波数がナイキスト周波数ＮＦへ向かうにつれて緩やかなカーブを描きながら単調減少する特性となっている。

撮像画像の周波数特性は、この光学ローパスフィルタの斜め方向の周波数特性ｆaに、さらに、レンズのＭＴＦと、撮像素子の開口率に伴う周波数特性と、の積をとったトータルの周波数特性となる。ここで、レンズの周波数特性および開口率の周波数特性の寄与率は、上述したような光学ローパスフィルタの周波数特性に比べて無視することができる程度であるために、図２２に示す周波数特性ｆaが、撮像画像の斜め４５度方向の周波数特性であるものと近似的に見なすことができる。

次に、図２２における周波数特性ｆbは、上述した周波数特性ｆaと、周辺４画素補間により得られる補間Ｇ画素の斜め４５度方向の周波数特性と、を乗算した結果の周波数特性を示している。

この周辺４画素補間により作成する補間Ｇ画素の斜め方向の周波数特性ｆbは、補間フィルタの周波数特性と、光学ローパスフィルタの周波数特性と、の積となっている。

そして、この周波数特性ｆbは、図示のように、空間周波数が０から増加するに従って単調に減少し、ナイキスト周波数の半分（ＮＦ／２）においてゲインが一旦０となり、その後に増加し小ピークを経てナイキスト周波数ＮＦにおいてゲインが再び０となる特性のものとなっている。こうして周波数特性ｆbは、上述した周波数特性ｆaに比して、高周波成分が落ち込んだ特性となり、斜め方向のエッジが鈍る特性であることが分かる。

このような斜め方向のエッジの鈍りを改善するために、この実施形態３においては、斜め方向における高周波数成分の低下が少ない特性を備えた斜め補間処理をさらに追加するようにしたものとなっている。

このような斜め補間機能を備えたＧ補間色差算出部１０２の構成について、図１９を参照して説明する。

本実施形態のＧ補間色差算出部１０２は、上述した実施形態２のＧ補間色差算出部１０２に対して、斜め補間Ｇ算出部１９０１と、メモリ１９０２と、減算部１９０３と、メモリ１９０４と、周辺類似度算出部１９０５と、をさらに追加し、判定部２１８に代えて最適色差選択手段たる判定部１９０６を、色差選択部２１９に代えて最適色差選択手段、選択手段たる色差選択部１９０７を、補間Ｇ選択部２２０に代えて最適色差選択手段、Ｇ補間値出力手段たる補間Ｇ選択部１９０８を、それぞれ設けたものとなっている。

ここに、上述したメモリ２０２は斜め補間Ｇ算出部１９０１に接続され、この斜め補間Ｇ算出部１９０１はメモリ１９０２と減算部１９０３とへ接続されている。また、メモリ１９０２および上述したメモリ２０６，２０７，２０８は、補間Ｇ選択部１９０８へそれぞれ接続されている。一方、減算部１９０３は、色差候補算出手段であって、メモリ２０１と接続されるとともに、メモリ１９０４を介して周辺類似度算出部１９０５へ接続されている。この周辺類似度算出部１９０５および上述した周辺類似度算出部２１５，２１６は、判定部１９０６へ接続されてるとともに、上述した周辺類似度算出部２１７は、乗算部１６０３を介して判定部１９０６へ接続されている。この判定部１９０６は、色差選択部１９０７および補間Ｇ選択部１９０８へ接続されている。また、色差選択部１９０７には、メモリ１９０４および上述したメモリ２１２，２１３，２１４が接続されている。

この図１９に示したようなＧ補間色差算出部１０２の作用の内の、図１６に示したＧ補間色差算出部１０２の作用と異なる部分についてを主として説明する。ここに、異なる作用部分は、主に、斜め補間Ｇ算出部１９０１、メモリ１９０２、減算部１９０３、メモリ１９０４、周辺類似度算出部１９０５、判定部１９０６、色差選択部１９０７、補間Ｇ選択部１９０８に係る部分である。

撮像部１０１から出力される色信号Ｒsおよび色信号Ｂsはメモリ２０１に、該撮像部１０１から出力される色信号Ｇsはメモリ２０２に、欠落Ｇ画素位置の２次元的な補間処理が実施可能となる画素が揃うまでの遅延を得るために所定ライン分だけ格納される。この図１９に示す例においては、メモリ２０１に格納されるライン数、および２０２に格納されるライン数は、最低５ラインである。

欠落Ｇ画素の補間方法としては、図８、図９、図１０、図２０に示した４種類のＧ画素の配置を使用する。

すなわち、縦補間Ｇ算出部２０３が、図８に示す配置のＧ画素を用いて、補間式Ｇv＝（Ｇ1＋Ｇ2）／２により欠落Ｇ画素の補間候補を算出するのは上述と同様である。

また、横補間Ｇ算出部２０４が、図９に示す配置のＧ画素を用いて、補間式Ｇh＝（Ｇ3＋Ｇ4）／２により欠落Ｇ画素の補間候補を算出するのも上述と同様である。

さらに、４画素補間Ｇ算出部２０５が、図１０に示す配置のＧ画素を用いて、補間式Ｇa＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４により欠落Ｇ画素の補間候補を算出するのも上述と同様である。

そして、本実施形態の斜め補間Ｇ算出部１９０１は、補間候補算出手段、第４の補間算出手段であって、図２０に示す配置のＧ画素を用いて、補間式Ｇd＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）×α−（Ｇ5＋Ｇ6＋Ｇ7＋Ｇ8＋Ｇ9＋Ｇ10＋Ｇ11＋Ｇ12）×βにより欠落Ｇ画素の補間候補を算出するようになっている。ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である。

縦補間Ｇ算出部２０３、横補間Ｇ算出部２０４、４画素補間Ｇ算出部２０５、斜め補間Ｇ算出部１９０１によって各算出された補間候補は、それぞれ、メモリ２０６，２０７，２０８，１９０２に格納されると共に、減算部２０９，２１０，２１１，１９０３へ出力される。

減算部２０９，２１０，２１１，１９０３は、メモリ２０１から欠落Ｇ画素と同一位置にあるＸ画素を読み込んで、上述したＧ補間候補をそれぞれ減算することにより、色差候補Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdをそれぞれ算出する。

こうして算出された色差候補Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdは、メモリ２１２，２１３，２１４，１９０４にそれぞれ格納される。

なお、メモリ２１２，２１３，２１４，１９０４に格納される色差信号は、後で周辺類似度算出部２１５，２１６，２１７，１９０５により周辺類似度を算出する際に用いられる。そして、周辺類似度算出部２１５，２１６，２１７，１９０５は、図１１、図１２、図１３、図２１に示すような同種色差信号（すなわち、色差候補を算出する際に用いるＧ補間候補Ｇv，Ｇh，Ｇa，Ｇdの種類が同一であって、かつ同一色Ｘの色差信号。従って、例えばＲ−ＧvとＢ−Ｇvとは、同種色差信号ではない。）が３行３列分含まれる近傍領域における、色差信号の類似度を算出するようになっている。従って、メモリ２１２，２１３，２１４，１９０４、さらにメモリ２０６，２０７，２０８，１９０２は、周辺類似度算出部２１５，２１６，２１７，１９０５が類似度の算出を実施可能な遅延を得るために、それぞれ、少なくとも５ライン分のデータを格納することができるものとなっている。

こうして、メモリ２１２，２１３，２１４，１９０４に色差の周辺類似度算出処理を実行可能なだけの色差信号が格納された時点で、メモリ２１２，２１３，２１４，１９０４から色差信号Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdが周辺類似度算出部２１５，２１６，２１７，１９０５へそれぞれ出力される。

周辺類似度算出部１９０５は、最適色差選択手段であって、実施形態１，２において説明したＳｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）と同様に、図２１に示すように、中央の色差信号（Ｘ−Ｇd）k,lと、その周辺位置の８つの色差（Ｘ−Ｇd）k-2,l-2、（Ｘ−Ｇd）k,l-2、（Ｘ−Ｇd）k+2,l-2、（Ｘ−Ｇd）k-2,l、（Ｘ−Ｇd）k+2,l、（Ｘ−Ｇd）k-2,l+2、（Ｘ−Ｇd）k,l+2、（Ｘ−Ｇd）k+2,l+2と、を用いて、以下の差分絶対値和を算出することにより、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｄ（ｋ，ｌ）を算出する。
Ｓｄ（ｋ，ｌ）＝｜（Ｘ−Ｇd）k-2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k-2,l−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k-2,l+2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k,l+2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l+2−（Ｘ−Ｇd）k,l｜

このようにして算出される４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）の内の、４画素補間時の色差周辺類似度Ｓａ（ｋ，ｌ）は、上述した実施形態２と同様に、乗算部１６０３により、Ｇ変動量算出部１６０１によって算出されてメモリ１６０２に格納されている重み係数ｗ（ｋ，ｌ）と乗算される。

こうして、４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が、判定部１９０６に入力される。

判定部１９０６は、これら４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）の値を比較して、最小となる色差周辺類似度を与えるＧ補間方法を１つ選択し、選択した補間方法に対応する選択信号を、色差選択部１９０７と補間Ｇ選択部１９０８とへそれぞれ出力する。なお、最小となる色差周辺類似度が複数存在する場合には、判定部１９０６は、例えばＳａ（ｋ，ｌ）×ｗ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｖ（ｋ，ｌ）の順番で優先順位の高さを決めて、この優先順位に沿ってＧ補間方法を１つ選択するようになっている。

色差選択部１９０７は、判定部１９０６から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）の色差候補、すなわち、メモリ２１２に記憶されている色差候補（Ｘ−Ｇv）k,l、メモリ２１３に記憶されている色差候補（Ｘ−Ｇh）k,l、メモリ２１４に記憶されている色差候補（Ｘ−Ｇa）k,l、メモリ１９０４に記憶されている色差候補（Ｘ−Ｇd）k,lの何れかを選択して入力し、色差補間処理部１０３へ色差として出力する。より具体的には、色差選択部１９０７は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇv）k,lを、Ｓｈ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇh）k,lを、Ｓｄ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇd）k,lを、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇa）k,lを、色差補間処理部１０３へ出力するようになっている。

また、補間Ｇ選択部１９０８は、判定部１９０６から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）のＧ補間候補、すなわち、メモリ２０６に記憶されているＧ補間候補Ｇv（ｋ，ｌ）、メモリ２０７に記憶されているＧ補間候補Ｇh（ｋ，ｌ）、メモリ２０８に記憶されているＧ補間候補Ｇa（ｋ，ｌ）、メモリ１９０２に記憶されているＧ補間候補Ｇd（ｋ，ｌ）の何れかを選択して入力し、ＲＧＢ算出部１０４へ出力する。より具体的には、補間Ｇ選択部１９０８は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合にはＧv（ｋ，ｌ）を、Ｓｈ（ｋ，ｌ）が最小である場合にはＧh（ｋ，ｌ）を、Ｓｄ（ｋ，ｌ）が最小である場合にはＧd（ｋ，ｌ）を、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が最小である場合にはＧa（ｋ，ｌ）を、ＲＧＢ算出部１０４へ出力するようになっている。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、色差を算出するときの未確定パラメータである欠落Ｇ画素を、色差信号は局所的に相関性が高いという前提条件に基づいた最も確からしいものとして、４種類のＧ補間候補の中から１つ選択することができる。その結果として、画像の局所的なエッジに最適な欠落Ｇ画素が補間されるために、偽色の発生を抑制することができるとともに、さらに、水平方向および垂直方向のエッジ部のみならず、斜め方向のエッジ部の解像度劣化を抑制することができる。

［実施形態４］
図２３から図２６は本発明の実施形態４を示したものであり、図２３はＧ補間色差算出部の構成を示すブロック図、図２４はローパスフィルタ処理部においてローパスフィルタを構成するために使用する色信号Ｘのベイヤ配列上における位置を示す図、図２５はＧ補間色差算出部の処理の一部を示すフローチャート、図２６はＧ補間色差算出部の処理の他の一部を示すフローチャートである。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態４は、上述した実施形態３に対して、さらに、斜め方向の偽色を改善するようにしたものである。

まず、上述した実施形態３における欠落Ｇ画素の補間は、縦方向、横方向、周辺４画素、周辺１２画素を用いた補間であった。そして、縦方向の補間は縦方向エッジ領域に、横方向の補間は横方向エッジ領域に、周辺１２画素の補間は斜め方向エッジ領域に、周辺４画素の補間はその他の領域に、それぞれ適用されるようになっていた。ここで、縦方向補間Ｇvが適用される縦方向エッジ、または横方向補間Ｇhが適用される横方向エッジは、エッジに沿った補間となるために、エッジと直交する方向の空間周波数特性の劣化は発生せず、色差Ｘ−Ｇv，Ｘ−Ｇhに関しては補間選択にエラーが発生しない限り補間Ｇ画素とＸ画素との周波数特性の違いによる誤差は発生しない。これに対して、斜め方向補間Ｇdの空間周波数特性の１例を図２２のｆdに示す。ここに、周波数特性ｆdは、上述した周波数特性ｆaと、周辺１２画素補間により得られる補間Ｇ画素の斜め４５度方向の周波数特性と、を乗算した結果の周波数特性を示している。この周波数特性ｆdは、撮像素子によりサンプリングされた画素の斜め方向の空間周波数特性ｆa（図２２参照）と近似しているとはいえない。したがって、色差Ｘ−Ｇdに、周波数特性の違いによる誤差が発生することになる。このような誤差は、高周波数成分を含む斜めエッジ領域で顕著になり、具体的には偽色となって現れる。このような斜め方向のエッジ領域における偽色を低減するためには、補間Ｇ画素の周波数特性と、この補間Ｇ画素との間で色差を算出しようとするＸ画素（Ｒ画素またはＢ画素）の周波数特性と、を一致させることが必要になる。そこで、斜め方向の色差算出を、４画素補間Ｇ信号と、ＸL画素と、を用いて行うようにした。ここに、ＸL画素は、Ｘ画素（Ｒ画素またはＢ画素）に対してローパスフィルタ処理を施すことにより、該ＸL画素の斜め方向の空間周波数特性が、４画素補間Ｇ信号の斜め方向の空間周波数特性ｆb（図２２参照）に近似した空間周波数特性ｆc（図２２参照）となるようにしたものである。すなわち、周波数特性ｆcは、上述した周波数特性ｆaと、欠落Ｇ信号位置の色信号Ｘに対して周辺の同一色信号を用いて構成したローパスフィルタにより帯域制限した周波数特性と、を乗算した結果の周波数特性を示している。

このような処理を行うことにより、色差候補ＸL−Ｇaは、空間周波数特性の相違による誤差が他の色差候補Ｘ−ＧdやＸ−Ｇaに準じて小さくなり、上述した実施形態３に比して偽色低減を行うことが可能となる。なお、こうして算出される色差候補ＸL−Ｇaは、斜めエッジ以外の領域に適用されたとしても当然にして問題はない。

図２４は、欠落Ｇ画素位置（ｉ，ｊ）におけるＸ画素に施すローパスフィルタに使用する画素を示している。すなわち、Ｘ（ｉ，ｊ）、Ｘ（ｉ−２，ｊ）、Ｘ（ｉ，ｊ−２）、Ｘ（ｉ＋２，ｊ）、Ｘ（ｉ，ｊ＋２）の５つの画素が、ローパスフィルタに使用される画素に該当している。これら５つの画素を用いて構成するローパスフィルタは、次に示すようになっている。
ＸL（ｉ，ｊ）＝ａ×Ｘ（ｉ，ｊ）
＋ｂ×｛Ｘ（ｉ−２，ｊ）＋Ｘ（ｉ，ｊ−２）
＋Ｘ（ｉ＋２，ｊ）＋Ｘ（ｉ，ｊ＋２）｝
ここに、ａとｂとは、ａ＋４ｂ＝１を満たし、かつ、１＞ａ＞０、（１／４）＞ｂ＞０となる所定定数である。

このように、この実施形態４においては、Ｘ画素の周波数特性をＧ画素の補間特性に合わせた後に色差算出を行う処理と、この処理に伴って算出された色差の選択処理と、をさらに追加したものとなっている。

このようなローパスフィルタ機能を備えたＧ補間色差算出部１０２の構成について、図２３を参照して説明する。

本実施形態のＧ補間色差算出部１０２は、上述した実施形態３のＧ補間色差算出部１０２に対して、帯域制限手段たるローパスフィルタ処理部２３０１と、減算部２３０２と、メモリ２３０３と、をさらに追加し、色差選択部１９０７に代えて最適色差選択手段、選択手段たる色差選択部２３０４を設けたものとなっている。

ここに、上述したメモリ２０１はローパスフィルタ処理部２３０１へも接続され、このローパスフィルタ処理部２３０１は減算部２３０２へ接続されている。また、減算部２３０２は、色差候補算出手段であって、４画素補間Ｇ算出部２０５へも接続されるとともに、メモリ２３０３を介して色差選択部２３０４へ接続されている。この色差選択部２３０４は、さらに、メモリ２１２，２１３および判定部１９０６と接続されている。従って、色差選択部２３０４は、上述した実施形態３とは異なり、メモリ２１４，１９０４とは接続されていない。

この図２３に示したようなＧ補間色差算出部１０２の作用の内の、図１９に示したＧ補間色差算出部１０２の作用と異なる部分についてを主として説明する。ここに、異なる作用部分は、主に、ローパスフィルタ処理部２３０１、減算部２３０２、メモリ２３０３、色差選択部２３０４に係る部分である。

撮像部１０１から出力される色信号Ｒsおよび色信号Ｂsはメモリ２０１に、該撮像部１０１から出力される色信号Ｇsはメモリ２０２に、欠落Ｇ画素位置の２次元的な補間処理が実施可能となる画素が揃うまでの遅延を得るために所定ライン分だけ格納される。この図２３に示す例においては、メモリ２０１に格納されるライン数、および２０２に格納されるライン数は、最低５ラインである。

そして、斜め補間Ｇ算出部１９０１が、図２０に示す配置のＧ画素を用いて、補間式Ｇd＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）×α−（Ｇ5＋Ｇ6＋Ｇ7＋Ｇ8＋Ｇ9＋Ｇ10＋Ｇ11＋Ｇ12）×βにより欠落Ｇ画素の補間候補を算出するのも上述と同様である。ここに、αとβとは、上述したように、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である。

さらに、ローパスフィルタ処理部２３０１は、メモリ２０１からＸ画素を読み込んで、上述したようなローパスフィルタ処理を行い、ＸL画素を算出する。

減算部２３０２は、ローパスフィルタ処理部２３０１により算出されたＸL画素と、４画素補間Ｇ算出部２０５により算出された該４画素補間Ｇaと、を読み込んで、色差ＸL−Ｇaを算出する。

こうして算出された色差ＸL−Ｇaは、メモリ２３０３に格納される。

周辺類似度算出部２１５，２１６，２１７，１９０５は、実施形態３において説明したのと同様に、色差信号の周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）をそれぞれ算出する。

判定部１９０６は、これら４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）の値を比較して、最小となる色差周辺類似度を与えるＧ補間方法を１つ選択し、選択した補間方法に対応する選択信号を、色差選択部２３０４と補間Ｇ選択部１９０８とへそれぞれ出力する。なお、最小となる色差周辺類似度が複数存在する場合には、判定部１９０６は、例えば、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｖ（ｋ，ｌ）の順番で優先順位の高さを決めて、この優先順位に沿ってＧ補間方法を１つ選択するようになっている。

色差選択部２３０４は、判定部１９０６から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）の色差候補、すなわち、メモリ２１２に記憶されている色差候補（Ｘ−Ｇv）k,l、メモリ２１３に記憶されている色差候補（Ｘ−Ｇh）k,l、メモリ２３０３に記憶されている色差候補（ＸL−Ｇa）k,lの何れかを選択して入力し、色差補間処理部１０３へ色差として出力する。より具体的には、色差選択部２３０４は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇv）k,lを、Ｓｈ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇh）k,lを、Ｓｄ（ｋ，ｌ）またはＳａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が最小である場合には（ＸL−Ｇa）k,lを、色差補間処理部１０３へ出力するようになっている。

これ以降の処理については、上述した実施形態３と同様である。

次に、本実施形態におけるＧ補間色差算出処理の手順について、図２５および図２６を参照して説明する。なお、これら図２５と図２６とは、本来は１つの図面として記載されるべきであるが、紙面の都合上から２つの図面に分割したものである。

このように、メモリ２０１，２０２に所定データ分が格納されている状態において、欠落Ｇ信号のＧ補間候補値を格納するメモリ２０６〜２０８，１９０２のライン数Ｎと、欠落Ｇ信号の色差候補値を格納するメモリ２１２〜２１４，１９０４のライン数Ｎと、を所定の初期値（この実施形態４においてはＮ＝５）にセットする（ステップＳ２５００）。

次に、Ｇ信号欠落位置（ｉ，ｊ）に対して、縦補間Ｇ算出部２０３により図８に示すような上下に隣接するＧ信号の平均値を算出して、補間候補Ｇv（ｉ，ｊ）としてメモリ２０６に格納し（ステップＳ２５０１）、さらに、減算部２０９によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇv（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇv）i,jを算出して、メモリ２１２に格納する（ステップＳ２５０２）。

続いて、Ｇ信号欠落位置（ｉ，ｊ）に対して、図９に示すような左右に隣接するＧ信号の平均値を算出して、補間候補Ｇh（ｉ，ｊ）としてメモリ２０７に格納し（ステップＳ２５０３）、さらに、減算部２１０によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇh（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇh）i,jを算出して、メモリ２１３に格納する（ステップＳ２５０４）。

そして、Ｇ信号欠落位置（ｉ，ｊ）に対して、図１２に示すような周辺１２個のＧ信号に基づき補間値Ｇd（ｉ，ｊ）を算出して、メモリ１９０２に格納し（ステップＳ２５０５）、さらに、減算部１９０３によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇd（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇd）i,jを算出して、メモリ１９０４に格納する（ステップＳ２５０６）。

その後、Ｇ信号欠落位置（ｉ，ｊ）に対して、図１０に示すような上下左右に隣接するＧ信号の平均値を算出して、補間候補Ｇa（ｉ，ｊ）としてメモリ２０８に格納し（ステップＳ２５０７）、さらに、減算部２１１によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇa（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇa）i,jを算出して、メモリ２１４に格納する（ステップＳ２５０８）。

次に、ローパスフィルタ処理部２３０１により、Ｇ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）と、Ｇ信号欠落位置（ｉ，ｊ）の上下左右の近傍のＸ信号と、を用いて帯域制限したＸL（ｉ，ｊ）を算出し、さらに、この帯域制限したＸL（ｉ，ｊ）（ここにＸLは、Ｒ信号の帯域制限信号ＲL、またはＢ信号の帯域制限信号ＢLとなる。）と、ステップＳ２５０７において算出した補間候補Ｇa（ｉ，ｊ）と、に基づいて減算部２３０２により色差（ＸL−Ｇa）i,jを算出して、メモリ２３０３に格納する（ステップＳ２５０９）。

続いて、Ｇ変動量算出部１６０１により、Ｇ信号欠落位置（ｉ，ｊ）の周辺１２画素のＧ信号に基づいてＧ変動量を算出し、算出したＧ変動量を重み係数ｗ（ｉ，ｊ）に変換してメモリ１６０２に格納する（ステップＳ２５１０）。

そして、この時点でＮライン分の処理が終了したか否かを判定し（ステップＳ２５１１）、Ｎライン分の処理がまだ終了していないと判定された場合には、ステップＳ２５０１に戻って上述したような処理を行う。

こうして、ステップＳ２５１１において、Ｎライン分の処理が終了したと判定された場合には、図２６に示す処理に移行して、Ｎを１にセットする（ステップＳ２６０１）。

続いて、周辺類似度算出部２１５が、メモリ２１２に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧvである）により算出された色差（Ｘ−Ｇv）k,lと、その近傍８方向の同種色差（Ｘ−Ｇv）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を色差周辺類似度候補Ｓｖ1（ｋ，ｌ）として算出する。さらに、周辺類似度算出部２１５は、近傍８方向の同種色差（Ｘ−Ｇv）k+n,l+mの内の、上下近傍の同種色差（Ｘ−Ｇv）k+n,l+m（ここに、ｎ＝０、ｍ＝−２，２）に対して大きな重み付けを行って差分絶対値和をとり、色差周辺類似度候補Ｓｖ2（ｋ，ｌ）を算出する。そして、周辺類似度算出部２１５は、算出した色差周辺類似度候補Ｓｖ1（ｋ，ｌ）と色差周辺類似度候補Ｓｖ2（ｋ，ｌ）とに基づいて、周辺類似度Ｓｖ（ｋ，ｌ）を算出する（ステップＳ２６０２）。

同様に、周辺類似度算出部２１６が、メモリ２１３に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧhである）により算出された色差（Ｘ−Ｇh）k,lと、その近傍８方向の色差（Ｘ−Ｇh）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を色差周辺類似度候補Ｓｈ1（ｋ，ｌ）として算出する。さらに、周辺類似度算出部２１６は、近傍８方向の同種色差（Ｘ−Ｇh）k+n,l+mの内の、左右近傍の同種色差（Ｘ−Ｇh）k+n,l+m（ここに、ｎ＝−２，２、ｍ＝０）に対して大きな重み付けを行って差分絶対値和をとり、色差周辺類似度候補Ｓｈ2（ｋ，ｌ）を算出する。そして、周辺類似度算出部２１６は、算出した色差周辺類似度候補Ｓｈ1（ｋ，ｌ）と色差周辺類似度候補Ｓｈ2（ｋ，ｌ）とに基づいて、周辺類似度Ｓｈ（ｋ，ｌ）を算出する（ステップＳ２６０３）。

また同様に、周辺類似度算出部１９０５が、メモリ１９０４に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧdである）により算出された色差（Ｘ−Ｇd）k,lと、その近傍８方向の色差（Ｘ−Ｇd）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を周辺類似度Ｓｄ（ｋ，ｌ）として算出する（ステップＳ２６０４）。

さらに同様に、周辺類似度算出部２１７が、メモリ２１４に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧaである）により算出された色差（Ｘ−Ｇa）k,lと、その近傍８方向の色差（Ｘ−Ｇa）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を周辺類似度Ｓａ（ｋ，ｌ）として算出し、乗算部１６０３が、算出されたＳａ（ｋ，ｌ）に上述した重み係数ｗ（ｋ，ｌ）を乗算する（ステップＳ２６０５）。

このようにして算出される各周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）は、上述と同様に、値が小さい程、類似性が高いことを示すものとなっている。

こうして４つの周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が算出されたところで、まず、周辺類似度Ｓｖ（ｋ，ｌ）とＳｈ（ｋ，ｌ）とを比較する（ステップＳ２６０６）。

ここで、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）よりも小さいと判定された場合には、さらに、周辺類似度Ｓｖ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）とを比較する（ステップＳ２６０７）。

また、ステップＳ２６０６において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）以上であると判定された場合には、さらに、周辺類似度Ｓｈ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）とを比較する（ステップＳ２６０８）。

そして、ステップＳ２６０７において周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）以上であると判定された場合、または、ステップＳ２６０８において周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）以上であると判定された場合には、さらに、周辺類似度Ｓｄ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）とを比較する（ステップＳ２６０９）。

このステップＳ２６０９において、周辺類似度Ｓｄ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧd（ｋ，ｌ）に、色差を（ＸL−Ｇa）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ２６１０）。

また、ステップＳ２６０９において、周辺類似度Ｓｄ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）以上であると判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧa（ｋ，ｌ）に、色差を（ＸL−Ｇa）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ２６１１）。

一方、上述したステップＳ２６０７において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧv（ｋ，ｌ）に、色差を（Ｘ−Ｇv）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ２６１２）。

また、上述したステップＳ２６０８において、周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧh（ｋ，ｌ）に、色差を（Ｘ−Ｇh）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ２６１３）。

こうして、ステップＳ２６１０、ステップＳ２６１１、ステップＳ２６１２、またはステップＳ２６１３の何れかの処理を行った後に、Ｎライン分の処理が終了したか否かを判定して（ステップＳ２６１４）、処理がまだ終了していないと判定された場合には、ステップＳ２６０２に戻って上述したような処理を行う。

一方、ステップＳ２６１４において、Ｎライン分の処理が終了したと判定された場合には、さらに、出力画像としての総ライン数分の処理を終了したか否かを判定する（ステップＳ２６１５）。

ここで、総ライン数分の処理がまだ終了していないと判定された場合には、図２５のステップＳ２５０１に戻って、メモリに格納されている不必要となったラインのＧv、Ｇh、Ｇd、Ｇa、（Ｘ−Ｇv）、（Ｘ−Ｇh）、（Ｘ−Ｇd）、（Ｘ−Ｇa）、（ＸL−Ｇa）、Ｓｖ、Ｓｈ、Ｓｄ、Ｓａ、ｗを新しく算出される値により置き換えながら、上述したような処理を行う。

また、ステップＳ２６１５において、総ライン数分の処理が終了したと判定された場合には、このＧ補間色差算出処理を終了する。

なお、上述したフローチャートの説明において、ステップＳ２６０６〜ステップＳ２６０９における周辺類似度Ｓｖ、Ｓｈ、Ｓｄ、Ｓａ×ｗから１つの類似度を選択する方法は、該４つの周辺類似度の最小値を決定するためには不十分であるが、簡易的な選択方法の１例として示したものである。４つの周辺類似度から最小値を厳密に求めるためには、上記４つの比較ステップの他に、ＳｖとＳｄとの比較ステップおよびＳｈとＳｄとの比較ステップが必要であるのはいうまでもない。

また、図２５および図２６を参照して説明したフローチャートは、メモリ容量を最小限に抑制することができるように工夫した処理手順に関しての例となっている。しかし、これに限らず、上述したような各算出データを少なくとも１フレーム分格納することができるだけのメモリを確保するように、上述した処理を変更することも可能である。このようにメモリを１フレーム分確保することができる場合には、ステップＳ２５００のＮの初期値とステップＳ２６０１のＮの値とを総ライン数に置き換えれば良い。こうすることにより、Ｇ補間候補と色差候補とを１フレーム分作成した後に、これら複数のＧ補間候補と色差候補とから最適な補間Ｇと色差とを画素毎に選択するという処理手順を実行することが可能となる。

なお、このような１フレーム分のメモリを確保する処理手順は、実施形態１において説明した処理のフローチャートにおいても同様に実施することが可能である。

このような実施形態４によれば、上述した実施形態１〜３とほぼ同様の効果を奏するとともに、色差信号の算出に使用するＧ補間候補の３つの補間（縦方向補間、横方向補間、４画素補間）の周波数特性に、欠落Ｇ画素位置のＸ信号（ＲあるいはＢ信号）の周波数特性を近似させるように修正（縦方向補間と横方向補間とについては修正の必要はなく、４画素補間のみについて修正が必要）した後に、色差信号を算出するようにしたために、偽色発生を抑制することができる。

また、欠落Ｇ画素を、上述した実施形態３と同様に、最も確からしいものとして４種類のＧ補間候補の中から１つ選択するようにしたために、斜め方向のエッジ部の解像度の劣化を抑制することができる。

こうして、欠落Ｇ画素の補間候補としてＭ種類のＧ補間候補を用意し、各Ｇ補間候補とＧ信号欠落位置におけるＸ信号（Ｒ信号またはＢ信号）とに基づき得られるＭ種類の色差候補の内の、周辺類似度が最も高い色差候補に対応するＧ補間候補を欠落Ｇ画素として選択するようにしたために、彩度低下を生じることなく、偽色の発生を十分に抑圧することができる。さらに、欠落Ｇ信号の解像度低下が少ない最適な補間値を得ることができる。

なお、この実施形態４において説明したような、４画素補間時のＸ信号に対して周波数特性を近似するような修正処理は、上述した実施形態１，２にも同様に適用することが可能である。ただし、この場合には、減算部２１１のＸ信号の入力前段側にローパスフィルタ処理部を設ける必要がある。これによりメモリ２１４にはＸ−Ｇaではなく、ＸL−Ｇaが格納されることになる。従って、周辺類似度算出部２１７によって算出される類似度Ｓａは、メモリ２１４に格納された（ＸL−Ｇa）を使用することになる。このような構成および処理を行うことにより、上述した実施形態１，２においてもさらに偽色の抑圧を行うことが可能となる。

また、上述においては、色差周辺類似度の算出を、算出エリアの中央に位置するＸ（ＲまたはＢ）と同一種の色Ｘにより得られた色差に基づき行っているが、異種の色Ｘ^により得られた色差も使用して行うようにしても良い。この場合には、中央に位置する色差Ｘ−Ｇと周辺に位置するＸ^−Ｇとの差分絶対値和を算出するのではなく、周辺に位置する複数のＸ^−Ｇ同士の差分絶対和を算出して、同一種の色ＸのＸ−Ｇ同士の差分絶対値和との加算により該色差周辺類似度を定義しても良い。

［実施形態５］
図２７から図３６は本発明の実施形態５を示したものであり、図２７は縦補間により求められたＧvを用いて算出した５×５画素領域のＸ−ＧvおよびＸ^−Ｇvを示す図、図２８は横補間により求められたＧhを用いて算出した５×５画素領域のＸ−ＧhおよびＸ^−Ｇhを示す図、図２９は４画素補間により求められたＧaを用いて算出した５×５画素領域のＸ−ＧaおよびＸ^−Ｇaを示す図、図３０は斜め補間により求められたＧdを用いて算出した５×５画素領域のＸ−ＧdおよびＸ^−Ｇdを示す図、図３１は２次元の色差空間に縦補間により求められたＧvに係る周辺局所領域の色差Ｘ−ＧvまたはＸ^−Ｇvをプロットした様子を示す線図、図３２は２次元の色差空間に横補間により求められたＧhに係る周辺局所領域の色差Ｘ−ＧhまたはＸ^−Ｇhをプロットした様子を示す線図、図３３は２次元の色差空間に４画素補間により求められたＧaに係る周辺局所領域の色差Ｘ−ＧaまたはＸ^−Ｇaをプロットした様子を示す線図、図３４は２次元の色差空間に斜め補間により求められたＧdに係る周辺局所領域の色差Ｘ−ＧdまたはＸ^−Ｇdをプロットした様子を示す線図、図３５は判定領域に垂直方向の空間周波数が高い横縞模様が存在する例を示す図、図３６は図３５に示した例に対して上述した実施形態１〜４の周辺色差類似度を用いたときにチェック模様のようなパターンがＧ信号に現れてしまう様子を示す図である。

この実施形態５において、上述の実施形態１〜４と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態５は、上述した実施形態１〜４における周辺類似度算出部２１５〜２１７，１９０５により算出する色差周辺類似度の定義を異ならせた実施形態となっている。従って、本実施形態の構成は上述した実施形態１〜４と同様であるために、各図面や参照符号等を適宜引用することにする。

まず、図２７は、Ｇ信号欠落位置の垂直方向の隣接Ｇ信号により補間して得られたＧvを使用して算出した５×５画素領域のＸ−Ｇv、あるいはＸ^−Ｇvを示している。ここに、Ｘ^は、Ｇ画素が欠落している位置の色Ｘとは異なる色（Ｇを除く）を示し、Ｘ＝Ｒである場合にはＸ^＝Ｂであり、Ｘ＝Ｂである場合にはＸ^＝Ｒである。

上述した周辺類似度算出部２１５は、この図２７に示す色差Ｘ−Ｇv，Ｘ^−Ｇvを使用して、以下のように定義される色差周辺類似度Ｓｖ（ｋ，ｌ）を算出するようになっている。
Ｓｖ（ｋ，ｌ）＝Ｓｖ1（ｋ，ｌ）＋Ｓｖ2（ｋ，ｌ）

ここに、Ｓｖ1（ｋ，ｌ）は色差Ｘ−Ｇvの類似度を、Ｓｖ2（ｋ，ｌ）は色差Ｘ^−Ｇvの類似度を、それぞれ示しており、各類似度の具体例は以下の通りである。
Ｓｖ1（ｋ，ｌ）＝｛｜（Ｘ−Ｇv）k,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l+2−（Ｘ−Ｇv）k,l｜｝×Ｗｖxc
＋｛｜（Ｘ−Ｇv）k-2,l-2−（Ｘ−Ｇv）k-2,l｜
＋｜（Ｘ−Ｇv）k-2,l+2−（Ｘ−Ｇv）k-2,l｜
＋｜（Ｘ−Ｇv）k+2,l-2−（Ｘ−Ｇv）k+2,l｜
＋｜（Ｘ−Ｇv）k+2,l+2−（Ｘ−Ｇv）k+2,l｜｝×Ｗｖxa
Ｓｖ2（ｋ，ｌ）＝｛｜（Ｘ^−Ｇv）k-1,l-1−（Ｘ^−Ｇv）k-1,l+1｜
＋｜（Ｘ^−Ｇv）k+1,l-1−（Ｘ^−Ｇv）k+1,l+1｜｝×Ｗｖx^
ここに、各類似度の算出に用いられる重みＷｖxc，Ｗｖxa，Ｗｖx^は、
２×Ｗｖxc＋４×Ｗｖxa＝２×Ｗｖx^＝Ｗ
すなわち、
Ｗｖxc＋２×Ｗｖxa＝Ｗｖx^
の関係にある。ここに、第１式における右辺のＷは、全体に対する重みを示している。

このようにして算出される色差周辺類似度Ｓｖ（ｋ，ｌ）は、Ｇ信号欠落位置（ｋ，ｌ）周辺において垂直方向に色差Ｘ−Ｇvと色差Ｘ^−Ｇvとがそれぞれどの程度類似しているかを示す量となる。

次に、図２８は、Ｇ信号欠落位置の水平方向の隣接Ｇ信号により補間して得られたＧhを使用して算出した５×５画素領域のＸ−Ｇh、あるいはＸ^−Ｇhを示している。ここに、Ｘ＝Ｒである場合にはＸ^＝Ｂであり、Ｘ＝Ｂである場合にはＸ^＝Ｒであるのは、上述と同様である。

上述した周辺類似度算出部２１６は、この図２８に示す色差Ｘ−Ｇh，Ｘ^−Ｇhを使用して、以下のように定義される色差周辺類似度Ｓｈ（ｋ，ｌ）を算出するようになっている。
Ｓｈ（ｋ，ｌ）＝Ｓｈ1（ｋ，ｌ）＋Ｓｈ2（ｋ，ｌ）

ここに、Ｓｈ1（ｋ，ｌ）は色差Ｘ−Ｇhの類似度を、Ｓｈ2（ｋ，ｌ）は色差Ｘ^−Ｇhの類似度を、それぞれ示しており、各類似度の具体例は以下の通りである。
Ｓｈ1（ｋ，ｌ）＝｛｜（Ｘ−Ｇh）k-2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l−（Ｘ−Ｇh）k,l｜｝×Ｗｈxc
＋｛｜（Ｘ−Ｇh）k-2,l-2−（Ｘ−Ｇh）k,l-2｜
＋｜（Ｘ−Ｇh）k+2,l-2−（Ｘ−Ｇh）k,l-2｜
＋｜（Ｘ−Ｇh）k-2,l+2−（Ｘ−Ｇh）k,l+2｜
＋｜（Ｘ−Ｇh）k+2,l+2−（Ｘ−Ｇh）k,l+2｜｝×Ｗｈxa
Ｓｈ2（ｋ，ｌ）＝｛｜（Ｘ^−Ｇh）k-1,l-1−（Ｘ^−Ｇh）k+1,l-1｜
＋｜（Ｘ^−Ｇh）k-1,l+1−（Ｘ^−Ｇh）k+1,l+1｜｝×Ｗｈx^
ここに、各類似度の算出に用いられる重みＷｈxc，Ｗｈxa，Ｗｈx^は、
２×Ｗｈxc＋４×Ｗｈxa＝２×Ｗｈx^＝Ｗ
すなわち
Ｗｈxc＋２×Ｗｈxa＝Ｗｈx^
の関係にある。ここに、第１式における右辺のＷは、全体に対する重みを示している。

このようにして算出される色差周辺類似度Ｓｈ（ｋ，ｌ）は、Ｇ信号欠落位置（ｋ，ｌ）周辺において水平方向に色差Ｘ−Ｇhと色差Ｘ^−Ｇhとがそれぞれどの程度類似しているかを示す量となる。

続いて、図２９は、Ｇ信号欠落位置の隣接４画素Ｇ信号により補間して得られたＧaを使用して算出した５×５画素領域のＸ−Ｇa、あるいはＸ^−Ｇaを示している。ここに、Ｘ＝Ｒである場合にはＸ^＝Ｂであり、Ｘ＝Ｂである場合にはＸ^＝Ｒであるのは、上述と同様である。

上述した周辺類似度算出部２１７は、この図２９に示す色差Ｘ−Ｇa，Ｘ^−Ｇaを使用して、以下のように定義される色差周辺類似度Ｓａ（ｋ，ｌ）を算出するようになっている。
Ｓａ（ｋ，ｌ）＝Ｓａ1（ｋ，ｌ）＋Ｓａ2（ｋ，ｌ）

ここに、Ｓａ1（ｋ，ｌ）は色差Ｘ−Ｇaの類似度を、Ｓａ2（ｋ，ｌ）は色差Ｘ^−Ｇaの類似度を、それぞれ示しており、各類似度の具体例は以下の通りである。
Ｓａ1（ｋ，ｌ）＝｛｜（Ｘ−Ｇa）k-2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l+2−（Ｘ−Ｇa）k,l｜｝×Ｗａxc
＋｛｜（Ｘ−Ｇa）k,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l−（Ｘ−Ｇa）k,l｜｝×Ｗａxa
Ｓａ2（ｋ，ｌ）＝｛｜（Ｘ^−Ｇa）k-1,l-1−（Ｘ^−Ｇa）k+1,l+1｜
＋｜（Ｘ^−Ｇa）k-1,l+1−（Ｘ^−Ｇa）k+1,l-1｜｝×Ｗａx^
ここに、各類似度の算出に用いられる重みＷａxc，Ｗａxa，Ｗａx^は、
４×Ｗａxc＋４×Ｗａxa＝２×Ｗａx^＝Ｗ
すなわち
２×（Ｗａxc＋Ｗａxa）＝Ｗａx^
の関係にある。ここに、第１式における右辺のＷは、全体に対する重みを示している。

このようにして算出される色差周辺類似度Ｓａ（ｋ，ｌ）は、Ｇ信号欠落位置（ｋ，ｌ）周辺において方向に依ることなく色差Ｘ−Ｇaと色差Ｘ^−Ｇaとがそれぞれどの程度類似しているかを示す量となる。

そして、図３０は、Ｇ信号欠落位置の周辺１２画素Ｇ信号により補間して得られたＧdを使用して算出した５×５画素領域のＸ−Ｇd、あるいはＸ^−Ｇdを示している。ここに、Ｘ＝Ｒである場合にはＸ^＝Ｂであり、Ｘ＝Ｂである場合にはＸ^＝Ｒであるのは、上述と同様である。

上述した周辺類似度算出部１９０５は、この図３０に示す色差Ｘ−Ｇd，Ｘ^−Ｇdを使用して、以下のように定義される色差周辺類似度Ｓｄ（ｋ，ｌ）を算出するようになっている。

ここに、Ｓｄslash（ｋ，ｌ）とＳｄbackslash（ｋ，ｌ）とは、次のように算出される。
Ｓｄslash（ｋ，ｌ）＝Ｓｄslash1（ｋ，ｌ）＋Ｓｄslash2（ｋ，ｌ）
Ｓｄbackslash（ｋ，ｌ）＝Ｓｄbackslash1（ｋ，ｌ）＋Ｓｄbackslash2（ｋ，ｌ）

そして、Ｓｄslash1（ｋ，ｌ）とＳｄbackslash1（ｋ，ｌ）とは色差Ｘ−Ｇdの類似度を、Ｓｄslash2（ｋ，ｌ）とＳｄbackslash2（ｋ，ｌ）とは色差Ｘ^−Ｇdの類似度を、それぞれ示しており、各類似度の具体例は以下の通りである。
Ｓｄslash1（ｋ，ｌ）＝｛｜（Ｘ−Ｇd）k+2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k-2,l+2−（Ｘ−Ｇd）k,l｜｝×Ｗｄxc
＋｛｜（Ｘ−Ｇd）k,l-2−（Ｘ−Ｇd）k-2,l｜
＋｜（Ｘ−Ｇd）k,l+2−（Ｘ−Ｇd）k+2,l｜｝×Ｗｄxa
Ｓｄslash2（ｋ，ｌ）＝｜（Ｘ^−Ｇd）k-1,l+1−（Ｘ^−Ｇd）k+1,l-1｜×Ｗｄx^
Ｓｄbackslash1（ｋ，ｌ）＝｛｜（Ｘ−Ｇd）k-2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l+2−（Ｘ−Ｇd）k,l｜｝×Ｗｄxc
＋｛｜（Ｘ−Ｇd）k+2,l−（Ｘ−Ｇd）k,l-2｜
＋｜（Ｘ−Ｇd）k-2,l−（Ｘ−Ｇd）k,l+2｜｝×Ｗｄxa
Ｓｄbackslash2（ｋ，ｌ）＝｜（Ｘ^−Ｇd）k-1,l-1−（Ｘ^−Ｇd）k+1,l+1｜×Ｗｄx^
ここに、各類似度の算出に用いられる重みＷｄxc，Ｗｄxa，Ｗｄx^は、
２×Ｗｄxc＋２×Ｗｄxa＝Ｗｄx^＝Ｗ
すなわち、
２×（Ｗｄxc＋Ｗｄxa）＝Ｗｄx^
の関係にある。ここに、第１式における右辺のＷは、全体に対する重みを示している。

このようにして算出される色差周辺類似度Ｓｄ（ｋ，ｌ）は、Ｇ信号欠落位置（ｋ，ｌ）周辺において何れか一方の斜め方向（左下から右上にかけての斜め方向、あるいは左上から右下にかけての斜め方向）に色差Ｘ−Ｇdと色差Ｘ^−Ｇdとがそれぞれどの程度類似しているかを示す量となる。

上述した定義に基づき算出される色差周辺類似度Ｓｖ，Ｓｈ，Ｓａ，Ｓｄは、実施形態１〜４において使用した色差周辺類似度とそのまま置き換えることが可能であり、その後の判定部２１８，１９０６における処理も同一となる。

上述した実施形態１〜４において示した色差周辺類似度とこの実施形態５において示した色差周辺類似度との相違は、一方の色差Ｘ−Ｇを用いるだけでなく他方の色差Ｘ^−Ｇをも用いることにある。この相違について、図３１〜図３４を参照して概念的に説明する。

図３１〜図３４は、２次元の色差空間（一方の座標軸をＲ−Ｇt、他方の座標軸をＢ−Ｇtとする色差空間、ここにｔ＝ｖ，ｈ，ａ，ｄ）にＧ信号欠落位置（ｋ，ｌ）の周辺局所領域（例えば５×５画素領域）内の各Ｇ信号欠落位置の補間種ｔに応じて算出された色差Ｘ−Ｇt、あるいはＸ^−Ｇtをプロットした線図である。

Ｇ信号欠落位置の色差（補間して得られたＧ信号を用いた色差）は、１つのＧ信号欠落位置についてＸ−ＧtとＸ^−Ｇtとの何れか一方（すなわち、Ｒ−ＧtとＢ−Ｇtとの何れか一方）のみしか得られないために、２次元の色差空間にそのままプロットすることはできず、何れかの座標軸上にプロットすることができるのみである。このような座標軸上にプロットされた色差の範囲を示すのが、図３１〜図３４の太線に示す部分である。例えば、図３１に示す例では、Ｒ−ＧvはＲ−Ｇv軸上のΔ（Ｒ−Ｇv）で示す幅の太線部分に、Ｂ−ＧvはＢ−Ｇv軸上のΔ（Ｂ−Ｇv）で示す幅の太線部分に、それぞれ分布していることになる。

上述したような各座標軸の太線上に分布するプロット点の幅Δ（Ｒ−Ｇt）またはΔ（Ｂ−Ｇt）は、上記周辺類似度の差分絶対値和Ｓt1またはＳt2に対応する量となる。なお、上記幅と上記差分絶対値和とは厳密には異なるが、概念的に同一であるものと見なすことができるのである。

そして、図３１〜図３４に示す例においては、Δ（Ｒ−Ｇt）に関して
Δ（Ｒ−Ｇv）＝Δ（Ｒ−Ｇh）＝Δ（Ｒ−Ｇa）＜Δ（Ｒ−Ｇd）
となり、Δ（Ｂ−Ｇt）に関して、
Δ（Ｂ−Ｇh）＜Δ（Ｂ−Ｇa）＝Δ（Ｂ−Ｇd）＜Δ（Ｂ−Ｇv）
となっているものと仮定する。

このような条件においては、上述した実施形態１〜４において説明したような周辺色差類似度を用いると、Ｒ画素位置の色差としてＲ−Ｇaが、近接するＢ画素位置の色差としてＢ−Ｇhが、それぞれ選択されることになる。この場合には、斜め方向１画素毎にＧ信号欠落位置の補間方法が切り替わってしまうことになる。このような条件が成立している判定領域に、例えば図３５に示すような垂直方向に空間周波数が高い横縞模様（この図３５に示すハッチングは、撮像素子上のある位置（ｋ，ｌ）近傍に結像したＧ信号帯域の輝度変化のみを示している）が存在するものとする。この場合であっても、実施形態１〜４の技術では、上記Ｒ画素の位置（Ｇ信号欠落位置）のＧ補間値は、周辺４つのＧ画素による補間Ｇaとなり、上下のＧ画素も加味されて平均化されたものとなるために、Ｒ画素の左右のＧ画素とは大きく異なる値となってしまう。つまり、このＲ画素が存在する行は、１画素毎に（２画素周期で）Ｇ画素値が大きく変化することになってしまう。一方、上記Ｂ画素の位置（Ｇ信号欠落位置）のＧ補間値は、水平方向の画素のみを使った平均値Ｇhとなるために、横縞と直交する方向の高周波数の画素値変化は発生しない。この結果として、上述した実施形態１〜４において説明したような技術では、図３５に示したような横縞模様の領域に、図３６に示すようなＧ信号に係るチェック模様のようなパターン（この図３６に示すハッチングは、撮像後のＧ信号欠落位置を上記補間種ｔを用いて補間した後のＧ信号の輝度変化を示している）が現れることになり、偽色の発生の原因となってしまう。

これに対して、この実施形態５において説明したような周辺色差類似度は、Δ（Ｒ−Ｇt）＋Δ（Ｂ−Ｇt）に対応するものである。この周辺色差類似度を図３１〜図３４の場合に当てはめると、各周辺色差類似度の大小関係は次のようになる。
Δ（Ｒ−Ｇh）＋Δ（Ｂ−Ｇh）＜ Δ（Ｒ−Ｇa）＋Δ（Ｂ−Ｇa）＜ …
つまり、この実施形態５に示したような周辺色差類似度を用いると、Ｒ画素位置の色差としてＲ−Ｇhが選択されると共に、近接するＢ画素位置の色差としてもＢ−Ｇhが選択されるために、局所領域におけるＧ補間種ｔが同一となり、Ｇ補間種ｔが頻繁に切り替わるのを抑制することができる。こうして、上述したような空間周波数が高い横縞模様が局所領域に存在したとしても、この横縞模様を高精度に再現することができ、図３６に示したようなチェック模様に変化してしまったりすることはない。

なお、図３１〜図３４に示したような各軸上の太線部分で示した分布を参照すれば、Ｇ信号欠落位置の周辺局所領域の色差は、各図において点線で囲みハッチングを施した領域、すなわちΔ（Ｒ−Ｇt）の幅とΔ（Ｂ−Ｇt）の幅とが交差する領域に分布していると推定することができる。なぜなら各Ｇ信号欠落位置（ｋ，ｌ）において得られる１つの色差（Ｘ−Ｇt）k,lに対してもう１つの欠落している色差（Ｘ^−Ｇt）k,lを周辺の同種色差を用いて補間し、各Ｇ信号欠落位置に対して２つの色差からなる色差空間座標｛（Ｒ−Ｇt）k,l，（Ｂ−Ｇt）k,l｝を算出したとすると上記２次元色差空間内にプロットすることが可能となり、この場合に該算出した色差が空間的に高い周波数をもたないと仮定すれば、点線で囲みハッチングを施した領域に該色差空間座標値が分布すると見なせるためである。

そうすると最適な色差の選択は、図３１〜図３４において点線で囲みハッチングを施した領域の面積が最も小さくなるＧ補間種ｔにより算出された色差を選択することと実質的に等価となる。このとき、最適な色差の選択を行うための１つの技術として、２つの座標軸上の分布量の和を判定パラメータとして利用したのがこの実施形態５となっている（ただし、面積という観点からは、分布量の積を判定パラメータとして利用するようにしても良い）。これに対して、上述した実施形態１〜４は、１つの座標軸上の分布量のみを判定パラメータとして利用した技術となっている。

なお、上述では、色差周辺類似度の算出領域を５×５画素領域としたが、これに限らず、より大きなＮ×Ｎ画素（Ｎは奇数）領域としても良いことはいうまでもない。一例として、色差周辺類似度の算出領域を７×７画素領域としたときには、以下に示すように各色差周辺類似度を算出すれば良い。
Ｓｖ1（ｋ，ｌ）＝｛｜（Ｘ−Ｇv）k,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l+2−（Ｘ−Ｇv）k,l｜｝×Ｗｖxc
＋｛｜（Ｘ−Ｇv）k-2,l-2−（Ｘ−Ｇv）k-2,l｜
＋｜（Ｘ−Ｇv）k-2,l+2−（Ｘ−Ｇv）k-2,l｜
＋｜（Ｘ−Ｇv）k+2,l-2−（Ｘ−Ｇv）k+2,l｜
＋｜（Ｘ−Ｇv）k+2,l+2−（Ｘ−Ｇv）k+2,l｜｝×Ｗｖxa
Ｓｖ2（ｋ，ｌ）＝｛｜（Ｘ^−Ｇv）k-1,l-1−（Ｘ^−Ｇv）k-1,l+1｜
＋｜（Ｘ^−Ｇv）k+1,l-1−（Ｘ^−Ｇv）k+1,l+1｜｝×Ｗｖx^c
＋｛｜（Ｘ^−Ｇv）k-1,l-3−（Ｘ^−Ｇv）k-1,l-1｜
＋｜（Ｘ^−Ｇv）k-1,l+3−（Ｘ^−Ｇv）k-1,l+1｜
＋｜（Ｘ^−Ｇv）k+1,l-3−（Ｘ^−Ｇv）k+1,l-1｜
＋｜（Ｘ^−Ｇv）k+1,l+3−（Ｘ^−Ｇv）k+1,l+1｜｝×Ｗｖx^a
Ｓｈ1（ｋ，ｌ）＝｛｜（Ｘ−Ｇh）k-2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l−（Ｘ−Ｇh）k,l｜｝×Ｗｈxc
＋｛｜（Ｘ−Ｇh）k-2,l-2−（Ｘ−Ｇh）k,l-2｜
＋｜（Ｘ−Ｇh）k+2,l-2−（Ｘ−Ｇh）k,l-2｜
＋｜（Ｘ−Ｇh）k-2,l+2−（Ｘ−Ｇh）k,l+2｜
＋｜（Ｘ−Ｇh）k+2,l+2−（Ｘ−Ｇh）k,l+2｜｝×Ｗｈxa
Ｓｈ2（ｋ，ｌ）＝｛｜（Ｘ^−Ｇh）k-1,l-1−（Ｘ^−Ｇh）k+1,l-1｜
＋｜（Ｘ^−Ｇh）k-1,l+1−（Ｘ^−Ｇh）k+1,l+1｜｝×Ｗｈx^c
＋｛｜（Ｘ^−Ｇh）k-3,l-1−（Ｘ^−Ｇh）k-1,l-1｜
＋｜（Ｘ^−Ｇh）k+3,l-1−（Ｘ^−Ｇh）k+1,l-1｜
＋｜（Ｘ^−Ｇh）k-3,l+1−（Ｘ^−Ｇh）k-1,l+1｜
＋｜（Ｘ^−Ｇh）k+3,l+1−（Ｘ^−Ｇh）k+1,l+1｜｝×Ｗｈx^a
Ｓａ1（ｋ，ｌ）＝｛｜（Ｘ−Ｇa）k-2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l+2−（Ｘ−Ｇa）k,l｜｝×Ｗａxc
＋｛｜（Ｘ−Ｇa）k,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l−（Ｘ−Ｇa）k,l｜｝×Ｗａxa
Ｓａ2（ｋ，ｌ）＝｛｜（Ｘ^−Ｇa）k-1,l-1−（Ｘ^−Ｇa）k+1,l+1｜
＋｜（Ｘ^−Ｇa）k-1,l+1−（Ｘ^−Ｇa）k+1,l-1｜｝×Ｗａx^c
＋｛｜（Ｘ^−Ｇa）k-3,l-1−（Ｘ^−Ｇa）k-1,l-1｜
＋｜（Ｘ^−Ｇa）k-1,l-3−（Ｘ^−Ｇa）k-1,l-1｜
＋｜（Ｘ^−Ｇa）k+3,l-1−（Ｘ^−Ｇa）k+1,l-1｜
＋｜（Ｘ^−Ｇa）k+1,l-3−（Ｘ^−Ｇa）k+1,l-1｜
＋｜（Ｘ^−Ｇa）k-3,l+1−（Ｘ^−Ｇa）k-1,l+1｜
＋｜（Ｘ^−Ｇa）k-1,l+3−（Ｘ^−Ｇa）k-1,l+1｜
＋｜（Ｘ^−Ｇa）k+3,l+1−（Ｘ^−Ｇa）k+1,l+1｜
＋｜（Ｘ^−Ｇa）k+1,l+3−（Ｘ^−Ｇa）k+1,l+1｜｝×Ｗａx^a
Ｓｄslash1（ｋ，ｌ）＝｛｜（Ｘ−Ｇd）k+2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k-2,l+2−（Ｘ−Ｇd）k,l｜｝×Ｗｄxc
＋｛｜（Ｘ−Ｇd）k,l-2−（Ｘ−Ｇd）k-2,l｜
＋｜（Ｘ−Ｇd）k,l+2−（Ｘ−Ｇd）k+2,l｜｝×Ｗｄxa
Ｓｄslash2（ｋ，ｌ）＝｜（Ｘ^−Ｇd）k-1,l+1−（Ｘ^−Ｇd）k+1,l-1｜×Ｗｄx^c
＋｛｜（Ｘ^−Ｇd）k+1,l-3−（Ｘ^−Ｇd）k-1,l-1｜
＋｜（Ｘ^−Ｇd）k-3,l+1−（Ｘ^−Ｇd）k-1,l-1｜
＋｜（Ｘ^−Ｇd）k+3,l-1−（Ｘ^−Ｇd）k+1,l+1｜
＋｜（Ｘ^−Ｇd）k-1,l+3−（Ｘ^−Ｇd）k+1,l+1｜｝×Ｗｄx^a
Ｓｄbackslash1（ｋ，ｌ）＝｛｜（Ｘ−Ｇd）k-2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l+2−（Ｘ−Ｇd）k,l｜｝×Ｗｄxc
＋｛｜（Ｘ−Ｇd）k+2,l−（Ｘ−Ｇd）k,l-2｜
＋｜（Ｘ−Ｇd）k-2,l−（Ｘ−Ｇd）k,l+2｜｝×Ｗｄxa
Ｓｄbackslash2（ｋ，ｌ）＝｜（Ｘ^−Ｇd）k-1,l-1−（Ｘ^−Ｇd）k+1,l+1｜×Ｗｄx^c
＋｛｜（Ｘ^−Ｇd）k-1,l-3−（Ｘ^−Ｇd）k+1,l-1｜
＋｜（Ｘ^−Ｇd）k+3,l+1−（Ｘ^−Ｇd）k+1,l-1｜
＋｜（Ｘ^−Ｇd）k-3,l-1−（Ｘ^−Ｇd）k-1,l+1｜
＋｜（Ｘ^−Ｇd）k+1,l+3−（Ｘ^−Ｇd）k-1,l+1｜｝×Ｗｄx^a
ここに、上記重みの条件は、
２×Ｗｖxc＋４×Ｗｖxa＝２×Ｗｖx^c＋４×Ｗｖx^a＝Ｗ
２×Ｗｈxc＋４×Ｗｈxa＝２×Ｗｈx^c＋４×Ｗｈx^a＝Ｗ
４×Ｗａxc＋４×Ｗａxa＝２×Ｗａx^c＋８×Ｗａx^a＝Ｗ
２×Ｗｄxc＋２×Ｗｄxa＝Ｗｄx^c＋４×Ｗｄx^a＝Ｗ
すなわち、
Ｗｖxc＋２×Ｗｖxa＝Ｗｖx^c＋２×Ｗｖx^a
Ｗｈxc＋２×Ｗｈxa＝Ｗｈx^c＋２×Ｗｈx^a
２×（Ｗａxc＋Ｗａxa）＝Ｗａx^c＋４×Ｗａx^a
２×（Ｗｄxc＋Ｗｄxa）＝Ｗｄx^c＋４×Ｗｄx^a
である。ここに、第１の各式における右辺のＷは、全体に対する重みを示している。

このような実施形態５によれば、色差Ｘ−Ｇvに係る周辺類似度と色差Ｘ^−Ｇvに係る周辺類似度との両方に基づいて色差周辺類似度を算出するようにしたために、色差周辺類似度の算出領域内における任意の空間周波数の画素値変化に対して色差周辺類似度の判定エラー（画像のエッジ方向に沿っていない方向に補間されたＧ信号に係る色差周辺類似度が選択された状態）をより抑制することができる。この結果、偽色の発生をさらに抑制することが可能となる。

なお、上述した各実施形態においては、ＲＧＢベイヤ配列画像からサンプリング位置を同時化したカラー画像を生成する画像処理装置についてを主として説明したが、汎用の処理回路等に同様の処理を行う画像処理方法を適用するようにしても良いし、画像処理プログラムをコンピュータに実行させて同様の処理を行うようにすることも可能である。

こうして、上述した実施形態によれば、複数色フィルタが空間的に異なる位置に配置された単板撮像素子によって撮像された画像に対して、欠落色信号の補間処理における偽色発生、解像度低下、および彩度低下を十分に抑圧した高画質なカラー画像を得ることが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、ＲＧＢベイヤ配列画像からサンプリング位置を同時化したカラー画像を生成する画像処理装置、画像処理プログラム、画像処理方法に好適に利用することができる。

本発明の実施形態１における画像処理装置の全体的な構成を示すブロック図。上記実施形態１におけるＧ補間色差算出部の構成を示すブロック図。上記実施形態１における色差補間処理部の構成を示すブロック図。上記実施形態１におけるＲＧＢ算出部の構成を示すブロック図。上記実施形態１において、撮像部の単板撮像素子により撮像された色信号のベイヤ配列を示す図。上記実施形態１において、Ｇ補間色差算出部から出力されるＧ信号の２次元配列を示す図。上記実施形態１において、Ｇ補間色差算出部から出力されるＸ−Ｇi信号の２次元配列を示す図。上記実施形態１において、欠落Ｇ信号位置の縦方向補間として用いる上下方向の隣接Ｇ信号のベイヤ配列上における位置を示す図。上記実施形態１において、欠落Ｇ信号位置の横方向補間として用いる左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図。上記実施形態１において、欠落Ｇ信号位置の隣接４画素補間として用いる上下左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図。上記実施形態１において、縦方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図。上記実施形態１において、横方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図。上記実施形態１において、隣接４画素補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図。上記実施形態１および各実施形態において、Ｇ補間色差算出部により行われる処理の概要を示すフローチャート。上記実施形態１の図２に示す構成のＧ補間色差算出部の処理を示すフローチャート。本発明の実施形態２におけるＧ補間色差算出部の構成を示すブロック図。上記実施形態２において、Ｇ変動量算出部により使用するＧ信号のベイヤ配列上における位置を示す図。上記実施形態２において、Ｇ変動量算出部により算出するＧ変動量と隣接４画素補間を用いて算出した周辺類似度に対する重み係数との関係を示す線図。本発明の実施形態３におけるＧ補間色差算出部の構成を示すブロック図。上記実施形態３において、欠落Ｇ信号位置の斜め方向補間として用いる周辺１２画素のＧ信号のベイヤ配列上における位置を示す図。上記実施形態３において、周辺１２画素補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図。上記実施形態３において、光学ローパスフィルタを介して得られる撮像画像等の斜め４５度方向の周波数帯域特性を示す線図。本発明の実施形態４におけるＧ補間色差算出部の構成を示すブロック図。上記実施形態４のローパスフィルタ処理部においてローパスフィルタを構成するために使用する色信号Ｘのベイヤ配列上における位置を示す図。上記実施形態４におけるＧ補間色差算出部の処理の一部を示すフローチャート。上記実施形態４におけるＧ補間色差算出部の処理の他の一部を示すフローチャート。本発明の実施形態５において、縦補間により求められたＧvを用いて算出した５×５画素領域のＸ−ＧvおよびＸ^−Ｇvを示す図。上記実施形態５において、横補間により求められたＧhを用いて算出した５×５画素領域のＸ−ＧhおよびＸ^−Ｇhを示す図。上記実施形態５において、４画素補間により求められたＧaを用いて算出した５×５画素領域のＸ−ＧaおよびＸ^−Ｇaを示す図。上記実施形態５において、斜め補間により求められたＧdを用いて算出した５×５画素領域のＸ−ＧdおよびＸ^−Ｇdを示す図。上記実施形態５において、２次元の色差空間に縦補間により求められたＧvに係る周辺局所領域の色差Ｘ−ＧvまたはＸ^−Ｇvをプロットした様子を示す線図。上記実施形態５において、２次元の色差空間に横補間により求められたＧhに係る周辺局所領域の色差Ｘ−ＧhまたはＸ^−Ｇhをプロットした様子を示す線図。上記実施形態５において、２次元の色差空間に４画素補間により求められたＧaに係る周辺局所領域の色差Ｘ−ＧaまたはＸ^−Ｇaをプロットした様子を示す線図。上記実施形態５において、２次元の色差空間に斜め補間により求められたＧdに係る周辺局所領域の色差Ｘ−ＧdまたはＸ^−Ｇdをプロットした様子を示す線図。上記実施形態５において、判定領域に垂直方向の空間周波数が高い横縞模様が存在する例を示す図。上記実施形態５において、図３５に示した例に対して上述した実施形態１〜４の周辺色差類似度を用いたときにチェック模様のようなパターンがＧ信号に現れてしまう様子を示す図。

符号の説明

１０１…撮像部
１０２…Ｇ補間色差算出部
１０３…色差補間処理部（色差補間手段）
１０４…ＲＧＢ算出部（ＲＧＢ画素算出手段）
１０５…圧縮記録部
２０１，２０２…メモリ
２０３…縦補間Ｇ算出部（補間候補算出手段、第１の補間算出手段）
２０４…横補間Ｇ算出部（補間候補算出手段、第２の補間算出手段）
２０５…４画素補間Ｇ算出部（補間候補算出手段、第３の補間算出手段）
２０６，２０７，２０８，１９０２…メモリ
２０９，２１０，２１１，１９０３，２３０２…減算部（色差候補算出手段）
２１２，２１３，２１４，１９０４，２３０３…メモリ
２１５，２１６…周辺類似度算出部（最適色差選択手段、選択手段）
２１７，１９０５…周辺類似度算出部（最適色差選択手段）
２１８，１９０６…判定部（最適色差選択手段）
２１９，１９０７，２３０４…色差選択部（最適色差選択手段、選択手段）
２２０，１９０８…補間Ｇ選択部（最適色差選択手段、Ｇ補間値出力手段）
２２１…メモリ
３０１…色差選別部
３０２，３０３…メモリ
３０４，３０５…補間処理部
４０１…メモリ
４０２，４０３…加算部
４０４…カラーマトリックス処理部
４０５，４０６，４０７…γ補正部
１６０１…Ｇ変動量算出部（最適色差選択手段、Ｇ画素変動量算出手段）
１６０２…メモリ（最適色差選択手段）
１６０３…乗算部（最適色差選択手段、乗算手段）
１９０１…斜め補間Ｇ算出部（補間候補算出手段、第４の補間算出手段）
２３０１…ローパスフィルタ処理部（帯域制限手段）

Claims

Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成する画像処理装置であって、
上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出手段と、
算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出手段と、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択手段と、
を具備したことを特徴とする画像処理装置。
上記最適色差選択手段は、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）に対する同一色Ｘの色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0+n，ｙ0+m）と、の類似度に基づいて算出するものであることを特徴とする請求項１に記載の画像処理装置。
上記最適色差選択手段は、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものであることを特徴とする請求項２に記載の画像処理装置。
上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、
上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、
をさらに具備したことを特徴とする請求項３に記載の画像処理装置。
上記補間候補算出手段は、
上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、
該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、
該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、
を有して構成されたものであることを特徴とする請求項２に記載の画像処理装置。
上記補間候補算出手段は、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものであることを特徴とする請求項５に記載の画像処理装置。
上記色差候補算出手段は、Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出する帯域制限手段を有して構成され、上記第３の補間算出手段により算出されたＧ補間候補に基づいて色差候補を算出する際には、該修正画素ＸLを用いるものであることを特徴とする請求項５に記載の画像処理装置。
上記最適色差選択手段は、
Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
を有して構成されたものであることを特徴とする請求項５に記載の画像処理装置。
上記最適色差選択手段は、
上記第１の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、上下に位置する２つの色差候補に重み付けして算出した類似度と、
の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものであることを特徴とする請求項５に記載の画像処理装置。
上記最適色差選択手段は、
上記第２の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、左右に位置する２つの色差候補に重み付けして算出した類似度と、
の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものであることを特徴とする請求項５に記載の画像処理装置。
上記類似度は、Ｇ画素欠落位置の色差候補と、該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補と、の差分絶対値和であり、
上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項２に記載の画像処理装置。
上記Ｘ（ｘ0，ｙ0）に対して周辺の同一色Ｘを用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段をさらに具備し、
上記色差候補算出手段は、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出するものであり、
上記最適色差選択手段は、上記類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ、１≦ｑ≦Ｍ）を色差として選択するものであることを特徴とする請求項２に記載の画像処理装置。
上記最適色差選択手段は、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものであることを特徴とする請求項１２に記載の画像処理装置。
上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、
上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、
をさらに具備したことを特徴とする請求項１３に記載の画像処理装置。
上記補間候補算出手段は、
上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、
該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、
該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、
を有して構成されたものであることを特徴とする請求項１２に記載の画像処理装置。
上記補間候補算出手段は、
上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものであることを特徴とする請求項１５に記載の画像処理装置。
上記最適色差選択手段は、
Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
を有して構成されたものであることを特徴とする請求項１５に記載の画像処理装置。
上記最適色差選択手段は、
上記第１の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、上下に位置する２つの色差候補に重み付けして算出した類似度と、
の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものであることを特徴とする請求項１５に記載の画像処理装置。
上記最適色差選択手段は、
上記第２の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、左右に位置する２つの色差候補に重み付けして算出した類似度と、
の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものであることを特徴とする請求項１５に記載の画像処理装置。
上記類似度は、Ｇ画素欠落位置の色差候補と、該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補と、の差分絶対値和であり、
上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項１２に記載の画像処理装置。
Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成する処理を、コンピュータに実行させるための画像処理プログラムであって、
コンピュータに、
上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出ステップと、
算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出ステップと、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択ステップと、
を実行させるための画像処理プログラム。
Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成するための画像処理方法であって、
上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出ステップと、
算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出ステップと、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択ステップと、
を含むことを特徴とする画像処理方法。
上記最適色差選択手段は、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）に対する同一色Ｘの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）とに基づいた類似度と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^の複数の色差候補Ｘ^（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、に基づき算出するものであることを特徴とする請求項１に記載の画像処理装置。
上記最適色差選択手段は、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものであることを特徴とする請求項２３に記載の画像処理装置。
上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、
上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、
をさらに具備したことを特徴とする請求項２４に記載の画像処理装置。
上記補間候補算出手段は、
上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、
該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、
該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、
を有して構成されたものであることを特徴とする請求項２３に記載の画像処理装置。
上記補間候補算出手段は、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものであることを特徴とする請求項２６に記載の画像処理装置。
上記色差候補算出手段は、Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出する帯域制限手段を有して構成され、上記第３の補間算出手段により算出されたＧ補間候補に基づいて色差候補を算出する際には、該修正画素ＸLを用いるものであることを特徴とする請求項２６に記載の画像処理装置。
上記最適色差選択手段は、
Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
を有して構成されたものであることを特徴とする請求項２６に記載の画像処理装置。
上記類似度は、同一色Ｘかつ同一種類ｔの色差候補同士の差分絶対値の和であり、
上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項２３に記載の画像処理装置。
上記Ｘ（ｘ0，ｙ0）に対して周辺の同一色Ｘを用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段をさらに具備し、
上記色差候補算出手段は、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出するものであり、
上記最適色差選択手段は、上記類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ、１≦ｑ≦Ｍ）を色差として選択するものであることを特徴とする請求項２３に記載の画像処理装置。
上記最適色差選択手段は、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものであることを特徴とする請求項３１に記載の画像処理装置。
上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、
上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、
をさらに具備したことを特徴とする請求項３２に記載の画像処理装置。
上記補間候補算出手段は、
上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、
該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、
該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、
を有して構成されたものであることを特徴とする請求項３１に記載の画像処理装置。
上記補間候補算出手段は、
上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものであることを特徴とする請求項３４に記載の画像処理装置。
上記最適色差選択手段は、
Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
を有して構成されたものであることを特徴とする請求項３４に記載の画像処理装置。
上記類似度は、同一色Ｘかつ同一種類の色差候補同士の差分絶対値の和であり、
上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項３１に記載の画像処理装置。