JP6507527B2 - 撮像素子および撮像装置 - Google Patents

Description

本発明は、撮像素子および撮像装置に関する。

従来、非ベイヤ配列を有する撮像素子の出力信号を、ベイヤ配列の信号に変換する技術が知られている。（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１３−２５４０７６号公報

しかしながら、近接する２つの画素の出力信号を加算して、ベイヤ配列における１つの画素信号を生成するので解像度が低下する。

本発明の第１の態様においては、第１波長の光を透過する第１フィルタと、第１フィルタを透過した光を光電変換する第１光電変換部をそれぞれ有し、第１方向に配置される複数の第１画素と、第１波長と異なる第２波長の光を透過する第２フィルタと、第２フィルタを透過した光を光電変換する第２光電変換部をそれぞれ有し、第１方向に配置される複数の第２画素と、２つの第１画素と２つの第２画素とを少なくとも含む領域において、第１方向および第１方向とは異なる第２方向の少なくとも一つの方向性を判定し、判定した方向性に応じた平滑化フィルタを第１画素または第２画素からの出力に適用して、当該領域の中心における第１画素または第２画素の画素値を算出する信号処理部と、を備える撮像素子を提供する。

本発明の第２の態様においては、上記記載の撮像素子を備える、撮像装置を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一眼レフカメラ４００の断面図である。 撮像素子２００の構成例を示すブロック図である。 第１の実施形態における撮像チップ１０の一部の領域を拡大した図である。 判定・補間領域４０において、第１方向に連続性がある場合を示す図である。 判定・補間領域４０において、第２方向に連続性がある場合を示す図である。 判定・補間領域４１を示す図である。 判定・補間領域４０における各画素と補間生成される画素値の位置との対応関係を示す図である。 判定・補間領域４０に対応する位置において補間生成された画素値を示す模式図である。 第２の実施形態における加算モードとフィルタ処理モードとを切り替える処理を説明するフローチャート７０である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一眼レフカメラ４００の断面図である。撮像装置の一例としての一眼レフカメラ４００は、撮像素子２００、レンズユニット５００およびカメラボディ６００を備える。カメラボディ６００には、レンズユニット５００が装着される。レンズユニット５００は、その鏡筒内に、光軸４１０に沿って配列された光学系を備え、入射する被写体光束をカメラボディ６００の撮像素子２００へ導く。

本例においては、撮像装置として一眼レフカメラ４００を例に説明するが、カメラボディ６００を撮像装置と捉えてもよい。また、撮像装置は、ミラーユニットを備えるレンズ交換式カメラに限らず、ミラーユニットを持たないレンズ交換式カメラ、ミラーユニットの有無に関わらずレンズ一体式カメラであってもよい。また、本例において光軸４１０に沿って被写体光束が進む方向を第３方向とする。第３方向に対して垂直であって、かつ、互いに垂直な方向を、第１方向および第２方向とする。

カメラボディ６００には、レンズマウント５５０が結合される。カメラボディ６００は、ボディマウント６６０よりも第３方向の側にミラー６７２を備える。ミラー６７２は、レンズユニット５００から第３方向に入射する被写体光束に対して傾けて設けられる斜設位置と、被写体光束から退避する退避位置との間で回転可能であるように軸に固定される。

ミラー６７２が斜設位置にある場合、レンズユニット５００を通じて入射した被写体光束の多くはミラー６７２に反射されてピント板６５２に導かれる。ピント板６５２は、撮像素子２００の受光面と共役な位置に配されて、レンズユニット５００の光学系が形成した被写体像を可視化する。ピント板６５２に形成された被写体像は、ペンタプリズム６５４およびファインダ光学系６５６を通じてファインダ６５０から観察される。

ピント板６５２、ペンタプリズム６５４、ミラー６７２は、構造体としてのミラーボックス６７０に支持される。撮像素子２００は、ミラーボックス６７０に取り付けられる。ミラー６７２が退避位置に退避し、シャッタユニット３４０の先幕および後幕が開状態となれば、レンズユニット５００を透過する被写体光束は、撮像素子２００の受光面に到達する。

撮像素子２００に対してシャッタユニット３４０とは逆側には、ボディ基板６２０および背面表示部６３４が順次配置される。液晶パネル等が採用される背面表示部６３４は、カメラボディ６００の背面に位置する。ボディ基板６２０には、ＣＰＵ６２２、画像処理部６２４等の電子回路が実装される。撮像素子２００の出力は、画像処理部６２４へ引き渡される。

図２は、撮像素子２００の構成例を示すブロック図である。撮像素子２００は、撮像チップ１０および信号処理チップ３０を備える。撮像チップ１０には、第３方向から光束が入射する。撮像チップ１０は、第３方向において信号処理チップ３０に積層される。撮像チップ１０は、バンプ１５を通じて、信号処理チップ３０に電気的に接続される。撮像チップ１０は、第１方向および第２方向において２次元に配列された複数の光電変換部を有する。複数の光電変換部の各々は入射光を光電変換する。つまり、複数の光電変換部の各々は、第３方向から入射する光束の光量に応じて電荷を生成する。なお、光電変換部は画素の一部として機能する。当該画素は、光電変換部の出力を処理してよい。撮像チップ１０は、変換したアナログの画像信号を信号処理チップ３０の信号処理部３２へ出力する。

信号処理チップ３０は、信号処理部３２、ＡＤ変換部３４、および、焦点検出部３６を有する。信号処理部３２は、撮像チップ１０から出力されるアナログの画像信号に所定のアナログ信号処理をする。信号処理部３２は、増幅回路およびＣＤＳ(相関二重サンプリング)回路などを有する。増幅回路は、アナログの画像信号の信号電圧値を増幅する。また、ＣＤＳ回路は、ノイズによる当該信号電圧値のばらつきを補正する。

ＡＤ変換部３４は、信号処理部３２から出力されたアナログの画像信号をデジタルの画像信号に変換する。ＡＤ変換部３４は、デジタルの画像信号を信号処理部３２および焦点検出部３６に出力する。

信号処理部３２は、ＡＤ変換部３４から出力されるデジタルの画像信号に対して、特定の演算を行う。信号処理部３２は、フィルタ処理モードと加算処理モードとを有する。信号処理部３２は、フィルタ処理モードのときは、デジタルの画像信号に対して方向性判定ならびに平滑化フィルタおよび先鋭化フィルタを適用する。信号処理部３２は、当該フィルタを適用して画像における各々の画素値を算出する。また、信号処理部３２は、加算処理モードのときは、デジタルの画像信号を加算して画像における各々の画素値を算出する。信号処理部３２は、フィルタ処理モードおよび加算処理モードのいずれか一方を選択してよい。信号処理部３２において算出された画素値の情報は、画像処理部６２４に出力される。つまり、信号処理部３２は、画像を画像処理部６２４に出力する前に、画像を前処理する。

焦点検出部３６は、入射光が通過した光学系の焦点位置を検出する。具体的には、焦点検出部３６は、デジタルの画像信号に基づいて、一対の像の像ズレ量を検出する。さらに、焦点検出部３６は、像ズレ量に応じた演算を行い、予定結像面に対する現在の結像面の偏差であるデフォーカス量を算出する。当該デフォーカス量を調整するべく、一眼レフカメラ４００のレンズユニット５００の位置が調整される。

画像処理部６２４は、画像処理ＡＳＩＣ６２５および記録部６０を有する。画像処理ＡＳＩＣ６２５は、記録部６０をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理ＡＳＩＣ６２５は、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部６０に記録される。また、背面表示部６３４は、当該記録部６０に記録された画像データに応じた画像を予め設定された時間の間表示する。

図３は、第１の実施形態における撮像チップ１０の一部の領域を拡大した図である。本例において複数の光電変換部１７の各々は、第１および第２方向に平行な対角線を有する正方形である。各光電変換部１７は、各画素の一部として機能する。一の画素の一部として機能する一の光電変換部１７は、第１方向および第２方向において行列状に配置される。なお、一の画素は光電変換部１７の出力を処理する信号処理機能も有してよい。光電変換部１７には、第３方向において、マイクロレンズ１２が重ねて設けられる。図３において、マイクロレンズ１２を円で示す。１つのマイクロレンズ１２は、レンズユニット５００を通じて入射する光を、対応して設けられた光電変換部１７に導く。本例の光電変換部１７は、マイクロレンズ１２と重なる位置において設けられた、フォトダイオードであってよい。

複数の光電変換部１７には、赤色（Ｒ）、緑色（Ｇ）または青色（Ｂ）の波長の光をそれぞれ透過させるフィルタが設けられる。緑色（Ｇ）の波長の入射光を透過させるフィルタが設けられた光電変換部１７‐Ｇは、第１方向および第２方向において連続して設けられる。赤色（Ｒ）の波長の入射光を透過させるフィルタが設けられた光電変換部１７‐Ｒは、第１方向において連続して設けられる。青色（Ｂ）の波長の入射光を透過させるフィルタが設けられた光電変換部１７‐Ｂも、第１方向において連続して設けられる。複数の光電変換部１７‐Ｒおよび１７‐Ｂは、複数の光電変換部１７‐Ｇに対して半ピッチずれて設けられる。なお、本例においては、第１の光電変換部を光電変換部１７‐Ｇとし、第２の光電変換部を光電変換部１７‐Ｂとし、第３の光電変換部を光電変換部１７‐Ｒとして説明する。しかしながら、他の例においては、第２の光電変換部を光電変換部１７‐Ｒとし、第３の光電変換部を光電変換部１７‐Ｂとしてもよい。

本例において半ピッチとは、光電変換部１７における第１方向に平行な対角線の長さの半分の長さ、および、光電変換部１７における第２方向に平行な対角線の長さの半分の長さを意味する。また、半ピッチとは、第１方向における光電変換部１７の繰り返し長さの半分、および、第２方向における光電変換部１７の繰り返し長さの半分を意味してもよい。複数の光電変換部１７‐Ｒおよび１７‐Ｂが複数の光電変換部１７‐Ｇに対して半ピッチずれて設けられるので、第１および第２方向に設けられた複数の光電変換部１７‐Ｇ間における複数の隙間には、複数の光電変換部１７‐Ｒおよび１７‐Ｂが設けられる。

複数の光電変換部１７‐Ｇは、第１方向に連続して設けられて直線形状を構成する。複数の光電変換部１７‐Ｂおよび１７‐Ｒも同様に、第１方向に連続して設けられて直線形状を構成する。そして、当該直線形状は、複数の光電変換部１７‐Ｇ、１７‐Ｒ、１７‐Ｇ、および、１７‐Ｂの順に第２方向に設けられる。直線形状の当該１７‐Ｇ、１７‐Ｒ、１７‐Ｇ、および、１７‐Ｂのセットからなるパターンは、第２方向において繰り返して設けられる。

各々の光電変換部１７は、開口領域を有する。また各々の光電変換部１７は、開口領域および遮光領域を有してもよい。本例においては、複数の光電変換部１７の各々が、開口領域および遮光領域を有する。また、本例では、各々の光電変換部１７における開口領域および遮光領域の面積が略等しい。図３において遮光領域を斜線により示す。遮光領域においては、入射光が光電変換に用いられない。一方、開口領域においては、入射光が光電変換に用いられる。

本例の撮像素子２００は、光電変換部１７において、フォトダイオードが配線層よりもマイクロレンズ１２側に設けられる裏面照射型の撮像素子２００である。しかし、光電変換部１７において、配線層がフォトダイオードよりもマイクロレンズ１２側に設けられる表面照射型の撮像素子２００としてもよい。表面照射型では、入射光が部分的に配線層により遮られる。裏面照射型では、表面照射型のように入射光が部分的に配線層により遮られないので、入射光の変換効率を表面照射型よりも高くすることができる。

本例では、光電変換部１７‐Ｇは、第２方向において領域が二分割される。二分割されたうちの一方が開口領域であり、他方が遮光領域である。第１方向において隣接する光電変換部１７‐Ｇは、開口領域と遮光領域とが交互に入れ替わる。

また本例では、光電変換部１７‐Ｂおよび１７‐Ｒは、第１方向において領域が二分割される。二分割されたうちの一方が開口領域であり、他方が遮光領域である。第２方向において隣接する光電変換部１７‐Ｂおよび１７‐Ｒは、開口領域と遮光領域とが交互に入れ替わる。

第２方向に隣接する２つの光電変換部１７‐Ｇの遮光領域と、第１方向に隣接する２つの光電変換部１７‐Ｒの遮光領域とは、互いに隣接して正方形の遮光領域を形成する。当該正方形の遮光領域は、第１方向および第２方向に平行な辺を有する正方形である。

さらに、第２方向に隣接する２つの光電変換部１７‐Ｇの遮光領域と、第１方向に隣接する２つの光電変換部１７‐Ｂの遮光領域とは、互いに隣接して遮光領域を形成する。当該正方形の遮光領域は、第１方向および第２方向に平行な辺を有する正方形である。

光電変換部１７の開口領域は焦点検出に用いられる。第１方向に隣接する複数の光電変換部１７‐Ｇにおいて、第２方向に開口領域を有する複数の光電変換部１７‐Ｇと第２方向の逆方向に開口領域を有する複数の光電変換部１７‐Ｇとは、焦点検出に用いられる。本例において、複数の光電変換部１７‐Ｇは、第１方向および第１方向の逆方向において交互に遮光領域を有し、かつ、第２方向および第２方向の逆方向において交互に遮光領域を有する。それゆえ、複数の光電変換部１７‐Ｇは、第１方向および第２方向において焦点検出に用いることができる。これにより、遮光領域を有する光電変換部１７が第１方向または第２方向のいずれか一方だけに連続して設けられる場合と比較して、焦点検出精度を向上させることができる。

また、複数の光電変換部１７‐Ｂおよび１７‐Ｒは、第１方向において焦点検出に用いることができる。なお、変形例として、撮像素子２００は、１つの光電変換部１７が第１方向および第２方向のいずれかにおいて一対の開口領域を有する画素分割方式を採用してもよい。当該一対の開口領域は、互いに分離して設けられる。また、当該一対の開口領域に対応して設けられたフォトダイオードから、互いに独立して電荷を読み出すことが可能である。複数の光電変換部１７を画素分割方式とすることによっても、焦点検出をすることができる。

フィルタ処理モードにおける信号処理部３２は最初に、判定・補間領域４０において方向性判定を行う。方向性判定とは、複数の光電変換部１７における出力信号に基づいて、第１方向および第２方向の少なくとも一つの方向における出力信号の連続性を判定することである。判定・補間領域４０において、第１方向または第２方向において連続して設けられる複数の光電変換部１７の出力信号の差分値が予め定められた閾値以下である場合に、信号処理部３２は第１方向または第２方向に連続性があると判断する。例えば、判定・補間領域４０において、第１方向で隣接する４つの光電変換部１７−Ｒの出力信号の差分値が予め定められた閾値以下である場合に、信号処理部３２は第１方向に連続性があると判断する。

フィルタ処理モードにおける信号処理部３２は、方向性判定の後に、判定・補間領域４０において補間処理を行う。補間処理は、方向性判定に基づいて、フィルタを画素毎に調整して適用する。フィルタを適用することにより画素値が算出される。なお、フィルタを画素に適用するとは、光電変換部１７の出力信号に対してフィルタ処理することを意味する。フィルタ処理後の出力信号を画素値と称する。各々の画素値は、最終的に出力される画像における複数の画素の各々に対応する。

例えば信号処理部３２は、第１方向に連続性があると判断した場合に、第１方向連続性用のフィルタを適用する。同様に、第２方向に連続性があると判断した場合には、第２方向連続性用のフィルタを適用する。本例において、第１方向連続性用のフィルタは、図４から図６における垂直方向に連続性がある場合のフィルタである。また、第２方向連続性用のフィルタは、図４から図６における第２方向に連続性がある場合のフィルタである。

フィルタ処理モードにおけるフィルタとは、出力される画像の１つの画素値を算出するための、複数の光電変換部１７の出力信号に対する演算を指す。本例のフィルタは、平滑化フィルタおよび先鋭化フィルタを有する。平滑化フィルタは、出力される画像において隣接する画素値を滑らかに連続的にする演算である。本例では、平滑化フィルタとして特定の位置に重みを付けて出力するガウシアンフィルタを用いる。先鋭化フィルタは、出力される画像において明暗を強調するまたはエッジを強調する演算である。本例では、先鋭化フィルタとしてラプラシアンフィルタを用いる。なお、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ等で実現されるバターワース（Ｂｕｔｔｅｒｗｏｒｔｈ）型のフィルタを用いてもよい。

判定・補間領域４０の形状は、予め定められる。本例の判定・補間領域４０は、少なくとも、第２方向に平行な３行かつ第１方向に平行な４列の光電変換部１７‐Ｇと、第２方向に平行な２行かつ第１方向に平行な３列の光電変換部１７‐Ｂと、第２方向に平行な４行かつ第１方向に平行な２列の光電変換部１７‐Ｒとを含む。判定・補間領域４０は、互いに隣接する２つの光電変換部１７‐Ｇおよび２つの光電変換部１７‐Ｂの境界の位置を中心４２とする。中心４２は、第２方向に平行な３行の光電変換部１７‐Ｇのうち、第２行目にある２つの光電変換部１７‐Ｇの境界に位置する。中心４２は、円に囲まれた数字で示されている。判定・補間領域４０に設けられる複数の光電変換部１７は、中心４２を通る第１方向に平行な直線および第２方向に平行な直線に対して線対称である。なお、判定・補間領域４０の形状は、上記の形態に限定されない。判定・補間領域４０の形状は、方向性判定および補間処理を適用できる限りにおいて、任意の形状とすることができる。

特許文献１に記載の従来方式では、２つの光電変換部１７−Ｇの出力信号の値を加算することにより、１画素分に相当する緑色（Ｇ）用の出力信号を得ていた。しかし、２つの光電変換部１７‐Ｇを用いて１画素分に相当する緑色（Ｇ）用の出力信号を得るので、画像における画素密度は半分に低下する。これに対して本例では、２つの光電変換部１７‐Ｇと２つの光電変換部１７‐Ｂとの境界の位置、および、２つの光電変換部１７‐Ｂと２つの光電変換部１７‐Ｒとの境界の位置に、周辺の画素の出力信号を用いて緑色（Ｇ）、青色（Ｂ）および赤色（Ｒ）の画素値をそれぞれ生成する。これにより、従来方式と比較して、画像における画素密度を向上させることができる。

図４は、判定・補間領域４０において、第１方向に連続性がある場合を示す図である。なお、図４においては図面を見易くするために、図３で記載したマイクロレンズ１２、開口領域および遮光領域の記載を省略する。なお、Ｇは緑色用の光電変換部１７‐Ｇを簡易的に示す。また、Ｇに続く数字は説明のために記載した座標番号である。以降においては、アルファベット１文字および座標番号により光電変換部１７の種類および位置を特定する。Ｂは光電変換部１７−Ｂを示し、Ｒは光電変換部１７‐Ｒを示す。

（第１方向性判定）信号処理部３２は、判定・補間領域４０内において第１方向で互いに隣接する光電変換部１７の出力信号の差分を計算してよい。これにより信号処理部３２は、第１方向の連続性を判定する。本例では、信号処理部３２は、第１方向で互いに隣接するＲの出力信号の差分を計算する。つまり、信号処理部３２は、Ｒ１１、Ｒ２１、Ｒ３１およびＲ４１を含む領域４６−１、ならびに、Ｒ１２、Ｒ２２、Ｒ３２およびＲ４２を含む領域４６−２の少なくとも一方について、互いに隣接するＲの出力信号の差分を計算する。

仮に領域４６−１において、［Ｒ１１，Ｒ２１，Ｒ３１，Ｒ４１］の出力信号が［９０，９０，９１，９１］であったとする。この場合、互いに隣接するＲの出力信号の差分ベクトル［Ｒ１１−Ｒ２１，Ｒ２１−Ｒ３１，Ｒ３１−Ｒ４１］は、［０，−１，０］となる。また仮に、領域４６−１において、［Ｒ１１，Ｒ２１，Ｒ３１，Ｒ４１］の出力信号が［９０，１０，９１，１０］であったとする。この場合、互いに隣接するＲの出力信号の差分ベクトルは、［８０，−８１，８１］となる。信号処理部３２は、例えば、差分値ベクトルの各成分の絶対値が１０以下である場合に連続性があると判断してよい。この例では、信号処理部３２は、差分ベクトル［０，−１，０］については第１方向に連続性があると判定し、差分ベクトル［８０，−８１，８１］については第１方向に連続性がないと判定する。なお、連続性があると判定する差分ベクトルの成分の閾値は、プログラム修正により適宜定められてよい。

（第１方向性がある場合の補間処理：ｇ_３３）信号処理部３２は方向性判定の後に、判定・補間領域４０において補間処理を行う。信号処理部３２は、第１方向において方向性があると判定する場合、判定・補間領域４０におけるａ行×ｂ列個のＧの出力信号に平滑化フィルタを適用する。なお、ａはｂよりも大きな自然数であり、本例ではａ＝３、ｂ＝２である。

本例の信号処理部３２は、判定・補間領域４０における３行×２列個のＧの出力信号（数１）に対してガウシアンフィルタを適用する。（数２）は、ガウシアンフィルタの一例である。

そして、信号処理部３２は、（数１）および（数２）の畳み込み（コンボリューション）の値を算出する。畳み込みの演算は、Ｍ行Ｎ列の行列について、下記の（数３）により算出される。なお、Ｍ、Ｎ、ｍおよびｎは自然数である。ただし（数３）において、Ｍが偶数のとき、ｍ_１＝−ｍ／２，ｍ_２＝ｍ／２であり、Σの演算においてｍ＝０は除く。また、Ｍが奇数のとき、ｍ_１＝−（ｍ−１）／２，ｍ_２＝（ｍ−１）／２である。さらに、（数３）において、Ｎが偶数のとき、ｎ_１＝−ｎ／２，ｎ_２＝ｎ／２であり、Σの演算においてｎ＝０は除く。また、Ｎが奇数のとき、ｎ_１＝−（ｎ−１）／２，ｎ_２＝（ｎ−１）／２である。

本例では、（数３）において、関数ｈ＝（数２），関数ｆ＝（数１），Ｍ＝３，Ｎ＝２である。また、ｍ_１＝−１，ｍ_２＝１である。ｎ_１＝−１，ｎ_２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数１）および（数２）の第１行を指定し、ｍ_１が（数１）および（数２）の第３行を指定し、ｎ_２が（数１）および（数２）の第１列を指定し、ｎ_１が（数１）および（数２）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｇ_３３‐Ｇは、ｇ_３３‐Ｇ＝（１×Ｇ_１２＋２×Ｇ_２２＋１×Ｇ_３２＋１×Ｇ_１３＋２×Ｇ_２３＋１×Ｇ_３３）／８となる。

また信号処理部３２は、判定・補間領域４０におけるｃ行×ｄ列個のＲの出力信号に先鋭化フィルタを適用する。なお、ｃはｄよりも大きな自然数であり、本例ではｃ＝４、ｄ＝２である。本例の信号処理部３２は、判定・補間領域４０における４行×２列個のＲの出力信号（数４）に対してラプラシアンフィルタを適用する。（数５）は、ラプラシアンフィルタの一例である。

そして、信号処理部３２は、（数４）および（数５）の畳み込み（コンボリューション）の値を算出する。畳み込みの演算は（数３）と同様である。本例では、（数３）において、関数ｈ＝（数５），関数ｆ＝（数４），Ｍ＝４，Ｎ＝２である。また、ｍ_１＝−２，ｍ_２＝２であり、Σの演算においてｎ＝０は除く。ｎ_１＝−１，ｎ_２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数４）および（数５）の第１行を指定し、ｍ_１が（数４）および（数５）の第４行を指定し、ｎ_２が（数４）および（数５）の第１列を指定し、ｎ_１が（数４）および（数５）の第２列を指定するとする。これにより、ラプラシアンフィルタを適用したｇ_３３‐Ｌは、ｇ_３３‐Ｌ＝（−１×Ｒ_１１＋１×Ｒ_２１＋１×Ｒ_３１−１×Ｒ_４１−１×Ｒ_１２＋１×Ｒ_２２＋１×Ｒ_３２−１×Ｒ_４２）／８となる。

信号処理部３２は、平滑化フィルタを適用した値と先鋭化フィルタを適用した値との和をとることにより、中心４２の位置に対応するＧの画素値を算出する。つまり、ｇ_３３‐Ｇとｇ_３３‐Ｌとの和を中心４２における補正後の画素値ｇ_３３とする。このように本例では、ｇ_３３の画素値を算出するために、Ｇのガウシアンに加えてＲのラプラシアンも加える。これにより、ｇ_３３‐Ｇだけをｇ_３３とする場合と比較して、画素値をより精度よく算出することができる。

（第１方向性がある場合の補間処理：ｂ_３３，ｒ_３３）信号処理部３２は、画素値ｇ_３３を算出するとともに、Ｂの出力信号を補正したｂ_３３を算出する。信号処理部３２は、判定・補間領域４０におけるｋ行×ｌ列個のＢの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＢの画素値として算出する。本例では、ｋはｌよりも大きな自然数であり、ｋ＝２、ｌ＝１である。本例の信号処理部３２は、判定・補間領域４０における２行×１列個のＢの出力信号（数６）に対してガウシアンフィルタを適用する。そして、（数６）および（数７）の畳み込みを補正後の画素値ｂ_３３として算出する。なお、（数７）は、ガウシアンフィルタの一例である。

本例では、（数３）において、関数ｈ＝（数７），関数ｆ＝（数６），Ｍ＝２，Ｎ＝１である。また、ｍ_１＝−１，ｍ_２＝１であり、Σの演算においてｎ＝０は除く。ｎ_１＝ｎ_２＝０である。ここで、ｍ_２が（数６）および（数７）の第１行を指定し、ｍ_１が（数６）および（数７）の第２行を指定し、ｎ_１およびｎ_２が（数６）および（数７）の第１列を指定するとする。これにより、ガウシアンフィルタを適用したｂ_３３は、ｂ_３３＝（１×Ｂ_１２＋１×Ｂ_２２）／２となる。

信号処理部３２は、さらにＲの出力信号を補正したｒ_３３を算出する。信号処理部３２は、判定・補間領域４０におけるｐ行×ｑ列個のＲの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＲの画素値として算出する。本例では、ｐはｑよりも大きな自然数であり、ｐ＝４、ｑ＝２である。本例の信号処理部３２は、判定・補間領域４０における４行×２列個のＲの出力信号（数８）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数８）および（数９）の畳み込みを補正後の画素値ｒ_３３として算出する。なお、（数９）は、ガウシアンフィルタの一例である。

本例では、（数３）において、関数ｈ＝（数９），関数ｆ＝（数８），Ｍ＝４，Ｎ＝２である。ｍ_１＝−２，ｍ_２＝２であり、Σの演算においてｎ＝０は除く。ｎ_１＝−１，ｎ_２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数８）および（数９）の第１行を指定し、ｍ_１が（数８）および（数９）の第４行を指定し、ｎ_２が（数８）および（数９）の第１列を指定し、ｎ_１が（数８）および（数９）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｒ_３３は、ｒ_３３＝（１×Ｒ_１１＋３×Ｒ_２１＋３×Ｒ_３１＋１×Ｒ_４１＋１×Ｒ_１２＋３×Ｒ_２２＋３×Ｒ_３２＋１×Ｒ_４２）／１６となる。

図５は、判定・補間領域４０において、第２方向に連続性がある場合を示す図である。図４と同様に、マイクロレンズ１２、開口領域および遮光領域の記載を省略する。

（第２方向性判定）信号処理部３２は、判定・補間領域４０内において第２方向で互いに隣接する光電変換部１７の出力信号の差分を計算してよい。これにより信号処理部３２は、第２方向の連続性を判定する。本例では、信号処理部３２は、第２方向で互いに隣接するＢの出力信号の差分を計算する。つまり、信号処理部３２は、Ｂ１１、Ｂ１２およびＢ１３を含む領域４８−１、ならびに、Ｂ２１、Ｂ２２およびＢ２３を含む領域４８−２の少なくとも一方について、互いに隣接するＢの出力信号の差分を計算する。

仮に領域４８−１において、［Ｂ１１，Ｂ１２，Ｂ１３］の出力信号が［９０，９１，９１］であったとする。この場合、互いに隣接するＲの出力信号の差分ベクトル［Ｂ１１−Ｂ１１，Ｂ１２−Ｂ１３］は、［−１，０］となる。また仮に、領域４８−１において、［Ｂ１１，Ｂ１２，Ｂ１３］の出力信号が［９０，１０，９１］であったとする。この場合、互いに隣接するＢの出力信号の差分ベクトルは、［８０，−８１］となる。信号処理部３２は、例えば、差分値ベクトルの各成分の絶対値が１０以下である場合に連続性があると判断してよい。この例では、信号処理部３２は、差分ベクトル［−１，０］については第２方向に連続性があると判定し、差分ベクトル［８０，−８１］については第２方向に連続性がないと判定する。なお、連続性があると判定する差分ベクトルの成分の閾値は、プログラム修正により適宜定められてよい。

（第２方向性がある場合の補間処理：ｇ_３３）信号処理部３２は方向性判定の後に、判定・補間領域４０において補間処理を行う。信号処理部３２は、第２方向において方向性があると判定する場合、判定・補間領域４０におけるｒ行×ｓ列個のＧの出力信号に平滑化フィルタを適用する。なお、ｒはｓよりも小さな自然数であり、本例ではｒ＝３、ｓ＝４である。これにより、判定・補間領域４０の中心４２における画素値ｇ_３３を算出する。

本例の信号処理部３２は、判定・補間領域４０における３行×４列個のＧの出力信号（数１０）に対してガウシアンフィルタを適用する。なお、（数１１）は、ガウシアンフィルタの一例である。

そして、信号処理部３２は、（数１０）および（数１１）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数１１），関数ｆ＝（数１０），Ｍ＝３，Ｎ＝４である。また、ｍ_１＝−１，ｍ_２＝１である。ｎ_１＝−２，ｎ_２＝２であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数１０）および（数１１）の第１行を指定し、ｍ_１が（数１０）および（数１１）の第３行を指定し、ｎ_２が（数１０）および（数１１）の第１列を指定し、ｎ_１が（数１０）および（数１１）の第４列を指定するとする。これにより、ガウシアンフィルタを適用したｇ_３３‐Ｇは、ｇ_３３‐Ｇ＝（１×Ｇ_１１＋２×Ｇ_２１＋１×Ｇ_３１＋３×Ｇ_１２＋６×Ｇ_２２＋３×Ｇ_３２＋３×Ｇ_１３＋６×Ｇ_２３＋３×Ｇ_３３＋１×Ｇ_１４＋２×Ｇ_２４＋１×Ｇ_３４）／３２となる。

また信号処理部３２は、判定・補間領域４０におけるｔ行×ｕ列個のＢの出力信号に先鋭化フィルタを適用する。なお、ｔはｕよりも小さな自然数であり、本例ではｔ＝２、ｕ＝３である。本例の信号処理部３２は、判定・補間領域４０における２行×３列個のＢの出力信号（数１２）に対してラプラシアンフィルタを適用する。なお、（数１３）は、ラプラシアンフィルタの一例である。

そして、信号処理部３２は、（数１２）および（数１３）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数１３），関数ｆ＝（数１２），Ｍ＝２，Ｎ＝３である。また、ｍ_１＝−１，ｍ_２＝１であり、Σの演算においてｎ＝０は除く。ｎ_１＝−１，ｎ_２＝１である。ここで、ｍ_２が（数１２）および（数１３）の第１行を指定し、ｍ_１が（数１２）および（数１３）の第２行を指定し、ｎ_２が（数１２）および（数１３）の第１列を指定し、ｎ_１が（数１２）および（数１３）の第３列を指定するとする。これにより、ラプラシアンフィルタを適用したｇ_３３‐Ｌは、ｇ_３３‐Ｌ＝（−１×Ｂ_１１−１×Ｂ_２１＋２×Ｂ_１２＋２×Ｂ_２２−１×Ｂ_１３−１×Ｂ_２３）／８となる。

平滑化フィルタを適用した値と先鋭化フィルタを適用した値との和をとることにより、中心４２の位置に対応するＧの画素値を算出する。つまり、ｇ_３３‐Ｇとｇ_３３‐Ｌとの和を中心４２における補正後の画素値ｇ_３３とする。このように本例では、ｇ_３３の画素値を算出するために、Ｇのガウシアンに加えてＢのラプラシアンも加える。したがって、ｇ_３３‐Ｇだけをｇ_３３とする場合と比較して、画像をより先鋭化することができる。

（第２方向性がある場合の補間処理：ｂ_３３，ｒ_３３）信号処理部３２は、Ｇの出力信号を補正したｇ_３３を算出するとともに、Ｂの出力信号を補正したｂ_３３を算出する。信号処理部３２は、判定・補間領域４０におけるｖ行×ｗ列個のＢの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＢの画素値として算出する。本例では、ｖはｗよりも小さな自然数であり、ｖ＝２、ｗ＝３である。本例の信号処理部３２は、判定・補間領域４０における２行×３列個のＢの出力信号（数１４）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数１４）および（数１５）の畳み込みの値を補正後の画素値ｂ_３３として算出する。なお、（数１５）は、ガウシアンフィルタの一例である。

本例では、（数３）において、関数ｈ＝（数１５），関数ｆ＝（数１４），Ｍ＝２，Ｎ＝３である。したがって、ｍ_１＝−１，ｍ_２＝１であり、Σの演算においてｍ＝０は除く。また、ｎ_１＝−１，ｎ_２＝１である。ここで、ｍ_２が（数１４）および（数１５）の第１行を指定し、ｍ_１が（数１４）および（数１５）の第２行を指定し、ｎ_２が（数１４）および（数１５）の第１列を指定し、ｎ_１が（数１４）および（数１５）の第３列を指定するとする。これにより、ガウシアンフィルタを適用したｂ_３３は、ｂ_３３＝（１×Ｂ_１１＋１×Ｂ_２１＋２×Ｂ_１２＋２×Ｂ_２２＋１×Ｂ_１３＋１×Ｂ_２３）／８となる。

同様に、信号処理部３２は、判定・補間領域４０におけるｘ行×ｙ列個のＲの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＲの画素値として算出する。本例では、ｘとｙとは等しい自然数であり、ｘ＝ｙ＝２である。本例の信号処理部３２は、判定・補間領域４０における２行×２列個のＲの出力信号（数１６）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数１６）および（数１７）の畳み込みの値を補正後の画素値ｒ_３３として算出する。なお、（数１７）は、ガウシアンフィルタの一例である。

本例では、（数３）において、関数ｈ＝（数１７），関数ｆ＝（数１６），Ｍ＝２，Ｎ＝２である。したがって、ｍ_１＝−１，ｍ_２＝１であり、Σの演算においてｍ＝０は除く。また、ｎ_１＝−１，ｎ_２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数１６）および（数１７）の第１行を指定し、ｍ_１が（数１６）および（数１７）の第２行を指定し、ｎ_２が（数１６）および（数１７）の第１列を指定し、ｎ_１が（数１６）および（数１７）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｒ_３３は、ｒ_３３＝（１×Ｒ_１２＋１×Ｒ_３１＋１×Ｒ_２２＋１×Ｒ_３２）／４となる。

図６は、判定・補間領域４１を示す図である。判定・補間領域４１は、判定・補間領域４０を第１方向および第２方向に１ピッチ分だけ移動させた領域である。なお、１ピッチは半ピッチの２倍の長さである。判定・補間領域４１は、互いに隣接する２つのＧおよび２つのＲの境界の位置を中心４４とする。判定・補間領域４１は、少なくとも、第２方向に平行な３行、かつ、第１方向に平行な４列のＧと、第２方向に平行な４行、かつ、第１方向に平行な２列のＢと、第２方向に平行な２行、かつ、第１方向に平行な３列のＲとを含む。判定・補間領域４１におけるＢおよびＲの配置は、判定・補間領域４０におけるＲおよびＢの配置にそれぞれ対応する。

信号処理部３２は、判定・補間領域４０での処理と同様に、判定・補間領域４１において方向性判定および補間処理をする。補間処理により、中心４４の位置にお行ける画素値ｇ_４４、ｂ_４４およびｒ_４４を生成する。

（第１方向性がある場合の補間処理：ｇ_４４）信号処理部３２は第１方向に連続性があると判定した後に、判定・補間領域４１において補間処理を行う。信号処理部３２は、第１方向において方向性があると判定する場合、判定・補間領域４１におけるａ行×ｂ列個のＧの出力信号に平滑化フィルタを適用する。なお、ａはｂよりも大きな自然数であり、本例ではａ＝３、ｂ＝２である。これにより、判定・補間領域４１の中心４４における画素値ｇ_４４を算出する。

本例の信号処理部３２は、判定・補間領域４１における３行×２列個のＧの出力信号（数１８）に対してガウシアンフィルタを適用する。（数１９）は、ガウシアンフィルタの一例である。

そして、信号処理部３２は、（数１８）および（数１９）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数１９），関数ｆ＝（数１８），Ｍ＝３，Ｎ＝２である。また、ｍ_１＝−１，ｍ_２＝１である。ｎ_１＝−１，ｎ_２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数１８）および（数１９）の第１行を指定し、ｍ_１が（数１８）および（数１９）の第３行を指定し、ｎ_２が（数１８）および（数１９）の第１列を指定し、ｎ_１が（数１８）および（数１９）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｇ_４４−Ｇは、ｇ_４４‐Ｇ＝（１×Ｇ_２３＋２×Ｇ_３３＋１×Ｇ_４３＋１×Ｇ_２４＋２×Ｇ_３４＋１×Ｇ_４４）／８となる。

また信号処理部３２は、判定・補間領域４１におけるｃ行×ｄ列個のＢの出力信号に先鋭化フィルタを適用する。なお、ｃはｄよりも大きな自然数であり、本例ではｃ＝４、ｄ＝２である。本例の信号処理部３２は、判定・補間領域４１における４行×２列個のＢの出力信号（数２０）に対してラプラシアンフィルタを適用する。（数２１）は、ラプラシアンフィルタの一例である。

そして、信号処理部３２は、（数２０）および（数２１）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数２１），関数ｆ＝（数２０），Ｍ＝４，Ｎ＝２である。また、ｍ_１＝−２，ｍ_２＝２であり、Σの演算においてｎ＝０は除く。ｎ_１＝−１，ｎ_２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数２０）および（数２１）の第１行を指定し、ｍ_１が（数２０）および（数２１）の第４行を指定し、ｎ_２が（数２０）および（数２１）の第１列を指定し、ｎ_１が（数２０）および（数２１）の第２列を指定するとする。これにより、ラプラシアンフィルタを適用したｇ_４４‐Ｌは、ｇ_４４‐Ｌ＝（−１×Ｂ_１２＋１×Ｂ_２２＋１×Ｂ_３２−１×Ｂ_４２−１×Ｂ_１３＋１×Ｂ_２３＋１×Ｂ_３３−１×Ｂ_４３）／８となる。

平滑化フィルタを適用した値と先鋭化フィルタを適用した値との和をとることにより、中心４４の位置に対応するＧの画素値を算出する。つまり、ｇ_４４‐Ｇとｇ_４４‐Ｌとの和を中心４４における補正後の画素値ｇ_４４とする。

（第１方向性がある場合の補間処理：ｂ_４４，ｒ_４４）信号処理部３２は、画素値ｇ_４４を算出するとともに、Ｂの画素値を補正したｂ_４４を算出する。信号処理部３２は、判定・補間領域４１におけるｋ行×ｌ列個のＢの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＢの画素値として算出する。本例では、ｋはｌよりも大きな自然数であり、ｋ＝４、ｌ＝２である。本例の信号処理部３２は、判定・補間領域４１における４行×２列個のＢの出力信号（数２２）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数２２）および（数２３）の畳み込みの値を補正後の画素値ｂ_４４として算出する。なお、（数２３）は、ガウシアンフィルタの一例である。

本例では、（数３）において、関数ｈ＝（数２３），関数ｆ＝（数２２），Ｍ＝４，Ｎ＝２である。ｍ_１＝−２，ｍ_２＝２であり、Σの演算においてｎ＝０は除く。ｎ_１＝１，ｎ_２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数２２）および（数２３）の第１行を指定し、ｍ_１が（数２２）および（数２３）の第４行を指定し、ｎ_２が（数２２）および（数２３）の第１列を指定し、ｎ_１が（数２２）および（数２３）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｂ_４４は、ｂ_４４＝（１×Ｂ_１２＋３×Ｂ_２２＋３×Ｂ_３２＋１×Ｂ_４２＋１×Ｂ_１３＋３×Ｂ_２３＋３×Ｂ_３３＋１×Ｂ_４３）／１６となる。

信号処理部３２は、さらにＲの画素値を補正したｒ_４４を算出する。信号処理部３２は、判定・補間領域４１におけるｐ行×ｑ列個のＲの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＲの画素値として算出する。本例では、ｐはｑよりも大きな自然数であり、ｐ＝２、ｑ＝１である。本例の信号処理部３２は、判定・補間領域４１における２行×１列個のＲの出力信号（数２４）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数２４）および（数２５）の畳み込みの値を補正後の画素値ｒ_４４として算出する。なお、（数２５）は、ガウシアンフィルタの一例である。

本例では、（数３）において、関数ｈ＝（数２５），関数ｆ＝（数２４），Ｍ＝２，Ｎ＝１である。また、ｍ_１＝−１，ｍ_２＝１であり、Σの演算においてｎ＝０は除く。ｎ_１＝ｎ_２＝０である。ここで、ｍ_２が（数２４）および（数２５）の第１行を指定し、ｍ_１が（数２４）および（数２５）の第２行を指定し、ｎ_１およびｎ_２が（数２４）および（数２５）の第１列を指定するとする。これにより、ガウシアンフィルタを適用したｒ_４４は、ｒ_４４＝（１×Ｒ_３２＋１×Ｒ_４２）／２となる。

（第２方向性がある場合の補間処理：ｇ_４４）信号処理部３２は第２方向に連続性があると判定した後に、判定・補間領域４１において補間処理を行う。信号処理部３２は、第２方向において方向性があると判定する場合、判定・補間領域４１におけるｒ行×ｓ列個のＧの出力信号に平滑化フィルタを適用する。なお、ｒはｓよりも小さな自然数であり、本例ではｒ＝３、ｓ＝４である。これにより、判定・補間領域４０の中心４４における画素値ｇ_４４を算出する。

本例の信号処理部３２は、判定・補間領域４１における３行×４列個のＧの出力信号（数２６）に対してガウシアンフィルタを適用する。なお、（数２７）は、ガウシアンフィルタの一例である。

そして、信号処理部３２は、（数２６）および（数２７）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数２７），関数ｆ＝（数２６），Ｍ＝３，Ｎ＝４である。また、ｍ_１＝−１，ｍ_２＝１である。ｎ_１＝−２，ｎ_２＝２であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数２６）および（数２７）の第１行を指定し、ｍ_１が（数２６）および（数２７）の第３行を指定し、ｎ_２が（数２６）および（数２７）の第１列を指定し、ｎ_１が（数２６）および（数２７）の第４列を指定するとする。これにより、ガウシアンフィルタを適用したｇ_４４‐Ｇは、ｇ_４４‐Ｇ＝（１×Ｇ_２２＋２×Ｇ_３２＋１×Ｇ_４２＋３×Ｇ_２３＋６×Ｇ_３３＋３×Ｇ_４３＋３×Ｇ_２４＋６×Ｇ_３４＋３×Ｇ_４４＋１×Ｇ_２５＋２×Ｇ_３５＋１×Ｇ_４５）／３２となる。

また信号処理部３２は、判定・補間領域４１におけるｔ行×ｕ列個のＲの出力信号に先鋭化フィルタを適用する。なお、ｔはｕよりも小さな自然数であり、本例ではｔ＝２、ｕ＝３である。本例の信号処理部３２は、判定・補間領域４１における２行×３列個のＲの出力信号（数２８）に対してラプラシアンフィルタを適用する。なお、（数２９）は、ラプラシアンフィルタの一例である。

そして、信号処理部３２は、（数２８）および（数２９）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数２９），関数ｆ＝（数２８），Ｍ＝２，Ｎ＝３である。また、ｍ_１＝−１，ｍ_２＝１であり、Σの演算においてｎ＝０は除く。ｎ_１＝−１，ｎ_２＝１である。ここで、ｍ_２が（数２８）および（数２９）の第１行を指定し、ｍ_１が（数２８）および（数２９）の第２行を指定し、ｎ_２が（数２８）および（数２９）の第１列を指定し、ｎ_１が（数２８）および（数２９）の第３列を指定するとする。これにより、ラプラシアンフィルタを適用したｇ_４４‐Ｌは、ｇ_４４‐Ｌ＝（−１×Ｒ_３１−１×Ｒ_４１＋２×Ｒ_３２＋２×Ｒ_４２−１×Ｒ_３３−１×Ｒ_４３）／８となる。

平滑化フィルタを適用した値と先鋭化フィルタを適用した値との和をとることにより、中心４４の位置に対応するＧの画素値を算出する。つまり、ｇ_４４‐Ｇとｇ_４４‐Ｌとの和を中心４４における補正後の画素値ｇ_４４とする。

（第２方向性がある場合の補間処理：ｂ_４４，ｒ_４４）信号処理部３２は、画素値ｇ_４４を算出するとともに、Ｒの出力信号を補正した画素値ｒ_４４を算出する。信号処理部３２は、判定・補間領域４１におけるｖ行×ｗ列個のＲの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＲの画素値として算出する。本例では、ｖはｗよりも小さな自然数であり、ｖ＝２、ｗ＝３である。本例の信号処理部３２は、判定・補間領域４１における２行×３列個のＲの出力信号（数３０）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数３０）および（数３１）の畳み込みの値を補正後の画素値ｒ_４４として算出する。なお、（数３１）は、ガウシアンフィルタの一例である。

本例では、（数３）において、Ｍ＝２，Ｎ＝３である。したがって、ｍ_１＝−１，ｍ_２＝１であり、Σの演算においてｍ＝０は除く。また、ｎ_１＝−１，ｎ_２＝１である。ここで、ｍ_２が（数３０）および（数３１）の第１行を指定し、ｍ_１が（数３０）および（数３１）の第２行を指定し、ｎ_２が（数３０）および（数３１）の第１列を指定し、ｎ_１が（数３０）および（数３１）の第３列を指定するとする。これにより、ガウシアンフィルタを適用したｒ_４４は、ｒ_４４＝（１×Ｒ_３１＋１×Ｒ_４１＋２×Ｒ_３２＋２×Ｒ_４２＋１×Ｒ_３３＋１×Ｒ_４３）／８となる。

同様に、信号処理部３２は、判定・補間領域４１におけるｘ行×ｙ列個のＢの出力信号に平滑化フィルタを適用した値を、中心４４の位置に対応するＢの画素値として算出する。本例では、ｘとｙとは等しい自然数であり、ｘ＝ｙ＝２である。本例の信号処理部３２は、判定・補間領域４１における２行×２列個のＢの出力信号（数３２）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数３２）および（数３３）の畳み込みの値を補正後の画素値ｂ_４４として算出する。なお、（数３３）は、ガウシアンフィルタの一例である。

本例では、（数３）において、Ｍ＝２，Ｎ＝２である。したがって、ｍ_１＝−１，ｍ_２＝１であり、Σの演算においてｍ＝０は除く。また、ｎ_１＝−１，ｎ_２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ_２が（数３２）および（数３３）の第１行を指定し、ｍ_１が（数３２）および（数３３）の第２行を指定し、ｎ_２が（数３２）および（数３３）の第１列を指定し、ｎ_１が（数３２）および（数３３）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｂ_４４は、ｂ_４４＝（１×Ｂ_２２＋１×Ｂ_３２＋１×Ｂ_２３＋１×Ｂ_３３）／４となる。

図７Ａは、判定・補間領域４０における各画素と補間生成される画素値の位置との対応関係を示す図である。図４と同様に、マイクロレンズ１２、開口領域および遮光領域の記載を省略する。図７Ｂは判定・補間領域４０に対応する位置において補間生成された画素値を示す図である。図７Ａの中心４２の位置において補間処理された画素値ｇ_３３、ｂ_３３およびｒ_３３は、図７Ｂの中心４２の位置における画素値ｇ_３３、ｂおよびｒにそれぞれ対応する。同様に、図７Ａの中心４４の位置において補間処理された画素値ｇ_４４、ｂ_４４およびｒ_４４は、図７Ｂの中心４４の位置における画素値ｇ_４４、ｂおよびｒにそれぞれ対応する。

図７Ａの判定・補間領域４０における中心４２および中心４４以外の７つの実線の円は、互いに隣接する２つのＧおよび２つのＲの境界の位置、ならびに、互いに隣接する２つのＧおよび２つのＢの境界の位置を示す。当該７つの実線の円の位置に補間処理により生成される画素値は、判定・補間領域４０および４１と同様の処理をして生成されてよい。各実線の円に対応する位置において補間処理により生成された画素値ｇ、ｂおよびｒが、図７Ｂに対応して示されている。例えば、Ｇ１１、Ｇ１２、Ｒ１１およびＲ２１の境界の位置において補間処理により生成された画素値ｇ_２２、ｂ_２２およびｒ_２２が、図７Ｂにおいてｇ_２２、ｂおよびｒとして示されている。なお、図７Ａにおける点線の円は、図７Ｂにおける点線の円に対応する。

本例では、正方形の光電変換部１７を第１方向及び第２方向に配列する。第２方向において互いに隣接する２つのＧと、第１方向において互いに隣接する２つのＢまたは２つのＲとの境界位置において、Ｒ、ＧおよびＢの出力信号を用いて補間後の画素値ｒ、ｇおよびｂをそれぞれ生成する。したがって、従来のように隣接画素同士の出力信号を加算する場合と比較して、解像度を上げることができる。また、ガウシアンフィルタに加えてラプラシアンフィルタを用いるので、ガウシアンフィルタだけを用いる場合と比較して、画像をより先鋭化することができる。したがって、色再現性を犠牲にせずに、解像度を向上させることができる。

本例においては、第２方向に平行な３行かつ第１方向に平行な４列のＧを有する判定・補間領域４０および４１について、画素値を補間処理する方法について述べた。なお、判定・補間領域４０および４１が、さらに多くのＧ、ＢおよびＲを含むように拡張すれば、第２方向および第１方向の方向性判定の精度をさらに向上させることができる。また、画素値を補間処理する場合に、フィルタのカーネルサイズを小さくすれば演算量を減らすことができる。例えば、第１方向に連続性がある場合に、ｇ_３３用のガウシアンフィルタを本例の３行×２列から３行×１列へとすれば、演算量を減らすことができる。同様に、第２方向に連続性がある場合に、ｇ_３３用のガウシアンフィルタを本例の３行×４列から１行×４列とすれば、演算量を減らすことができる。これにより処理速度を向上させることができる。

（変形例）第１の実施形態においては、全ての光電変換部１７が遮光領域および開口領域を有する例を説明した。しかしながら、遮光領域および開口領域を有するＧを、第２方向においてだけ連続して設ける構成としてもよい。また、遮光領域および開口領域を有するＲを、第１方向においてだけ連続して設ける構成としてもよい。遮光領域を有する光電変換部１７の出力信号は、遮光領域を有しない光電変換部１７の出力信号の半分となる。そこで、遮光領域を有する光電変換部１７の画素値を予め２倍する処理を施す。これにより、他の画素の画素値と同様に方向性判定および補間処理を適用することができる。

図８は、第２の実施形態における加算モードとフィルタ処理モードとを切り替える処理を説明するフローチャート７０である。ユーザが本体電源を入れて撮像モードをオンにすることにより、本例のフローが開始される（ステップ７１）。その後、信号処理部３２は被写体を撮像する画像をライブビュー表示するか否か判定する（ステップ７２）。例えば信号処理部３２は、シャッターレリーズが押下されていない場合は画像をライブビュー表示してよい。これに対し、信号処理部３２は、シャッターレリーズが押下された場合は画像を撮像してデータとして記録部６０に保存してよい。信号処理部３２は、ライブビュー表示とするか否かを切り替える切替部を有する。

切替部は、画像をライブビュー表示する場合に、第１方向および第２方向の一方において隣接する２つの画素の信号値の加算により生成する加算モードを選択する（ステップ７３）。これに対し、切替部は、ライブビュー表示をせずに画像をデータとして記録部６０に保存する場合に、平滑化フィルタおよび先鋭化フィルタを適用するフィルタ処理モードを選択する（ステップ７４）。なお、フィルタ処理モードにおいては、信号処理部３２が、第１実施形態における方向性判定および補間処理をする。

加算モードまたはフィルタ処理モードでの出力表示の後、信号処理部３２は撮像モードが継続されるか否かを判断する（ステップ７５）。撮像モードが継続されない場合には、信号処理部３２は処理を終了する。例えば、ユーザが一眼レフカメラ４００の電源をオフにした場合、または、ユーザが撮像モードをオフにする場合には、信号処理部３２は処理を終了する（ステップ７６）。撮像モードが継続される場合には、信号処理部３２は処理を継続する。例えば、ユーザが撮像モードを維持する場合には、信号処理部３２は処理を継続する（ステップ７７）。当該処理により、ライブビュー表示では、加算モードにより粗い画像を表示するので、信号処理部３２の処理負担を軽減することができる。それゆえ、動く被写体を表示し続ける場合に表示が途切れることを防ぐことができる。これに対して、画像をデータとして保存する場合には、ライブビュー表示よりも先鋭な画像をデータとして記録することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

１０ 撮像チップ、１２ マイクロレンズ、１５ バンプ、１７ 光電変換部、３０ 信号処理チップ、３２ 信号処理部、３４ ＡＤ変換部、３６ 焦点検出部、４０ 判定・補間領域、４１ 判定・補間領域、４２ 中心、４４ 中心、４６ 領域、４８ 領域、６０ 記録部、７０ フローチャート、２００ 撮像素子、３４０ シャッタユニット、４１０ 光軸、４００ 一眼レフカメラ、５００ レンズユニット、５５０ レンズマウント、６００ カメラボディ、６２０ ボディ基板、６２２ ＣＰＵ、６２４ 画像処理部、６２５ 画像処理ＡＳＩＣ、６３４ 背面表示部、６５０ ファインダ、６５２ ピント板、６５４ ペンタプリズム、６５６ ファインダ光学系、６６０ ボディマウント、６７０ ミラーボックス、６７２ ミラー

Claims (11)

1. 第１波長の光を透過する第１フィルタと、前記第１フィルタを透過した光を光電変換する第１光電変換部をそれぞれ有し、第１方向に配置される複数の第１画素と、
   前記第１波長と異なる第２波長の光を透過する第２フィルタと、前記第２フィルタを透過した光を光電変換する第２光電変換部をそれぞれ有し、前記第１方向に配置される複数の第２画素と、
   ２つの前記第１画素と２つの前記第２画素とを少なくとも含む領域において、前記第１方向および前記第１方向とは異なる第２方向の少なくとも一つの方向性を判定し、判定した方向性に応じた平滑化フィルタを前記第１画素または前記第２画素からの出力に適用して、前記領域の中心における前記第１画素または前記第２画素の画素値を算出する信号処理部と、
   を備える撮像素子。
2. 請求項１に記載の撮像素子において、
   前記信号処理部は、前記領域に含まれる前記第１画素と前記第２画素とからの出力に基づいて、前記領域の中心における前記第１画素または前記第２画素の画素値を算出する撮像素子。
3. 請求項１または２に記載の撮像素子において、
   前記信号処理部は、前記第１画素と前記第２画素とからの出力の前記第１方向および前記第２方向の少なくとも一つの方向性を判定して、判定した方向性に応じた平滑化フィルタを前記第１画素の出力に適用し、判定した方向性に応じた先鋭化フィルタを前記第２画素の出力に適用して、前記領域の中心における前記第１画素の画素値を算出する撮像素子。
4. 請求項３に記載の撮像素子において、
   前記信号処理部は、判定した方向性によって前記第１画素の画素値を算出するフィルタを画素毎に調整する撮像素子。
5. 請求項３または４に記載の撮像素子において、
   前記信号処理部は、前記領域に含まれる前記第１画素と前記第２画素とからの出力に基づいて、前記第１画素と前記第２画素とからの出力の前記第１方向および前記第２方向の少なくとも一つの方向性を判定する撮像素子。
6. 請求項１から５のいずれか１項に記載の撮像素子において、
   前記第１波長および前記第２波長と異なる第３波長の光を透過する第３フィルタと、前記第３フィルタを透過した光を光電変換する第３光電変換部をそれぞれ有し、前記第１方向に配置される複数の第３画素を有し、
   前記領域は、２つの前記第３画素を少なくとも含み、
   前記信号処理部は、前記第１方向に方向性があると判定する場合、前記領域におけるａ行×ｂ列個の前記第１画素からの出力に平滑化フィルタを適用した値と、前記領域におけるｃ行×ｄ列個の前記第３画素からの出力に先鋭化フィルタを適用した値との和をとることにより、前記領域の中心における前記第１画素の画素値を算出する撮像素子。
7. 請求項６に記載の撮像素子において、
   前記信号処理部は、前記領域におけるｋ行×ｌ列個の前記第２画素からの出力に平滑化フィルタを適用して、前記領域の中心における前記第２画素の画素値を算出し、前記領域におけるｐ行×ｑ列個の前記第３画素の出力に平滑化フィルタを適用して、前記領域の中心における前記第３画素の画素値を算出する撮像素子。
8. 請求項１から５のいずれか１項に記載の撮像素子において、
   前記第１波長および前記第２波長と異なる第３波長の光を透過する第３フィルタと、前記第３フィルタを透過した光を光電変換する第３光電変換部をそれぞれ有し、前記第１方向に配置される複数の第３画素を有し、
   前記領域は、２つの前記第３画素を少なくとも含み、
   前記信号処理部は、前記第２方向に方向性があると判定する場合、前記領域におけるｒ行×ｓ列個の前記第１画素からの出力に平滑化フィルタを適用した値と、前記領域におけるｔ行×ｕ列個の前記第２画素からの出力に先鋭化フィルタを適用した値との和をとることにより、前記領域の中心における前記第１画素の画素値を算出する撮像素子。
9. 請求項８に記載の撮像素子において、
   前記信号処理部は、前記領域におけるｖ行×ｗ列個の前記第２画素からの出力に平滑化フィルタを適用して、前記領域の中心における前記第２画素の画素値を算出し、前記領域におけるｘ行×ｙ列個の前記第３画素からの出力に平滑化フィルタを適用して、前記領域の中心における前記第３画素の画素値を算出する撮像素子。
10. 請求項１から９のいずれか１項に記載の撮像素子において、
    前記信号処理部は、複数の前記第１画素と複数の前記第２画素とを有する撮像部に積層される撮像素子。
11. 請求項１から１０のいずれか１項に記載の撮像素子と、
    前記信号処理部で算出された画素値に基づいて画像データを生成する生成部と、
    を備える撮像装置。

Images