WO2014024500A1

WO2014024500A1 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム

Info

Publication number: WO2014024500A1
Application number: PCT/JP2013/004798
Authority: WO
Inventors: 石賀　健一
Original assignee: 株式会社ニコン
Priority date: 2012-08-10
Filing date: 2013-08-08
Publication date: 2014-02-13
Also published as: JPWO2014024500A1; US20150264333A1; US9509978B2; CN104429056A; JP5904281B2; CN104429056B

Abstract

　第１の画像の左視差画素の画素値を用いて、各画素に仮の左視点画像を生成する手順と、第１の画像の右視差画素の画素値を用いて、各画素に仮の右視点画像を生成する手順と、第１の画像の少なくとも視差なし画素の画素値を用いて、各画素に基準視点画像を生成する手順と、基準視点画像に対して、エッジ強調処理を行って、エッジ強調された基準視点画像を生成する手順と、エッジ強調された基準視点画像と仮の左視点画像と仮の右視点画像に基づき、各画素に左方向の視点に関する画像と右方向の視点に関する画像のそれぞれを生成する手順とを備える。

Description

画像処理方法、画像処理装置、撮像装置および画像処理プログラム

　本発明は、画像処理方法、画像処理装置、撮像装置および画像処理プログラムに関する。

　単一の撮像光学系を用いて、互いに視差を有する複数の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
　　［特許文献１］　特開２００３－７９９４号公報

　特許文献１には、一台のカメラによる新しい立体撮像方式を採用した場合、実際に撮像データから高精細な立体カラー画像を生成する具体的な方法が開示されていない。通常、一台のカメラで２D撮像する場合の２Dカラー画像生成では、色補間をし、その後にノイズ除去、エッジ強調等を施して、高精細な２D画像を得る手法が知られている。しかしながら、新しい３D撮像方式では、どのような手続きを経れば、最終的に高精細な立体画像を得ることができるのか、未知の状況にある。例えば、この種の撮像装置において、生成した視差画像を用いてより高解像な視差画像を生成する場合がある。この場合に、生成した複数の視差画像に対して個別にエッジ強調、ノイズ除去等のフィルタリング処理を施すと、各々の視差画素のサンプリング密度の不足に伴って、かえって各々の視差画像においてモアレ・偽解像を発生させるおそれがある。

　本発明の第１の態様における画像処理方法は、１つの画素に１つの開口マスクを有する複数の画素からなり、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と、基準方向に対して右方向の視差を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を配置した画素配列からなる撮像素子を用いて、１つの光学系を通して被写体像を基準方向の視点と左方向の視点と右方向の視点を同時にそれぞれ異なる画素に撮像した第１の画像を入力し、左方向の視点に関する画像と、右方向の視点に関する画像に変換する画像処理方法であって、第１の画像の左視差画素の画素値を用いて、各画素に仮の左視点画像を生成する手順と、第１の画像の右視差画素の画素値を用いて、各画素に仮の右視点画像を生成する手順と、第１の画像の少なくとも視差なし画素の画素値を用いて、各画素に基準視点画像を生成する手順と、基準視点画像に対して、エッジ強調処理を行って、エッジ強調された基準視点画像を生成する手順と、エッジ強調された基準視点画像と仮の左視点画像と仮の右視点画像に基づき、各画素に左方向の視点に関する画像と右方向の視点に関する画像のそれぞれを生成する手順とを備える。

　本発明の第２の態様における画像処理方法は、１つの画素に１つの開口マスクを有する複数の画素からなり、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と、基準方向に対して右方向の視差を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を配置した画素配列からなる撮像素子を用いて、１つの光学系を通して被写体像を基準方向の視点と左方向の視点と右方向の視点を同時にそれぞれ異なる画素に撮像した第１の画像を入力し、左方向の視点に関する画像と、右方向の視点に関する画像に変換する画像処理方法であって、第１の画像の左視差画素の画素値を用いて、各画素に仮の左視点画像を生成する手順と、第１の画像の右視差画素の画素値を用いて、各画素に仮の右視点画像を生成する手順と、第１の画像の視差なし画素の画素値を用いて、各画素に基準視点画像を生成する手順と、基準視点画像に対して、ノイズ除去処理を行って、ノイズ除去された基準視点画像を生成する手順と、ノイズ除去された基準視点画像と仮の左視点画像と仮の右視点画像に基づき、各画素に左方向の視点に関する画像と右方向の視点に関する画像のそれぞれを生成する手順とを備える。

　本発明の第３の態様における画像処理装置は、基準方向に対して第１方向にずれた視点に対応する第１視差画像データと、基準方向に対して第１方向とは反対の第２方向にずれた視点に対応する第２視差画像データとを取得する視差画像データ取得部と、基準方向に対応し、かつ、第１視差画像データおよび第２視差画像データの空間周波数解像度より高解像な基準画像データを取得する基準画像データ取得部と、基準画像データに対してエッジ調整およびノイズ除去の少なくともいずれかのフィルタリング処理を施すフィルタ処理部と、フィルタリング処理が施された基準画像データ、第１視差画像データおよび第２視差画像データを用いて、第１方向にずれた視点に対応する第３視差画像データと、第２方向にずれた視点に対応する第４視差画像データとを生成する視差画像データ生成部とを備える。

　本発明の第４の態様における撮像装置は、第１視差画像データおよび第２視差画像データの少なくともいずれかを出力する撮像素子と、上記の画像処理装置とを備える。

　本発明の第５の態様における画像処理プログラムは、基準方向に対して第１方向にずれた視点に対応する第１視差画像データと、基準方向に対して第１方向とは反対の第２方向にずれた視点に対応する第２視差画像データとを取得する視差画像データステップと、基準方向に対応し、かつ、第１視差画像データおよび第２視差画像データの空間周波数解像度より高解像な基準画像データを取得する基準画像データステップと、基準画像データに対してエッジ調整およびノイズ除去の少なくともいずれかのフィルタリング処理を施すフィルタ処理ステップと、フィルタリング処理が施された基準画像データ、第１視差画像データおよび第２視差画像データを用いて、第１方向にずれた視点に対応する第３視差画像データと、第２方向にずれた視点に対応する第４視差画像データとを生成する視差画像データ生成ステップとをコンピュータに実行させる。

　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラ１０の構成を説明する図である。撮像素子１００の断面の構成を説明する図である。視差なし画素におけるデフォーカスの概念を説明する図である。視差画素におけるデフォーカスの概念を説明する図である。視差なし画素と視差画素の光強度分布を示す図である。視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。Ｂａｙｅｒ型Ｇ視差画素配列およびこの配列の周波数空間における分解能を示す図である。視差画像のモアレを説明する図である。画素配列図およびこの配列の周波数空間における分解能を示す図である。画素配列図およびこの配列の周波数空間における分解能を示す図である。視差画素の種類が２つである場合の繰り返しパターン１１０のバリエーションの一例を示す図である。ゲイン値の算出を説明するための図である。ゲイン補正を説明するための図である。仮の視差画像の生成を説明するための図である。ゲイン値の算出を説明するための図である。ローカル・ゲイン補正を説明するための図である。Ｇ成分の補間を説明する図である。カラー視差プレーンデータの生成処理を説明する図である。画素値の補間の一例を示す図である。

　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

　画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて左視点および右視点の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

　図１は、デジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

　なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向を＋Ｘ軸方向、紙面上方向＋Ｙ軸と定める。撮影における構図との関係は、Ｘ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

　撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

　Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、補間処理部２３１、基準画像データ生成部２３２、フィルタ処理部２３３、および視差画像データ生成部２３４を有する。

　補間処理部２３１は、撮像素子１００の出力に基づいて左視点の左視差画像データおよび右視点の右視差画像データを生成する。補間処理部２３１により生成される左視差画像データおよび右視差画像データは、基準画像データ生成部２３２および視差画像データ生成部２３４の処理に利用されるデータである。補間処理部２３１により生成される左視差画像データおよび右視差画像データそのものが最終的な左視差画像データおよび右視差画像データとして出力されるわけではないので、当該左視差画像データおよび当該右視差画像データは、最終的な視差画像データを生成するための仮の視差画像データといえる。補間処理部２３１により生成される左視差画像データおよび右視差画像データの空間周波数解像度は、視差画像データ生成部２３４により生成される左視差画像データおよび右視差画像データの空間周波数解像度より低い。

　基準画像データ生成部２３２は、補間処理部２３１により生成された左視差画像データおよび右視差画像データの画素値を用いて基準画像データを生成する。基準画像データの詳細は後述する。基準画像データの空間周波数解像度は、補間処理部２３１により生成された左視差画像データおよび右視差画像データの空間周波数解像度より高い。

　フィルタ処理部２３３は、基準画像データ生成部２３２により生成された基準画像データに対してエッジ調整およびノイズ除去の少なくともいずれかのフィルタリング処理を施す。以下の説明では、エッジ調整として主にエッジ強調を例に挙げて説明する。

　視差画像データ生成部２３４は、補間処理部２３１により生成された左視差画像データおよび右視差画像データ、並びにフィルタ処理部２３３によりフィルタリング処理が施された基準画像データを用いて、視差画像データ生成部２３４により生成された左視差画像データおよび右視差画像データよりも、高解像な左視差画像データおよび高解像な右視差画像データを生成する。

　画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

　ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

　次に、撮像素子１００の構成について詳細に説明する。図２は、撮像素子１００の断面を表す概略図である。

　撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

　光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

　一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

　カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列すると良い。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであっても良い。

　マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

　このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

　なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。

　また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担っても良い。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

　また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されても良い。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。

　次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する図である。図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

　一方、図３（ｂ）に示すように、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

　また、図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

　図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。

　図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

　一方、図４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。

　図３で説明した光強度分布の変化と、図４で説明した光強度分布の変化をそれぞれグラフ化すると、図５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

　図５（ａ）は、図３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

　図５（ｂ）は、図４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）に対して同等のデフォーカス状態である図３（ｂ）の分布曲線１８０２と相似形状を示す。

　分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）に対して同等のデフォーカス状態である図３（ｃ）の分布曲線１８０３と相似形状を示す。

　図６は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図６（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。本実施形態においては、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。また、開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、基準方向に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。

　図６（ｂ）は、図６（ａ）で示した各開口部を有する画素において、物点が焦点位置からずれた場合の光強度分布を示す。図中において、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ幅は、図５（ｂ）の合成分布曲線１８０６で示される、Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。

　図６（ｃ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状と、視差Ｃ画素の開口部１０４ｃの形状とが、全て同形状である例を示している。ここで、視差Ｃ画素は、偏心のない画素をいう。視差Ｃ画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導く点で、厳密には、視差画像を出力する視差画素である。しかしながら、ここでは、基準方向に対応する開口部を有する画素を視差なし画素と定義する。したがって、基準方向として、図６（ａ）の視差なし画素と同様に光電変換素子の中央に開口部を有する図６（ｃ）の視差Ｃ画素は、視差なし画素である。また、開口部１０４ｌ、開口部１０４ｒ、開口部１０４ｃは、図６（ａ）で示した開口部１０４ｎの半分の面積である。図６（ａ）の場合と同様、開口部１０４ｌおよび１０４ｒのそれぞれは、光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２と接している。

　図６（ｄ）は、図６（ｃ）で示した各開口部を有する画素において、物点が焦点位置からずれた場合の光強度分布を示す。図中において、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。また、それぞれの開口部１０４ｃ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌおよび開口部１０４ｒと同形状、同面積である開口部１０４ｃを有する視差Ｃ画素のボケ幅は、視差Ｌｔ画素および視差Ｒｔ画素のボケ幅と同程度となる。以上のように、単眼瞳分割撮像方式では、通常の２眼式立体撮像と比べて、ボケの中に視差が含まれ、合焦位置では２Ｄ撮像と同じ光学像を取得しているという特徴がある。

　特許文献１には、カラーフィルタと、左右の視差画素のみが配列された画素配列との組み合わせからなる色・視差配列が開示されている。特許文献１に示された色・視差配列に限らず、例えば、左右の視差画素の他に視差なし画素が配列された色・視差配列を用いることもできる。これら色・視差配列による撮像は、いずれも単眼瞳分割撮像方式による立体撮像と呼ぶことができる。

　立体画像の生成方法として、画像処理部２０５が、左視差画素のみのサンプリング点（格子点）を集めて空格子点を補間することによって左視差画像を生成し、右視差画素のみのサンプリング点を集めて空格子点を補間することによって右視差画像を生成することが考えられる。しかしながら、左右の視差画像を独立に補間処理する方法では、それぞれの視差画素のサンプリング解像限界を超えた解像が得られないという問題が必然的に存在する。

　一方で、全開口の視差なし画素を共存させた配列の場合には、一旦視差なしの２Ｄ画像を中間画像（以下、「２Ｄ中間画像」とも記す）として生成することにより、その２Ｄ中間画像は、一定の条件下で全画素サンプリングしたときの解像限界に等しいナイキスト周波数まで解像力をもつことが可能となる。すなわち、上述のように、単眼瞳分割撮像方式の固有の特性として、合焦位置の被写体像の点像分布関数は、視差なし画素も左視差画素も右視差画素も全て同じ点像分布関数となる。このため、合焦位置近辺では、２Ｄ専用センサと同じ被写体像を捉えており、その解像を最大限に導きだすことができる。

　そうして得られた２Ｄ中間画像を用いて、左右の視差画素を独立に仮補間した低解像の左視差画像と低解像の右視差画像に対して、後述する視差変調によって２Ｄ中間画像の高周波成分を重畳すると、各視差画素のサンプリング限界を超える高解像の左視差画像と高解像の右視差画像を得ることができる。

　ここで注意が必要なのは、視差変調によって得られた高解像な左視差画像と高解像な右視差画像にも、合焦位置から外れた非合焦域の被写体像になると、２Ｄ中間画像の高周波解像が反映されつつも、元の低解像の左視差画像と低解像の右視差画像に存在していた解像限界以上の高周波成分が低周波モアレとなって現れてしまうという問題である。一方、２Ｄ中間画像には、非合焦域でもそのようなモアレ成分は現れない。すなわち、２Ｄ中間画像では、安定的に高解像を実現できる。

　したがって、このような事実を踏まえれば、３Ｄ画像でエッジ強調処理を行うには、次のように結論することができる。まず、左視差画像と右視差画像に個別にエッジ強調処理をするのではなく、一旦高解像な２Ｄ中間画像を生成した上で、その２Ｄ画像に対してエッジ強調処理を行う。その後、視差変調を加えることによって、エッジ強調処理の行われた３Ｄ画像を生成する。このような画像処理手順を経ると、視差画素のサンプリング限界を超えるエイリアジング・モアレを強調することなく、高精細で自然なエッジ強調立体画像を得ることができる。

　図７は、Ｂａｙｅｒ型Ｇ視差画素配列およびこの配列の周波数空間における分解能を示す図である。図７に示す配列では、左視差画素（Ｌｔ）と右視差画素（Ｒｔ）と視差なし画素（Ｎ）が混在している。カラーフィルタ配列はＢａｙｅｒ配列構造をとり、一方のＧ画素には左開口の視差画素が、もう一方のＧ画素には右開口の視差画素が開口マスクとして設けられている。さらに、Ｒ画素とＢ画素には全開口の視差なし画素が設けられている。これは、後述する実施形態１で説明する配列に対応する。また、図７では、各色成分とそれぞれの視差に対応するサンプリング解像限界を表す周波数空間図（ｋ空間図）が併せて示されている。ただし、解像周波数ｆ［本／ｍｍ］と波数ｋとの間にはｋ=２πｆの関係がある。

　合焦位置におけるモノクロ被写体（例えば、サーキュラー・ゾーン・プレート）は、前述の２Ｄ中間画像が生成されると、一番外側のナイキスト周波数限界にまで解像され得る。他方、非合焦域では、基本的に内側の正方領域に解像周波数は制限される。

　図８は、視差画像のモアレを説明する図である。図８（ａ）は視差なし画像、図８（ｂ）は左視差画像、図８（ｃ）は右視差画像を示す。図８（ｂ）、（ｃ）に示す画像は、後述する実施形態１に示すエッジ強調処理の部分を除いた過程を経て生成されている。前述の合焦位置から少しだけ外れた被写体像について、２Ｄ中間画像を経て３Ｄ画像を得た場合には、図８（ｂ）、（ｃ）に示すように、視差画素のサンプリング限界に伴うモアレ成分が左右の視差画像に現れてしまう。したがって、左視差画像と右視差画像で個別にエッジ強調すると、偽解像のモアレ成分を強調してしまって画質を損なう。２Ｄ中間画像に対してエッジ強調を行えば、モアレ成分を強調することなく、高精細な３Ｄエッジ強調処理が可能となる。

　左視差画素（Ｌｔ）と右視差画素（Ｒｔ）と視差なし画素（Ｎ）が混在するような色・視差配列として、他の配列を用いることもできる。例えば、後述する実施形態２で説明する視差画素を疎な密度にした配列、後述する実施形態３で説明する視差画素を疎な密度にし、かつモノクロの配列を用いることもできる。

　以下に示す実施形態では、上述したように、まず高解像な２Ｄ中間画像を生成し、生成した２Ｄ中間画像を３Ｄ画像に重畳して２Ｄ、３Ｄ共に高解像な出力画像を得る。視差画素と視差なし画素の色情報を相互に参照して、その相関関係を利用する工夫を導入している。

　次に、ノイズ除去について説明する。ノイズ除去フィルタは、画像の解像度が高ければ高いほど、エッジ構造を保存する必要がある領域か高精度で判定できる。これにより、エッジ構造を保存すべき領域において、画像構造に関する情報が排除され難くなる。したがって、エッジ強調の場合と同様に、高解像な２Ｄ中間画像に対してノイズ除去処理を施すことが望ましい。フィルタとしては、公知のｅｄｇｅ-ｐｒｅｓｅｒｖｉｎｇｓｍｏｏｔｈｉｎｇｆｉｌｔｅｒを用いることができる。

　ところで、ノイズ除去の場合は、エッジ強調の場合と違って、仮補間された低解像の左視差画像と右視差画像にも同様にノイズのゆらぎ成分が現れる。視差変調の段階でノイズが伝播しないように、視差変調を行う前の低解像の左視差画像と右視差画像の段階でノイズのゆらぎ成分を取り払っておくのが望ましい。

　ところが、後述する実施形態２および実施形態３のような疎な視差画素配列の構造を考えた場合には、視差なし画素の数が最も多く、疎な視差画素は飛び飛びの位置にしか存在しない。このため、それらの間の点を平均補間によって算出された補間値には、元々高周波のノイズ成分は含まれ得ないという特質を持つ。したがって、疎な視差画素配列の場合には、ＩＳＯ８００～ＩＳＯ６４００程度の常用高感度領域程度であれば、中間２Ｄ画像のみに対してノイズ除去処理をするだけでよい。詳しくは後述する実施形態４で説明する。超高感度のＩＳＯ１２８００～ＩＳＯ４０９６００の領域では、たとえ疎な視差画素であってもそのゆらぎ成分は目立つ。したがって、ゆらぎ成分を取り除く必要がある。

　しかしながら、実解像度の全ての画素に対し、ゆらぎ成分を取り除く処理を行わなくてもよい。撮像素子でサンプリングされた左視差画素、あるいは右視差画素が一画素に一つだけ含まれる程度にまでダウンサンプリングした縮小画像でノイズ成分を抽出しておいて、それを変倍拡大処理して実解像度に戻し、減算処理するだけでよい。例えば、本出願人と同一発明者の特開２００６‐３０９７４９号公報に示される多重解像度ノイズ除去技術を用いることができる。具体的には、高解像度から低解像度に多重解像度変換で順次縮小し、それらの各解像度でノイズ成分を抽出し、それらを逐次統合して実解像度のノイズ成分に戻す処理を、高解像度側の数段分を省いて行えばよい。したがって、仮補間された視差画像に対しては、ノイズ除去処理の最も演算規模の大きい高解像度側の処理を全て省くことができる。よって、極めて簡便に、すなわち、ソフトウェアの場合は高速に、ハードウェアの場合は回路規模が少なく演算することができる。

＜実施形態１＞
　‐‐‐Ｂａｙｅｒ型Ｇ視差画素配列、エッジ強調‐‐‐
　画像処理の手順は、およそ以下の通りである。
　１）色・視差多重化モザイク画像データ入力
　２）色・視差モザイク画像のグローバル・ゲインバランス補正
　３）仮の視差画像の生成
　４）左右の局所照度分布補正による視差なし色モザイク画像の生成
　（ローカル・ゲインバランス補正）
　５）視差なし基準画像の生成
　６）視差なし基準画像に対するエッジ強調処理
　７）実際の視差画像の生成
　８）出力色空間への変換
　以下、順に説明する。

　１）色・視差多重化モザイク画像データ入力
　図７の色と視差の多重化された単板式モザイク画像：M(x,y)
　階調はA/D変換によって出力された線形階調であるものとする。すなわち、光量に比例した画素値を持つ。これをRAWデータと呼ぶこともある。

　本実施形態では、相加平均を採用する。こうして左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。なお、本ステップはステップ４のローカル・ゲイン補正を行うだけでも同時に実現できるので、場合によっては省いてもよい。

　３）仮の視差画像の生成
　空間周波数解像度の低い分解能の左視差画像と右視差画像を生成する。
　左視差画素ばかりを集めたG色面内の単純平均補間を行う。隣接に存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。すなわち、Lt_mosaic(x,y)からLt(x,y)を、Rt_mosaic(x,y)からRt(x,y)を生成する。
　仮の左視差画像：Lt(x,y)
　仮の右視差画像：Rt(x,y)
　なお、仮の左視差画像Lt(x,y)と仮の右視差画像Rt(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。

　４）左右の照度分布補正による視差なし色モザイク画像の生成
　（ローカル・ゲインバランス補正）
　次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、画面内の左視差画素と画面内の右視差画素の照度を合わせる。そうして、ゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをM_N(x,y)と書くことにする。
　この場合も、各画素の基準点として揃える目標値の設定方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。

　各画素にローカル・ゲイン補正を掛けている処理は、実際には最初に求めた各画素の平均値を代入するだけでよい。この意味で、ローカル・ゲイン補正は視差消滅させるための変調処理であるということができる。本実施形態では、相加平均を採用する。このように左視点の画像と右視点の画像の平均値を新たなG画素位置の視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像M_N(x,y)を出力する。

　５）視差なし基準画像の生成
　こうしてG成分の照度バランスが揃い、視差の消滅したBayer面M_N(x,y)から、従来の色補間の技術を用いてセンサが持つ画素数相当のナイキスト周波数にまで分解能をもつ視差なしのカラー画像を中間画像として生成することができる。例えば、公知のBayer補間技術の最も優れた例として、本出願人と同一発明者のUS公開2010/021853に示される補間アルゴリズムがある。この技術には、本出願人と同一発明者の方向判定の分解能を上げて縦横のナイキスト周波数を解像する技術USP6,836,572、補間値算出時の斜め方向の分解能を上げる技術USP7,236,628、色判定法による適応的偽色対策技術と方向判定の分解能を上げる技術USP7,565,007、色勾配判定法による適応的偽色対策技術USP7,391,903と方向判定の分解能を上げる技術への適用が総合的に用いられた最良の高性能デモザイク技術が導入されている。

　以下ではそれらの全てを示さずに、輝度を担うG成分の縦横ナイキスト解像と斜め解像を上げていく部分とR,B成分の分解能を上げる目的で色差補間を用いる部分だけを取り出して記述する。

　５‐１）階調変換によるガンマ空間への移行
　上述の高解像なBayer補間を行うことを目的として、更に均等ノイズ空間を実現する階調変換を行って、補間用のガンマ空間（画像処理空間）で、補間値の予測を行う。これは本出願人と同一発明者のUSP7,957,588によって導入された方法である。

　入力信号をx、出力信号をyとし、入力信号の階調と出力信号の階調が共に、[0,1]の範囲で定義されるものとする。入出力特性は(x,y)=(0,0)と(1,1)を通るように階調曲線（ガンマ曲線）を定義する。実際の入力階調Xの最大値をXmax、出力階調Yの最大値をYmaxとすると、x=X/Xmax、y=Y/Ymaxであり、階調変換は、

　によって行われる。
　ここに、y=f(x)の階調特性は、

　である。正のオフセット値εは、暗電流ノイズ成分が増える高感度の撮影条件になるほど大きな値を設定する。

　５‐２）色補間処理
　色補間処理の部分については、本出願人と同一発明者のUSP7,957,588（WO2006/006373）に示された簡易な処理だけをもう一度、書き写す。ただし、(x,y)は[i,j]の記号を用いて説明する。また、階調変換後のM_N面上のG成分はG、R,B成分はZの記号を用いて参照する。

　ステップＳ４において、ＣＰＵは以下のように補間処理を行う。ここで、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と呼び、補間処理用の空間における画素位置[i,j]で示される画素に対応するＲ成分の信号値をＲ[i,j]、Ｇ成分の信号値をＧ[i,j]、Ｂ成分の信号値をＢ[i,j]で表すことにする。

（方向判定）
　ＣＰＵは、画素位置[i,j]で示されるＧ画素でない画素（Ｒ画素もしくはＢ画素）に関して、縦方向の類似度CvＮ[i,j]、および横方向の類似度ChＮ[i,j]をそれぞれ次式（３）、（４）により算出する。

　ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。第一項は、２画素間隔の同色間の類似度を表す同色間類似度を、第二項は、隣接画素間隔の異色間の類似度を表す異色間類似度である。異色間類似度は、縦横のナイキスト周波数を解像する能力がある。

　上式(３)、(４)における第１項の絶対値は、Ｇ色成分同士で比較して大まかな方向性を検出する。上式(３)、(４)の第２項および第３項の絶対値は、第１項では検出できない細かな類似性を検出する。ＣＰＵは、上式(３)、(４)により得られた縦方向の類似度および横方向の類似度を各座標ごとに算出し、対象とする座標［i,j］における縦横の類似度に基づいて次式（５）により類似性の方向を判定する。

　ただし、Thは信号値に含まれるノイズによる誤判定を避ける目的で用いられる判定閾値であり、上記ＩＳＯ感度に応じて変化させる。HV［i,j］は画素位置［i,j］に関する類似性の方向を示し、HV［i,j］=0の場合は縦横両方向類似、HV［i,j］=1の場合は縦方向類似、HV［i,j］=-1の場合は横方向類似である。

（Ｇ補間）
　ＣＰＵは、判定した類似方向に基づき、Ｒ成分もしくはＢ成分の凸凹情報を利用してＧ成分の補間を行う。すなわち、周辺のＧ成分の内分点補間だけでは予測できない外分点に補間すべきか否かの情報を補間対象位置に存在する他の色成分の情報と近傍に位置するそれと同じ色成分の情報を見て、画像構造が上に凸なのか下に凸なのかを判断することによって得ることができる。すなわち、他の色成分のサンプリングによって得られた高周波成分の情報を補間対象色成分に重畳する。Ｇ色補完は、WO2006/006373のたとえば図４で示される中央のＲ画素の位置［i,j］に対して、縦方向類似の場合は次式(６)および（９）により算出し、横方向類似の場合は次式(７)および（１０）により算出する。Ｂ画素の位置に対してＧ色補間を行う場合の画素位置は、WO2006/006373の図５によって示される。

　ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。第一項の補間対象の色成分の平均値に対して、第二項の他の色成分による二次微分の補正項を加えることによって、斜め方向の空間分解能を上げる作用をする。

　上式(９)における第１項は、画素位置［i,j］に対して縦に並ぶＧ成分の信号値Ｇ［i,j-1］およびＧ［i,j+1］から算出される平均値を表す。上式(９)における第２項は、縦に並ぶＲ成分の信号値Ｒ［i,j］、Ｒ［i,j-2］およびＲ［i,j+2］から算出される変化量を表す。Ｇ成分の信号値の平均値にＲ成分の信号値の変化量を加えることにより、Ｇ成分の補間値Ｇ［i,j］が得られる。このような補間をＧ成分の内分点以外も予測可能なことから、便宜的に外挿補間と呼ぶことにする。

　上式(１０)は、上述した縦方向の外挿補間の場合と同様に、画素位置［i,j］に対して横に並ぶ画素の信号値を用いて横方向に外挿補間を行う。ＣＰＵは、類似の方向が縦横両方向と分類されている場合は、上式(９)および(１０)によりＧ色補間値をそれぞれ算出し、算出された２つのＧ色補間値の平均をとってＧ色補間値とする。

（Ｒ補間）
　Ｒ色補間は、WO2006/006373のたとえば図６で示されるＲ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１１)～(１３)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（WO2006/006373の図７）の凸凹情報が利用される。

　上式(１１)～(１３)における第１項は、Ｒ成分補間の対象とする座標に隣接するＲ成分信号値から算出される平均値を表し、上式(１１)～(１３)における第２項は、Ｒ成分補間の対象とする座標およびこの座標に隣接するＧ成分信号値から算出される変化量を表す。すなわち、Ｇ補間で行われた外挿補間と同様に、Ｒ成分信号値の平均値にＧ成分の信号値の変化量を加えてＲ成分の補間値を得る。これは、Ｒ位置で色差Ｃｒ＝Ｒ－Ｇを生成し、この色差面内で平均補間する方式と等価である。

（Ｂ補間）
　Ｂ成分補間についてもＲ成分と同様に補間処理を行う。WO2006/006373のたとえば図８で示されるＢ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１４)～(１６)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（WO2006/006373の図９）の凸凹情報が利用される。

　上式(１４)～(１６)によれば、Ｂ成分信号値の平均値にＧ成分の信号値の変化量を加えてＢ成分の補間値を得る。これは、Ｂ位置で色差Ｃｂ＝Ｂ－Ｇを生成し、この色差面内で平均補間する方式と等価である。Ｒ成分およびＢ成分は、Ｇ成分に比べてサンプル周波数が低いので、色差Ｒ－Ｇ、色差Ｂ－Ｇを利用してＧ成分信号値が有する高周波数成分を反映させる。よって、このようなクロマ成分に対する補間を便宜的に色差補間と呼ぶことにする。

　６）視差なし基準画像に対するエッジ強調処理
　６‐１）色空間変換処理
　ステップ５のBayer補間で得られた視差なしのRGBカラー画像をR_N ^Γ(x,y)、G_N ^Γ(x,y)、B_N ^Γ(x,y)によって表す。これらは補間ガンマ空間の階調で表されたRGBデータである。これらのRGBデータを輝度と色差で表される表色系のYCbCr空間へ変換する。
　Y（x,y）=0.2990R_N ^Γ(x,y)+0.5870G_N ^Γ(x,y)+0.1140B_N ^Γ(x,y)
　Cb（x,y）=-0.1684R_N ^Γ(x,y)-0.3316G_N ^Γ(x,y)+0.5000B_N ^Γ(x,y)
　Cr（x,y）=0.5000R_N ^Γ(x,y)-0.4187G_N ^Γ(x,y)-0.0813B_N ^Γ(x,y)

　６‐２）エッジ強調処理
　輝度Y面に対して、エッジ強調処理を行う。
　Y'(x,y)=Y(x,y)+k*△Y(x,y)
　ここに、△は２次微分を表すラプラシアンフィルタを表す。定数kは、エッジ強調の度合いを調整するパラメータである。ラプラシアンフィルタとして、例えば、以下のようなフィルタ係数が考えられるが、これに限らない。

　６‐３）逆色空間変換処理
　エッジ強調された輝度成分Y'(x,y)とそのままの色差成分Cb(x,y)、Cr(x,y)を用いて、YCbCr空間からRGB空間に戻す。ステップ６‐１）の逆行列を掛けるだけでよい。JPEGで採用されている定義と同じであるので、ここでは説明を省略する。

　６‐４）逆階調変換による元の線形階調空間への移行
　Bayer補間とエッジ強調処理されたRGB各色面に対して、ステップ５‐１の逆階調変換を施し、線形階調のRGBデータに戻す。

　こうして、得られた視差なしのRGBカラー画像をR_N(x,y)、G_N(x,y)、B_N(x,y)によって表す。これらは線形階調で表されたRGBデータである。

　７）実際の視差画像の生成
　ステップ３で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)を生成する。これは、仮の視差画像が持つ視差成分を重畳することによって変位処理を実現するため、視差変調と呼ぶことができる。

　視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用するのがよい。したがって、本実施形態では相加平均を基準点とする方式を用いる。

　このように、ステップ７で定義した視差変調演算式と、ステップ４で定義した左右間の照度ムラ補正のための視差消滅演算式（ローカル・ゲインバランス補正）とがちょうど逆比の関係にある項を掛けて変調を加えていることがわかる。したがって、ステップ７では視差が加わる方向に働き、ステップ４では視差が消滅する方向に働く。

　８）出力色空間への変換
　こうして得られた高解像な視差なしの中間カラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)と高解像の左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)、高解像の右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)のそれぞれをセンサの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。以上により、エッジ強調がなされた高精細な２Ｄ画像および３Ｄ画像が生成される。

＜実施形態１の追加説明＞
　図１１は、視差画素の種類が２つである場合の繰り返しパターン１１０の一例を示す図である。デジタルカメラ１０の座標系は、Ｘ軸、Ｙ軸、Ｚ軸で定義したが、撮像素子１００においては、左端かつ上端の画素を基準に右方向にｘ軸を、下方向にｙ軸を定義する。図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。この繰り返しパターン１１０は、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌｔ画素と視差Ｒｔ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。また、この例では、図６（ａ）で説明したように、視差なし画素が全開口の開口部であり、視差Ｌｔ画素および視差Ｒｔ画素が半開口の開口部であるとする。なお、画素ピッチをａとする。

　図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。

　図７（下段）は、図１１に示す繰り返しパターン１１０が採用された撮像素子で撮像された画像の空間周波数に関する分解能を示す図である。図７（下段）では、空間周波数に関する分解能は、ｋ＝２πｆで表される波数ｋのｋ空間（ｋ－ｓｐａｃｅ）で記述されている。ただし、ｆは周波数を示す。周波数解像域は、逆格子空間の単位胞（ウィグナー・ザイツ・セル）を表す第一ブリルアンゾーンによって記述される。

　上述のように画素ピッチをａとすると、カラーフィルタおよび開口マスクが配置されていなければ、撮像された画像は、点線で囲われたナイキスト周波数ｋ_ｘ＝［－π／ａ，＋π／ａ］、ｋ_ｙ＝［－π／ａ，＋π／ａ］の範囲の解像力を持つ。つまり、点線で囲われた範囲が、画像が持つ限界解像周波数となる。ただし、本実施の形態においては、カラーフィルタと開口マスクが、１つのセンサ面に重ね合わせて配置されている。１つのセンサ面で捉えられる情報は一定であるので、機能を分けることによってそれぞれの情報量が減ることになる。例えば、開口マスクによって視差画素が形成されることにより、相対的に視差なし画素数は減少するので、視差なし画素により得られる情報量は減ることになる。カラーフィルタについても同様であり、Ｒ，Ｇ，Ｂの３つに分けた分だけ、個々の情報量は減ることになる。

　したがって、特定の開口マスクにおける特定色の画像に着目すると、当該画像の限界解像周波数は、本来有するナイキスト周波数に達しない。具体的には、図示するように、例えば左側視点のＧ成分の画像Ｇ_Ｌｔは、ｋ_ｘ軸、ｋ_ｙ軸の両方向に対して、本来有するナイキスト周波数の半分の領域である、ｋ_ｘ＝［－π／（２ａ），＋π／（２ａ）］、ｋ_ｙ＝［－π／（２ａ），＋π／（２ａ）］の範囲の解像力しか持たない。右側視点のＧ成分の画像Ｇ_Ｒｔ、視差がない中間視点のＲ成分の画像Ｒ_Ｎ、視差がない中間視点のＢ成分の画像Ｂ_Ｎについても同様である。

　したがって、このままでは、左側視点のＲＧＢのカラー画像と右側視点のＲＧＢのカラー画像を生成したとしても、これらの画像の解像力は、ｋ_ｘ＝［－π／（２ａ），＋π／（２ａ）］、ｋ_ｙ＝［－π／（２ａ），＋π／（２ａ）］の範囲である。つまり、これらの画像は、本来有するナイキスト周波数ｋ_ｘ＝［－π／ａ，＋π／ａ］、ｋ_ｙ＝［－π／ａ，＋π／ａ］の範囲の解像力を持たない。

　本実施の形態においては、画像処理部２０５が、機能を分けることによって減少した情報量を補うべく、解像度を上げるための処理を行う。具体的には、視差画素であるＧ_Ｌｔ画素およびＧ_Ｒｔ画素を、仮想的な視差なし画素Ｇ_Ｎで置き換えることで、視差なし画素のみからなるベイヤー配列を生成する。そうすると、既存のベイヤー補間の技術を利用して、視差がない中間画像として、本来のナイキスト周波数ｋ_ｘ＝［－π／ａ，＋π／ａ］、ｋ_ｙ＝［－π／ａ，＋π／ａ］の範囲の解像力を持つカラー画像を生成することができる。さらにその後、周波数空間において小さな解像力しか持たない左側視点の画像と視差がない中間画像を重畳することによって、最終的には、本来のナイキスト周波数の範囲の解像力を持つ左側視点のカラー画像を生成することができる。右側視点のカラー画像についても同様のことが言える。

　なお、図１１に示した画素配列における各画素は、開口部１０４に着目した場合の視差画素と視差なし画素、およびカラーフィルタ１０２に着目した場合のＲ画素、Ｇ画素、Ｂ画素が、さまざまに組み合わされて特徴付けられる。したがって、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。すなわち、撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、視差画素の出力をその開口部の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

　画像処理部２０５の補間処理部２３１は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データであるモザイク画像データＭ_{ｍｏｓａｉｃ}（ｘ，ｙ）を受け取る。ここで、各画素においてＲ、Ｇ、Ｂの少なくとも一つの情報が欠けている画像をモザイク画像といい、モザイク画像を形成するデータをモザイク画像データという。ただし、各画素においてＲ、Ｇ、Ｂの少なくとも一つの情報が欠けていたとしても、そもそも画像として扱わない場合、例えば画像データが単色の画素の画素値によって構成させる場合には、モザイク画像として扱わない。なお、各出力値は、撮像素子１００の各光電変換素子が受光する受光量に比例した線形階調の値である。

　本実施の形態においては、画像処理部２０５の補間処理部２３１が、この段階で左右間の全体的な明るさの整合をとるためのゲイン補正を行う。左視差画素に入射する光の照度と右視差画素に入射する光の照度には、開口絞りを絞るほど、左右間の相対的な分布だけではなく、画像全体の平均信号レベルとしても大きな差が生じるためである。本実施形態において、左右間の全体的な明るさの整合をとるためのゲイン補正を、グローバル・ゲイン補正という。

　図１２は、ゲイン値の算出を説明するための図である。便宜的に、モザイク画像データＭ_{ｍｏｓａｉｃ}（ｘ，ｙ）の内、Ｇ成分の左視差画素のモザイク画像データをＬｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の右視差画素のモザイク画像データをＲｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）と表し、図１２においても、左右の視差画素のみを抽出して図示している。ただし、図においては、図１１の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。

　図１３は、ゲイン補正を説明するための図である。画像処理部２０５の補間処理部２３１は、左右の視差画素に対するゲイン値を算出すると、図示するように、Ｌｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）およびＲｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）の各画素に対して、算出したゲイン値を用いてゲイン補正を行う。具体的には、以下の（数１）により左視差画素に対するゲイン補正を、（数２）により右視差画素に対するゲイン補正を行う。なお、便宜的に、モザイク画像データＭ'_{ｍｏｓａｉｃ}（ｘ，ｙ）の内、Ｇ成分の左視差画素のモザイク画像データをＬｔ'_{ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の右視差画素のモザイク画像データをＲｔ'_{ｍｏｓａｉｃ}（ｘ，ｙ）と表す。

　これにより、画像処理部２０５の補間処理部２３１は、図示するように、Ｍ_{ｍｏｓａｉｃ}（ｘ，ｙ）内の左視差画素および右視差画素がそれぞれ１つのゲイン係数で補正されたモザイク画像データＭ'_{ｍｏｓａｉｃ}（ｘ，ｙ）を生成することができる。次に、画像処理部２０５の補間処理部２３１は、仮の視差画像として、空間周波数解像度の低い左視差画像と右視差画像を生成する。

　図１４は、仮の視差画像の生成を説明するための図である。画像処理部２０５の補間処理部２３１は、まず、モザイク画像データＭ'_{ｍｏｓａｉｃ}（ｘ，ｙ）を複数のプレーンデータに分離する。この時点における各プレーンデータは、ＲＡＷ元画像データにおいて出力値が存在する画素位置にのみ出力値が存在する。そこで、画像処理部２０５の補間処理部２３１は、各プレーンデータを基に補間処理を行い、空格子が埋められたプレーンデータを生成する。

　図１４において、上図の左側は、モザイク画像データＭ'_{ｍｏｓａｉｃ}（ｘ，ｙ）から左視差画素のみを抽出したプレーンデータであるＬｔ'_{ｍｏｓａｉｃ}（ｘ，ｙ）を示す図、右側は、右視差画素のみを抽出したプレーンデータであるＲｔ'_{ｍｏｓａｉｃ}（ｘ，ｙ）を示す図である。各図においては、図１１の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。

　空間周波数解像度の低い左視差画像データであるＬｔ'（ｘ，ｙ）を生成するにあたり、画像処理部２０５の補間処理部２３１は、空格子となった画素値を、周辺の左視差画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_Ｌ１の画素値は、斜め方向に隣接する４つの左視差画素の画素値を平均化演算して算出される。画像処理部２０５の補間処理部２３１は、全ての空格子に対して、周辺の左視差画素の画素値を平均化演算し補間処理を行うことによって、図１４の下左図に示すように、空格子が埋められたプレーンデータであるＬｔ'（ｘ，ｙ）を生成する。なお、画像処理部２０５の補間処理部２３１は、補間処理により算出された画素値を用いて、さらに補間処理を行ってもよいし、ＲＡＷ元画像データの段階で存在する出力値のみを用いて補間処理を行ってもよい。

　同様に、空間周波数解像度の低い右視差画像データであるＲｔ'（ｘ，ｙ）を生成するにあたり、画像処理部２０５の補間処理部２３１は、空格子となった画素値を、周辺の右視差画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_Ｒ１の画素値は、斜め方向に隣接する４つの右視差画素の画素値を平均化演算して算出される。画像処理部２０５の補間処理部２３１は、全ての空格子に対して、周辺の右視差画素の画素値を平均化演算し補間処理を行うことによって、図１４の下右図に示すように、空格子が埋められたプレーンデータであるＲｔ'（ｘ，ｙ）を生成する。

　次に、画像処理部２０５の基準画像データ生成部２３２は、Ｌｔ'（ｘ，ｙ）の各画素に対して、それぞれ算出されたゲイン値を用いてゲイン補正を行い、同様に、Ｒｔ'（ｘ，ｙ）の各画素に対して、それぞれ算出されたゲイン値を用いてゲイン補正を行う。これにより、同一の画素位置における左視差画素と右視差画素の照度を合わせる。本実施形態において、このように、画素単位に算出されたゲイン値を用いたゲイン補正を、上述のグローバル・ゲイン補正に対し、ローカル・ゲイン補正という。

　図１５は、ゲイン値の算出を説明するための図である。図示するように、画像処理部２０５の基準画像データ生成部２３２は、Ｌｔ'（ｘ，ｙ）およびＲｔ'（ｘ，ｙ）から、画素毎の平均値を算出する。ローカル・ゲイン補正を行うにあたり、ここでも、平均値の算出方法として相加平均と相乗平均の２通りが考えられる。ここでは、視差が消滅したＧ成分の視差なし画素における被写体像のボケ幅を、視差なし画素の被写体像のボケ幅に一致させるべく、相加平均を採用する。この場合、具体的には、画像処理部２０５の基準画像データ生成部２３２は、以下の（数３）により平均値を算出する。

　図１６は、ローカル・ゲイン補正を説明するための図である。上述のように、各画素に対してローカル・ゲイン補正を行う処理によって平均値が得られる。したがって、画像処理部２０５の基準画像データ生成部２３２は、図示するように、繰り返しパターン１１０の左右の視差画素の画素値をそれぞれ、（数３）で算出したｍ（ｘ_ｍ、ｙ_ｎ）、ｍ（ｘ_ｍ＋１、ｙ_ｎ＋１）に置き換えるだけで、ローカル・ゲイン補正を行うことができる。この意味で、ローカル・ゲイン補正は、視差を消滅させるための変調処理であると言える。これにより、視差Ｇｂ画素および視差Ｇｒ画素の画素値が視差なしＧ画素の画素値に置き換えられたベイヤー配列を得ることができる。

　画像処理部２０５の基準画像データ生成部２３２は、全ての左右の視差画素の画素値を（数３）で算出した対応する平均値に置き換えることによって、Ｍ_Ｎ（ｘ、ｙ）を生成する。なお、ローカル・ゲイン補正は、Ｌｔ'（ｘ，ｙ）およびＲｔ'（ｘ，ｙ）の全ての画素ではなく、ベイヤー配列における左視差画素および右視差画素の位置に対応する画素について行ってもよい。

　次に、画像処理部２０５の基準画像データ生成部２３２は、既存の色補間の技術を用いて、Ｍ_Ｎ（ｘ、ｙ）から、各画素がナイキスト周波数までの分解能を持つ視差なしのカラー画像データを、中間画像データとして生成する。

　図１７は、Ｇ成分の補間を説明する図である。Ｇ色補間は、図１７左図で示される中央のＲ画素の位置［ｉ，ｊ］に対して、図中の画素を参照して算出する。Ｂ画素の位置に対してＧ色補間を行う場合の画素位置は、図１７右図によって示される。

　本実施形態においては、画像処理部２０５のフィルタ処理部２３３は、中間画像データに対してエッジ強調処理を施す。画像処理部２０５の視差画像データ生成部２３４は、Ｌｔ'（ｘ、ｙ）、Ｒｔ'（ｘ、ｙ）、Ｒ_Ｎ（ｘ、ｙ）、Ｇ_Ｎ（ｘ、ｙ）、Ｂ_Ｎ（ｘ、ｙ）の５つのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。具体的には、画像処理部２０５の視差画像データ生成部２３４は、仮の視差画像が持つ視差成分を視差なし画像に重畳することによって、左右のカラー画像データを生成する。この生成処理を視差変調処理という。

　左側視点のカラー画像データは、左側視点に対応する赤色プレーンデータであるＲ_Ｌｔ（ｘ、ｙ）、緑色プレーンデータであるＧ_Ｌｔ（ｘ、ｙ）、および青色プレーンデータであるＢ_Ｌｔ（ｘ、ｙ）の３つのカラー視差プレーンデータによって構成される。同様に、右側視点のカラー画像データは、右側視点に対応する赤色プレーンデータであるＲ_Ｒｔ（ｘ、ｙ）、緑色プレーンデータであるＧ_Ｒｔ（ｘ、ｙ）、および青色プレーンデータであるＢ_Ｒｔ（ｘ、ｙ）の３つのカラー視差プレーンデータによって構成される。

　図１８は、カラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、Ｒ_Ｌｔ（ｘ、ｙ）とＲ_Ｒｔ（ｘ、ｙ）の生成処理について示す。

　以上のように、本実施形態のデジタルカメラ１０によれば、高解像な視差なしの２Ｄ中間画像に対してエッジ強調することにより、立体画像において、モアレ成分（エイリアジング）が強調されることなく、視差画像の高周波成分を実際に解像した高周波解像のままの状態でエッジ強調できる。さらに、高解像な視差なしの２Ｄ中間画像に対しノイズ除去することにより、ｅｄｇｅ‐ｐｒｅｓｅｒｖｉｎｇ性能の高いノイズ除去結果が得られる。視差画素のサンプリング密度に伴うモアレの影響を抑制できるので、複数の視差画像間に、同一被写体像の不一致といった不整合が顕著に現れるといった不具合を回避できる。

＜実施形態２＞
　‐‐‐Bayer型RGB疎な視差画素配列、エッジ強調‐‐‐
　図９の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をした撮像素子である。視差なし画素も視差あり画素もBayer配列を基本構造としており、左視差画素にも右視差画素にもR:G:B=1:2:1のカラーフィルタを配置した構造をしている。すなわち、実施形態１よりも更に原信号で捉える視差なしの中間画像の解像力を重視し、その高周波成分を視差変調によって、左視差画素と右視差画素に重畳することによって高解像な立体画像を得ようとする。したがって、非合焦域においても高解像な２D画像と３D画像を得る能力をもつ色・視差配列である。
　画像処理の手順は、実施形態１と同じである。以下、順に説明する。

　１）色・視差多重化モザイク画像データ入力
　図９の色と視差の多重化された単板式モザイク画像：M(x,y)
　階調はA/D変換によって出力された線形階調であるものとする。

　便宜的にモザイク画像M(x,y)の内、
　R成分の視差なし画素の信号面をR_{N_mosaic}(x,y)、
　R成分の左視差画素の信号面をR_{Lt_mosaic}(x,y)、
　R成分の右視差画素の信号面をR_{Rt_mosaic}(x,y)、
　G成分の左視差画素の信号面をG_{N_mosaic}(x,y)、
　G成分の視差なし画素の信号面をG_{Lt_mosaic}(x,y)、
　G成分の右視差画素の信号面をG_{Rt_mosaic}(x,y)、
　B成分の視差なし画素の信号面をB_{N_mosaic}(x,y)、
　B成分の左視差画素の信号面をB_{Lt_mosaic}(x,y)、
　B成分の右視差画素の信号面をB_{Rt_mosaic}(x,y)
　と表すことにする。

　全ての視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。

　３）仮の視差画像の生成
　空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。左視差画素ばかりを集めたG色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、R_{Lt_mosaic}(x,y)からR_Lt(x,y)を、R_{Rt_mosaic}(x,y)からR_Rt(x,y)を、R_{N_mosaic}(x,y)からR_N(x,y)を、G_{Lt_mosaic}(x,y)からG_Lt(x,y)を、G_{Rt_mosaic}(x,y)からG_Rt(x,y)を、G_{N_mosaic}(x,y)からG_N(x,y)を、B_{Lt_mosaic}(x,y)からB_Lt(x,y)を、B_{Rt_mosaic}(x,y)からG_Rt(x,y)を、B_{N_mosaic}(x,y)からG_N(x,y)を生成する。
　仮のR成分の視差なし画像：R_N(x,y)
　仮のG成分の視差なし画像：G_N(x,y)
　仮のB成分の視差なし画像：B_N(x,y)
　仮のR成分の左視差画像：R_Lt(x,y)
　仮のG成分の左視差画像：G_Lt(x,y)
　仮のB成分の左視差画像：B_Lt(x,y)
　仮のR成分の右視差画像：R_Rt(x,y)
　仮のG成分の右視差画像：G_Rt(x,y)
　仮のB成分の右視差画像：B_Rt(x,y)
　なお、仮の視差なし画像R_N(x,y)、G_N(x,y)、B_N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。

　４）左右の照度分布補正による視差なし色モザイク画像の生成
　（ローカル・ゲインバランス補正）
　次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをM_N(x,y)と書くことにする。

　この場合も、各画素の基準点として揃える目標値の設定方法に、左右間の視差を消滅させる方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させる目的で相加平均型を選ぶ必要がある。一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させる目的で相乗平均型を選ぶ必要がある。

　さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているから、そのボケ幅を保存する必要がある。したがって、このときには共通に相乗平均をとらなければならない。そのときに撮像素子配列における視差なし画素と視差画素の密度比を考慮に入れた相乗平均をとる。すなわち、実施形態２で用いている視差なし画素(N)と左視差画素（Lt）と右視差画素（Rt）の比はN:L:R=14:1:1、すなわち、N:(L+R)=7:1であるので、視差なし画素には7/8乗の重みを、視差画素には1/8乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。つまり、基準画像データ生成部２３２は、視差なし画素、左視差画素、および右視差画素の数に応じて重み付けを施す。以下にそれらの具体式を挙げる。

　このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像M_N(x,y)を出力する。

　５）視差なし基準画像の生成
　実施形態１と同様である。
　６）視差なし基準画像に対するエッジ強調処理
　実施形態１と同様である。

　７）実際の視差画像の生成
　ステップ３で生成した解像力の低い仮の左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'_Lt(x,y)、G'_Lt(x,y)、B'_Lt(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'_Rt(x,y)、G'_Rt(x,y)、B'_Rt(x,y)を生成する。

　視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。

　視差変調を行うときも、撮像素子配列における各視差画素同士の間でのRGBの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではR:G:B=1:2:1であり、右視差画素同士の間でもR:G:B=1:2:1であるので、R成分による視差変調に1/4乗の重みを、G成分による視差変調に1/2乗の重みを、B成分による視差変調に1/4乗の重みを与えて、密度の高いG成分による視差変調を重視した配分をとる。

　８）出力色空間への変換
　実施形態１と同様である。

＜実施形態３＞
　‐‐‐モノクロ疎な視差画素配列、エッジ強調‐‐‐
　図１０の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をしたモノクロ撮像素子である。

　画像処理の手順は、およそ以下の通りである。
　１）視差多重化モザイク画像データ入力
　２）視差モザイク画像のグローバル・ゲインバランス補正
　３）仮の視差画像の生成
　４）左右の局所照度分布補正による視差なし基準画像の生成
　（ローカル・ゲインバランス補正）
　５）視差なし基準画像の生成
　６）視差なし基準画像に対するエッジ強調処理
　７）実際の視差画像の生成
　８）出力空間への変換

　３）仮の視差画像の生成
　空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Lt_mosaic(x,y)からLt(x,y)を、Rt_mosaic(x,y)からRt(x,y)を、N_mosaic(x,y)から N(x,y)を生成する。
　仮の視差なし画像：N(x,y)
　仮の左視差画像：Lt(x,y)
　仮の右視差画像：Rt(x,y)
　なお、仮の視差なし画像N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。

　４）左右の照度分布補正による視差なし基準画像の生成
　（ローカル・ゲインバランス補正）
　次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをN(x,y)と書くことにする。

　このときも撮像素子配列における視差なし画素と視差画素の密度比を考慮に入れた相乗平均をとる。すなわち、実施形態３で用いている視差なし画素(N)と左視差画素（Lt）と右視差画素（Rt）の比はN:L:R=14:1:1、すなわち、N:(L+R)=7:1であるので、視差画素には7/8乗の重みを、視差なし画素には1/8乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。

　このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、モノクロ面のデータを書き換え、視差なしモノクロ面の画像N(x,y)を出力する。

　５）視差なし基準画像の生成
　実施形態１と同様である。

　６）視差なし基準画像に対するエッジ強調処理
　実施形態１のステップ６‐２）の記号Yを記号Nに置き換えた演算を行うだけでよい。すなわち、
　N'(x,y)=N(x,y)+k*△N(x,y)
　なお、以下では記号N'のことを記号Nに置き換えて表記する。

　７）実際の視差画像の生成
　ステップ３で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い左視差のモノクロ画像Lt'(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像Rt'(x,y)を生成する。

　７）出力色空間への変換
　こうして得られた高解像な視差なしの中間モノクロ画像N(x,y)と高解像の左視差のモノクロ画像Lt'(x,y)、高解像の右視差のモノクロ画像Rt'(x,y)のそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。これらはいずれの２D、３D画像も高精細なエッジ強調がなされた画像が生成される。

＜実施形態４＞
　‐‐‐Bayer型RGB疎な視差画素配列、ノイズ除去‐‐‐
　画像処理の手順は、およそ以下の通りである。
　１）色・視差多重化モザイク画像データ入力
　２）色・視差モザイク画像のグローバル・ゲインバランス補正
　３）仮の視差画像の生成
　４）左右の局所照度分布補正による視差なし色モザイク画像の生成
　（ローカル・ゲインバランス補正）
　５）視差なし基準画像の生成
　６）視差なし基準画像に対するノイズ除去処理
　７）実際の視差画像の生成
　８）出力色空間への変換
　ここで、ステップ１）～６）、及びステップ７）～８）は実施形成２と同様であるので、その説明を省略する。ここでは、視差なし基準画像に対するノイズ除去処理について説明する。

　６）視差なし基準画像に対するノイズ除去処理
　６‐１）色空間変換処理
　実施形態１と同様である。
　６‐２）ノイズ除去処理
　輝度Y面に対して、ノイズ除去処理を行う。前述の本出願人と同一発明者の特開2006-309749号公報等、公知の高性能なノイズ除去処理を用いるとよい。ここでは、本出願人と同一発明者のWO2006/068025に開示される２引数積バイラテラル・フィルタを示しておく。

　ここに、σthはノイズの揺らぎ幅である。rthはフィルタ半径で、対象とするノイズの広がり幅に応じて任意の大きさに設定することができる。なお、フィルタ処理部２３３は、左視差画像データおよび右視差画像データに対してはノイズ除去のフィルタリング処理を施さなくてもよい。

　６‐３）逆色空間変換処理
　ノイズ除去された輝度成分Y'(x,y)と色差成分Cb'(x,y)、Cr'(x,y)を用いて、YCbCr空間からRGB空間に戻す。
　６‐４）逆階調変換による元の線形階調空間への移行
　実施形態１と同様である。

＜なお書き＞
　実施形態２のエッジ強調と実施形態４のノイズ除去を併用する場合は、実施形態４のステップ６のノイズ除去処理を先に行ってから、実施形態２のステップ６のエッジ強調処理を行うとよい。また、実施形態３の疎なモノクロ視差画素配列に対してノイズ除去処理を行う場合は、実施形態４に示したノイズ除去処理の輝度成分に対して行ったものと同様の手続きを、モノクロ面に対して行えばよい。

　以上の説明では、被写体像のカラーを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる補色の３原色を採用することもできる。

　上述した補間処理部２３１、基準画像データ生成部２３２、フィルタ処理部２３３、および視差画像データ生成部２３４の機能は、補間処理ステップ、基準画像データ取得ステップ、フィルタ処理ステップ、視差画像データ生成ステップを含む画像処理プログラムをコンピュータに実行させることにより実現できる。補間処理ステップは、撮像素子１００の出力に基づいて左視点の仮の左視差画像データおよび右視点の仮の右視差画像データを生成する。基準画像データ取得ステップは、仮の左視差画像データおよび仮の右視差画像データの画素値を用いて、仮の左視差画像データおよび仮の右視差画像データより高解像な基準画像データを生成する。フィルタ処理ステップは、基準画像データに対してエッジ調整およびノイズ除去の少なくともいずれかのフィルタリング処理を施す。視差画像データ生成ステップは、フィルタリング処理が施された基準画像データ、並びに仮の左視差画像データおよび仮の右視差画像データを用いて、仮の左視差画像データおよび仮の右視差画像データより高解像な左視差画像データおよび高解像な右視差画像データを生成する。

　パーソナルコンピュータなどの機器が画像処理装置として機能してもよい。画像処理装置は、カメラ等の他の装置から画像データを取り込んでもよい。この場合には、補間処理部ではなく視差画像データ取得部としての役割を担う。基準画像データ生成部ではなく基準画像データ取得部としての役割を担う。なお、補間処理部が視差画像データを、基準画像データ生成部が基準画像データをそれぞれ自ら生成する場合も、自ら生成することによって視差画像データおよび基準画像データをそれぞれ取得しているといえる。また、基準画像データ生成部２３２は、仮の左視差画像データおよび仮の右視差画像データの画素値の画素値に加えて、一部の画素が欠落した仮の基準画像データの画素値を用いて２D中間画像である基準画像データを生成してもよい。

　以上の説明では、フィルタ処理部２３３は、基準画像データに対してエッジ調整処理としてエッジ強調処理を施したが、例えば画像を縮小する場合等には、エッジ抑制処理を施してもよい。なお、以上の説明において画像は、画像データを指す場合もあれば、フォーマットに従って展開され可視化された被写体像そのものを指す場合もある。

　以上の説明では、視差画像データ生成部２３４は、仮の左視差画像データと同一視点に対応する左視差画像データを生成した。同様に、視差画像データ生成部２３４は、仮の右視差画像データと同一視点に対応する右視差画像データを生成した。この場合には、左右の視差画素の視点が変化しないので、仮の左視差画像データおよび仮の右視差画像データの視差量と、最終的に生成された高解像な左視差画像データおよび高解像な右視差画像データの視差量とは同一になる。しかしながら、視差変調をするときの変調量をパラメータ化することによって、視差量を制御することができる。視差量が変化すると、左視差画像データの視点と左視差画像データの視点も変化することになる。したがって、視差画像データ生成部２３４は、仮の左視差画像データの視点とは異なる視点の左視差画像データを生成するということもできる。同様に、仮の右視差画像データの視点とは異なる視点の右視差画像データを生成するということもできる。下記に示すように、パラメータＣによって立体効果を可変にすることができる。

　図１９は、画素値の補間の一例を示す図である。図１９の上段は、図７で示した画素配列におけるＲの視差なし画素の画素値のみを抽出した図である。Ｒ０画像データにおいて画素値を有する画素の画素値を用いて、図１９の下段に示すように、画素値を有しない画素の画素値が補間される。すなわち、視差画像データ生成部２３４は、視差なし画素の画素値を用いて欠落した画素値を補間することによって、２D中間画像データを生成している。例えば上下、左右、または上下および左右の最隣接する画素であって画素値を有するものを平均して補間の画素値とする。

　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。例えば、上述の撮像素子を９０°回転した場合は上下視差への変形例に、４５°回転した場合には斜め視差の変形例になる。また画素配列が正方格子状に並んでいないハニカム配列に対して左右の視差を設定できるようにしてもよい。

　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０　デジタルカメラ、２０　撮影レンズ、２１　光軸、１００　撮像素子、１０１　マイクロレンズ、１０２　カラーフィルタ、１０３　開口マスク、１０４　開口部、１０５　配線層、１０６　配線、１０７　開口、１０８　光電変換素子、１０９　基板、１１０　繰り返しパターン、２０１　制御部、２０２　Ａ／Ｄ変換回路、２０３　メモリ、２０４　駆動部、２０５　画像処理部、２０７　メモリカードＩＦ、２０８　操作部、２０９　表示部、２１０　ＬＣＤ駆動回路、２１１　ＡＦセンサ、２２０　メモリカード、２３１　補間処理部、２３２　基準画像データ生成部、２３３　フィルタ処理部、２３４　視差画像データ生成部、３２２　中心線、１８０１　分布曲線、１８０２　分布曲線、１８０３　分布曲線、１８０４　分布曲線、１８０５　分布曲線、１８０６　合成分布曲線、１８０７　分布曲線、１８０８　分布曲線、１８０９　合成分布曲線

Claims

　１つの画素に１つの開口マスクを有する複数の画素からなり、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と、基準方向に対して右方向の視差を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を配置した画素配列からなる撮像素子を用いて、１つの光学系を通して被写体像を基準方向の視点と左方向の視点と右方向の視点を同時にそれぞれ異なる画素に撮像した第１の画像を入力し、
　左方向の視点に関する画像と、右方向の視点に関する画像に変換する画像処理方法であって、
　前記第１の画像の左視差画素の画素値を用いて、各画素に仮の左視点画像を生成する手順と、
　前記第１の画像の右視差画素の画素値を用いて、各画素に仮の右視点画像を生成する手順と、
　前記第１の画像の少なくとも視差なし画素の画素値を用いて、各画素に基準視点画像を生成する手順と、
　前記基準視点画像に対して、エッジ強調処理を行って、エッジ強調された基準視点画像を生成する手順と、
　前記エッジ強調された基準視点画像と前記仮の左視点画像と前記仮の右視点画像に基づき、各画素に左方向の視点に関する画像と右方向の視点に関する画像のそれぞれを生成する手順と
を備えたことを特徴とする画像処理方法。
　１つの画素に１つの開口マスクを有する複数の画素からなり、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と、基準方向に対して右方向の視差を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を配置した画素配列からなる撮像素子を用いて、１つの光学系を通して被写体像を基準方向の視点と左方向の視点と右方向の視点を同時にそれぞれ異なる画素に撮像した第１の画像を入力し、
　左方向の視点に関する画像と、右方向の視点に関する画像に変換する画像処理方法であって、
　前記第１の画像の左視差画素の画素値を用いて、各画素に仮の左視点画像を生成する手順と、
　前記第１の画像の右視差画素の画素値を用いて、各画素に仮の右視点画像を生成する手順と、
　前記第１の画像の視差なし画素の画素値を用いて、各画素に基準視点画像を生成する手順と、
　前記基準視点画像に対して、ノイズ除去処理を行って、ノイズ除去された基準視点画像を生成する手順と、
　前記ノイズ除去された基準視点画像と前記仮の左視点画像と前記仮の右視点画像に基づき、各画素に左方向の視点に関する画像と右方向の視点に関する画像のそれぞれを生成する手順と
を備えたことを特徴とする画像処理方法。
　前記基準視点画像を生成する手順は、前記第１の画像の視差なし画素の画素値の他に、左視差画素の画素値と右視差画素の画素値も用いて、基準視点画像の画素値を生成する請求項１または２に記載の画像処理方法。
　前記第１の画像が複数の色成分からなるとき、
　前記基準視点画像を生成する手順は、前記複数の色成分に対して基準視点画像を生成し、前記エッジ強調された基準視点画像を生成する手順は、前記基準視点画像の輝度成分に対してエッジ強調処理を行う請求項１に記載の画像処理方法。
　前記第１の画像が複数の色成分からなるとき、
　前記基準視点画像を生成する手順は、前記複数の色成分に対して基準視点画像を生成し、前記ノイズ除去された基準視点画像を生成する手順は、前記基準視点画像の輝度成分と色差成分に対してノイズ除去処理を行う請求項２に記載の画像処理方法。
　前記第１の画像は、視差なし画素の密度を左視差画素と右視差画素を合わせた画素の密度よりも高く配置した画素配列からなる撮像素子により撮像された画像である請求項２に記載の画像処理方法。
　基準方向に対して第１方向にずれた視点に対応する第１視差画像データと、前記基準方向に対して前記第１方向とは反対の第２方向にずれた視点に対応する第２視差画像データとを取得する視差画像データ取得部と、
　前記基準方向に対応し、かつ、第１視差画像データおよび第２視差画像データの空間周波数解像度より高解像な基準画像データを取得する基準画像データ取得部と、
　前記基準画像データに対してエッジ調整およびノイズ除去の少なくともいずれかのフィルタリング処理を施すフィルタ処理部と、
　前記フィルタリング処理が施された前記基準画像データ、前記第１視差画像データおよび前記第２視差画像データを用いて、前記第１方向にずれた視点に対応する第３視差画像データと、前記第２方向にずれた視点に対応する第４視差画像データとを生成する視差画像データ生成部と
を備える画像処理装置。
　前記基準画像データ取得部は、一部の画素値が欠落した仮の基準画像データを取得し、前記基準方向に対応した基準画素の画素値を用いて欠落した画素値を補間することによって、前記基準画像データを生成する請求項７に記載の画像処理装置。
　前記基準画像データ取得部は、前記第１視差画像データおよび前記第２視差画像データの画素値を用いて欠落した画素値を補間することによって、前記基準画像データを生成する請求項７または８に記載の画像処理装置。
　前記基準画像データ取得部は、前記基準画像データに対応する基準画素、前記第１視差画像データに対応する第１画素、および前記第２視差画像データに対応する第２画素の数に応じて重み付けを施す請求項９に記載の画像処理装置。
　前記基準画像データ取得部は、それぞれの画素に対応付けられたカラーフィルタの色成分毎に前記基準画像データを生成する請求項７から１０のいずれか１項に記載の画像処理装置。
　前記視差画像データ生成部は、前記第１視差画像データの視点とは異なる視点の前記第３視差画像データを生成し、前記第２視差画像データの視点とは異なる視点の前記第４視差画像データを生成する請求項７から１１のいずれか１項に記載の画像処理装置。
　前記第１視差画像データおよび前記第２視差画像データの少なくともいずれかを出力する撮像素子と、
　請求項７から１２のいずれか１項に記載の画像処理装置と
を備える撮像装置。
　前記撮像素子は、前記基準画像データも共に出力する請求項１３に記載の撮像装置。
　前記撮像素子は、前記基準画像データに対応する画素、前記第１視差画像データに対応する画素、および前記第２視差画像データに対応する画素の中で、前記基準画像データに対応する画素を最も多く有する請求項１４に記載の撮像装置。
　前記フィルタ処理部は、前記第１視差画像データおよび前記第２視差画像データに対してノイズ除去のフィルタリング処理を施さない請求項１５に記載の撮像装置。
　基準方向に対して第１方向にずれた視点に対応する第１視差画像データと、前記基準方向に対して前記第１方向とは反対の第２方向にずれた視点に対応する第２視差画像データとを取得する視差画像データ取得ステップと、
　前記基準方向に対応し、かつ、第１視差画像データおよび第２視差画像データの空間周波数解像度より高解像な基準画像データを取得する基準画像データ取得ステップと、
　前記基準画像データに対してエッジ調整およびノイズ除去の少なくともいずれかのフィルタリング処理を施すフィルタ処理ステップと、
　前記フィルタリング処理が施された前記基準画像データ、前記第１視差画像データおよび前記第２視差画像データを用いて、前記第１方向にずれた視点に対応する第３視差画像データと、前記第２方向にずれた視点に対応する第４視差画像データとを生成する視差画像データ生成ステップと
をコンピュータに実行させる画像処理プログラム。