JP6036829B2 - 画像処理装置、撮像装置および画像処理装置の制御プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置および画像処理装置の制御プログラムに関する。

単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００３−７９９４号公報

特許文献１には、単板式のBayer配列型のカラー固体撮像素子に、左開口の視差画素と右開口の視差画素を敷き詰めて、一台のカメラで一度の撮像により立体画像を形成することのできる撮像方式が開示されている。しかしながら、特許文献１には、撮像によって得られる画像の特性について何ら記載がない。したがって、実際に撮像された画像データは、どのようなボケ特性をもっているのか不明であり、また、それは自然なボケを生み出すのか否かもわかっていない。実際のところ、この種の撮像装置により生成された左右の視差画像のそれぞれにおいては、水平方向と垂直方向でボケが非対称になり、自然なボケ味が得られないという問題があった。

本発明の第１の態様における画像処理装置は、撮像情報が付けられた第１の画像を入力する手段と、第１の画像が、１つの光学系の入射光束に対して長軸と短軸の非対称な方向特性をもつ部分光束を通過させるように位置づけられた開口マスクを有する第１の視差画素を備えた画素配列からなる撮像素子の出力信号を用いた、開口マスクに対応する視点方向の被写体像の画像であるか否かを撮像情報に基づいて判断する手段と、撮像情報が該条件に合致する場合に、第１の画像の非合焦域の被写体像に対して、開口マスクの長軸方向と短軸方向との間のボケの非対称性をなくすように、長軸方向と短軸方向の間で周波数特性の異なる補正処理を行い、補正された第１の画像を出力する手段とを備える。

本発明の第２の態様における画像処理装置は、撮像情報が付けられた第１の画像を入力する手段と、第１の画像が、１つの光学系の入射光束に対して長軸と短軸の非対称な方向特性をもつ互いに異なる部分光束を通過させるように位置づけられた第１の開口マスクを有する第１の視差画素と第２の開口マスクを有する第２の視差画素と、入射光束の全てを通過させるように位置づけられた第３の開口マスクを有する視差なし画素を少なくとも備えた画素配列からなる撮像素子を用いて、第１の開口マスクに対応する視点方向の被写体像と第２の開口マスクに対応する視点方向の被写体像と、第３の開口マスクに対応する視点方向の被写体像とを同時にそれぞれ異なる画素に撮像した画像であるか否かを前記撮像情報に基づいて判断する手段と、撮像情報が該条件に合致する場合に、撮像した画像の視差なし画素と第１の視差画素と第２の視差画素の信号を用いて、第３の開口マスクに対応する視点方向の基準画像を生成する手段と、基準画像の非合焦域の被写体像に対して、第１の開口マスクおよび第２の開口マスクの長軸方向と短軸方向との間のボケの非対称性をなくすように、長軸方向と短軸方向の間で周波数特性の異なる補正処理を行い、補正された基準画像を出力する手段とを備える。

本発明の第３の態様における画像処理装置は、２軸方向に長さが異なる受光領域を有する画素の出力から生成された旨の画像情報が関連付けられた入力視差画像データを取得する画像取得部と、画像情報が関連付けられた入力視差画像データに基づく画像に対して、２軸方向に対応する第１軸方向と第２軸方向との間のボケの非対称性をなくすように、２軸方向に対応する第１軸方向と第２軸方向における空間周波数の変化量が互いに異なるようにフィルタリングを施す画像処理部とを備える。

本発明の第４の態様における撮像装置は、視差画像データを出力する撮像素子と、上記のいずれかの画像処理装置とを備える。

本発明の第５の態様における画像処理装置の制御プログラムは、２軸方向に長さが異なる受光領域を有する画素の出力から生成された旨の画像情報が関連付けられた視差画像データを取得する画像取得ステップと、画像情報が関連付けられた視差画像データに基づく画像に対して、２軸方向に対応する第１軸方向と第２軸方向との間のボケの非対称性をなくすように、２軸方向に対応する第１軸方向と第２軸方向における空間周波数の変化量が互いに異なるようにフィルタリングを施す画像処理ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラ１０の構成を説明する図である。 撮像素子１００の断面の構成を説明する図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。 ボケの非対称性を説明するための図である。 視差画像および視差なし画像と、被写界深度との関係を示す図である。 フィルタリングを説明するための図である。 画素配列の一例を示す図である。 非合焦域に存在する物点の点像分布を示す図である。 画素配列のバリエーションを示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて左視点および右視点の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、およびＬＣＤ駆動回路２１０を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向を＋Ｘ軸方向、紙面上方向＋Ｙ軸と定める。撮影における構図との関係は、Ｘ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。詳しくは後述するが、撮像素子１００は、２軸方向に長さが異なる受光領域を有する画素を含む。ここで、受光領域は、後述する光電変換素子が実際に光を受光する領域をいう。光電変換素子そのものの縦横比が異なるよう当該光電変換素子を形成することにより、２軸方向に長さが異なる受光領域を有する画素を形成できる。また、後述する開口マスクで光電変換素子の一部を覆い当該光電変換素子に入射する光を制限することにより、２軸方向に長さが異なる受光領域を有する画素を形成することもできる。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換し、Ａ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２へ出力される画像信号は、左視点および右視点の画像信号を含む。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、画像データ生成部２３１、視差マップ生成部２３２、およびフィルタ処理部２３３を有する。

画像データ生成部２３１は、例えば、左視点に対応する左視差画像データと右視点に対応する右視差画像データを生成する。画像データ生成部２３１はさらに、左視差画像データおよび右視差画像データが上記の画素の出力から生成された旨の画像情報を、当該左視差画像データおよび当該右視差画像データに関連付ける。画像データ生成部２３１は、例えば、Ｅｘｉｆ情報として上記の画像情報を左視差画像データおよび右視差画像データに関連付ける。

視差マップ生成部２３２は、左視点と右視点の視差に関する評価データを生成する。詳しくは後述するが、評価データは、合焦域を基準とする被写体の奥行きに関する位置情報を示す視差マップデータと捉えることができる。

フィルタ処理部２３３は、例えば、上記の画像情報が関連付けられた左視差画像データおよび右視差画像データに対して、上記の視差マップに応じてフィルタリングを施す。フィルタリングの詳細は、後述する。

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。画像処理部２０５によって生成された各種画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。評価データも表示部２０９に表示されてもよい。また、生成された各種画像データおよび評価データは、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、評価データを解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子１００の断面を表す概略図である。

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列してもよいし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成してもよい。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭｇの補色フィルタの組合せであってもよい。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。左視点の視差画素を視差Ｌｔ画素、右視点の視差画素を視差Ｒｔ画素、視差なし画素をＮ画素と記す場合もある。また、左視点の視差画像を視差Ｌｔ画像、右視点の視差画像を視差Ｒｔ画像、視差なし画像をＮ画像と記す場合もある。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担ってもよい。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。

＜視差画素とボケ特性＞
次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する図である。図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。

図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。

図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図４（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。

また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。

図４（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図４（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。

図３で説明した光強度分布の変化と、図４で説明した光強度分布の変化をそれぞれグラフ化すると、図５のように表される。図５は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。

図５（ａ）は、図３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図５（ｂ）は、図４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）に対して同等のデフォーカス状態である図３（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）に対して同等のデフォーカス状態である図３（ｃ）の分布曲線１８０３と相似形状を示す。なお、図４（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。

図６は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図６（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。本実施形態においては、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。

図６（ｂ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。また、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りとしての機能を発揮する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ幅は、図５（ｂ）の合成分布曲線１８０６で示される、視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。

図６（ｃ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。図６（ｃ）の曲線Ｌｔ、曲線Ｒｔは、開口部１０４ｎを有する視差なし画素のボケ幅が視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図６（ｂ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。

＜被写界深度と非対称ボケ＞
次に、被写界深度とボケの非対称性との関係について説明する。図６（ｂ）、（ｃ）からも明らかなように、非合焦域では、視差画素のボケ幅は、視差なし画素のボケ幅よりも狭い。これは、図６（ａ）の視差画素の開口マスクによって実質的にレンズの入射光束が右半分と左半分に絞られていることを意味する。換言すると、単一のレンズ瞳に左右２つの仮想瞳が生じているといえる。すなわち、視差画素の開口マスクにおける開口面積は、レンズの絞りの効果と同等の役割を果たす。

一般に、レンズを絞ると被写界深度の深い画像が撮像される。視差画素における開口マスクの開口は、水平方向に短く垂直方向に長い。したがって、縦線などの水平方向に周波数成分を持つ被写体に対しては深い被写界深度の画像が撮像されるのに対し、横線などの垂直方向に周波数成分を持つ被写体に対しては浅い被写界深度の画像が撮像される。

図７は、ボケの非対称性を説明するための図である。例えば、図７（ａ）のような正方形のパッチの被写体を撮像すると、合焦域では、図７（ａ）のような被写体像が得られる。図７（ｂ）では、左視差画素と右視差画素が捉えた被写体像を合わせて示している。非合焦域では、図７（ｂ）に示すような水平方向のボケが少ない、縦線が横線よりもシャープに見える被写体像が撮像される。すなわち、視差画素における開口マスクの開口が水平方向と垂直方向で非対称性なので、被写体像の水平方向と垂直方向でボケが非対称性になっている。これは、ボケの非等方性ということもできる。

図７（ｂ）の左目用の被写体像と右目用の被写体像を重ね合わせて表示し、３Ｄ画像から２Ｄ画像を得たとすると、２Ｄ画像には水平方向のシャープなボケに起因した２線ボケのような、あまり好ましくないボケが生じることになる（図７（ｃ））。したがって、３Ｄ画像表示用の左右の視差画像のボケの非対称性を低減して自然なボケが得られるような補正、あるいは２Ｄ画像表示において２線ボケが出ないような自然なボケ味が得られる補正が画像処理によって実現できると好ましい。

図８は、視差画像および視差なし画像と、被写界深度との関係を示す図である。具体的には、図８は、撮像素子１００の画素ピッチをａ［ｍｍ］として、周波数がｆ［本／ｍｍ］にあるような被写体像の縞模様チャートを撮像したときの縦線縞模様チャートとそれを９０°回転して撮像したときの横線縞模様チャートのＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性の被写体距離依存性を示す図である。縦軸は、ＭＴＦを示し、横軸は、デジタルカメラ１０からの距離ｄを示す。ＭＴＦ分布は、合焦位置の光軸付近のＭＴＦを１とした場合に、縞模様チャートを合焦位置から前後させるとどのように減衰するかを表す。図８（ａ）は、視差なし画像（Ｎ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。図８（ａ）に示すように、視差なし画像では、縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布は一致している。図８（ｂ）は、視差画像（視差Ｌｔ画像および視差Ｒｔ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。図８（ｂ）に示す横線縞模様チャートのＭＴＦ分布は、図８（ａ）に示す横線縞模様チャートのＭＴＦ分布に一致する。一方、図８（ｂ）に示す縦線縞模様チャートのＭＴＦ分布は、図８（ａ）に示す縦線縞模様チャートのＭＴＦ分布に比べてコントラストの高い区間が広く分布し、被写界深度が深いことが読み取れる。換言すると、縞模様チャートを合焦位置から前後させると、視差画像では、横線縞模様チャートと横線縞模様チャートとでコントラストが異なっている。これが先ほど図７で示したボケの非対称性を生み出している。

＜アルゴリズムの設計指針＞
次に、ボケの非対称性、あるいは２Ｄ画像に生じる２線ボケを補正するアルゴリズムについて説明する。ボケの補正を適切に処理するためには、ボケ量を把握する必要がある。詳しくは後述するが、単眼瞳分割立体撮像方式では、ボケの大きさが視差に直結しているという事実を有効に利用して、視差マップを生成する。すなわち、視差マップでは、水平方向の左右の視差画像におけるボケの分離度が評価される。ボケの分離度が大きいほどボケ量が大きくなるので、視差マップは被写体像のボケ度合いのマップといえる。

フィルタ処理部２３３が視差マップを用いてどのようにフィルタリングを施すかについて説明する。図９は、フィルタリングを説明するための図である。ここでは、市松模様が撮像された場合を例に挙げて説明する。図において図９（ａ）は、市松模様が合焦域で撮像された場合を示す。合焦域においては、水平方向および垂直方向のいずれの方向においてもボケ量は０である。

図９（ｂ）は、市松模様が非合焦域で撮像された場合を示す。非合焦域においては、横線における垂直方向および縦線における水平方向のいずれの方向にもボケが生じる。ここで、横線における垂直方向のボケ量と縦線における水平方向のボケ量が異なる。より詳細には、図に示すように、横線における垂直方向のボケ量は、縦線における水平方向のボケ量より大きくなっている。詳しくは後述するが、以下の実施形態では、フィルタ処理部２３３は、視差マップを用いて、水平方向と垂直方向との間で非対称な平滑化処理を施すことにより、ボケの非対称性をなくす方向に補正する。具体的には、フィルタ処理部２３３は、視差マップを用いて、ある画素に対応する、縦線における水平方向のボケ量に相当するガウスぼかし半径を導出する。フィルタ処理部２３３は、当該ガウスぼかし半径を用いて当該画素の画素値をフィルタリングする。この処理を全ての画素について行うことにより、図９（ｃ）に示すように、横線における垂直方向のボケ量を維持したまま、縦線における水平方向のボケ量を大きくする。

また、フィルタ処理部２３３は、エッジ強調を行うときに、横線の大きくボケた被写体像に対しては強いエッジ強調を、縦線のボケの少ない被写体像に対しては弱いエッジ強調を施すようにして、ボケの非対称性をなくす方向に補正してもよい。具体的には、フィルタ処理部２３３は、視差マップを用いて、ある画素に対応するエッジ強調のゲイン係数を導出してもよい。フィルタ処理部２３３は、当該ゲイン係数を用いて当該画素の画素値を補正する。この処理を全ての画素について行うことにより、図９（ｄ）に示すように、水平方向のボケ量を維持したまま、垂直方向のボケ量を小さくすることができる。

＜実施形態1＞
‐‐‐視差Ｌｔ画像と視差Ｒｔ画像に対する水平方向平滑化による非対称ボケ補正‐‐‐
画像処理の手順は、およそ以下の通りである。
１）視差多重化モザイク画像データ入力
２）視差画像の生成
３）視差画像の平滑化による非対称ボケ補正
３‐１）視差マップの生成
３‐２）平滑化処理
以下、順に説明する。

１）視差多重化モザイク画像データ入力
図１０は、画素配列の一例を示す図である。撮像素子１００は、図の太線で示す２×２画素のパターン１１０を基本格子とする。パターン１１０において、左上の画素および右下の画素に視差Ｌｔ画素が割り当てられている。左下の画素および右上の画素に視差Ｒｔ画素が割り当てられている。ここでは、撮像素子１００は、モノクロセンサである。

図１０の視差が多重化された単板式モノクロのモザイク画像をM(x,y)で表す。階調はA/D変換によって出力された線形階調であるとする。

２）視差画像の生成
画像データ生成部２３１は、左視差画像と右視差画像を生成する。すなわち、画像データ生成部２３１は、左視差画素ばかりを集めた信号面内の補間を行って左視差画像を生成する。近接して存在する上下左右の画素値を用いて、補間を行う。４点の単純平均補間でもよいが、より高精細な左視差画像を生成するためには、上下の画素差分の絶対値と左右の画素差分の絶対値を比較して、値の小さい相関の大きな方向から方向判定しながら補間値を算出するのがよい。同様に、画像データ生成部２３１は、右視差画素ばかりを集めた信号面内の補間を行って右視差画像を生成する。すなわち、Lt_mosaic(x,y)からLt(x,y)を、Rt_mosaic(x,y)からRt(x,y)を生成する。

左視差画像をLt(x,y)で表す。
右視差画像をRt(x,y)で表す。

３）視差画像の平滑化による非対称ボケ補正
３‐１）視差マップの生成
まず、視差の検出方法の考え方について述べる。詳しくは後述するが、単眼瞳分割撮像方式では、被写体像のボケ幅を推定すれば等価的に視差量を検知したことになる。

図１１は、非合焦域に存在する物点の点像分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、画素値を表す。図１１（ａ）、（ｂ）では、左視点の点像分布Ｌｔと右視点の点像分布Ｒｔは、図６で示した左右の視差画素の開口部が半開口である場合における、水平方向のボケ幅を示している。

図１１（ａ）の左視点の点像分布Ｌｔと右視点の点像分布Ｒｔは、画素位置ｘの関数で表される。左視点の点像分布Ｌｔと右視点の点像分布Ｒｔの相加平均も画素位置ｘの関数で表される。例えば、画素位置ｘ１においては、ＬｔもＲｔも画素値を持つので、演算結果は正の値となる。画素位置ｘ２においては、Ｌｔは画素値を持たないものの、Ｒｔは画素値を持つので、演算結果はやはり正の値となる。以上のように、相加平均を算出する場合には、ＬｔとＲｔのいずれかが画素値を持てば、その演算結果は正の値となる。したがって、各画素位置における点像分布Ｌｔと点像分布Ｒｔの相加平均は、全体としてみると、図１１（ａ）に示すように、点像分布ＬｔおよびＲｔの広がり幅の和となる。これは、図６で示した全開口の開口部を有する視差なし画素に対応したボケ幅に相当する。

なお、相加平均は、点像分布ＬｔおよびＲｔの広がり幅の和を捉えるための演算の一例である。点像分布ＬｔおよびＲｔの広がり幅の和を捉えることができるのであれば、他の演算を利用してもよい。

左視点の点像分布Ｌｔと右視点の点像分布Ｒｔの相乗平均も画素位置ｘの関数で表される。例えば、画素位置ｘ１においては、ＬｔもＲｔも画素値を持つので、演算結果は正の値となる。一方、画素位置ｘ２においては、Ｒｔは画素値を持つものの、Ｌｔは画素値を持たないので、演算結果は０となる。以上のように、相乗平均を算出する場合には、ＬｔとＲｔのいずれもが画素値を持つ場合に、その演算結果は正の値となる。したがって、各画素位置における点像分布Ｌｔと点像分布Ｒｔの相乗平均は、全体としてみると、図１１（ｂ）に示すように、点像分布ＬｔおよびＲｔの広がり幅の積となる。相乗平均の広がり幅は、相加平均に比べて狭くなり、視差量が増えると相対的に更に小さくなるので、それらの比は視差量に相関を持つといえる。

なお、相乗平均は、点像分布ＬｔおよびＲｔの広がり幅の積を捉えるための演算の一例である。点像分布ＬｔおよびＲｔの広がり幅の積を捉えることができるのであれば、他の演算を利用してもよい。なお、一般的に、被写体は物点の集合と考えることができるので、画像は各物点に対する点像の積分ということができる。よって、画像のボケは、上述した点像分布のボケと同様に考えることができる。

また、被写体像のボケ幅、視差量は、光学的な条件に影響される。例えば、絞り値をＦ１．４で撮影した場合は、Ｆ８で撮影した場合よりボケ幅は広くなる。つまり、ボケ幅は、撮影時の絞り値に影響される。また、絞り値をＦ１．４で撮影した場合は、Ｆ８で撮影した場合より視差量は大きくなる。つまり、視差量も撮影時の絞り値に影響される。したがって、ボケ幅および視差量のそれぞれは、絞り値によって差が生じる。各画素において相加平均と相乗平均の比を取ると、絞り値に応じた視差量が算出される。被写体像のボケ幅の比に関する情報は、図４に示した関係を用いると、焦点面からの距離情報を表現することになる。

単眼瞳分割撮像方式に固有の特性である、ボケ幅が大きくなるほど視差が大きくなる性質を考えると、視差が大きくなるほど相加平均と相乗平均の比が大きくなるといえる。相加平均と相乗平均は、和と積の関係に相当するからである。合焦域の被写体では、左視差の点像分布と右視差の点像分布が一致するので、相加平均と相乗平均の結果も一致する。したがって、相加平均と相乗平均の比の値は、１以上となる。相加平均と相乗平均の比の値が１になるのは合焦域であり、合焦域から離れた被写体になるほど、その値は大きくなる。実験的に、視差が最も大きくなるレンズの絞りを開放位置に持ってきた条件で求めてみると、最大でもその比の値は、２程度の範囲に収まる。ｒ（ｘ、ｙ）は、各画素のボケ幅比を表すので、そのままボケ幅比マップとして利用することもできる。

したがって、Ｄ（ｘ、ｙ）＝ｒ（ｘ、ｙ）−１とすれば、すなわち、下記の（式３）を定義すれば、合焦域では視差がゼロで、非合焦域では視差の値が大きくなる指標が得られる。

Ｄ（ｘ、ｙ）は、各画素の２次元マップを表すので、そのまま視差マップとして定義することができる。

視差マップでは、画像構造の影響が排除された、ボケ度合いが連続的に変化する評価データが得られる。視差マップは、ボケた部分の被写体構造のボケ具合がどの程度かを表す指標であると同時に、エッジ部分でのみ値が検知され平坦部では値が消滅する特性を持つ。さらに、水平方向に僅かでも視差を持つエッジ部分に検出される画像構造の領域は、合焦域以外の領域に限られる。したがって、完全に水平な横線の被写体構造では視差は検知されないが、その角度が徐々に垂直方向に立ってくるにしたがって、有限の値をもつ視差マップを得ることができる。すなわち、被写体のボケ度合いとともに被写体構造の水平方向に変化する領域に関する視差マップを得ていることになる。こうして得られる視差マップは、目的とする被写体のボケの非対称性を補正したい領域とその強度分布とが合致した、極めて有効な指標となる。

３‐２）平滑化処理
視差マップを画素数の単位で表された絶対視差量に変換するためには、以下の（式４）に示すように、ボケ幅を画素数で規定する定数σ₀を（式３）に乗算すればよい。定数σ₀は、撮像素子１００の撮像面積と画素ピッチと光学系との関係で規定され、左右の視差画像間の最大視差のオーダーである。例えば、定数σ₀は、50画素、100画素といったオーダーの値となる。この絶対視差量をガウスぼかしフィルタのぼかし半径として設定し、水平方向のガウスぼかしを行う。すなわち、ぼかし半径が画素位置によって変わる適応的なガウスぼかしを行う。これにより、視差マップで大きな値をとっている所では強く水平方向にぼかし、視差がゼロの所では何もぼかさない。すなわち、水平ボケが弱い領域では強く水平方向にぼかし、垂直ボケが強い領域では何も処理をしない。また、平坦部領域でも何も処理をしない。このため、フィルタ処理部２３３は、結果として、合焦領域を除外してフィルタリングを施すことになる。

補正強度を変える方法としては、２通りの方法がある。１つは上記ぼかし半径の基準値である定数σ₀の値を0〜σ₀の範囲に可変にすることである。もう１つは、ぼかし半径の基準値である定数σ₀は不変のまま、補正結果を元画像に加重合成する方法である。すなわち、加重比率α=０〜1として、以下の（式８）、（式９）のように表すことができる。

あるいは、２通りの方法を併用するようにしてもよい。こうして任意の強度で、非対称ボケが補正された視差画像が得られる。

＜実施形態２＞
‐‐‐視差Ｌｔ画像と視差Ｒｔ画像に対する水平方向エッジ強調抑制による非対称ボケ補正‐‐‐
画像処理の手順は、およそ以下の通りである。
１）視差多重化モザイク画像データ入力
２）視差画像の生成
３）視差画像のエッジ強調による非対称ボケ補正
３‐１）視差マップの生成
３‐２）エッジ強調処理
下記ステップ３‐２）以外は実施形態１と同様であるので説明を省略する。

３‐２）エッジ強調処理
視差画像のボケの非対称性を対称な方向に近づける目的で、垂直ボケの強い横線の被写体構造域ではエッジ強調処理を強め、水平ボケの弱いシャープさの残った縦線の被写体構造域ではエッジ強調を弱める処理を行う。

まず、エッジ成分を以下のラプラシアンフィルタで抽出する。ただし、これは一例であり、通常のアンシャープマスクと呼ばれる任意の半径の２次元ガウスぼかしした結果を原画像から引いた差分でラプラシアン成分を定義してもよい。

そして、エッジ強調のゲイン係数kを画素単位で異なるように設定する。そのときに視差マップの情報を使う。ゲイン係数として次の２つのような例が考えられる。

ただし、（式１１）はkの値が零以上の値となるように負の値は0にクリップするとする。また、（式１０）および（式１１）の第２項を２乗してボケ比マップおよび視差マップの強度スケールを変更するようにしてもよい。

このように、定義されたゲイン係数マップk(x,y)は、縦線の水平ボケが弱い領域のエッジ強調度合いを弱める役割を果たす。なぜならば、視差の大きい領域ほど水平方向と垂直方向のボケの非対称性が強く、そのような領域に該当する、ボケ比rが２に近い領域および視差Dが１に近い領域では、ゲイン係数の値が最も小さくなるように定義されているからである。

これらのゲイン係数を用いて、左視差画像と右視差画像のボケの非対称性を補正する。

ただし、画像全体のエッジ強調の度合いを変更するには、k₀の値を0以上の任意の正の値に設定するとよい。

＜実施形態３＞
‐‐‐N画像に対する水平方向平滑化による非対称ボケ補正‐‐‐
視差なし画素を視差画素より高密度で配置することによって、視差なしの２Ｄ画像を高解像に再現することができる。そのとき、Ｎ画素の補間に視差Ｌｔ画素および視差Ｒｔ画素の値も参照することにより、高解像度化が実現できる。以下に述べるローカル・ゲインバランス補正がこの役割を果たす。中間画像（Ｎ画像）として高解像な２Ｄ画像を得た後、視差Ｌｔ画素の画素値のみを用いた補間によって生成した低解像の視差Ｌｔ画像と視差Ｒｔ画素の画素値のみを用いた補間によって生成した低解像の視差Ｒｔ画像を使って、Ｎ画像を左方向と右方向に視差変調を加える。これにより、高解像な視差Ｌｔ画像と高解像な視差Ｒｔ画像を生成する。以下に示す実施形態はこれらを可能にする。

このような手続きを経て得られたＮ画像には、高解像度化を果たすために参照した視差Ｌｔ画像と視差Ｒｔ画像のボケの非対称性が含まれてしまうので、実施形態１および実施形態２で説明した２線ボケほど強くはないけれども、２線ボケの傾向を示す。このＮ画像の２線ボケを低減する実施形態をここでは示す。
画像処理の手順は、およそ以下の通りである。

１）視差多重化モザイク画像データ入力
２）仮の視差画像の生成
３）左右の局所照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
４）基準画像の平滑化による非対称ボケ補正
５）実の視差画像の生成
以下、順に説明する。

１）視差多重化モザイク画像データ入力
図１２は、画素配列のバリエーションを示す図である。撮像素子２００は、図の太線で示す２×２画素のパターン１２０を基本格子とする。撮像素子２００では、パターン１２０において、左上の画素および右下の画素に視差なし画素が割り当てられている。また、左下の画素に視差Ｌｔ画素が割り当てられ、右上の画素に視差Ｒｔ画素が割り当てられている。ここでは、撮像素子１００は、モノクロセンサである。図１２の視差が多重化された単板式モノクロのモザイク画像をM(x,y)で表す。階調はA/D変換によって出力された線形階調であるとする。

２）仮の視差画像の生成
画像データ生成部２３１は、空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。具体的には、画像データ生成部２３１は、左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、画像データ生成部２３１は、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、画像データ生成部２３１は、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Lt_mosaic(x,y)からLt(x,y)を、Rt_mosaic(x,y)からRt(x,y)を、N_mosaic(x,y)からN(x,y)を生成する。

仮の視差なし画像をN(x,y)で表す。
仮の左視差画像をLt(x,y)で表す。
仮の右視差画像をRt(x,y)で表す。
なお、仮の視差なし画像N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行うのが望ましい。その方法は、実施形態１の視差Ｌｔ画像、視差Ｒｔ画像の補間で示したのと同様である。すなわち、縦方向と横方向の間で方向判定を行い、相関の強い方向の画素値を用いてＮ画素の補間を行う。

同様に、仮の左視差画像と仮の右視差画像を作るときも同じ考え方ができる。すなわち、日本特許４７４８２７８号（本出願人と同一発明者）に示される概念を用いて、初めに対角の斜め２方向に存在する画素値を補間する。その上で、残りの欠落画素を元のサンプリング画素と補間画素によって埋められた上下と左右の２方向に存在する画素値を用いて補間値を算出する２段階の補間を行う。第１段階では、対角斜め２方向の間で相関量を計算し、相関の強い方向の画素値を用いて補間する。第２段階では、上下と左右の２方向の間で相関量を計算し、相関の強い方向の画素値を用いて補間する。

３）左右の局所照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
次に、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値m(x,y)と置き換えることと等価であり、視差の消滅した中間画像面が得られる。これをもう一度N(x,y)と書くことにする。

このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、モノクロ面のデータを書き換え、視差なしモノクロ面の画像N(x,y)を出力する。なお、基準視点の画像であるN(x,y)は、左視点の画像と右視点の画像の平均値を用いて生成されているので、視差画像データに基づく画像といえる。

４）基準画像の平滑化による非対称ボケ補正
フィルタ処理部２３３は、Ｎ画像の被写体像のボケの中に含まれる２線ボケ構造を平滑化によって緩和する。補正の原理は、コントラストの高い水平ボケを平滑化する実施形態１と同じである。（式２）から（式５）まで同様の定義の演算を行う。次に、水平方向の平滑化をN画像に対して行う。

視差なし画像に対する水平ぼかし処理は、（式１４）で表すことができる。

こうして２線ボケの抑制された視差なし画像N'(x,y)が生成される。

５）実の視差画像の生成
画像データ生成部２３１は、ステップ２で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ３、４で中間処理として生成した解像力の高い視差なしのモノクロ画像N'(x,y)を用いて、実際に出力する解像力の高い左視差のモノクロ画像Lt'(x,y)を生成する。同様に、画像データ生成部２３１は、ステップ２で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ３、４で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像Rt'(x,y)を生成する。

こうして２線ボケの抑制された高解像な左視差画像と高解像な右視差画像が生成される。

ここで、以下の実施形態４の説明と結びつける目的で、視差変調をするときの変調量をパラメータ化することによって、立体効果を弱められる制御方法について、少し述べておく。視差変調をするときの変調量をパラメータ化することによって、視差量を制御することができる。視差量が変化すると、左視差画像データの視点と左視差画像データの視点も変化することになる。したがって、画像データ生成部２３１は、仮の左視差画像データの視点とは異なる視点の左視差画像データを生成することもできる。同様に、仮の右視差画像データの視点とは異なる視点の右視差画像データを生成することもできる。（式１５）と（式１６）を下式に置き換えるとパラメータＣによって立体効果を可変にすることができる。

Cは０≦Ｃ≦０．５の範囲の値をとり、Ｃ＝０の時は（式１５）、（式１６）と同じになり、Ｃ＝０．５のとき視差変調を行わないのと同様になり、立体効果は消える。その間は中間的な立体効果を生む。

＜実施形態４＞
‐‐‐Lt/Rt画像に対する水平方向平滑化による非対称ボケ補正‐‐‐
実施形態４は、実施形態３でＮ画像に対して非対称ボケ補正した後に、視差変調を加えて視差Ｌｔ画像と視差Ｒｔ画像を生成した順序を入れ替えて、視差変調を加えて生成された視差Ｌｔ画像と視差Ｒｔ画像に対して、実施形態１と同様な非対称ボケ補正を行うようにした実施形態である。

実施形態１では特に言及しなかったが、非対称ボケを完全に補正すると、左視差画素と右視差画素は同じようなボケ特性になり、視差が消滅し得る。その事実を積極的に利用したのが実施形態４である。すなわち、非対称ボケ補正の強度制御によって、実施形態３の最後に記した視差変調量を制御する効果と同等の効果を、非対称ボケを補正しつつ得ることが可能になる。これは、単眼瞳分割立体撮像方式において、視差量を制御する新たな手段となる。

画像処理の手順は、およそ以下の通りである。
１）視差多重化モザイク画像データ入力
２）仮の視差画像の生成
３）左右の局所照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
４）実の視差画像の生成
５）実の視差画像の平滑化による非対称ボケ補正
以下、順に説明する。

ステップ１）〜３）は実施形態３と同様であるので説明を省略する。
４）実の視差画像の生成
実施形態３のステップ４の（式１４）を経ずにＮ画像を（式１５）、（式１６）に代入することになるので、（式１５）、（式１６）を下式へ変更する。なお、実の視差画像は、左視点の仮の視差画像と右視点の仮の視差画像を用いて生成されているので、視差画像データに基づく画像といえる。

５）実の視差画像の平滑化による非対称ボケ補正
実施形態１の（式４）〜（式９）をそのまま実行する。そのとき、ガウスぼかし半径の基準値である定数σ₀の値は、上述した固定の基準値を用いる。そうすると、（式８）、（式９）に示される加重パラメータαが視差制御手段の役割を果たす。α=0のとき最大の視差を生み、α=1のとき視差は消滅する。

なお、実施形態４のフローの中で、ステップ２の仮の視差画像の出力結果に対して非対称ボケ補正を行わず、ステップ４の実の視差画像の出力結果に対して行う理由は、視差なし基準画像（Ｎ画像）を生成するために参照する視差Ｌｔ画像と視差Ｒｔ画像の高周波成分を失わせないためである。したがって、Ｎ画像も視差Ｌｔ画像も視差Ｒｔ画像も高解像な出力結果を得た後に、ボケの状態を補正するので、いずれの画像も高解像性能を失わずに自然なボケの立体画像を得ることができる。

＜実施形態５＞
以上の説明では、フィルタ処理部２３３が視差マップに応じて画像データに対して選択的にフィルタリングを施したが、フィルタ処理部２３３は、水平方向と垂直方向で通過させる周波数の帯域が異なるフィルタを用いてフィルタリングを施してもよい。例えば、当該フィルタは、横線における垂直方向のボケ量を維持する特性を有するとともに、縦線における水平方向の周波数特性をボケ量が大きくなる方向に変化させる特性を有する。フィルタ処理部２３３は、このようなフィルタを用いてフィルタリングすることにより、水平方向のボケ量と垂直方向のボケ量の差を小さくできる。また、フィルタ処理部２３３は、空間周波数が予め定められた閾値以上か否かに応じてフィルタリングを施してもよい。すなわち、フィルタ処理部２３３は、視差画像データにおける画像等のフィルタリングの対象となる画像に対して、水平方向と垂直方向における空間周波数の変化量が互いに異なるようにフィルタリングを施せばよい。

なお、画素が正方形ではないハニカム構造であっても、視差画素の開口マスクの非対称性はレンズの入射光束の瞳の非対称性を同様に生み出すので、ボケの非対称性補正として同じ処理をすればよい。上記の第１〜第５の実施形態では、モノクロ・視差多重化の単板撮像方式の例を示したが、撮像素子がカラーフィルタも伴っている場合は、Ｎ画像、視差Ｌｔ画像、視差Ｒｔ画像の各々をカラー補間した上で、各色成分について同様に行えばよい。あるいは、処理を簡略化して、輝度面に対してだけ行うようにしてもよい。

単眼式の瞳分割による視差情報の取得方法として以下のような変形例も考えられる。
１）単眼レンズの入射光をプリズムで半々に光強度が２方向に分離するようにし、各々に片側視差画素のみを敷き詰めた左視差撮像素子と右視差撮像素子によって二板式撮像を行う。これにより、各画素に右視差画素値と左視差画素値の２つの情報をもたせることができる。
２）単眼レンズの構造として、図４に示した仮想瞳に相当する絞りを右側と左側に交互に挿入できるようにし、通常の視差なし画素のモノクロ撮像素子に対して、２回露光で順に左視差画像と右視差画像を取得する。

パーソナルコンピュータなどの機器を画像データ生成部２３１、視差マップ生成部２３２、フィルタ処理部２３３の機能を担う画像処理装置として機能させることもできる。画像処理装置は、カメラ等の他の装置から画像情報（撮像情報）が関連付けられた視差画像データを取り込んでもよい。この場合には、画像データ生成部２３１は、画像取得部としての役割を担う。なお、画像データ生成部２３１が、画像情報が関連付けられた視差画像データを自ら生成する場合も、自ら生成することによって画像情報が関連付けられた視差画像データを取得しているといえる。フィルタ処理部２３３は、画像情報に応じて画像処理を行う。具体的には、画像情報が２軸方向に長さが異なる受光領域を有する画素の出力から生成された旨を示す場合に、実施形態１〜５で説明したいずれかのフィルタリング処理を行う。画像処理装置は、パーソナルコンピュータに限らず、さまざまな形態を採り得る。例えば、ＴＶ、携帯電話、ゲーム機器など、表示部を備える、あるいは表示部に接続される機器は画像処理装置になり得る。なお、以上の説明において画像は、画像データを指す場合もあれば、フォーマットに従って展開され可視化された被写体像そのものを指す場合もある。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

なお、視差画素に設けた開口マスクの役割は、1つのマイクロレンズの中に右視差画素と左視差画素とを共存させたときも、右視差画素にとっては左視差画素の受光部が開口マスクの役割を果たし、左視差画素にとっては右視差画素の受光部が開口マスクの役割を果たすと考えてよい。さらに、図６（ａ）の視差画素と同じ開口形状を持つ開口を画素の真ん中に配置した視差Ｃ画素を定義することもできる。この場合にも、縦横間で非対称なボケが生じるので、各実施形態に示した処理を用いて補正することができる。

ところで、撮像情報として画像に付ける３Ｄ用センサか２Ｄ用センサかを区別するような情報は、例えば、カメラ機種を特定するＥｘｉｆタグ等を利用するとよい。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０４ｌ 開口部、１０４ｒ 開口部、１０４ｎ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ パターン、１２０ パターン、２００ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２２０ メモリカード、２３１ 画像データ生成部、２３２ 視差マップ生成部、２３３ フィルタ処理部、３２２ 中心線、１８０１ 分布曲線、１８０２ 分布曲線、１８０３ 分布曲線、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (23)

1. 撮像情報が付けられた第１の画像を入力する手段と、
   前記第１の画像が、１つの光学系の入射光束に対して長軸と短軸の非対称な方向特性をもつ部分光束を通過させるように位置づけられた開口マスクを有する第１の視差画素を備えた画素配列からなる撮像素子の出力信号を用いた、前記開口マスクに対応する視点方向の被写体像の画像であるか否かを前記撮像情報に基づいて判断する手段と、
   前記撮像情報が該条件に合致する場合に、前記第１の画像の非合焦域の被写体像に対して、開口マスクの長軸方向と短軸方向との間のボケの非対称性をなくすように、長軸方向と短軸方向の間で周波数特性の異なる補正処理を行い、補正された第１の画像を出力する手段と
   を備えたことを特徴とする画像処理装置。
2. 前記補正処理は、前記第１の画像の非合焦域の被写体像に対して、短軸方向の平滑化処理を行う請求項１に記載の画像処理装置。
3. 前記補正処理は、前記第１の画像の非合焦域の被写体像に対して、短軸方向に周波数成分をもつ被写体像のエッジ強調処理を、長軸方向に周波数成分を持つ被写体像のエッジ強調処理よりも弱める請求項１に記載の画像処理装置。
4. 前記１つの光学系の入射光束に対して長軸と短軸の非対称な方向特性をもち、前記第１の画像とは短軸方向に異なる部分光束を通過させるように位置づけられた開口マスクを有する第２の視差画素を備えた画素配列からなる撮像素子の出力信号を用いて、前記開口マスクに対応する視点方向の被写体像の第２の画像を入力する手段を更に備え、
   前記第１の画像と前記第２の画像の間の視差量に基づいて、前記第１の画像の非合焦域の被写体像を抽出する請求項１に記載の画像処理装置。
5. 撮像情報が付けられた第１の画像を入力する手段と、
   前記第１の画像が、１つの光学系の入射光束に対して長軸と短軸の非対称な方向特性をもつ互いに異なる部分光束を通過させるように位置づけられた第１の開口マスクを有する第１の視差画素と第２の開口マスクを有する第２の視差画素と、前記入射光束の全てを通過させるように位置づけられた第３の開口マスクを有する視差なし画素を少なくとも備えた画素配列からなる撮像素子を用いて、前記第１の開口マスクに対応する視点方向の被写体像と前記第２の開口マスクに対応する視点方向の被写体像と、前記第３の開口マスクに対応する視点方向の被写体像とを同時にそれぞれ異なる画素に撮像した画像であるか否かを前記撮像情報に基づいて判断する手段と、
   前記撮像情報が該条件に合致する場合に、前記撮像した画像の視差なし画素と第１の視差画素と第２の視差画素の信号を用いて、前記第３の開口マスクに対応する視点方向の基準画像を生成する手段と、
   前記基準画像の非合焦域の被写体像に対して、第１の開口マスクおよび第２の開口マスクの長軸方向と短軸方向との間のボケの非対称性をなくすように、長軸方向と短軸方向の間で周波数特性の異なる補正処理を行い、補正された基準画像を出力する手段と
   を備えたことを特徴とする画像処理装置。
6. 前記補正処理は、前記基準画像の非合焦域の被写体像に対して、短軸方向の平滑化処理を行う請求項５に記載の画像処理装置。
7. 前記補正処理は、前記基準画像の非合焦域の被写体像に対して、短軸方向に周波数成分をもつ被写体像のエッジ強調処理を、長軸方向に周波数成分を持つ被写体像のエッジ強調処理よりも弱める請求項５に記載の画像処理装置。
8. 前記第１の視差画素の信号を用いて、各画素に前記第１の開口マスクに対応する視点方向の第１の画像を生成する手段と、
   前記第２の視差画素の信号を用いて、各画素に前記第２の開口マスクに対応する視点方向の第２の画像を生成する手段と、
   を更に備え、
   前記第１の画像と前記第２の画像の間の視差量に基づいて、前記基準画像の非合焦域の被写体像を抽出する請求項５に記載の画像処理装置。
9. ２軸方向に長さが異なる受光領域を有する画素の出力から生成された旨の画像情報が関連付けられた入力視差画像データを取得する画像取得部と、
   前記画像情報が関連付けられた前記入力視差画像データに基づく画像に対して、前記２軸方向に対応する第１軸方向と第２軸方向との間のボケの非対称性をなくすように、前記２軸方向に対応する前記第１軸方向と前記第２軸方向における空間周波数の変化量が互いに異なるようにフィルタリングを施す画像処理部と
   を備える画像処理装置。
10. 前記画像処理部は、前記入力視差画像データに基づく画像における、前記第１軸方向と前記第２軸方向のうち短軸方向に周波数成分を持つ被写体像に、長軸方向に周波数成分を持つ被写体像に対する平滑化処理より強い平滑化処理を施す請求項９に記載の画像処理装置。
11. 前記画像処理部は、前記入力視差画像データに基づく画像における、前記第１軸方向と前記第２軸方向のうち短軸方向に周波数成分を持つ被写体像に、長軸方向に周波数成分を持つ被写体像に対するエッジ強調処理より弱いエッジ強調処理を施す請求項９に記載の画像処理装置。
12. 前記画像処理部は、前記第１軸方向と前記第２軸方向で通過させる周波数の帯域が異なるフィルタを用いて前記フィルタリングを施す請求項９〜１１のいずれか１項に記載の画像処理装置。
13. 前記画像処理部は、合焦域を基準とする被写体の奥行きに関する位置情報を示す視差マップを生成し、前記視差マップに応じて選択的に前記フィルタリングを施す請求項９〜１１のいずれか１項に記載の画像処理装置。
14. 前記画像処理部は、前記入力視差画像データのうち、視点の異なる複数の視点画像データの対応するそれぞれの画素値を加算演算した値と積算演算した値の比を算出し、前記比に基づいて前記視差マップを生成する請求項１３に記載の画像処理装置。
15. 前記画像取得部は、基準方向に対応する視差なし画像データを取得し、
    前記画像処理部は、前記複数の視点画像データと、前記視差なし画像データとを用いて、前記基準方向に対応した基準画像データを生成し、前記基準画像データに対して前記フィルタリングを施す請求項１４に記載の画像処理装置。
16. 前記画像取得部は、基準方向に対応する視差なし画像データを取得し、
    前記画像処理部は、前記入力視差画像データのうちの視点の異なる前記複数の視点画像データと、前記視差なし画像データとを用いて、前記基準方向に対応した基準画像データを生成し、前記複数の視点画像データのうちの第１視点の視点画像データと前記基準画像データを用いて第１視点の高解像な視点画像データを生成し、前記複数の視点画像データのうちの第２視点の視点画像データと前記基準画像データを用いて第２視点の高解像な視点画像データを生成し、前記第１視点の高解像な視点画像データと前記第２視点の高解像な視点画像データに対して、前記フィルタリングを施す請求項１４に記載の画像処理装置。
    
17. 前記画像処理部は、予め設定された視差量に応じて前記フィルタリングを施す請求項１６に記載の画像処理装置。
18. 前記画像処理部は、合焦領域を除外して前記フィルタリングを施す請求項９〜１７のいずれか１項に記載の画像処理装置。
19. 前記視差画像データを出力する撮像素子と、
    請求項９〜１８のいずれか１項に記載の画像処理装置と
    を備える撮像装置。
20. ２軸方向に長さが異なる受光領域を有する画素の出力から生成された旨の画像情報が関連付けられた視差画像データを取得する画像取得ステップと、
    前記画像情報が関連付けられた前記視差画像データに基づく画像に対して、前記２軸方向に対応する第１軸方向と第２軸方向との間のボケの非対称性をなくすように、前記２軸方向に対応する第１軸方向と第２軸方向における空間周波数の変化量が互いに異なるようにフィルタリングを施す画像処理ステップと
    をコンピュータに実行させる画像処理装置の制御プログラム。
21. 前記補正された第１の画像を出力する手段は、前記長軸方向および前記短軸方向のいずれか一方向のみに前記補正処理を行う請求項１に記載の画像処理装置。
22. 前記補正された基準画像を出力する手段は、前記長軸方向および前記短軸方向のいずれか一方向のみに前記補正処理を行う請求項５に記載の画像処理装置。
23. 前記画像処理部は、前記第１軸方向および前記第２軸方向のいずれか一方向のみに前記フィルタリングを施す請求項９に記載の画像処理装置。

Images