JP5978737B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

画像処理装置、撮像装置および画像処理プログラム Download PDF

Info

Publication number
JP5978737B2
JP5978737B2 JP2012100474A JP2012100474A JP5978737B2 JP 5978737 B2 JP5978737 B2 JP 5978737B2 JP 2012100474 A JP2012100474 A JP 2012100474A JP 2012100474 A JP2012100474 A JP 2012100474A JP 5978737 B2 JP5978737 B2 JP 5978737B2
Authority
JP
Japan
Prior art keywords
pixel
image
color
viewpoint
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012100474A
Other languages
English (en)
Other versions
JP2013229765A (ja
Inventor
石賀　健一
健一 石賀
清茂 芝崎
清茂 芝崎
浜島　宗樹
宗樹 浜島
晋 森
晋 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012100474A priority Critical patent/JP5978737B2/ja
Priority to CN201380022016.6A priority patent/CN104412586B/zh
Priority to PCT/JP2013/002831 priority patent/WO2013161313A1/ja
Publication of JP2013229765A publication Critical patent/JP2013229765A/ja
Priority to US14/513,729 priority patent/US9838665B2/en
Application granted granted Critical
Publication of JP5978737B2 publication Critical patent/JP5978737B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報
右目用の画像および左目用の画像をそれぞれカラー画像として取得するには、ステレオ撮像装置のそれぞれの撮影光学系に対応した出力画像を、カラー画像として取得する必要があった。
本発明の第１の態様における画像処理装置は、被写体像のカラーを構成する複数の色成分の一つである特定色において、被写体像を捉える複数の視点の一つである第１視点に対応する第１画素値を有するカラー画像データから、対象画素位置における第１画素値を抽出する画素値抽出部と、第１視点とは異なる第２視点および第３視点に対応する第２輝度値および第３輝度値を有する輝度画像データから、対象画素位置における第２輝度値および第３輝度値を抽出する輝度値抽出部と、特定色に対する第２視点の第２画素値または第３視点の第３画素値と画素値抽出部が抽出した第１画素値との差が、輝度値抽出部が抽出した第２輝度値と第３輝度値との差に対して相関を保つように第２画素値および第３画素値の少なくともいずれかを算出する算出部とを備える。
本発明の第２の態様における撮像装置は、被写体像を撮像する撮像素子と、上記の画像処理装置とを備え、画素値抽出部は、撮像素子が出力するカラー画像データから第１画素値を抽出し、輝度値抽出部は、撮像素子が出力する輝度画像データから第２輝度値および第３輝度値を抽出する。
本発明の第３の態様における画像処理プログラムは、被写体像のカラーを構成する複数の色成分の一つである特定色において、被写体像を捉える複数の視点の一つである第１視点に対応する第１画素値を有するカラー画像データから、対象画素位置における第１画素値を抽出する画素値抽出ステップと、第１視点とは異なる第２視点および第３視点に対応する第２輝度値および第３輝度値を有する輝度画像データから、対象画素位置における第２輝度値および第３輝度値を抽出する輝度値抽出ステップと、特定色に対する第２視点の第２画素値または第３視点の第３画素値と画素値抽出ステップにより抽出された第１画素値との差が、輝度値抽出ステップにより抽出された第２輝度値と第３輝度値との差に対して相関を保つように第２画素値および第３画素値の少なくともいずれかを算出する算出ステップとをコンピュータに実行させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面を表す概略図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 ベイヤー配列を説明する図である。 ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。 バリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のカラーフィルタ配列を説明する図である。 Ｗ画素と視差画素の配列の一例を示す図である。 プレーン分離処理を説明する図である。 プレーンデータの補間処理を説明する図である。 ＲＡＷ画像データセットのデータ構造を説明する図である。 デフォーカスの概念を説明する図である。 視差画素デフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 カラー視差プレーンデータの生成処理を説明する図である。 光強度分布の変化を説明する図である。 視差カラー画像データを生成するまでの処理フローである。 好ましい開口形状を説明する図である。 カラー視差プレーンデータの生成処理を説明する図である。 光強度分布の変化を説明する図である。 他の繰り返しパターンを採用する撮像素子１００におけるプレーン分離処理を説明する図である。 他の繰り返しパターンを採用する撮像素子１００におけるＲＡＷ画像データセットのデータ構造を説明する図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、カラー画像データの対象画素位置から画素値を抽出する画素値抽出部２３１、視差画像データの対象画素位置から輝度値を抽出する輝度値抽出部２３２、抽出した画素値と輝度値を用いて対象画素位置におけるカラー画像データとしての画素値を算出する算出部２３３を有する。それぞれの処理の詳細については、後述する。
画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。
図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）である。これらのカラーフィルタは、後述するように、光電変換素子１０８に対応して格子状に配列される。
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。また、撮像素子１００の出力から生成される画像データにおいて、撮像素子１００の画素に対応して出力値を持ち得る単位も単に画素と呼ぶ場合がある。
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担っても良い。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により被写体光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。
また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されても良い。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。
輝度情報を取得する画素を視差画素とするのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。
スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色（透明である場合を含む）のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。
図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束（部分光束）の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、視差なし画素を除いた仮想的な撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。
同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。
次に、カラーフィルタ１０２と視差画像について説明する。図６は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。
このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図７は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。
以下にいくつかのバリエーションについて説明する。図８は、バリエーションの一例を示す図である。図８のバリエーションは、図７における繰り返しパターン分類Ａ−１に相当する。
図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌｔ画素に、Ｇｒ画素を視差Ｒｔ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌｔ画素と視差Ｒｔ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。
図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。なお、変換演算については後述する。
図９は、他のバリエーションの一例を示す図である。図９のバリエーションは、図７における繰り返しパターン分類Ｂ−１に相当する。
図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌｔ画素を、右側のＧｂ画素に視差Ｒｔ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図８の例よりも、更に２Ｄ画像の高画質化が望める。
図１０は、更に他のバリエーションの一例を示す図である。図１０のバリエーションは、図７における繰り返しパターン分類Ｄ−１に相当する。
図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌｔ画素を、右側のＧｂ画素に視差Ｒｔ画素を割り当てる。さらに、左側のＲ画素に視差Ｌｔ画素を、右側のＲ画素に視差Ｒｔ画素を割り当てる。さらに、左側のＢ画素に視差Ｌｔ画素を、右側のＢ画素に視差Ｒｔ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。
２つのＧｂ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図９の例に比較して、３Ｄ画像としての解像度が縦方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。
なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。
上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。
したがって、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子１０８のうち、少なくとも２つ（３つ以上であっても良い）に対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも３種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
図１１は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図６で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。
このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。
Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。
図１２は、図１１の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図１２のバリエーションは、ベイヤー配列における図７の繰り返しパターン分類Ｂ−１に類似するので、ここではＢ'−１とする。図の例においては、他のカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＷ画素に視差Ｌｔ画素を、右側のＷ画素に視差Ｒｔ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力することができる。
この場合、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを有し、隣接するｎ個（ｎは４以上の整数）の光電変換素子１０８のうち、少なくとも２つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも３種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
以上のように、撮像素子１００を構成する各画素は、開口部１０４に着目した場合の視差画素と視差なし画素、およびカラーフィルタ１０２に着目した場合のＲ画素、Ｇ画素、Ｂ画素、Ｗ画素が、さまざまに組み合わされて特徴付けられる。したがって、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。すなわち、撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図５を用いて説明したように、視差画素の出力をその開口部の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図１３は、図１２を用いて説明したＢ'−１の繰り返しパターンを例として、プレーン分離処理を説明する図である。なお、図示するように、撮像素子１００の画素配列に対して、右向きにｉ軸を定め、下向きにｊ軸を定める。また、左端かつ上端の座標を（１，１）とし、右端かつ下端の座標を（ｉ０，ｊ０）とする。図においては、図１２の例に則して画素の種類が理解されるように記載するが、実際のプレーンデータとしては各画素に対応した出力値が並ぶ。
図１３の上段に模式的に表すように、ＲＡＷ元画像データは、ｉ＝１行目において、（１，１）から（ｉ０，１）へ向かって、視差Ｌｔ画素、視差なしＢ画素、視差Ｒｔ画素、視差なしＢ画素の順にそれぞれの出力値が繰り返し並んでいる。また、ｉ＝２行目において、（１，２）から（ｉ０，２）へ向かって、視差なしＲ画素、視差なしＧ画素（Ｇｒ画素）の順にそれぞれの出力値が繰り返し並んでいる。ＲＡＷ元画像データは、このような行方向の出力値が、列方向にも交互に繰り返して並んでいる。
画像処理部２０５は、視差Ｌｔ画素、視差Ｒｔ画素、視差なしＲ画素、視差なしＧ画素、および視差なしＢ画素のそれぞれを同一に特徴付けられた画素グループとして、ＲＡＷ元画像データをそれぞれのプレーンデータに分離する。Ｂ'−１の繰り返しパターンにおいては、ＲＧＢのカラー画素は視差なし画素であり、視差画素はＷ画素である。そこで、画像処理部２０５は、ＲＡＷ元画像データから、視差なしＲ画素のみを分離してＲ０プレーンデータを生成し、視差なしＧ画素のみを分離してＧ０プレーンデータを生成し、視差なしＢ画素のみを分離してＢ０プレーンデータを生成して、これらを纏めてカラー画像データとして管理する。
同様に、画像処理部２０５は、ＲＡＷ元画像データから、視差Ｌｔ画素のみを分離してＬｔ０プレーンデータを生成し、視差Ｒｔ画素のみを分離してＲｔ０プレーンデータを生成して、これらを纏めて視差画像データして管理する。ここで、視差画像データは、カラー情報を含まず、被写体像の輝度情報を表していると言えるので、輝度画像データとして扱うことができる。そこで、本実施形態においては、カラー画像データに属する各プレーンの出力値を画素値と呼び、輝度画像データに属する各プレーンの出力値を輝度値と呼ぶ。また、画像処理部２０５は、カラー画像データと視差画像データを、一つのＲＡＷ元画像データから生成されたプレーンデータ群として、ＲＡＷ画像データセットとして管理する。
この時点における各プレーンデータは、図示するように、ＲＡＷ元画像データにおいて出力値が存在する画素位置にのみ出力値が存在する。例えば、Ｒ０プレーンデータにおいては、一つの繰り返しパターン１１０に対して出力値（画素値）が存在するのは２画素分であり、他の６画素分は空格子として存在する。同様に、Ｌｔ０プレーンデータにおいては、一つの繰り返しパターンに対して出力値（輝度値）が存在するのは１画素分であり、他の７画素分は空格子として存在する。そこで、画像処理部２０５は、各プレーンデータの空格子を埋める補間処理を実行する。
図１４は、プレーンデータの補間処理を説明する図である。ここでは、空格子の存在するＲ０プレーンデータに補間処理を施して、空格子の存在しないＲｎプレーンデータを生成する様子を示す。
画像処理部２０５は、補間処理として、空格子に近接する画素の画素値を用いて、当該空格子の画素値を生成する。例えば、対象となる空格子と隣接する画素に画素値があれば、これらの平均値を当該空格子の画素値とする。また、隣接しない画素を用いる場合は、当該空格子からの距離に応じた重み付けを与えて平均化処理する。
このように補間処理を施すと、それぞれのプレーンデータから空格子を無くすことができる。図１５は、補間処理を施した後のＲＡＷ画像データセットのデータ構造を説明する図である。
図示するように、ＲＡＷ画像データセットを構成するカラー画像データは、空格子の存在しないＲｎプレーンデータ、Ｇｎプレーンデータ、およびＢｎプレーンデータを含む。これらの画像データはそれぞれ、被写体像に対して赤色成分のみを抽出した画像データ、緑色成分のみを抽出した画像データ、青色成分のみを抽出した画像データに相当する。
同様に、ＲＡＷ画像データセットを構成する視差画像データ（輝度画像データ）は、空格子の存在しないＬｔプレーンデータおよびＲｔプレーンデータを含む。これらの画像データはそれぞれ、被写体像に対して左側視点の輝度成分のみを抽出した画像データ、右側視点の輝度成分のみを抽出した画像データに相当する。
本実施形態においては、画像処理部２０５は、これら５つのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。具体的な処理に先立って、まず生成原理について説明する。
図１６は、デフォーカスの概念を説明する図である。図１６（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
一方、図１６（ｂ）に示すように、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。
また、図１６（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。
次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。図１７は、視差画素デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。
図１７（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
一方、図１７（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。また、図１７（ｃ）に示すように、さらに物点が焦点位置からずれると、図１７（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。
図１６で説明した光強度分布の変化と、図１７で説明した光強度分布の変化をそれぞれグラフ化すると、図１８のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。
図１８（ａ）は、図１６で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図１６（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図１６（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図１６（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。
図１８（ｂ）は、図１７で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図１７（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図１７（ｂ）に対して同等のデフォーカス状態である図１６（ｂ）の分布曲線１８０２と相似形状を示す。
分布曲線１８０７と分布曲線１８０８は、それぞれ図１７（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図１７（ｃ）に対して同等のデフォーカス状態である図１６（ｃ）の分布曲線１８０３と相似形状を示す。
本実施形態においては、このような光強度分布の性質を利用して、ＲＡＷ画像データセットを構成する５つのプレーンデータから、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。左側視点のカラー画像データは、左側視点に対応する赤色プレーンデータであるＲＬｔプレーンデータ、緑色プレーンデータであるＧＬｔプレーンデータ、および青色プレーンデータであるＢＬｔプレーンデータの３つのカラー視差プレーンデータによって構成される。同様に、右側視点のカラー画像データは、右側視点に対応する赤色プレーンデータであるＲＲｔプレーンデータ、緑色プレーンデータであるＧＲｔプレーンデータ、および青色プレーンデータであるＢＲｔプレーンデータの３つのカラー視差プレーンデータによって構成される。
図１９は、カラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、ＲＬｔプレーンデータとＲＲｔプレーンデータの生成処理について示す。
赤色視差プレーンは、図１５を用いて説明したＲｎプレーンデータの画素値と、ＬｔプレーンデータおよびＲｔプレーンデータの輝度値とを用いて生成する。具体的には、例えばＲＬｔプレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＬｔｍｎを算出する場合、まず、画像処理部２０５の画素値抽出部２３１は、Ｒｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する。次に、画像処理部２０５の輝度値抽出部２３２は、Ｌｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から輝度値Ｌｔｍｎを、Ｒｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から輝度値Ｒｔｍｎを抽出する。そして、画像処理部２０５の算出部２３３は、画素値Ｒｎｍｎを、輝度値ＬｔｍｎとＲｔｍｎの比で分配して画素値ＲＬｔｍｎを算出する。具体的には、以下の式（１）により算出する。
ＲＬｔｍｎ＝２Ｒｎｍｎ×Ｌｔｍｎ／（Ｌｔｍｎ＋Ｒｔｍｎ） …（１）
同様に、ＲＲｔプレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＲｔｍｎを算出する場合も、算出部２３３は、画素値抽出部２３１が抽出した画素値Ｒｎｍｎを、輝度値抽出部２３２が抽出した輝度値Ｌｔｍｎと輝度値Ｒｔｍｎの比で分配して算出する。具体的には、以下の式（２）により算出する。
ＲＲｔｍｎ＝２Ｒｎｍｎ×Ｒｔｍｎ／（Ｌｔｍｎ＋Ｒｔｍｎ） …（２）
画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ０，ｊ０）まで順次実行する。
そして、赤色視差プレーンであるＲＬｔプレーンデータとＲＲｔプレーンデータの生成処理が完了したら、次に緑色視差プレーンであるＧＬｔプレーンデータとＧＲｔプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する代わりに、Ｇｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｇｎｍｎを抽出して、同様に処理する。さらに、緑色視差プレーンであるＧＬｔプレーンデータとＧＲｔプレーンデータの生成処理が完了したら、次に青色視差プレーンであるＢＬｔプレーンデータとＢＲｔプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する代わりに、Ｂｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｂｎｍｎを抽出して、同様に処理する。
以上の処理により、左側視点のカラー画像データ（ＲＬｔプレーンデータ、ＧＬｔプレーンデータ、ＢＬｔプレーンデータ）および右側視点のカラー画像データ（ＲＲｔプレーンデータ、ＧＲｔプレーンデータ、ＢＲｔプレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌｔ画素および視差Ｒｔ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像としての３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画像に対しても対応できる。
上記において、実際の撮像素子１００上に視差画素がＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら色再現性の良い高品質のカラー画像データが得られる旨を説明したが、実際にはそのような画素を備えていなくても、以上の処理を施すことにより、これに準じた高品質の３Ｄカラー画像データを取得できると言える。また、実際の画素として視差画素をＲＧＢ画素に対して割り振らなくても良いので、その分、他のプレーンデータを高品質化できる。
次に、以上の処理を光強度分布の観点から説明する。図２０は、光強度分布の変化を説明する図である。図２０（ａ）は、焦点位置から一定量だけずれた位置に存在する物点からの被写体光束を受光した場合の、Ｗ画素である視差Ｌｔ画素の出力値と視差Ｒｔ画素の出力値を並べたグラフである。これらの出力値はカラー情報を含まない輝度値である。また、上述の通り、画素の出力値は光強度に比例するので、グラフは光強度分布を表すとも言える。
図２０（ｂ）は、図２０（ａ）における物点からの被写体光束を受光した場合の、視差無し画素であるＲ画素、Ｇ画素、Ｂ画素の出力値を並べたグラフである。これらの出力値は、カラー情報を含む画素値である。また、このグラフも、各色の光強度分布を表すと言える。
対応する画素ごとに上述の処理を施すと、図２０（ｃ）のグラフで表される光強度分布となる。図から分かるように、あたかも、実際のＲＬｔ画素、ＲＲｔ画素、ＧＬｔ画素、ＧＲｔ画素、ＢＬｔ画素、ＢＲｔ画素からの出力値を並べたかのような分布となる。
ここで、視差カラー画像データを生成するまでを、処理フローの観点から説明する。図２１は、視差カラー画像データを生成するまでの処理フローである。フローは、撮影動作に連動して開始しても良いし、メモリカード２２０から対象画像データを読み出すことにより開始しても良い。
画像処理部２０５は、ステップＳ１０１で、ＲＡＷ元画像データを取得する。そして、ステップＳ１０２において、図１３を用いて説明したように、ＲＡＷ元画像データを、カラー画像データとしてのＲ０プレーンデータ、Ｇ０プレーンデータ、Ｂ０プレーンデータ、視差画像データとしてのＬｔ０プレーンデータ、Ｒｔ０プレーンデータに分離する。画像処理部２０５は、ステップＳ１０３で、分離した各プレーンデータに存在する空格子を補間する補間処理を実行する。具体的には、図１４を用いて説明したように、近接する画素の出力値を用いて平均化処理等により空格子の出力値を算出する。
画像処理部２０５は、ステップＳ１０４で、各変数の初期化を行う。具体的には、まず、カラー変数Ｃｓｅｔに１を代入する。カラー変数Ｃｓｅｔは、１＝赤、２＝緑、３＝青を表す。また、座標変数であるｉとｊに１を代入する。さらに、視差変数Ｓに１を代入する。視差変数Ｓは、１＝左、２＝右を表す。
画像処理部２０５の画素値抽出部２３１は、ステップＳ１０５において、Ｃｓｅｔプレーンの対象画素位置（ｉ，ｊ）から画素値を抽出する。例えばＣｓｅｔ＝１で、対象画素位置が（１，１）である場合、抽出する画素値は、Ｒｎ１１である。さらに、画像処理部２０５の輝度値抽出部２３２は、ステップＳ１０６において、Ｌｔプレーンデータ、Ｒｔプレーンデータの対象画素位置（ｉ，ｊ）から輝度値を抽出する。例えば対象画素位置が（１，１）である場合、抽出する輝度値は、Ｌｔ１１とＲｔ１１である。
画像処理部２０５の算出部２３３は、ステップＳ１０７において、視差変数Ｓに対応する対象画素位置（ｉ，ｊ）の画素値を算出する。例えばＣｓｅｔ＝１、Ｓ＝１で、対象画素位置が（１，１）である場合、ＲＬｔ１１を算出する。具体的には、例えば、上述の式（１）により算出する。
画像処理部２０５は、ステップＳ１０８で、視差変数Ｓをインクリメントする。そして、ステップＳ１０９で、視差変数Ｓが２を超えたか否かを判断する。超えていなければステップＳ１０７へ戻る。超えていればステップＳ１１０へ進む。
画像処理部２０５は、ステップＳ１１０で、視差変数Ｓに１を代入すると共に、座標変数ｉをインクリメントする。そして、ステップＳ１１１で、座標変数ｉがｉ０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１２へ進む。
画像処理部２０５は、ステップＳ１１２で、座標変数ｉに１を代入すると共に、座標変数ｊをインクリメントする。そして、ステップＳ１１３で、座標変数ｊがｊ０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１４へ進む。
ステップＳ１１４まで進むと、Ｃｓｅｔに対する左右それぞれの全画素の画素値が揃うので、画像処理部２０５は、これらの画素値を並べて、プレーン画像データを生成する。例えばＣｓｅｔ＝１である場合、ＲＬｔプレーンデータとＲＲｔプレーンデータを生成する。
ステップＳ１１５ヘ進み、画像処理部２０５は、座標変数ｊに１を代入すると共に、カラー変数Ｃｓｅｔをインクリメントする。そして、ステップＳ１１６で、カラー変数Ｃｓｅｔが３を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていれば、左側視点のカラー画像データ（ＲＬｔプレーンデータ、ＧＬｔプレーンデータ、ＢＬｔプレーンデータ）および右側視点のカラー画像データ（ＲＲｔプレーンデータ、ＧＲｔプレーンデータ、ＢＲｔプレーンデータ）の全てが揃ったとして、一連の処理を終了する。
次に、開口部１０４の好ましい開口形状について説明する。図２２は、好ましい開口形状を説明する図である。
視差Ｌｔ画素の開口部１０４ｌ、および視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８に対して中心を含んで互いに反対方向に偏位していることが好ましい。具体的には、開口部１０４ｌおよび１０４ｒのそれぞれが、光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２と接する形状であるか、あるいは、中心線３２２を跨ぐ形状であることが好ましい。
特に、図示するように、開口部１０４ｌの形状と開口部１０４ｒの形状は、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一であることが好ましい。別言すれば、開口部１０４ｎの形状は、開口部１０４ｌの形状と開口部１０４ｒの形状を隣接させた形状に等しいことが好ましい。開口部１０４ｎ、１０４ｌおよび１０４ｒのそれぞれの形状がこのような関係にあれば、上述の式（１）、（２）による演算式を用いたときに、より実際の視差カラー画素（ＲＬｔ画素、ＲＲｔ画素、ＧＬｔ画素、ＧＲｔ画素、ＢＬｔ画素、ＢＲｔ画素）の出力値に近い値を算出できる。
次に図１９および図２０で説明した処理とは異なる処理について説明する。図２３は、カラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、ＲＬｔプレーンデータとＲＲｔプレーンデータの生成処理について示す。
赤色視差プレーンは、図１５を用いて説明したＲｎプレーンデータの画素値と、ＬｔプレーンデータおよびＲｔプレーンデータの輝度値とを用いて生成する。具体的には、例えばＲＬｔプレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＬｔｍｎを算出する場合、まず、画像処理部２０５の画素値抽出部２３１は、Ｒｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する。次に、画像処理部２０５の輝度値抽出部２３２は、Ｌｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から輝度値Ｌｔｍｎを、Ｒｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から輝度値Ｒｔｍｎを抽出する。そして、画像処理部２０５の算出部２３３は、算出したい画素値ＲＬｔｍｎと抽出した画素値Ｒｎｍｎとの差が、抽出した輝度値ＬｔｍｎとＲｔｍｎとの差に対して相関を保つように、画素値ＲＬｔｍｎを算出する。具体的には、以下の式（３）により算出する。
ＲＬｔｍｎ−Ｒｎｍｎ＝（Ｌｔｍｎ−Ｒｔｍｎ）／２ …（３）
同様に、ＲＲｔプレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＲｔｍｎを算出する場合も、算出部２３３は、算出したい画素値ＲＲｔｍｎと抽出した画素値Ｒｎｍｎとの差が、抽出した輝度値ＬｔｍｎとＲｔｍｎとの差に対して相関を保つように、画素値ＲＲｔｍｎを算出する。具体的には、以下の式（４）により算出する。
ＲＲｔｍｎ−Ｒｎｍｎ＝（Ｒｔｍｎ−Ｌｔｍｎ）／２ …（４）
画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ０，ｊ０）まで順次実行する。
Ｂ'−１の繰り返しパターンの場合、Ｂ'−１の視差Ｌｔ画素は、視差なし画素に対して開口部１０４が左側に偏心し、視差Ｒｔ画素は、視差なし画素に対する視差Ｌｔ画素の偏心量と同じ偏心量だけ右側に偏心している。しがたって、算出したい画素値ＲＬｔｍｎと抽出した画素値Ｒｎｍｎとの差は、上記式（３）に示すように、抽出した輝度値ＬｔｍｎとＲｔｍｎとの差に対して比例係数１／２をもって相関を保つ。すなわち、算出したい画素値ＲＬｔｍｎと抽出した画素値Ｒｎｍｎとの差に対する、抽出した輝度値ＬｔｍｎとＲｔｍｎとの差の相関関係は、主に視差Ｌｔ画素と視差Ｒｔ画素のそれぞれの開口部の偏心量によって規定される。また、開口部の大きさ、視差なし画素の開口部との相対的な関係等のパラメータを考慮しても良い。いずれにしても、規定された相関関係が保たれるように定式化されて画素値ＲＬｔｍｎが算出される。上記式（３）の例では、相関関係として比例係数１／２を規定したが、比例係数を変更する他に、例えば補正項として定数を加算するなど、適宜相関関係を調整しても良い。なお、算出したい画素値が画素値ＲＲｔｍｎ、ＧＬｔｍｎ、ＧＲｔｍｎ、ＢＬｔｍｎ、ＢＲｔｍｎであっても、上記の関係は同様である。
赤色視差プレーンであるＲＬｔプレーンデータとＲＲｔプレーンデータの生成処理が完了したら、次に緑色視差プレーンであるＧＬｔプレーンデータとＧＲｔプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する代わりに、Ｇｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｇｎｍｎを抽出して、同様に処理する。さらに、緑色視差プレーンであるＧＬｔプレーンデータとＧＲｔプレーンデータの生成処理が完了したら、次に青色視差プレーンであるＢＬｔプレーンデータとＢＲｔプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する代わりに、Ｂｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｂｎｍｎを抽出して、同様に処理する。
以上の処理により、左側視点のカラー画像データ（ＲＬｔプレーンデータ、ＧＬｔプレーンデータ、ＢＬｔプレーンデータ）および右側視点のカラー画像データ（ＲＲｔプレーンデータ、ＧＲｔプレーンデータ、ＢＲｔプレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌｔ画素および視差Ｒｔ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像としての３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画像に対しても対応できる。さらに、和と差の演算はＡＳＩＣなどの回路への実装が容易である。
上記において、実際の撮像素子１００上に視差画素がＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら色再現性の良い高品質のカラー画像データが得られる旨を説明したが、実際にはそのような画素を備えていなくても、以上の処理を施すことにより、これに準じた高品質の３Ｄカラー画像データを取得できると言える。また、実際の画素として視差画素をＲＧＢ画素に対して割り振らなくても良いので、その分、他のプレーンデータを高品質化できる。
次に、以上の処理を光強度分布の観点から説明する。図２４は、光強度分布の変化を説明する図である。図２４（ａ）は、焦点位置から一定量だけずれた位置に存在する物点からの被写体光束を受光した場合の、Ｗ画素である視差Ｌｔ画素の出力値と視差Ｒｔ画素の出力値を並べたグラフである。これらの出力値はカラー情報を含まない輝度値である。また、上述の通り、画素の出力値は光強度に比例するので、グラフは光強度分布を表すとも言える。
図２４（ｂ）は、図２４（ａ）における視差Ｌｔ画素の出力値から視差Ｒｔ画素の出力値を引いた値と、視差Ｒｔ画素の出力値から視差Ｌｔ画素の出力値を引いた値を、それぞれ並べたグラフである。
図２４（ｃ）は、図２４（ａ）における物点からの被写体光束を受光した場合の、視差無し画素であるＲ画素、Ｇ画素、Ｂ画素の出力値を並べたグラフである。これらの出力値は、カラー情報を含む画素値である。また、このグラフも、各色の光強度分布を表すと言える。
対応する画素ごとに上述の処理を施すと、図２４（ｄ）のグラフで表される光強度分布となる。図から分かるように、あたかも、実際のＲＬｔ画素、ＲＲｔ画素、ＧＬｔ画素、ＧＲｔ画素、ＢＬｔ画素、ＢＲｔ画素からの出力値を並べたかのような分布となる。
以上の説明においては、撮像素子１００がＢ'−１の繰り返しパターンを採用する場合を例に説明した。すなわち、視差画素がＷ画素であって、色情報を含まない輝度画像データとしての視差画像データを利用して、左側視点のカラー画像データと右側視点のカラー画像データの６プレーンデータを生成する例を説明した。しかし、上述の通り、カラーフィルタの配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターンが設定され得る。特定色のカラーフィルタに視差画素が割り振られた撮像素子１００の場合、上述の処理を多少変更して左側視点のカラー画像データと右側視点のカラー画像データの６プレーンデータを揃える。以下に具体的な手順について説明する。
図２５は、他の繰り返しパターンを採用する撮像素子１００におけるプレーン分離処理を説明する図である。図の例では、撮像素子１００は、上述のＡ−１の繰り返しパターンを採用する。Ａ−１の繰り返しパターンは、ベイヤー配列におけるＧｂ画素が視差Ｌｔ画素となり、Ｇｒ画素が視差Ｒｔ画素となっている。
このような撮像素子１００から出力されたＲＡＷ元画像データからは、カラー画像データとして、Ｒ０プレーンデータとＢ０プレーンデータは分離されるものの、Ｇ０プレーンデータは分離され得ない。また、視差画像データとして分離されるＬｔ０プレーンデータとＲｔ０プレーンデータは、緑色の色情報を有している。別言すると、視差画像データは、被写体光束のうち緑色波長成分を捉えた輝度画像データであると言える。したがって、これらのプレーンデータの各出力値は、輝度値として扱うことができる。一方で、これらのプレーンデータは、視差情報を有する緑色のカラー画像データであるとも言える。したがって、各出力値は、画素値として扱うこともできる。
分離されたプレーンデータに上述の補間処理を施して、それぞれに存在する空格子を埋める。図２６は、補間処理後のＲＡＷ画像データセットのデータ構造を説明する図である。
Ｒｎプレーンデータ、Ｂｎプレーンデータ、ＬｔプレーンデータおよびＲｔプレーンデータを生成する補間処理は上述の例と同様である。ここで生成されるＬｔプレーンデータは、左側視点のカラー画像データに属するＧＬｔプレーンデータそのものとなる。同様に、Ｒｔプレーンデータは、右側視点のカラー画像データに属するＧＲｔプレーンデータそのものとなる。したがって、画像処理部２０５は、ＧＬｔプレーンデータとＧＲｔプレーンデータの対応する画素ごとに平均値を算出してＧｎプレーンデータを生成することができる。
Ｒｎプレーンデータに対して視差画像データを用いてＲＬｔプレーンデータとＲＲｔプレーンデータを生成する処理、およびＢｎプレーンデータに対して視差画像データを用いてＢＬｔプレーンデータとＢＲｔプレーンデータを生成する処理は、上述の例と同様である。
以上で説明した各繰り返しパターン以外においても、分離され補間処理されたカラー画像データと輝度画像データから、カラー画像データプレーンを生成することができる。例えば、分離され補間処理されたカラー画像データとしてＲＬｔプレーンデータが存在し、輝度画像データとしてＬｔプレーンデータとＲｔプレーンデータが存在すれば、式（１）を変形した以下の式（４）によりＲｎプレーンデータを生成することができる。
Ｒｎｍｎ＝ＲＬｔｍｎ×（Ｌｔｍｎ＋Ｒｔｍｎ）／（２×Ｌｔｍｎ） …（４）
また、式（４）から算出されたＲｎｍｎを式（２）へ代入すればＲＲｔｍｎを算出することができるので、ＲＲｔプレーンデータを生成することができる。
あるいは、式（３）を変形した以下の式（５）によりＲｎプレーンデータを生成することができる。
Ｒｎｍｎ＝ＲＬｔｍｎ−（Ｌｔｍｎ−Ｒｔｍｎ）／２ …（５）
また、式（３）から算出されたＲｎｍｎを式（５）へ代入すればＲＲｔｍｎを算出することができるので、ＲＲｔプレーンデータを生成することができる。
ここで、視差無し画素から生成される視差無し画像は、上述の左側視点の画像および右側視点の画像に対応する、正面からの視点の画像と捉えることができる。すなわち、これらは互いに異なる視点の画像と捉えることができる。したがって、輝度画像データと少なくともいずれかの視点におけるカラー画像データが存在すれば、視差無し画像を含め他の視点のカラー画像データを生成できると言える。
また、以上の説明においては、被写体像のカラーを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる補色の３原色を採用することもできる。
上述においては、例えば画像処理部２０５が含む画素値抽出部２３１、輝度値抽出部２３２および算出部２３３などは、デジタルカメラ１０を構成する各構成要素の機能としてそれぞれの処理を説明した。また、制御部２０１および画像処理部２０５を動作させる制御プログラムは、デジタルカメラ１０を構成する各ハードウェアを、上述の処理を実行させる構成要素として機能させ得る。また、カラー画像データを生成するこれらの処理は、デジタルカメラ１０で行わなくても、外部のパーソナルコンピュータなどの機器で行っても良い。この場合、外部のパーソナルコンピュータなどの機器は画像処理装置として機能する。画像処理装置は、例えばＲＡＷ元画像データを取得してカラー画像データを生成する。画像処理装置は、ＲＡＷ元画像データを取得した場合は、上述のプレーン分離処理、プレーンデータの補間処理も実行する。また、画像処理装置は、撮像装置側で補間処理が施されたプレーンデータを取得しても良い。
次に、これまで説明した上述の実施例（実施例１）に対して別の実施例（実施例２）について説明する。実施例１では、左視点のカラー画像と右視点のカラー画像を生成するために通常画像Rn,Gn,Bnの色面情報を、左視点の輝度画像Ltと右視点の輝度画像Rtの相加平均した画像に対して、左視点のカラー画像を作る場合には、左視点の輝度画像と相加平均した画像との比が一定に保たれるようにして左視点の輝度画像になぞらえて、左視点のカラー画像を生成する概念を示した。実施例２では、相加平均ではなく相乗平均に対して比が一定に保たれるような式を提示する。式（１）、式（２）で示した式は以下のような演算式に置き換える。
左視点のカラー画像の生成
RLt=RnxLt/√(Lt*Rt)
GLt=GnxLt/√(Lt*Rt)
BLt=BnxLt/√(Lt*Rt)
右視点のカラー画像の生成
RRt=RnxRt/√(Lt*Rt)
GRt=GnxRt/√(Lt*Rt)
BRt=BnxRt/√(Lt*Rt)
上記式は、左視点の輝度画像Ltと右視点の輝度画像Rtの相乗平均に対して比を一定に保つようにして右視点の輝度画像や左視点の輝度画像になぞらえて左視点のカラー画像と右視点のカラー画像を生成しているので、各視点のカラー画像のボケ特性が相加平均のときと異なった特性の画像が生成される。なぜなら、相加平均はボケ幅が広がるのに対して、相乗平均はボケ幅が広がらないからである。
上記式を書き換えると、以下のような関係を満たしている。
左視点のカラー画像の生成
RLt/Rn=√(Lt/Rt)
GLt/Gn=√(Lt/Rt)
BLt/Bn=√(Lt/Rt)
右視点のカラー画像の生成
RRt/Rn=√(Rt/Lt)
GRt/Gn=√(Rt/Lt)
BRt/Bn=√(Rt/Lt)
すなわち、求める対象の左視点のカラー画像の画素値は、左視点のカラー画像の画素値と視差なし画像の画素値との間の比が、左視点の輝度画像の輝度値と右視点の輝度画像の輝度値との間の比に対して相関を持つように値を求めている。また、求める対象の右視点のカラー画像の画素値は、右視点のカラー画像の画素値と視差なし画像の画素値との間の比が、右視点の輝度画像の輝度値と左視点の輝度画像の輝度値との間の比に対して相関を持つように値を求めている。
次に、実施例３を示す。実施例２で示した式の対数をとると以下のような式で等価に表される。
左視点のカラー画像の生成
log(RLt)=log(Rn)+log(Lt)-[log(Lt)+log(Rt)]/2
log(GLt)=log(Gn)+log(Lt)-[log(Lt)+log(Rt)]/2
log(BLt)=log(Bn)+log(Lt)-[log(Lt)+log(Rt)]/2
右視点のカラー画像の生成
log(RRt)=log(Rn)+log(Rt)-[log(Lt)+log(Rt)]/2
log(GRt)=log(Gn)+log(Rt)-[log(Lt)+log(Rt)]/2
log(BRt)=log(Bn)+log(Rt)-[log(Lt)+log(Rt)]/2
すなわち、対数階調をもつ階調特性の画像処理空間に移行すれば、線形階調の画像処理空間で比を一定に保つ演算式は、対数階調空間では差を一定に保つ視差変調によって、左右の各視点のカラー画像を生成することができる。この考え方を一般化して、対数階調にとどまらず、平方根や立方根など羃乗で表される階調特性や、任意の階調特性をもつガンマ空間で、差を一定に保つ演算を行えば、同様に視差変調を加える効果を得ることができる。
フローチャート
１）色・視差多重化モザイク画像データ入力
２）階調変換によるガンマ空間への移行
３）色、視差画像生成
４）逆階調変換による元の色空間への移行
５）出力色空間への変換
処理手順
１）色・視差多重化モザイク画像データ入力
ベイア配列型のG画素を右視差と左視差に瞳分割した、色と視差の多重化された単板式モザイク画像を入力する。これをM[i,j]と表す。各画素値は露光量に比例した値をとる線形階調のデータである。
２）階調変換によるガンマ空間への移行
モザイク画像に対して階調変換を施して、ガンマ空間に移行する。
M[i,j] → MΓ[i,j]
実際には、入力画素値xに対して出力画素値yとなるように非線形変換y=f(x)を施す。非線形変換の特性の例として、以下のような種々の場合が考えられる。ただし、入力信号をx、出力信号をyとし、入力信号の階調と出力信号の階調が共に、[0,1]の範囲で定義されるものとする。入出力特性は(x,y)=(0,0)と(1,1)を通るように階調曲線（ガンマ曲線）を定義する。実際の入力階調Xの最大値をXmax、出力階調Yの最大値をYmaxとすると、x=X/Xmax、y=Y/Ymaxであり、階調変換は
Figure 0005978737
によって行われる。
階調特性の例として以下のような場合が考えられる。
a）立方根階調特性
Figure 0005978737
b)オフセット付き平方根階調特性
オフセット値εは、正の定数である。USP7,957,588参照。
c)対数特性
Figure 0005978737
係数kは正の定数である。
d)線形特性
y=x
３）色、視差画像生成
ガンマ空間で実施例１と同様にして、視差なしカラー画像RnΓ、GnΓ、BnΓと左視点の輝度画像LtΓと右視点の輝度画像RtΓを生成する。その後、視差変調を以下の式によって加えて、左視点のカラー画像と右視点のカラー画像を生成する。なお、模式的にガンマ空間での値を指数Γによって表す。
左視点のカラー画像の生成
RLtΓ=RnΓ+LtΓ-(LtΓ+RtΓ)/2
GLtΓ=GnΓ+LtΓ-(LtΓ+RtΓ)/2
BLtΓ=BnΓ+LtΓ-(LtΓ+RtΓ)/2
右視点のカラー画像の生成
RRtΓ=RnΓ+RtΓ-(LtΓ+RtΓ)/2
GRtΓ=GnΓ+RtΓ-(LtΓ+RtΓ)/2
BRtΓ=BnΓ+RtΓ-(LtΓ+RtΓ)/2
上記式を書き換えると、以下のような関係を満たしている。
左視点のカラー画像の生成
RLtΓ-RnΓ=(LtΓ-RtΓ)/2
GLtΓ-GnΓ=(LtΓ-RtΓ)/2
BLtΓ-BnΓ=(LtΓ-RtΓ)/2
右視点のカラー画像の生成
RRtΓ-RnΓ=(RtΓ-LtΓ)/2
GRtΓ-GnΓ=(RtΓ-LtΓ)/2
BRtΓ-BnΓ=(RtΓ-LtΓ)/2
すなわち、求める対象の左視点のカラー画像の画素値は、左視点のカラー画像の画素値と視差なし画像の画素値との間の差が、左視点の輝度画像の輝度値と右視点の輝度画像の輝度値との間の差に対して相関を持つように値を求めている。また、求める対象の右視点のカラー画像の画素値は、右視点のカラー画像の画素値と視差なし画像の画素値との間の差が、右視点の輝度画像の輝度値と左視点の輝度画像の輝度値との間の差に対して相関を持つように値を求めている。
４）逆階調変換による元の色空間への移行
ガンマ空間から線形階調空間へ逆階調変換を加えることによって、元の色空間へ戻す。必要なカラー画像データに対して施す。左視点のカラー画像と右視点のカラー画像が出来上がる。
左視点のカラー画像
RLtΓ[i,j] → RLt[i,j]
GLtΓ[i,j] → GLt[i,j]
BLtΓ[i,j] → BLt[i,j]
右視点のカラー画像
RRtΓ[i,j] → RRt[i,j]
GRtΓ[i,j] → GRt[i,j]
BRtΓ[i,j] → BRt[i,j]
５）出力色空間への変換
できあがった左視点のカラー画像と右視点のカラー画像に対して、色変換と出力階調変換を加えて、各出力カラー画像を生成する。例えば、ｓＲＧＢ色空間へ変換する。
なお、視差を含むモザイク画像が原色ベイア配列の例を示したが、これらのカラーフィルタが補色系に置き換わっても、同様に右視差の補色カラー画像と左視差の補色カラー画像が同じ原理で生成できる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 画素値抽出部、２３２ 輝度値抽出部、２３３ 算出部、３２２ 中心線、１８０１、１８０２、１８０３、１８０４、１８０５、１８０７、１８０８ 分布曲線、１８０６、１８０９ 合成分布曲線

Claims (14)

  1. 被写体像のカラーを構成する複数の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する第１画素値を有するカラー画像データから、対象画素位置における前記第１画素値を抽出する画素値抽出部と、
    前記第１視点とは異なる第２視点および第３視点に対応する第２輝度値および第３輝度値を有する輝度画像データから、前記対象画素位置における前記第２輝度値および前記第３輝度値を抽出する輝度値抽出部と、
    前記特定色に対する前記第２視点の第２画素値または前記第３視点の第３画素値と前記画素値抽出部が抽出した前記第１画素値との差が、前記輝度値抽出部が抽出した前記第２輝度値と前記第３輝度値との差に対して相関を保つように前記第２画素値および前記第３画素値の少なくともいずれかを算出する算出部と
    を備える画像処理装置。
  2. 前記算出部は、
    ＰＣ２−ＰＣ１＝ｋ（ＰＢ２−ＰＢ３）
    ＰＣ３−ＰＣ１＝ｋ（ＰＢ３−ＰＢ２）
    （ＰＣ１：第１画素値、ＰＣ２：第２画素値、ＰＣ３：第３画素値、ＰＢ２：第２輝度値、ＰＢ３：第３輝度値、ｋ：比例係数）
    により前記第２画素値および前記第３画素値の少なくともいずれかを算出する請求項１に記載の画像処理装置。
  3. 前記画素値抽出部が抽出する前記第１画素値と、前記輝度値抽出部が抽出する前記第２輝度値および前記第３輝度値のそれぞれは、ガンマ変換後の値である請求項１または２に記載の画像処理装置。
  4. 前記対象画素位置を前記カラー画像データにおける画像領域に対して順次移動して、前記画素値抽出部、前記輝度値抽出部および前記算出部に算出させた複数の画素値を用いて、前記第２視点および前記第３視点の少なくともいずれかに対応する前記特定色の前記カラー画像データを生成する画像データ生成部を備える請求項１から３のいずれか１項に記載の画像処理装置。
  5. 前記画像データ生成部は、前記複数の色成分の全てに対応する前記第２視点および前記第３視点の前記カラー画像データが揃うように、前記複数の色成分における前記特定色を変更して前記カラー画像データを生成する請求項４に記載の画像処理装置。
  6. 前記輝度画像データは、前記第２視点および前記第３視点に対応してそれぞれ生成された２つの輝度プレーン画像データを含む請求項１から５のいずれか１項に記載の画像処理装置。
  7. 前記２つの輝度プレーン画像データは、前記複数の色成分のいずれの色情報も含まない請求項６に記載の画像処理装置。
  8. 前記２つの輝度プレーン画像データは、前記複数の色成分のうち前記特定色以外の色成分に対して前記第２画素値および前記第３画素値をそれぞれ有する２つの前記カラー画像データである請求項６に記載の画像処理装置。
  9. 前記被写体像を撮像する撮像素子と、
    請求項１から８のいずれか１項に記載の画像処理装置と
    を備える撮像装置であって、
    前記画素値抽出部は、前記撮像素子が出力する前記カラー画像データから前記第１画素値を抽出し、前記輝度値抽出部は、前記撮像素子が出力する前記輝度画像データから前記第２輝度値および前記第３輝度値を抽出する撮像装置。
  10. 前記撮像素子は、
    入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
    前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクと
    を備え、
    隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの前記開口マスクの開口は、前記入射光の断面領域内の、前記第２視点と前記第３視点に対応する互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されている請求項９に記載の撮像装置。
  11. 前記第２視点に対応する前記開口マスクの開口および前記第３視点に対応する前記開口マスクの開口は、それぞれの前記光電変換素子に対して中心を含んで互いに反対方向に偏位している請求項１０に記載の撮像装置。
  12. 一組の前記光電変換素子群は、前記第１視点に対応する前記カラー画像データを出力する、前記入射光の有効光束の全体を通過させる前記開口マスクが設けられた前記光電変換素子を含む請求項１１に記載の撮像装置。
  13. 前記入射光の有効光束の全体を通過させる前記開口マスクの開口の形状は、前記第２視点に対応する前記開口マスクの開口の形状と前記第３視点に対応する前記開口マスクの開口の形状とを隣接させた形状に等しい請求項１２に記載の撮像装置。
  14. 被写体像のカラーを構成する複数の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する第１画素値を有するカラー画像データから、対象画素位置における前記第１画素値を抽出する画素値抽出ステップと、
    前記第１視点とは異なる第２視点および第３視点に対応する第２輝度値および第３輝度値を有する輝度画像データから、前記対象画素位置における前記第２輝度値および前記第３輝度値を抽出する輝度値抽出ステップと、
    前記特定色に対する前記第２視点の第２画素値または前記第３視点の第３画素値と前記画素値抽出ステップにより抽出された前記第１画素値との差が、前記輝度値抽出ステップにより抽出された前記第２輝度値と前記第３輝度値との差に対して相関を保つように前記第２画素値および前記第３画素値の少なくともいずれかを算出する算出ステップと
    をコンピュータに実行させる画像処理プログラム。
JP2012100474A 2012-04-25 2012-04-25 画像処理装置、撮像装置および画像処理プログラム Active JP5978737B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012100474A JP5978737B2 (ja) 2012-04-25 2012-04-25 画像処理装置、撮像装置および画像処理プログラム
CN201380022016.6A CN104412586B (zh) 2012-04-25 2013-04-25 图像处理装置、摄像装置
PCT/JP2013/002831 WO2013161313A1 (ja) 2012-04-25 2013-04-25 画像処理装置、撮像装置および画像処理プログラム
US14/513,729 US9838665B2 (en) 2012-04-25 2014-10-14 Image processing device, imaging device, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012100474A JP5978737B2 (ja) 2012-04-25 2012-04-25 画像処理装置、撮像装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2013229765A JP2013229765A (ja) 2013-11-07
JP5978737B2 true JP5978737B2 (ja) 2016-08-24

Family

ID=49676996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012100474A Active JP5978737B2 (ja) 2012-04-25 2012-04-25 画像処理装置、撮像装置および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP5978737B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111529A1 (ja) * 2017-12-08 2019-06-13 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
EP2590023B1 (en) * 2010-06-30 2016-07-20 FUJIFILM Corporation Imaging device and imaging method
JP5454424B2 (ja) * 2010-09-03 2014-03-26 ソニー株式会社 撮像方法
WO2012039180A1 (ja) * 2010-09-24 2012-03-29 富士フイルム株式会社 撮像デバイス及び撮像装置

Also Published As

Publication number Publication date
JP2013229765A (ja) 2013-11-07

Similar Documents

Publication Publication Date Title
JP5804055B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6131545B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2013161313A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2013136819A1 (ja) 撮像素子、撮像装置および撮像システム
WO2013114895A1 (ja) 撮像装置
JP5979134B2 (ja) 画像処理装置および画像処理プログラム
JP5942984B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2013057859A1 (ja) 撮像素子
JP5874729B2 (ja) 撮像装置
JP6197316B2 (ja) 撮像素子および撮像装置
JP5978736B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5887845B2 (ja) 画像処理方法および画像処理プログラム
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5978738B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2014107594A (ja) 撮像素子および撮像装置
JP6205770B2 (ja) 撮像素子および撮像システム
JP2012212975A (ja) 撮像装置および撮像装置の制御プログラム
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP6051568B2 (ja) 撮像素子および撮像装置
JP2013150055A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2013162362A (ja) 撮像装置および撮像プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160711

R150 Certificate of patent or registration of utility model

Ref document number: 5978737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250