JP5804055B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

それぞれがカラー画像である視差画像を取得するには、それぞれの視差画像を撮像するための複雑な撮影光学系と撮像素子を用意しなければならなかった。

本発明の第１の態様においては、被写体像のカラーを構成する少なくともいずれかの原色の画素値を有する画素、および、被写体像の少なくとも視差を示す画素値を有する画素を含む元画像データを取得する画像取得部と、元画像データから、原色の画素値を有する画素からなる原色画像データと、視差の画素値を有する画素からなる視差画像データとを生成する画像生成部とを備える画像処理装置が提供される。

本発明の第２の態様においては、被写体像のカラーを構成する少なくともいずれかの原色の画素値を有する画素、および、被写体像の少なくとも視差を示す画素値を有する画素を含む元画像データを取得する画像取得ステップと、元画像データから、原色の画素値を有する画素からなる原色画像データと、視差の画素値を有する画素からなる視差画像データとを生成する画像生成ステップとを備える画像処理方法が提供される。

本発明の第３の態様においては、コンピュータを制御するプログラムであって、コンピュータに、被写体像のカラーを構成する少なくともいずれかの原色の画素値を有する画素、および、被写体像の少なくとも視差を示す画素値を有する画素を含む元画像データを取得する画像取得手順、および、元画像データから、原色の画素値を有する画素からなる原色画像データと、視差の画素値を有する画素からなる視差画像データとを生成する画像生成手順を実行させるプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面を表す概略図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 繰り返しパターンの他の例を示す図である。 二次元的な繰り返しパターンの例を示す図である。 開口部の他の形状を説明する図である。 ベイヤー配列を説明する図である。 ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。 バリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のカラーフィルタ配列を説明する図である。 Ｗ画素と視差画素の配列の一例を示す図である。 デジタルカメラ１０の動作の一例を示すフローチャートである。 デジタルカメラ１０で扱う画像データの一例を示す。 ステップＳ１４における画素値の補間の一例を示す。 新たなＲＡＷ画像データセット３０６を示す。 保存制御部２３８が保存するＲＡＷ画像データセット３０６のデータ構造を模式的に示す。 ＲＬｔ画像データへの変換の例を示す。 新たなＲＡＷ画像データセット３１２を示す。 ステップＳ１８により生成される、他のＲＡＷ画像データセット３１４の例を示す。 他の繰り返しパターンによるＲＡＷ元画像データとＲＡＷ画像データセット３３０との関係を示す。 図１から図２４により生成されたＲＡＷ画像データセット３００等が用いられる例を示すフローチャートである。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、複数の視点数の画像を一度の撮影により生成し、画像データセットとして保存する。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、ＡＦセンサ２１１および保存制御部２３８を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向を＋Ｘ軸方向、紙面上方向を＋Ｙ軸方向と定める。撮影における構図との関係はＸ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル信号に変換してＲＡＷ元画像データとしてメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、Ａ／Ｄ変換回路２０２が出力するＲＡＷ元画像データを取得する画像取得部２３１、ＲＡＷ元画像データからＲＡＷ原色画像データおよびＲＡＷ視差画像データを生成する画像生成部２３２、ＲＡＷ原色画像データおよびＲＡＷ視差画像データをＲＡＷ視差原色カラー画像データ等に変換する画像変換部２３３を有する。それぞれの処理の詳細については、後述する。

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、上記種々の画像データは保存制御部２３８によりメモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。

図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも３種類のカラーフィルタが配列されれば良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタである。これらのカラーフィルタは、後述するように、光電変換素子１０８に対応して格子状に配列される。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹｅＣｙＭｇの補色フィルタの組合せであっても良い。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。

カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。

輝度情報を取得する画素を視差画素とする場合、つまり、視差画像を少なくとも一旦はモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。

スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色（透明である場合を含む）のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いにＸ軸方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、−Ｘ側から＋Ｘ側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の−Ｘ側の端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、＋Ｘ側の端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと−Ｘ側の端の画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、＋Ｘ側の端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの−Ｘ側の端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて−Ｘ側の端の画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて−Ｘ側の端の画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。また、部分領域Ｐａ〜Ｐｆの配列方向を視差方向と呼ぶ。この例の場合はＸ軸方向である。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。これにより、複雑な光学系を必要とすることなく、一の撮影レンズ２０によって視差画像を撮像することができる。

図５は、視差画像を生成する処理を説明する概念図である。図は、紙面左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、Ｘ軸方向に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、Ｘ軸方向に６画素おき、かつ、Ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、Ｘ軸方向、つまり水平視差画像が得られる。

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、Ｘ軸方向の画素数が１／６に間引かれた結果となり、Ｙ軸方向に縦長の画像データが生成されてしまう。そこで、補間処理を施してＸ軸方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データがＸ軸方向に１／６に間引かれた画像であるので、Ｘ軸方向の解像度は、Ｙ軸方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度は相反関係にあると言える。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、Ｘ軸方向に視差を有する６視点の水平視差画像を生成することができる。

上記の例では、Ｘ軸方向を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図６は、繰り返しパターン１１０の他の例を示す図である。

図６（ａ）は、Ｙ軸方向６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、＋Ｙ側の端の視差画素から−Ｙ側に向かって、−Ｘ側から＋Ｘ側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、Ｘ軸方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、Ｙ軸方向の解像度を犠牲にする代わりにＸ軸方向の解像度を維持する繰り返しパターンであると言える。

図６（ｂ）は、ＸＹ平面内のＸ軸に対して斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、−Ｘ側かつ＋Ｙ側の端の視差画素から＋Ｘ側かつ−Ｙ側に向かって、−Ｘ側から＋Ｘ側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、Ｘ軸方向に視差を与える６視点の水平視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、Ｙ軸方向の解像度およびＸ軸方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。

図３の繰り返しパターン１１０、および図６（ａ）（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、Ｙ軸方向、Ｘ軸方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、Ｘ軸方向の解像度を１／６とする構成である。図６（ａ）の繰り返しパターン１１０の場合は、Ｙ軸方向の解像度を１／６とする構成である。また、図６（ｂ）の繰り返しパターン１１０の場合は、Ｙ軸方向を１／３、Ｘ軸方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ〜１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ〜Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。

上述の例では、水平方向に視差を与える視差画像を生成する場合について説明したが、もちろん垂直方向に視差を与える視差画像を生成することもできるし、水平垂直の二次元方向に視差を与える視差画像を生成することもできる。図７は、二次元的な繰り返しパターン１１０の例を示す図である。

図７の例によれば、Ｙ軸６画素Ｘ軸６画素の３６画素を一組の光電変換素子群として繰り返しパターン１１０を形成する。それぞれの画素に対する開口部１０４の位置として、互いにＹ軸Ｘ軸方向にシフトした３６種類の開口マスク１０３が用意されている。具体的には、各開口部１０４は、繰り返しパターン１１０の＋Ｙ側の端の画素から−Ｙ側の端の画素に向かって、＋Ｙ側から−Ｙ側へ徐々にシフトすると同時に、−Ｘ側の端の画素から＋Ｘ側の画素に向かって、−Ｘ側から＋Ｘ側へ徐々にシフトするように位置決めされている。

このような繰り返しパターン１１０を有する撮像素子１００は、垂直方向および水平方向に視差を与える、３６視点の視差画像を出力することができる。もちろん図７の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン１１０を定めることができる。

以上の説明においては、開口部１０４の形状として矩形を採用した。特に、水平方向に視差を与える配列においては、シフトさせる方向であるＸ軸方向の幅よりも、シフトさせないＹ軸方向の幅を広くすることにより、光電変換素子１０８へ導く光量を確保している。しかし、開口部１０４の形状は矩形に限定されない。

図８は、開口部１０４の他の形状を説明する図である。図においては、開口部１０４の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ１０１との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子１０８へ入射することを防ぐことができる。

次に、カラーフィルタ１０２と視差画像について説明する。図９は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが−Ｘ側かつ＋Ｙ側と、＋Ｘ側かつ−Ｙ側との２画素に、赤フィルタが−Ｘ側かつ−Ｙ側の１画素に、青フィルタが＋Ｘ側かつ＋Ｙ側の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた−Ｘ側かつ＋Ｙ側の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた＋Ｘ側かつ−Ｙ側の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶＸ軸方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶＸ軸方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶＹ軸方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶＹ軸方向をＧｒ列とする。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては立体情報が減少する。逆に、視差画素の割合を増やせば、３Ｄ画像としては立体情報が増加するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。

このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図１０は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも−Ｘ側に偏心した視差Ｌｔ画素と、同じく＋Ｘ側に偏心した視差Ｒｔ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。

それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。一方、視差画素が多く割り振られていれば立体情報の多い３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、高品質のカラー画像データとなる。

以下にいくつかのバリエーションについて説明する。図１１は、バリエーションの一例を示す図である。図１１のバリエーションは、図１０における繰り返しパターン分類Ａ−１に相当する。

図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌｔ画素に、Ｇｒ画素を視差Ｒｔ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌｔ画素と視差Ｒｔ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。

図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。

図１２は、他のバリエーションの一例を示す図である。図１２のバリエーションは、図１０における繰り返しパターン分類Ｂ−１に相当する。

図の例においては、ベイヤー配列の４画素がＸ軸方向に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、−Ｘ側のＧｂ画素に視差Ｌｔ画素を、＋Ｘ側のＧｂ画素に視差Ｒｔ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図１０の例よりも、更に２Ｄ画像の高画質化が望める。

図１３は、更に他のバリエーションの一例を示す図である。図１３のバリエーションは、図１０における繰り返しパターン分類Ｄ−１に相当する。

図の例においては、ベイヤー配列の４画素がＸ軸方向に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、−Ｘ側のＧｂ画素に視差Ｌｔ画素を、＋Ｘ側のＧｂ画素に視差Ｒｔ画素を割り当てる。さらに、−Ｘ側のＲ画素に視差Ｌｔ画素を、＋Ｘ側のＲ画素に視差Ｒｔ画素を割り当てる。さらに、−Ｘ側のＢ画素に視差Ｌｔ画素を、＋Ｘ側のＢ画素に視差Ｒｔ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。

２つのＧｂ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図１２の例に比較して、３Ｄ画像としての立体情報がＹ軸方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。

なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて、図３、図７、図８などで説明したような様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。

上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。

したがって、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子１０８のうち、少なくとも２つ（３つ以上であっても良い）に対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも３種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。

図１４は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図９で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。

このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。

Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行う補間処理において、精度の高い演算結果が期待できる。後述するように、補間処理は、視差画素量を取得する処理の一環として実行される。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。

図１５は、図１４の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図１５のバリエーションは、ベイヤー配列における図１２の繰り返しパターン分類Ｂ−１に類似するので、ここではＢ'−１とする。図の例においては、他のカラーフィルタ配列の４画素がＸ軸方向に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、−Ｘ側のＷ画素に視差Ｌｔ画素を、＋ＸのＷ画素に視差Ｒｔ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。

この場合、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを有し、隣接するｎ個（ｎは４以上の整数）の光電変換素子１０８のうち、少なくとも２つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも３種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。

図１６は、デジタルカメラ１０の動作の一例を示すフローチャートである。図１６のフローチャートは、撮像素子１００から撮像画像が取得されたときに開始する。

画像取得部２３１は、撮像素子１００の信号がＡ／Ｄ変換回路２０２で変換されたＲＡＷ元画像データを取得する（Ｓ１０）。ここでＲＡＷ元画像データの一例は、撮像素子１００からの信号をＡ／Ｄ変換した後であって、空格子の画素についてデモザイクする前のデータである。ＲＡＷ元画像データはこれに限られず、Ａ／Ｄ変換後に何らかの補正、可逆的な圧縮等の可逆的な画像処理がなされた画像データであってもよい。

図１７は、デジタルカメラ１０で扱う画像データの一例を示す。図１７における最上段に、ＲＡＷ元画像データの一例が示されている。図１７においては、図１１のパターン（Ａ−１）の撮像素子１００からの出力が例示されている。図１７に示すＲＡＷ画像元データは、被写体像のカラーを構成するＲ色の画素値を示すＲ画素、Ｂ色の画素値を有するＢ画素、並びに、Ｇ色および視差の情報が多重化された画素値を示すＧｂ画素およびＧｒ画素により構成される。ＲＡＷ画像元データは、同一のシーンを一度に撮像して生成されたものであってよい。

次に、画像生成部２３２は、ＲＡＷ元画像データの画素を分離して、原色の画素値を有する画素からなるＲＡＷ原色画像データ群３０２と、視差の画素値を有する画素からなるＲＡＷ視差画像データ群３０４とを生成する（Ｓ１２）。例えば図１７において、画像生成部２３２は、ＲＡＷ元画像データからＲ画素を抜き出してＲ０画像データを生成する。ここで、ＲＡＷ元画像データにはＲ色の画素値を有しない画素、例えばＢ画素が含まれるので、Ｒ０画像データにおいては、Ｂ画素に対応する画素の画素値は欠損した状態となる。同様に、画像生成部２３２は、ＲＡＷ元画像データからＢ画素を抜き出してＢ０画像データを生成する。

さらに、画像生成部２３２は、ＲＡＷ元画像データからＧｂ画素およびＧｒ画素を抜き出してＧ０画像データを生成する。ここでＧｂ画素は、Ｇ色を示す情報とＬｔの視差を示す情報とが多重化された画素値を有している。そこで、一例として画像生成部２３２は、Ｇｂ画素の画素値およびＧｒ画素の画素値を、そのままそれらの画素におけるＧ色の情報として用いて、Ｇ０画素データを生成する。他の例として、Ｇｂ画素の周辺の画素の画素値を参照して当該Ｇｂ画素の画素値を補正してＧ０画像データを生成してもよいが、情報を劣化させないように当該補正は可逆的であることが好ましい。同様に、画像生成部２３２は、ＲＡＷ元画像データからＧｂ画素を抜き出してＬｔ画像データを生成するとともに、Ｇｒ画素を抜き出してＲｔ画像を生成する。

以上により、ＲＧＢの三原色に対応したＲ０画像データ、Ｇ０画像データおよびＢ０画像データと、Ｘ軸方向の二視差に対応したＬｔ０画像データおよびＲｔ０画像データとが生成される。ここで、Ｒ０画像データ、Ｇ０画像データおよびＢ０画像データの組はＲＡＷ原色画像データ群３０２の一例であり、Ｌｔ０画像データおよびＲｔ０画像データの組はＲＡＷ視差画像データ群３０４の一例である。さらにこれらＲＡＷ原色画像データ群３０２およびＲＡＷ視差画像データ群３０４によりＲＡＷ画像データセット３００が構成される。

画像生成部２３２は、上記ＲＡＷ原色画像データ群３０２およびＲＡＷ視差画像データ群３０４における、画素値を有しない画素に画素値を補間する（Ｓ１４）。

図１８は、ステップＳ１４における画素値の補間の一例を示す。図１８において、Ｒ０画像データにおいて画素値を有する画素の画素値を用いて、画素値を有しない画素の画素値が補間される。例えばＸ軸方向、Ｙ軸方向、またはＸ軸方向およびＹ軸方向の最隣接する画素であって画素値を有するものを平均して補間の画素値とする。その他、最隣接以外の画素を重み付け平均してもよいし、他のＲＡＷ原色画像データの画素等を参照してもよい。いわゆるデモザイク処理の手法を用いてもよい。

図１９は、新たなＲＡＷ画像データセット３０６を示す。上記動作により画像生成部２３２は、図１９に示すように、ＲＡＷ元画像データにおいて原色の画素値を有しない画素については原色の画素値を補間して、カラーを構成する複数の原色に対応したＲＡＷ原色画像データ群３０８を生成する。同様に、画像生成部２３２は、ＲＡＷ元画像データにおいて視差の画素値を有しない画素については視差の画素値を補間して、視差の個数に対応したＲＡＷ視差画像データ群３１０を生成する。ＲＡＷ原色画像データ群３０８およびＲＡＷ視差画像データ群３１０は新たなＲＡＷ画像データセット３０６を構成する。

制御部２０１は、ＲＡＷ画像データセット３０６を変換して新たなＲＡＷ画像データセットを生成することが要求されているかどうかを判断する（Ｓ１６）。当該変換はファームウェア等により要求されている場合もあれば、ユーザにより要求されている場合があってもよい。当該要求の有無はメモリ２０３に格納され、制御部２０１はメモリ２０３を参照することにより要求の有無を判断する。

ステップＳ１６において変換が要求されていない場合に（Ｓ１６：Ｎｏ）、保存制御部２３８は、ＲＡＷ画像データセット３０６をメモリカード２２０に保存する（Ｓ２０）。この場合に例えば保存制御部２３８は、ＲＡＷ画像データセット３０６の全体を一つのファイルとしてファイル名を付けて保存する。

図２０は、保存制御部２３８が保存するＲＡＷ画像データセット３０６のデータ構造を模式的に示す。図２０のデータは、ヘッダ２５０とデータ本体２５６とを有する。ヘッダ２５０はファイルに関するファイル情報のデータ２５２、および、ＲＡＷ元画像データにおける繰り返しパターンを特定する情報のデータ２５４を含む。

ファイルに関する情報は、ＲＡＷ画像データセットにおける、視差数、原色数、セット内の画像枚数、当該データ本体２５６の画像データの記載順序を含む。図２０に示す例は、図１７から図１９に示す例に対応して、視差数「２」、原色数「３」、画像枚数「５」、画像順序「ＲＮ、ＧＮ、ＢＮ、Ｌｔ、Ｒｔ」が書き込まれている。

繰り返しパターンを特定する情報は、ＲＡＷ元画像データを構成する画素の内から１つ選ばれた特定の注目画素の位置である注目位置、当該注目画素の画素値がいずれの原色および視差を示すかを特定する注目情報、原色の画素値を有する画素の配列の周期である原色周期、並びに、視差の画素値を有する画素の配列の視差周期を含む。図２０に示す例は注目位置として（０，０）が特定されている。さらに図１７例に対応して、当該注目情報として、原色の情報「Ｇ」および視差の情報「Ｌｔ」が書き込まれている。さらに、原色周期として「ＧＢ」およびその下段「ＲＧ」、並びに、視差周期として「ＬｔＮ」およびその下段「ＮＲｔ」が書き込まれている。これにより例えばＲＡＷ元画像データの（２，０）の位置の画素の原色の情報は、（０，０）の画素の原色の情報が「Ｇ」であって、ｙ＝０の原色の配列周期が「ＧＢ」であるから、「Ｇ」であったことが特定される。以上の通り、上記繰り返しパターンを特定する情報により、ＲＡＷ元画像データにおける任意の位置（ｎ，ｍ）の画素の画素値がいずれの原色および視差を示していたかを特定することができる。

なお、繰り返しパターンを特定する情報は、図２０に示す情報に限られない。他の例として、繰り返しパターンのそれぞれにＩＤを割り振っておき、当該ＩＤをヘッダに書き込むことにより、ＲＡＷ元画像データの繰り返しパターンを特定してもよい。

図２０のデータ本体には、５つの画像データについて画素の位置に対応付けて画素値が格納されている。なおデータの格納の方法は図２０に示す方法に限られない。例えば符号化等によりデータを圧縮して格納してもよい。この場合に圧縮は可逆的な操作であることが好ましい。

また、図２０のデータは全体として表示装置によらない独自フォーマットであってよい。すなわち、表示される場合には現像プログラムによる現像を前提としたデータであってよい。よって、図２０のデータは、Ａ／Ｄ変換回路２０２からのＲＡＷ元画像データに補間等の処理を施しているが、現像プログラムによるＪＰＥＧ等への汎用フォーマットへの圧縮変換前であるという点で、中間データとなっている。

図１６のステップＳ１６において画像データの変換が要求されている場合に（Ｓ１６：Ｙｅｓ）、画像変換部２３３は、ＲＡＷ画像データセット３０６を他のＲＡＷ画像データセットに変換する（Ｓ１８）。他のＲＡＷ画像データセットの例は、一の画像データが一の原色かつ一の視差の画素値を有する画素からなる画像データの組である。一例として、ＲＧＢの原色およびＬｔＲｔの視差について、1つの画素の画素値が原色Ｒであって視差Ｌｔであることを示す画素からなるＲＬｔ画像データをさらに説明する。

図２１は、ＲＬｔ画像データへの変換の例を示す。図２１において、図１９のＲＡＷ画像データセット３０６におけるＲＮ画像データとＬｔ画像データとから、ＲＬｔ画像データが生成される。この場合に例えば、ＲＮ画像データの画素の画素値と、Ｌｔ画像データにおける同じ位置の画素の画素値との演算値を、ＲＬｔ画像データにおける対応する位置の画素の画素値とする。他の演算操作を行ってもよい。

同様の変換により、原色数×視差数の画像データの組が生成される。当該変換によって、図２２に示すように、ＲＡＷ画像データセット３０６から新たなＲＡＷ画像データセット３１２が生成される。

新たなＲＡＷ画像データセット３１２は、例えば図２０に示すデータ構造を用いて1つのファイルとして保存制御部２３８によりメモリカード２２０に保存される（Ｓ２０）。以上により、当該フローチャートが終了する。

以上、図１６から図２２の実施形態によれば、撮像素子１００の繰り返しパターンに依存して原色の情報と視差の情報とが多重化されたＲＡＷ元画像データを、各原色の情報および各視差の情報に分離したＲＡＷ画像データに分離するので、以後の画像データの処理を容易にすることができる。また、可逆的な操作を用いている場合には、分離後のＲＡＷ画像データセットにおいても画像の劣化を低減することができる。なお図１６の動作は、ファームウェアのプログラムとしてデジタルカメラ１０のプログラムメモリに格納されており、当該プログラムが読み出されて上記動作が実行されてもよい。

なお、図１６に示すフローチャートにおいてはステップＳ１４において画素値を補間しているが、このステップを省略してステップＳ２０に進んでもよい。この場合には、図１７に示すＲＡＷ画像データセット３００がメモリカード２２０に保存される。

図２３は、ステップＳ１８により生成される、他のＲＡＷ画像データセット３１４の例を示す。図２３のＲＡＷ画像データセット３１４は、ＲＡＷＹＣ画像データ群３１６として、輝度を示すＹＮ画像データおよび色差を示すＣＮ画像データを有する。ＹＮ画像データおよびＣＮ画像データは、ＲＡＷ原色画像データ群３０８における同じ位置の画素のＲＧＢの画素値をＹＣの画素値に変換することにより得られる。例えば、Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ、Ｃｒ＝Ｒ−Ｙ、Ｃｂ＝Ｂ−ＹによりＲＧＢをＹＣｒＣｂに変換する。Ｙの値をＹＮ画像データの画素値とし、ＣｒおよびＣｂの値をＣＮ画像データ画素値とする。よってＣＮ画像データの１つの画素は（Ｃｒ，Ｃｂ）の二次元値となる。

図２３のＲＡＷ画像データセット３１４によれば、ＲＧＢを用いる場合よりもデータ量を小さくすることができる。さらに輝度Ｙと色差Ｃとに対して独立してデータ圧縮等の制御をすることができるので、データ量の制御の自由度を高めることができる。なお、上記実施例ではＲＡＷ原色画像データ群３０８からＹＮ画像データおよびＣＮ画像データを生成したが、これに代えて、図１７のＲＡＷ原色画像データ群３０２からＹＮ画像データおよびＣＮ画像データを生成してもよい。

画像変換部２３３はさらに、図２３のＲＡＷＹＣ画像データ群３１６とＲＡＷ視差画像データ群３１０とから、各画素の画素値が輝度Ｙであって視差Ｌｔであること示すＹＬｔ画像データ、各画素の画素値が輝度Ｙであって視差Ｒｔであること示すＹＲｔ画像データ、各画素の画素値が色差Ｃであって視差Ｌｔであること示すＣＬｔ画像データ、各画素の画素値が色差Ｃであって視差Ｒｔであること示すＣＲｔ画像データを生成してもよい。これにより、図２３のＲＡＷ画像データセット３１４よりもさらにデータ量を圧縮したＲＡＷ画像データセットを得ることができる。なお当該ＲＡＷ画像データセットは、ＲＡＷ画像データセット３０６から生成されてもよい。

図２４は、他の繰り返しパターンによるＲＡＷ元画像データとＲＡＷ画像データセット３３０との関係を示す。図２４は図１５の繰り返しパターン（Ｂ'−１）によるＲＡＷ元画像データを示す。図２４のＲＡＷ元画像データの画素のそれぞれは、原色の情報か、視差の情報かのいずれかであるが、ＲＡＷ元画像データ全体としては原色の情報と視差の情報とが多重化されている。

図２４のＲＡＷ元画像データについても、ステップＳ１２において図１７に示す例と同様に、原色の情報と視差の情報とが分離されて、ＲＡＷ原色画像データ群３３２およびＲＡＷ視差画像データ群３３４が生成される。さらにステップＳ１４において画素が補間されて新たなＲＡＷ画像データセットが生成されてもよい。

同様に、図１０に示したそれぞれの繰り返しパターンに基づいて撮像して得られたＲＡＷ画像データから、ＲＡＷ原色画像データ群とＲＡＷ視差画像データ群からなるＲＡＷ画像データを得ることができる。特に、視差数が２より多い場合であっても同様の動作によりＲＡＷ原色画像データ群とＲＡＷ視差画像データ群を得ることができる。

なお、図１６から図２４に示す実施形態において、保存制御部２３８はＲＡＷ画像データセットを１つのファイルとして保存するが、保存の方法はこれに限られない。他の例として、保存制御部２３８は、ＲＡＷ画像データセットに含まれる画像データ群のそれぞれを１つのファイルとして保存してもよい。その場合にそれぞれのファイルに図２０のヘッダの情報が付加されてもよい。またヘッダに情報を付加することに代えて、図２０のファイルの情報および繰り返しパターンの情報が画像データのファイルは別個の添付ファイルとして添付されて保存されてもよい。

図２５は、図１から図２４により生成されたＲＡＷ画像データセット３００等が用いられる例を示すフローチャートである。図２５のフローチャートは、ユーザがＰＣ等を用いて特定の表示装置に画像を表示させる要求があったときに開始する。

まずユーザの選択により、ＰＣは予めハードディスク等にコピーされている一のＲＡＷ画像データセット３００等を読み出す（Ｓ５０）。例えば、ユーザによりＲＡＷ画像データセット３１２が選択されてＰＣに読み出される。

さらにＰＣは読み出したＲＡＷ画像データセット３１２を、現像プログラムを用いて現像し（Ｓ５２）、表示する（Ｓ５４）。例えば、表示装置が右目用画像と左目用画像とを表示してステレオ視を可能とするものであって、それぞれの画像データにはＪＰＥＧが用いられるとすると、ＰＣは、ＲＡＷ画像データセット３１２から右目用のＪＰＥＧ画像および左目用のＪＰＥＧ画像を生成する。

この場合に、ＰＣは自動的にまたはユーザの要求によりこれらのＪＰＥＧ画像に補正や視覚効果を加えても良い。その場合であっても、元のデータは撮像素子からのＲＡＷ元画像データに近いＲＡＷ画像データセットなので、劣化の少ない画像を表示することができる。なお、ＲＡＷ元画像データを取得して原色画像データ群および視差画像データ群を生成するのに代えて、撮像素子１００からのデータが非可逆的に処理された元画像データから図１から図２４と同様の方法を用いて原色画像データ群および視差画像データ群を生成してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 画像取得部、２３２ 画像生成部、２３３ 画像変換部、２３８ 保存制御部、３００ ＲＡＷ画像データセット、３０２ ＲＡＷ原色画像データ群、３０４ ＲＡＷ視差画像データ群、３０６ ＲＡＷ画像データセット、３０８ ＲＡＷ原色画像データ群、３１０ ＲＡＷ視差画像データ群、３１２ ＲＡＷ画像データセット、３１４ ＲＡＷ画像データセット、３１６ ＲＡＷＹＣ画像データ群、３３０ ＲＡＷ画像データセット、３３２ ＲＡＷ原色画像データ群、３３４ ＲＡＷ視差画像データ群

Claims (20)

1. 被写体像のカラーを構成する少なくともいずれかの原色の画素値を有する画素、および、入射光束に対して互いに異なる部分領域を通過させるように開口部を位置付けられた開口マスクを通過した光束を受光して得られた前記被写体像の少なくとも視差を示す画素値を有する画素を含む元画像データを取得する画像取得部と、
   前記元画像データから、前記原色の画素値を有する画素からなる原色画像データと、前記視差の画素値を有する画素からなる視差画像データとを生成する画像生成部と
   を備え、
   前記画像生成部は、前記元画像データにおいて前記視差の画素値を有しない画素については前記視差の画素値を補間して、視差の個数に対応した前記視差画像データの組を生成する画像処理装置。
2. 前記画像生成部は、前記元画像データにおいて前記原色の画素値を有しない画素については前記原色の画素値を補間して、カラーを構成する複数の原色に対応した前記原色画像データの組を生成する請求項１に記載の画像処理装置。
3. 前記画像生成部は、前記元画像データから可逆的な操作により前記原色画像データおよび前記視差画像データを生成する請求項１または２に記載の画像処理装置。
4. 前記原色画像データおよび前記視差画像データを記憶装置に保存する保存制御部をさらに備える請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記保存制御部は、前記原色画像データおよび前記視差画像データを一ファイルとして保存する請求項４に記載の画像処理装置。
6. 前記保存制御部は、前記元画像データに含まれる前記画素と前記画素の画素値が示す情報とを対応付けた付加情報を前記一ファイルに付加して保存する請求項５に記載の画像処理装置。
7. 前記保存制御部は、前記付加情報として、特定の注目画素の位置を特定する情報、前記注目画素の画素値がいずれの原色および視差を示すかを特定する情報、原色の画素値を有する画素の配列の周期、並びに、視差の画素値を有する画素の配列の周期を含む請求項６に記載の画像処理装置。
8. 前記画像生成部は、カラーを構成する複数の原色に対応する前記原色画像データの組における画素の画素値、および、視差の個数に対応した複数の視差情報に対応する前記視差画像データの組における画素の画素値に基づいて、いずれか一の視差におけるいずれかの一の原色の画素値を有する画素からなる視差原色画像データを、視差および原色の個数に対応した組で生成する請求項１に記載の画像処理装置。
9. 前記視差原色画像データの組を記憶装置に保存する保存制御部をさらに備える請求項８に記載の画像処理装置。
10. 前記保存制御部は、前記視差原色画像データの組を一ファイルとして保存する請求項９に記載の画像処理装置。
11. 前記保存制御部は、前記元画像データに含まれる前記画素と前記画素の画素値が示す情報とを対応付けた付加情報を前記一ファイルに付加して保存する請求項１０に記載の画像処理装置。
12. 前記保存制御部は、前記付加情報として、特定の注目画素の位置を特定する情報、前記注目画素の画素値がいずれの原色および視差を示すかを特定する情報、原色の画素値を有する画素の配列の周期、並びに、視差の画素値を有する画素の配列の周期を含む請求項１１に記載の画像処理装置。
13. 前記画像生成部は、カラーを構成する複数の原色情報に対応する前記原色画像データの組における画素の画素値を、輝度情報を示す画素値および色差情報を示す画素値に変換して、輝度画像データおよび色差画像データを生成する請求項１に記載の画像処理装置。
14. 前記輝度画像データ、前記色差画像データおよび前記視差画像データを記憶装置に保存する保存制御部をさらに備える請求項１３に記載の画像処理装置。
15. 前記保存制御部は、前記輝度画像データ、前記色差画像データおよび前記視差画像データを一ファイルとして保存する請求項１４に記載の画像処理装置。
16. 前記保存制御部は、前記元画像データに含まれる前記画素と前記画素の画素値が示す情報とを対応付けた付加情報を前記一ファイルに付加して保存する請求項１５に記載の画像処理装置。
17. 前記保存制御部は、前記付加情報として、特定の注目画素の位置を特定する情報、前記注目画素の画素値がいずれの原色および視差を示すかを特定する情報、原色の画素値を有する画素の配列の周期、並びに、視差の画素値を有する画素の配列の周期を含む請求項１６に記載の画像処理装置。
18. 前記画像取得部は、前記元画像データとして撮像素子からの画像データを可逆的に画像処理したＲＡＷ画像データを取得する請求項１から１７のいずれか１項に記載の画像処理装置。
19. 被写体像のカラーを構成する少なくともいずれかの原色の画素値を有する画素、および、入射光束に対して互いに異なる部分領域を通過させるように開口部を位置付けられた開口マスクを通過した光束を受光して得られた前記被写体像の少なくとも視差を示す画素値を有する画素を含む元画像データを取得する画像取得ステップと、
    前記元画像データから、前記原色の画素値を有する画素からなる原色画像データと、前記視差の画素値を有する画素からなる視差画像データとを生成する画像生成ステップと
    を備え、
    前記画像生成ステップにおいて、前記元画像データにおいて前記視差の画素値を有しない画素については前記視差の画素値を補間して、視差の個数に対応した前記視差画像データの組を生成する画像処理方法。
20. コンピュータを制御するプログラムであって、前記コンピュータに、
    被写体像のカラーを構成する少なくともいずれかの原色の画素値を有する画素、および、入射光束に対して互いに異なる部分領域を通過させるように開口部を位置付けられた開口マスクを通過した光束を受光して得られた前記被写体像の少なくとも視差を示す画素値を有する画素を含む元画像データを取得する画像取得手順、および、
    前記元画像データから、前記原色の画素値を有する画素からなる原色画像データと、前記視差の画素値を有する画素からなる視差画像データとを生成する画像生成手順
    を実行させ、
    前記画像生成手順において、前記元画像データにおいて前記視差の画素値を有しない画素については前記視差の画素値を補間して、視差の個数に対応した前記視差画像データの組を生成するプログラム。

Images