JP5979137B2 - 撮像装置および撮像装置の制御プログラム - Google Patents

Description

本発明は、撮像装置および撮像装置の制御プログラムに関する。

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

しかしながら、上述のステレオ撮像装置は、例えば、撮像画像における被写体像の奥行きの有無を容易に判断できる基礎データを具備しておらず、パターンマッチング処理などの複雑な演算を必要としていた。

本発明の第１の態様における撮像装置は、視差を生じさせる第１視差画像および第２視差画像をそれぞれ出力する第１視差画素群および第２視差画素群が互いに異なる位置に配列された撮像素子と、第１視差画像の１つの第１視差出力画素である注目画素を基準として、注目画素の周辺に位置する第２視差画像の複数の第２視差出力画素の各々に対する差分画素値を演算する差分演算部と、注目画素を基準とした複数の第２視差出力画素の各方向と差分画素値とを関連付けた差分データを生成するデータ生成部とを備える。

本発明の第２の態様における撮像装置の制御プログラムは、視差を生じさせる第１視差画像および第２視差画像をそれぞれ出力する第１視差画素群および第２視差画素群が互いに異なる位置に配列された撮像素子を備える撮像装置の制御プログラムであって、第１視差画像の１つの第１視差出力画素である注目画素を基準として、注目画素の周辺に位置する第２視差画像の複数の第２視差出力画素の各々に対する差分画素値を演算する差分演算ステップと、注目画素を基準とした複数の第２視差出力画素の各方向と差分画素値とを関連付けた差分データを生成するデータ生成ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面を表す概略図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 繰り返しパターンの他の例を示す図である。 二次元的な繰り返しパターンの例を示す図である。 開口部の他の形状を説明する図である。 ベイヤー配列を説明する図である。 ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。 バリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のカラーフィルタ配列を説明する図である。 Ｗ画素と視差画素の配列の一例を示す図である。 差分データセット生成処理の処理フローを示す図である。 実施例１における撮像画像データを説明する図である。 実施例１における注目画素設定処理を説明する図である。 実施例１における注目画素設定処理を説明する図である。 実施例１における領域設定処理を説明する図である。 （ａ）は実施例１における差分演算処理を説明する図である。（ｂ）は実施例１における差分データの一例を示す図である。 実施例１における差分データセットの一例である。 実施例１における画素値演算の一例である。 実施例１の同一視差差分データセット生成処理における領域設定処理を説明する図である。 （ａ）は、実施例１の同一視差差分データセット生成処理における差分演算処理を説明する図である。（ｂ）は実施例１の同一視差差分データセット生成処理における同一視差差分データの一例を示す図である。 実施例２における撮像画像データを説明する図である。 実施例２における領域設定処理を説明する図である。 （ａ）は実施例２における差分演算処理を説明する図である。（ｂ）は実施例２における差分データの一例を示す図である。 実施例３における撮像画像データを説明する図である。 実施例３における領域設定処理を説明する図である。 実施例３における領域設定処理を説明する図である。 実施例３における領域設定処理を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

また、撮像素子１００は、視差を生じさせる第１視差画像および第２視差画像をそれぞれ出力する第１視差画素群および第２視差画素群を有する。第１視差画素群および第２視差画素群は互いに異なる位置に配列されている。詳細については後述する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、他にも、撮像素子１００の画素配列に即して、入力される画像信号から非視差画像データとしての２Ｄ画像データおよび視差画像データを生成したり、選択された画像フォーマットに従って画像データを調整したりする機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

また、画像処理部２０５は、撮像素子１００が出力する第１視差画像の１つの第１視差出力画素である注目画素を基準として、撮像素子１００が出力する第２視差画像の複数の第２視差出力画素であって注目画素の周辺に位置する複数の第２視差出力画素の各々に対する差分画素値を演算する差分演算部２３１、注目画素を基準とした複数の第２視差出力画素の各方向と差分画素値とを関連付けた差分データを含む差分データセットを生成するデータ生成部２３２、差分データセットをファイル形式でメモリカード２２０に記憶させる記憶制御部２３３を有する。それぞれの処理の詳細については後述する。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。

図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。

カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素として特化させる場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。

輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。

スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。

上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図６は、繰り返しパターン１１０の他の例を示す図である。

図６（ａ）は、縦６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。

図６（ｂ）は、斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。

図３の繰り返しパターン１１０、および図６（ａ）（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、横方向の解像度を１／６とする構成である。図６（ａ）の繰り返しパターン１１０の場合は、縦方向の解像度を１／６とする構成である。また、図６（ｂ）の繰り返しパターン１１０の場合は、縦方向を１／３、横方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ〜１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ〜Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。

上述の例では、左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図７は、二次元的な繰り返しパターン１１０の例を示す図である。

図７の例によれば、縦６画素横６画素の３６画素を一組の光電変換素子群として繰り返しパターン１１０を形成する。それぞれの画素に対する開口部１０４の位置として、互いに上下左右方向にシフトした３６種類の開口マスク１０３が用意されている。具体的には、各開口部１０４は、繰り返しパターン１１０の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。

このような繰り返しパターン１１０を有する撮像素子１００は、上下方向および左右方向に視差を与える、３６視点の視差画像を出力することができる。もちろん図７の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン１１０を定めることができる。

以上の説明においては、開口部１０４の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子１０８へ導く光量を確保している。しかし、開口部１０４の形状は矩形に限定されない。

図８は、開口部１０４の他の形状を説明する図である。図においては、開口部１０４の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ１０１との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子１０８へ入射することを防ぐことができる。

次に、カラーフィルタ１０２と視差画像について説明する。図９は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。

このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図１０は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素と、同じく右側に偏心した視差Ｒ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。

それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。

一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。

以下にいくつかのバリエーションについて説明する。図１１は、バリエーションの一例を示す図である。図１１のバリエーションは、図１０における繰り返しパターン分類Ａ−１に相当する。

図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＧ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌ画素と視差Ｒ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。

図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。

図１２は、他のバリエーションの一例を示す図である。図１２のバリエーションは、図１０における繰り返しパターン分類Ｂ−１に相当する。

図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図１０の例よりも、更に２Ｄ画像の高画質化が望める。

図１３は、更に他のバリエーションの一例を示す図である。図１３のバリエーションは、図１０における繰り返しパターン分類Ｄ−１に相当する。

図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。さらに、左側のＲ画素に視差Ｌ画素を、右側のＲ画素に視差Ｒ画素を割り当てる。さらに、左側のＢ画素に視差Ｌ画素を、右側のＢ画素に視差Ｒ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。

２つのＧｂ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図１２の例に比較して、３Ｄ画像としての解像度が縦方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。

なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて、図３、図７、図８などで説明したような様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。

上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。図３等を用いて説明したように、カラーフィルタ配列を構成するある１色に着目して寄せ集めた場合に、隣接する複数の画素を一組の光電変換素子群とする繰り返しパターンを形成し、視差画像を出力するように視差画素が割り当てられていれば良い。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。

したがって、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子１０８のうち、少なくとも３つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも２種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。

図１４は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図９で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。

このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。

Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。

図１５は、図１４の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図１５のバリエーションは、ベイヤー配列における図１２の繰り返しパターン分類Ｂ−１に類似するので、ここではＢ'−１とする。図の例においては、他のカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＷ画素に視差Ｌ画素を、右側のＷ画素に視差Ｒ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。

この場合、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを有し、隣接するｎ個（ｎは４以上の整数）の光電変換素子１０８のうち、少なくとも２つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも２種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。

図１６は、本実施形態における差分データセット生成処理の処理フローを示す図である。ここで、差分データセットは、撮像画像に含まれる第１視差出力画素の画素値と周辺の第２視差出力画素の画素値との差分である差分画素値と第１視差出力画素を基準とした第２視差出力画素の方向とを関連付けた差分データを含む。また、差分データセットは、複数の第１視差出力画素に対する複数の差分データを含むように形成される。

例えば、上述の図１１−１３，１５の撮像素子１００における視差Ｌ画素の出力値が、撮像画像において対応する位置の第１視差出力画素の画素値となり、視差Ｒ画素の出力値が、撮像画像において対応する位置の第２視差出力画素の画素値となる。そして、差分データセットは、視差Ｌ画素の出力値と視差Ｒ画素の出力値との差分である差分画素値と、視差Ｌ画素に対応する位置の第１視差出力画素を基準とした視差Ｒ画素に対応する位置の第２視差出力画素の方向とを関連付けた差分データを含むように形成される。そして、差分データセットは、複数の視差Ｌ画素に対応する位置の複数の第１視差出力画素に対する複数の差分データを含むように形成される。

このような差分データセットを生成することにより、画像処理部２０５は、撮像画像における第１視差出力画素の画素値と第２視差出力画素の画素値の差が大きい箇所および方向を容易に確認することができる。したがって、画像処理部２０５は、パターンマッチング処理などの複雑な演算をすることなく、撮像画像における被写体像の奥行きの有無を容易に判断することができる。

処理フローは、例えば露光動作を終え撮像素子１００が画像信号を出力する時点から開始する。ステップＳ１０１において、画像処理部２０５は、撮像素子１００から出力される画像信号を受け取って撮像画像データを取得する。

撮像画像は、互いに異なる位置に配置された複数の第１視差出力画素および複数の第２視差出力画素を有する。複数の第１視差出力画素および複数の第２視差出力画素の配置は、撮像素子１００の第１視差画素群および第２視差画素群の配置と対応している。撮像素子１００の第１視差画素群の各画素の出力値は、対応する位置の第１視差出力画素の画素値となる。撮像素子１００の第２視差画素群の各画素の出力値は、対応する位置の第２視差出力画素の画素値となる。複数の第１視差出力画素の配置および画素値から形成される第１視差画像と、複数の第２視差出力画素の配置および出力値から形成される第２視差画像とは、視差を生じさせる。

ステップＳ１０２へ進み、画像処理部２０５は、第１視差画像の１つの第１視差出力画素を注目画素として設定する。注目画素は、後述するステップＳ１０６の差分演算処理において演算の基準となる画素である。

処理開始時において、画像処理部２０５は、予め設定された基準画素のアドレス情報を取得し、基準画素を注目画素として設定する。基準画素は、後述ステップＳ１０６において最初に差分演算の基準となる画素であり、撮像画像の中央部の第１視差出力画素、撮像画像の左上端の第１視差出力画素などの予め定められた位置の画素である。この注目画素設定処理の詳細は後述する。

ステップＳ１０３へ進み、画像処理部２０５は、注目画素を中心部とし、第２視差画像の複数の第２視差出力画素を含むｍ×ｎ画素領域（ｍ、ｎは３以上の整数）を対象領域として設定する。この領域設定処理の詳細は後述する。そして、ステップＳ１０４において、画像処理部２０５は、撮像画像データから、注目画素および対象領域に含まれる複数の第２視差出力画素の画素値を取得する。

ステップＳ１０５へ進み、画像処理部２０５の差分演算部２３１は、注目画素の画素値と、対象領域に含まれる複数の第２視差出力画素の各々の画素値との差分である差分画素値を演算する。そして、ステップＳ１０６において、画像処理部２０５のデータ生成部２３２は、注目画素を基準とした複数の第２視差出力画素の各方向と差分画素値とを関連付けた差分データを生成し、生成した差分データをメモリ２０３に一時保存する。これら差分演算処理および差分データ生成処理については後述する。

ステップＳ１０７へ進み、画像処理部２０５は、注目画素として設定されていない第１視差出力画素があるか否かを判断する。例えば、画像処理部２０５は、第１視差画像データの第１視差出力画素のうち注目画素として設定されていない第１視差出力画素がある場合に、注目画素として設定されていない第１視差出力画素があると判断する。画像処理部２０５は、注目画素として設定されていない第１視差出力画素があると判断した場合には、ステップＳ１０２へ戻る。

画像処理部２０５は、注目画素として設定されていない第１視差出力画素がないと判断した場合にステップＳ１０８へ進む。ステップＳ１０８において、画像処理部２０５のデータ生成部２３２は、ステップＳ１０６で生成した差分データを用いて差分データセットを生成する。この差分データセット生成処理の詳細については後述する。そして、ステップＳ１０９において、画像処理部２０５の記憶制御部２３３は、ステップＳ１０８で生成された差分データセットをファイル形式でメモリカード２２０に記憶させて、処理フローを終了する。

ここで、図１１で示した画素配列を有する撮像素子１００を用いた実施例１について説明する。図１７は、実施例１における撮像画像データを説明する図である。開口部が中心よりも左側に偏心した視差Ｌ画素の出力値は、対応する位置の緑色の左視差出力画素の画素値となる。開口部が中心よりも右側に偏心した視差Ｒ画素の出力値は、対応する位置の緑色の右視差出力画素の画素値となる。視差なし画素であるＲ画素およびＢ画素の出力値は、それぞれ対応する位置の赤色の視差なし出力画素および青色の視差なし出力画素の画素値となる。

複数の左視差出力画素の配置および画素値で形成される左視差画像と、複数の右視差出力画素の配置および画素値で形成される右視差画像とは、２視点の視差画像である。本実施例において、左視差出力画素を第１視差出力画素、右視差出力画素を第２視差出力画素とする。なお、撮像画像データにおいて、撮像素子のｘ軸、ｙ軸に対応するｘ軸、ｙ軸を設定する。ｘ軸プラス方向は右方向であり、ｙ軸プラス方向は上方向である。

図１８および図１９は、実施例１における注目画素設定処理を説明する図である。図１８は、基準画素が撮像画像データの中央部の左視差出力画素である場合における注目画素設定処理を説明する図である。まず、処理開始時において、画像処理部２０５は、基準画素３００を注目画素として設定し、差分データを生成する。

次に、画像処理部２０５は、基準画素３００に最も近くに位置する左視差出力画素（基準画素３００から２画素分離れた左視差出力画素）を含み且つ基準画素を除いた領域３１０を設定する。そして、画像処理部２０５は、領域３１０内の左視差出力画素を順次注目画素として設定し、差分データを順次生成する。例えば、画像処理部２０５は、基準画素３００に対して右方向（ｘ軸プラス方向）に２画素分離れた左視差出力画素を起点に、反時計回りで領域３１０内の左視差出力画素を順次注目画素として設定する。

領域３１０内のすべての左視差出力画素を注目画素に設定した後に、画像処理部２０５は、領域３１０外で基準画素３００に最も近くに位置する左視差出力画素（基準画素３００から４画素分離れた左視差出力画素）を含み且つ基準画素および領域３１０を除いた領域３２０を設定する。そして、画像処理部２０５は、領域３２０内の左視差出力画素を順次注目画素として設定し、差分データを順次生成する。例えば、画像処理部２０５は、基準画素３００に対して右方向（ｘ軸プラス方向）に４画素分離れた左視差出力画素を起点に、反時計回りで領域３１０内の左視差出力画素を順次注目画素として設定する。画像処理部２０５は、この処理を繰り返して、撮像画像データの中心から外に向かって左視差出力画素を注目画素として設定する。

このように撮像画像の中心から外に向かって左視差出力画素を注目画素として設定することにより、画像処理部２０５は、上述の差分データ生成処理と並行して収差補正の演算も実行することができる。具体的には、撮像画像データの中心は光軸中心に対応するため、画像処理部２０５は、基準画素を中心とした特定範囲内の画素を注目画素に設定して差分データを生成している場合には収差補正の演算を実行しない。特定範囲として、収差補正が不要であると想定される範囲を予め設定しておく。その後、画像処理部２０５は、特定範囲外の画素を注目画素に設定して差分データを生成している場合に、収差補正の演算を実行する。

図１９は、基準画素が撮像画像データの左上端の左視差出力画素である場合における注目画素設定処理の説明図である。まず、処理開始時において、画像処理部２０５は、基準画素３００を注目画素として設定し、差分データを生成する。次に、画像処理部２０５は、基準画素３００を含む１画素の横領域３３０を設定する。そして、画像処理部２０５は、横領域３３０内の左視差出力画素を右方向（ｘ軸プラス方向）に順次注目画素として設定し、差分データを順次生成する。

横領域３３０内のすべての左視差出力画素を注目画素に設定した後に、画像処理部２０５は、横領域３３０に対して下方向（ｙ軸マイナス方向）で最も近くに位置する左視差画像を含む１画素の横領域３４０を設定する。そして、画像処理部２０５は、横領域３４０内の一番左に位置する左視差出力画素を起点に、右方向（ｘ軸プラス方向）に横領域３４０内の左視差出力画素を順次注目画素として設定し、差分データを順次生成する。画像処理部２０５は、この処理を繰り返して、撮像画像データの上から下に向かって左視差出力画素を注目画素として設定する。

このように撮像画像の上から下に向かって左視差出力画素を注目画素として設定することにより、撮像画像の上から下に向かってデータ読み出す表示処理等と並行して差分データ生成処理を実行することができる。

図２０は、実施例１における領域設定処理を説明する図である。画像処理部２０５は、注目画素４００を中心部とし、注目画素４００の周辺の複数の右視差出力画素を含むｍ×ｎ画素の対象領域４１０を設定する。ここで、ｍおよびｎは３以上の整数である。ｍおよびｎの双方が奇数の場合には、画像処理部２０５は注目画素４００を中心の画素とした対象領域４１０を設定する。一方、ｍおよびｎの少なくとも一方が偶数の場合に、画像処理部２０５は注目画素４００を中心に最も近い画素とした対象領域４１０を設定する。

画像処理部２０５は、例えば、注目画素４００を基準として、縦２方向、横２方向若しくは斜め２方向に位置する２つの右視差出力画素を少なくとも含むように対象領域４１０を設定する。また、画像処理部２０５は、注目画素４００を基準として、縦横４方向若しくは斜め４方向に位置する４つの右視差出力画素を少なくとも含むように対象領域４１０を設定してもよい。本実施例において、画像処理部２０５は、注目画素４００を中心とし、斜め４方向に位置する４つの右視差出力画素を含む３×３画素の対象領域４１０を設定する。

図２１（ａ）は、実施例１における差分演算処理を説明する図である。画像処理部２０５の差分演算部２３１は、注目画素４００の画素値と、対象領域４１０に含まれる４つの右視差出力画素４２０、４３０、４４０、４５０の各々の画素値との差分画素値ΔＬＲを演算する。差分演算部２３１は、（注目画素の画素値）−（右視差出力画素の画素値）の値を差分画素値ΔＬＲとする。具体的には、差分演算部２３１は、（注目画素４００の画素値「５０」）−（右視差出力画素４２０の画素値「４６」）＝４を注目画素４００と右視差出力画素４２０との差分画素値ΔＬＲ（１，１）とする。同様に、差分演算部２３１は、注目画素４００と右視差出力画素４３０との差分画素値ΔＬＲ（−１，１）、注目画素４００と右視差出力画素４４０との差分画素値ΔＬＲ（−１，−１）、注目画素４００と右視差出力画素４５０との差分画素値ΔＬＲ（１，−１）を演算する。なお、本実施例において、右視差出力画素４２０、４３０、４４０、４５０に対する差分画素値ΔＬＲを区別可能にするために、注目画素４００を基準とした右視差出力画素４２０、４３０、４４０、４５０の座標値（１，１）、（−１，１）、（−１，−１）、（１，−１）をΔＬＲの右側に表記する。

上述した図１６のステップＳ１０６において、画像処理部２０５のデータ生成部２３２は、注目画素４００を基準とした右視差出力画素４２０、４３０、４４０、４５０の方向と、差分画素値ΔＬＲ（１，１）、ΔＬＲ（−１，１）、ΔＬＲ（−１，−１）、ΔＬＲ（１，−１）とを関連付けた差分データを生成する。一つの手法として、データ生成部２３２は、注目画素４００を基準とした右視差出力画素４２０、４３０、４４０、４５０の座標値（１，１）、（−１，１）、（−１，−１）、（１，−１）のデータを、注目画素４００を基準とした右視差出力画素４２０、４３０、４４０、４５０の方向を示す値として用いる。そして、データ生成部２３２は、座標値（１，１）と差分画素値ΔＬＲ（１，１）、座標値（−１，１）と差分画素値ΔＬＲ（−１，１）、座標値（−１，−１）と差分画素値ΔＬＲ（−１，−１）、座標値（１，−１）と差分画素値ΔＬＲ（１，−１）を対応付けた差分データを生成する。

上述の手法による差分データは座標値のデータを含んでいるので、差分データのデータサイズが大きくなってしまう。そこで、図２１（ｂ）に示すように、データ生成部２３２は、右視差出力画素４２０、４３０、４４０、４５０に対する差分画素値ΔＬＲ（１，１）、ΔＬＲ（−１，１）、ΔＬＲ（−１，−１）、ΔＬＲ（１，−１）を予め定められた順序で並べたデータ列「４、３０、１０、−４」を差分データ４６０として生成する。この予め定められた順序は、注目画素４００を基準とした右視差出力画素４２０、４３０、４４０、４５０の方向のｘ軸プラス方向に対する角度が小さい順である。なお、角度範囲は、ｘ軸プラス方向に対し反時計回りに０度から３６０度である。

具体的には、まず、データ生成部２３２は、ｘ軸プラス方向に対する角度が一番小さい（１，１）方向（４５度の方向）の差分画素値ΔＬＲ（１，１）をデータ列の先頭に配置する。次に、データ生成部２３２は、ｘ軸プラス方向に対する角度が二番目に小さい（−１，１）方向（１３５度の方向）の差分画素値ΔＬＲ（−１，１）をデータ列の二番目に配置する。そして、データ生成部２３２は、ｘ軸プラス方向に対する角度が三番目に小さい（−１，−１）方向（２２５度の方向）の差分画素値ΔＬＲ（−１，−１）をデータ列の３番目に配置する。最後に、データ生成部２３２は、ｘ軸プラス方向に対する角度が一番大きい（１，−１）方向（３１５度の方向）の差分画素値ΔＬＲ（１，−１）をデータ列の最後尾に配置する。

このように注目画素４００を基準とした右視差出力画素４２０、４３０、４４０、４５０の方向を用いた順序で差分画素値ΔＬＲ（１，１）、ΔＬＲ（−１，１）、ΔＬＲ（−１，−１）、ΔＬＲ（１，−１）を並べることにより、差分画素値ΔＬＲ（１，１）、ΔＬＲ（−１，１）、ΔＬＲ（−１，−１）、ΔＬＲ（１，−１）は注目画素４００を基準とした右視差出力画素４２０、４３０、４４０、４５０の方向と関連付けられる。なお、本実施例では、データ生成部２３２は、ｘ軸プラス方向に対する角度を用いて順序を設定したが、これに限らず、ｙ軸プラス方向に対する角度を用いて順序を設定してもよい。

図２２は、実施例１における差分データセットの一例である。画像処理部２０５のデータ生成部２３２は、複数のセクション５１０（５１０−１、５１０−２、５１０−３、・・・５１０−Ｎ）で区切られた差分データセット５００を生成する。データ生成部２３２は、複数のセクション５１０（５１０−１、５１０−２、５１０−３、・・・５１０−Ｎ）に、ステップＳ１０６で生成した複数の差分データ４６０（４６０−１、４６０−２、４６０−３、・・・４６０−Ｎ）をそれぞれ格納する。

データ生成部２３２は、複数のセクション５１０（５１０−１、５１０−２、５１０−３、・・・５１０−Ｎ）に、差分データ４６０（４６０−１、４６０−２、４６０−３、・・・４６０−Ｎ）に対応する注目画素の位置情報５２０（５２０−１、５２０−２、５２０−３、・・・５２０−Ｎ）をそれぞれ格納する。具体的には、データ生成部２３２は、上述した図１６のステップＳ１０２の注目画素設定処理またはステップＳ１０４の画素値取得処理のときに、注目画素のアドレス情報を取得し、アドレス情報を位置情報５２０として格納する。また、データ生成部２３２は、基準画素以外の注目画素に対する位置情報５２０−２、５２０−３、・・・５２０−Ｎとして、基準画素からのオフセット情報を格納するようにしてもよい。これにより、注目画素の位置情報５２０（５２０−１、５２０−２、５２０−３、・・・５２０−Ｎ）が、差分データ４６０（４６０−１、４６０−２、４６０−３、・・・４６０−Ｎ）に対応付けられる。

さらに、データ生成部２３２は、基準画素に対応する差分データ４６０−１を格納するセクション５１０−１に基準画素の画素値５３０を格納する。これにより、基準画素の画素値５３０が基準画素に対応する差分データ４６０−１に対応付けられる。

画像処理部２０５は、基準画素の画素値および差分画素値を用いて、他の視差出力画素の画素値を算出することができる。例えば、図２３に示すとおり、画像処理部２０５は、基準画素３００における差分データのうち、基準画素３００と右視差出力画素５４０との差分画素値ΔＬＲ（１，１）を参照し、（基準画素３００の画素値「５０」）−（基準画素３００の差分画素値ΔＬＲ（１，１）「４」）を演算して、右視差出力画素５４０の画素値「４６」を算出する。また、画像処理部２０５は、上述した基準画素３００の差分画素値ΔＬＲ（１，１）、および左視差出力画素５５０における差分データのうち、左視差出力画素５５０と右視差出力画素５４０との差分画素値ΔＬＲ（−１，１）を参照し、（基準画素３００の画素値「５０」）−（基準画素３００の差分画素値ΔＬＲ（１，１）「４」）＋（左視差出力画素５５０の差分画素値ΔＬＲ（−１，１）「８」）を演算して、左視差出力画素５５０の画素値「５４」を算出する。このように基準画素の画素値を差分データセットに格納することにより、画像処理部２０５は、各左視差出力画素の画素値データおよび各右視差出力画素の画素値データを有していなくても、各左視差出力画素の画素値および各右視差出力画素の画素値を算出することができる。

画像処理部２０５は、差分データセットを用いて撮像画像における奥行きの有無を判断することができる。具体的には、画像処理部２０５は、差分データセットにおいて差分画素値が閾値を超えている箇所を分析して、奥行きの有無を判断する。なお、閾値は、ノイズレベルを超えた輝度の変化を示す値として予め設定される。

画像処理部２０５の記憶制御部２３３は、差分データセット５００をファイル形式でメモリカード２２０に記憶させる。これにより、画像処理部２０５は、画像表示処理等の必要なタイミングで差分データセットを読み出し、撮像画像における奥行きの有無を判断することができる。

次に、同一視差差分データセット生成処理について説明する。同一視差差分データセットは、撮像画像における被写体像の奥行きの有無などを容易に判断する場合に上述の差分データセットとともに用いられるデータである。画像処理部２０５は、上述のフロー処理と同様の処理で、注目画素の画素値と、注目画素の周辺に位置する１つまたは複数の第１視差出力画素の各々に対する画素値との差分である同一視差差分値を演算する。そして、画像処理部２０５は、注目画素を基準とした１つまたは複数の第１視差出力画素の各方向と同一視差差分値とを関連付けた同一視差差分データを含む同一視差差分データセットを生成する。なお、同一視差差分データセット生成処理と上述の差分データセット生成処理とを並行して実行することもできる。

図２４は、実施例１の同一視差差分データセット生成処理における領域設定処理を説明する図である。画像処理部２０５は、注目画素を中心部とし、注目画素４００の周辺の１つまたは複数の左視差出力画素を含むｉ×ｊ画素の同一視差対象領域６００を設定する。ここで、ｉおよびｊは３以上の整数である。ｉおよびｊの双方が奇数の場合には、画像処理部２０５は注目画素４００を中心の画素とした同一視差対象領域６００を設定する。一方、ｉおよびｊの少なくとも一方が偶数の場合に、画像処理部２０５は注目画素４００を中心に最も近い画素とした同一視差対象領域６００を設定する。

画像処理部２０５は、例えば、注目画素４００を基準として、右方向に位置する１つの左視差出力画素を少なくとも含むように同一視差対象領域６００を設定する。また、画像処理部２０５は、注目画素４００を基準として、縦２方向、横２方向若しくは斜め２方向に位置する２つの左視差出力画素を少なくとも含むように同一視差対象領域６００を設定してもよい。さらに、画像処理部２０５は、注目画素４００を基準として、縦横４方向若しくは斜め４方向に位置する４つの左視差出力画素を少なくとも含むように同一視差対象領域６００を設定してもよい。本実施例において、画像処理部２０５は、注目画素４００を中心とし、縦横４方向および斜め４方向に位置する８つの左視差出力画素を含む５×５画素の同一視差対象領域６００を設定する。

図２５（ａ）は、実施例１の同一視差差分データセット生成処理における差分演算処理を説明する図である。画像処理部２０５の差分演算部２３１は、注目画素４００を基準として、対象領域４１０に含まれる複数の左視差出力画素６１０、６２０、６３０、６４０、６５０、６６０、６７０、６８０に対する複数の差分画素値ΔＬＬ（２，０）、ΔＬＬ（２，２）、ΔＬＬ（０，２）、ΔＬＬ（−２，２）、ΔＬＬ（−２，０）、ΔＬＬ（−２，−２）、ΔＬＬ（０，−２）、ΔＬＬ（２，−２）を演算する。差分演算部２３１は、上述した差分画素値ΔＬＲ（１，１）、ΔＬＲ（−１，１）、ΔＬＲ（−１，−１）、ΔＬＲ（１，−１）の演算と同様の手法で、差分画素値ΔＬＬ（２，０）、ΔＬＬ（２，２）、ΔＬＬ（０，２）、ΔＬＬ（−２，２）、ΔＬＬ（−２，０）、ΔＬＬ（−２，−２）、ΔＬＬ（０，−２）、ΔＬＬ（２，−２）を演算する。

図２５（ｂ）で示すように、画像処理部２０５のデータ生成部２３２は、上述の差分データ生成処理と同様の手法で、差分画素値ΔＬＬ（２，０）、ΔＬＬ（２，２）、ΔＬＬ（０，２）、ΔＬＬ（−２，２）、ΔＬＬ（−２，０）、ΔＬＬ（−２，−２）、ΔＬＬ（０，−２）、ΔＬＬ（２，−２）を予め定められた順序で並べたデータ列「−４、−２、２、４、２、６、０、−６」を同一視差差分データ６９０として生成する。

データ生成部２３２は、縦横４方向の差分画素値ΔＬＬ（２，０）、ΔＬＬ（０，２）、ΔＬＬ（−２，０）、ΔＬＬ（０，−２）を含めず、斜め４方向の差分画素値ΔＬＬ（２，２）、ΔＬＬ（−２，２）、ΔＬＬ（−２，−２）、ΔＬＬ（２，−２）を予め定められた順序で並べたデータ列「−２、４、６、−６」を同一視差差分データ６９０として生成してもよい。これにより、同一視差差分データ６９０のデータ量を少なくすることができる。

また、データ生成部２３２は、斜め４方向の差分画素値ΔＬＬ（２，２）、ΔＬＬ（−２，２）、ΔＬＬ（−２，−２）、ΔＬＬ（２，−２）を含めず、縦横４方向の差分画素値ΔＬＬ（２，０）、ΔＬＬ（０，２）、ΔＬＬ（−２，０）、ΔＬＬ（０，−２）を予め定められた順序で並べたデータ列「−４、２、２、０」を同一視差差分データ６９０として生成してもよい。これにより、同一視差差分データ６９０のデータ量を少なくすることができる。

画像処理部２０５のデータ生成部２３２は、図２２で示される差分データセット５００と同様のフォーマットの同一視差差分データセットを生成する。これにより、画像処理部２０５は、差分データセット同一視差差分データセットを用いて撮像画像における奥行きの有無を判断することができる。具体的には、画像処理部２０５は、差分データセットにおいて差分画素値が閾値を超えている箇所および同一視差差分データセットにおいて同一視差差分値が閾値を超えている箇所を分析して、奥行きの有無を判断する。なお、閾値は、ノイズレベルを超えた輝度の変化を示す値として予め設定される。

画像処理部２０５の記憶制御部２３３は、差分データセット５００および同一視差差分データセットにおいて同一視差差分値が閾値を超えている箇所をファイル形式でメモリカード２２０に記憶させる。これにより、画像処理部２０５は、画像表示処理等の必要なタイミングで差分データセットおよび同一視差差分データセットにおいて同一視差差分値が閾値を超えている箇所を読み出し、撮像画像における奥行きの有無を判断することができる。

図１２で示した画素配列を有する撮像素子１００を用いた実施例２について説明する。図２６は、実施例２における撮像画像データを説明する図である。開口部が中心よりも左側に偏心した視差Ｌ画素は、緑色の左視差出力画素を出力する。開口部が中心よりも右側に偏心した視差Ｒ画素は、緑色の右視差出力画素を出力する。視差なし画素であるＲ画素、Ｇ画素およびＢ画素は、赤色の視差なし出力画素、緑色の視差なし出力画素および青色の視差なし出力画素をそれぞれ出力する。

左視差出力画素群および右視差出力画素群は２視点の視差画像を形成する。本実施例において、左視差出力画素を第１視差出力画素、右視差出力画素を第２視差出力画素とする。なお、撮像画像データにおいて、撮像素子のｘ軸、ｙ軸に対応するｘ軸、ｙ軸を設定する。ｘ軸プラス方向は右方向であり、ｙ軸プラス方向は上方向である。撮像画像データ取得処理、注目画素設定処理、画素値取得処理および注目画素設定の判断処理は実施例１と同様である。

図２７は、実施例２における領域設定処理を説明する図である。本実施例において、画像処理部２０５は、注目画素４００を中心とし、注目画素を基準として横２方向および斜め４方向に位置する６つの右視差出力画素を含む５×５画素の対象領域７００を設定する。このように、画像処理部２０５は、撮像素子１００における視差Ｌ画素群および視差Ｒ画素群の配列パターンに応じて、実施例２における対象領域７００を実施例１における対象領域４１０と異なる領域に設定する。

図２８（ａ）は、実施例２における差分演算処理を説明する図である。画像処理部２０５の差分演算部２３１は、注目画素４００を基準として、対象領域７００に含まれる６つの右視差出力画素７１０、７２０、７３０、７４０、７５０、７６０に対する６つの差分画素値ΔＬＲ（２，０）、ΔＬＲ（２，２）、ΔＬＲ（−２，２）、ΔＬＲ（−２，０）、ΔＬＲ（−２，−２）、ΔＬＲ（２，−２）を演算する。差分演算部２３１は、上述した差分画素値ΔＬＲ（１，１）、ΔＬＲ（−１，１）、ΔＬＲ（−１，−１）、ΔＬＲ（１，−１）の演算と同様の手法で、差分画素値ΔＬＲ（２，０）、ΔＬＲ（２，２）、ΔＬＲ（−２，２）、ΔＬＲ（−２，０）、ΔＬＲ（−２，−２）、ΔＬＲ（２，−２）を演算する。

図２８（ｂ）で示すように、画像処理部２０５のデータ生成部２３２は、上述の差分データ生成処理と同様の手法で、差分画素値ΔＬＲ（２，０）、ΔＬＲ（２，２）、ΔＬＲ（−２，２）、ΔＬＲ（−２，０）、ΔＬＲ（−２，−２）、ΔＬＲ（２，−２）を予め定められた順序で並べたデータ列「−４、２、３４、１８、８、−８」を差分データ７７０として生成する。なお、データ生成部２３２は、横２方向の差分画素値ΔＬＲ（２，０）、ΔＬＲ（−２，０）を含めず、斜め４方向の差分画素値ΔＬＲ（２，２）、ΔＬＲ（−２，２）、ΔＬＲ（−２，−２）、ΔＬＲ（２，−２）を予め定められた順序で並べたデータ列「２、３４、８、−８」を差分データ７７０として生成してもよい。これにより、差分データ７７０のデータ量を少なくすることができる。

画像処理部２０５のデータ生成部２３２は、上述の差分データセット生成処理と同様の手法で、差分データセット５００を生成する。これにより、画像処理部２０５は、差分データセットを用いて撮像画像における奥行きの有無を判断することができる。具体的には、画像処理部２０５は、差分データセットにおいて差分画素値が閾値を超えている箇所を分析して、奥行きの有無を判断する。なお、閾値は、ノイズレベルを超えた輝度の変化を示す値として予め設定される。

画像処理部２０５の記憶制御部２３３は、差分データセット５００をファイル形式でメモリカード２２０に記憶させる。これにより、画像処理部２０５は、画像表示処理等の必要なタイミングで差分データセットを読み出し、撮像画像における奥行きの有無を判断することができる。

図１５で示した画素配列を有する撮像素子１００を用いた場合、着色なしの左視差出力画素および右視差出力画素が出力される点のみ実施例２と異なる。そのため、図１５で示した画素配列を有する撮像素子１００を用いた場合も実施例２と同様の処理を実行することができる。

図１３で示した画素配列を有する撮像素子１００を用いた実施例３について説明する。図２９は、実施例３における撮像画像データを説明する図である。開口部が中心よりも左側に偏心した視差Ｌ画素は、赤色の左視差出力画素、緑色の左視差出力画素、青色の左視差出力画素を出力する。開口部が中心よりも右側に偏心した視差Ｒ画素は、赤色の右視差出力画素、緑色の右視差出力画素、青色の右視差出力画素を出力する。視差なし画素であるＧ画素は、緑の視差なし出力画素を出力する。

左視差出力画素群および右視差出力画素群は２視点の視差画像を形成する。本実施例において、左視差出力画素を第１視差出力画素、右視差出力画素を第２視差出力画素とする。なお、撮像画像データにおいて、撮像素子のｘ軸、ｙ軸に対応するｘ軸、ｙ軸を設定する。ｘ軸プラス方向は右方向であり、ｙ軸プラス方向は上方向である。撮像画像データ取得処理、注目画素設定処理、画素値取得処理および注目画素設定の判断処理は実施例１と同様である。

図３０から図３２は、実施例３における領域設定処理を説明する図である。図３０の場面では、緑色の左視差出力画素が注目画素４００として設定されている。図３１の場面では、青色の左視差出力画素が注目画素４００として設定されている。図３２の場面では、赤色の左視差出力画素が注目画素４００として設定されている。色の違いによる画素値の差分が差分画素値に含まれなくするために、画像処理部２０５の差分演算部２３１は、同色の視差出力画素間の差分画素値を演算する必要がある。

そのため、画像処理部２０５は、図３０の場面において、注目画素４００を基準として、横２方向および斜め４方向に位置する６つの緑色の右視差出力画素を含む５×５画素の対象領域８００を設定する。また、画像処理部２０５は、図３１の場面において、注目画素４００を基準として、横２方向および斜め４方向に位置する６つの青色の右視差出力画素を含む５×５画素の対象領域８００を設定する。さらに、画像処理部２０５は、図３２の場面において、注目画素４００を基準として、横２方向および斜め４方向に位置する６つの赤色の右視差出力画素を含む５×５画素の対象領域８００を設定する。

このように、画像処理部２０５は、注目画素４００の色と同色の複数の右視差出力画素が含まれるように対象領域８００を設定する。そして、画像処理部２０５は、色ごとに差分画素値を演算して色ごとの差分データセットを生成する。

画像処理部２０５のデータ生成部２３２は、上述の差分データセット生成処理と同様の手法で、差分データセット５００を生成する。これにより、画像処理部２０５は、差分データセットを用いて撮像画像における奥行きの有無を判断することができる。具体的には、画像処理部２０５は、差分データセットにおいて差分画素値が閾値を超えている箇所を分析して、奥行きの有無を判断する。なお、閾値は、ノイズレベルを超えた輝度の変化を示す値として予め設定される。

画像処理部２０５の記憶制御部２３３は、差分データセット５００をファイル形式でメモリカード２２０に記憶させる。これにより、画像処理部２０５は、画像表示処理等の必要なタイミングで差分データセットを読み出し、撮像画像における奥行きの有無を判断することができる。

以上の実施例において、左視差出力画素を第１視差出力画素、右視差出力画素を第２視差出力画素として説明した。しかし、第１視差出力画素および第２視差出力画素はこれに限られない。例えば、右視差出力画素を第１視差出力画素、左視差出力画素を第２視差出力画素とすることもできる。また、上下方向に視差を生じさせる上視差画像および下視差画像をそれぞれ出力する上視差画素群および下視差画素群が互いに異なる位置に配列された撮像素子１００を用いて、上視差画素が出力する上視差出力画素を第１視差出力画素、下視差画素が出力する下視差出力画素を第２視差出力画素としてもよい。

また、以上の実施例において、データ生成部２３２は、予め定められた差分データ４６０の配置順序に従って、差分データ４６０（４６０−１、４６０−２、４６０−３、・・・４６０−Ｎ）を配置してもよい。具体的には、データ生成部２３２は、図１８または図１９の注目画素の設定順に従って、差分データ４６０（４６０−１、４６０−２、４６０−３、・・・４６０−Ｎ）を配置する。この場合に、差分データ４６０の配置順序が注目画素の位置に対応することから、データ生成部２３２は、基準画素以外の注目画素に対する位置情報５２０−２、５２０−３、・・・５２０−Ｎを省略してもよい。このように位置情報５２０−２、５２０−３、・・・５２０−Ｎを省略することにより、差分データセットのデータサイズを小さくすることができる。

上述した図１６の処理フローのステップＳ１０２において、撮像画像データ内の複数の画素が基準画素として予め設定されていてもよい。具体的には、画像処理部２０５は、撮像画像データを複数の領域に区分し、各領域の中心部の第１視差出力画素を基準画素として予め設定する。また、画像処理部２０５は、撮像画像データの左端に配置されている複数の第１視差出力画素をすべて基準画素として予め設定してもよい。

複数の基準画素が予め設定されている場合に、画像処理部２０５は、予め定められた順序に従い、複数の基準画素から一つ選択して注目画素とする。選択した基準画素に対する差分データを生成した後に、画像処理部２０５は、選択した基準画素に対応する左視差出力画素を順次注目画素として設定し、差分データを順次生成する。そして、画像処理部２０５は、選択した基準画素に対応する左視差出力画素を注目画素として設定した場合に、予め定められた順序に従い、次の基準画素を選択する。なお、予め定められた順序は、例えば、左上から右方向に進み、右端に到着したら次は一つ下の左端に進む、の繰り返しである。

また、上述した図１６の処理フローのステップＳ１０７において、画像処理部２０５は、基準画素を含む特定の領域内の第１視差出力画素が注目画素として設定されていない場合に、注目画素として設定されていない第１視差出力画素があると判断してもよい。さらに、画像処理部２０５は、バッファに他の差分データを保存できる容量が残っている場合に、注目画素として設定されていない第１視差出力画素があると判断してもよい。

画像処理部２０５は、差分データが生成されていない第１視差出力画素がある状態でステップＳ１０８の処理を実行した場合に、ステップＳ１０８の処理の後に他の第１視差出力画素を注目画素に設定するか否かを判断するようにしてもよい。この場合において、画像処理部２０５は、他の第１視差出力画素を注目画素に設定すると判断した場合にステップＳ１０２へ戻り、他の第１視差出力画素を注目画素に設定しないと判断した場合にステップＳ１０９へ進む。

さらに、画像処理部２０５は、上述した図１６の処理フローにおいて、ステップＳ１０８の差分データセット処理をステップＳ１０７の判断処理の後に実行するようにしているがこれに限らない。例えば、画像処理部２０５は、ステップＳ１０６の差分データを生成した後に、ステップＳ１０８の差分データセット処理を実行し、ステップＳ１０７の判断処理を実行することもできる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 差分演算部、２３２ データ生成部、２３３ 記憶制御部、３００ 基準画素、３１０ 領域、３２０ 領域、３３０ 横領域、３４０ 横領域、４００ 注目画素、４１０ 対象領域、４２０、４３０、４４０、４５０ 右視差出力画素、４６０ 差分データ、５００ 差分データセット、５１０ セクション、５２０ 位置情報、５３０ 画素値、５４０ 右視差出力画素、５５０ 左視差出力画素、６００ 同一視差対象領域、６１０、６２０、６３０、６４０、６５０、６６０、６７０、６８０ 左視差出力画素、６９０ 同一視差差分データ、７００ 対象領域、７１０、７２０、７３０、７４０、７５０、７６０ 右視差出力画素、７７０ 差分データ、８００ 対象領域

Claims (18)

1. 視差を生じさせる第１視差画像および第２視差画像をそれぞれ出力する第１視差画素群および第２視差画素群が互いに異なる位置に配列された撮像素子と、
   前記第１視差画像の１つの第１視差出力画素である注目画素を基準として、前記注目画素の周辺に位置する前記第２視差画像の複数の第２視差出力画素の各々に対する差分画素値を演算する差分演算部と、
   前記複数の第２視差出力画素の各方向と前記差分画素値とを関連付けた差分データを生成するデータ生成部と
   を備える撮像装置。
2. 前記データ生成部は、複数の前記差分データを含む差分データセットを生成する請求項１に記載の撮像装置。
3. 前記差分演算部は、前記第１視差画像の複数の第１視差出力画素の各々を前記注目画素として設定し、前記複数の第１視差出力画素の各々を基準とした前記差分画素値を演算し、
   前記データ生成部は、前記複数の第１視差出力画素の各々に対する前記差分データを生成し、生成した前記差分データを含む前記差分データセットを生成する請求項２に記載の撮像装置。
4. 前記データ生成部は、前記差分データごとに、前記注目画素を基準とした前記複数の第２視差出力画素の方向に基づく配置順序に従って前記差分画素値を配置する請求項３に記載の撮像装置。
5. 前記データ生成部は、前記注目画素の位置情報と前記注目画素に対する前記差分データとを関連付けて前記差分データセットを生成する請求項３または４に記載の撮像装置。
6. 前記データ生成部は、予め定められた前記差分データの配置順序に従って前記差分データを配置し、前記差分データセットを生成する請求項３から５のいずれか１項に記載の撮像装置。
7. 前記データ生成部は、前記第１視差画像のうちの基準画素に対応する前記差分データと前記基準画素の画素値とを関連付けて前記差分データセットを生成する請求項３から６のいずれか１項に記載の撮像装置。
8. 前記差分データセットをファイル形式で記憶部に記憶させる記憶制御部をさらに備える請求項２から７のいずれか１項に記載の撮像装置。
9. 前記差分演算部は、
   前記注目画素を中心部とし、前記第２視差画像の複数の第２視差出力画素を含むｍ×ｎ画素領域（ｍ、ｎは３以上の整数）を対象領域として設定し、
   前記注目画素を基準として、前記対象領域に含まれる前記複数の第２視差出力画素の各々に対する前記差分画素値を演算する請求項１から８のいずれか１項に記載の撮像装置。
10. 前記差分演算部は、前記撮像素子における前記第１視差画素群および前記第２視差画素群の配列パターンに応じて前記対象領域を設定する請求項９に記載の撮像装置。
11. 前記差分演算部は、前記注目画素の色と同色の前記複数の第２視差出力画素を含む前記対象領域を設定する請求項９または１０に記載の撮像装置。
12. 前記差分演算部は、前記注目画素を基準として、前記注目画素の周辺に位置する前記第１視差画像の１つまたは複数の第１視差出力画素の各々に対する差分画素値である同一視差差分値を演算し、
    前記データ生成部は、前記注目画素を基準とした前記１つまたは複数の第１視差出力画の各方向と、前記同一視差差分値とを関連付けた同一視差差分データを生成する請求項１から７のいずれか１項に記載の撮像装置。
13. 前記データ生成部は、複数の前記同一視差差分データを含む同一視差差分データセットを生成する請求項１２に記載の撮像装置。
14. 前記差分演算部は、前記第１視差画像の複数の第１視差出力画素の各々を前記注目画素として設定し、前記複数の第１視差出力画素の各々を基準とした前記同一視差差分値を演算し、
    前記データ生成部は、前記複数の第１視差出力画素の各々に対する前記同一視差差分データを生成し、生成した前記同一視差差分データを含む前記同一視差差分データセットを生成する請求項１３に記載の撮像装置。
15. 前記差分データセットおよび前記同一視差差分データセットをファイル形式で記憶部に記憶させる記憶制御部をさらに備える請求項１３または１４に記載の撮像装置。
16. 前記差分演算部は、
    前記注目画素を中心部とし、前記第２視差画像の複数の第２視差出力画素を含むｍ×ｎ画素領域（ｍ、ｎは３以上の整数）を対象領域として設定し、
    前記注目画素を中心部とし、前記第２視差画像の１つまたは複数の第１視差出力画素を含むｉ×ｊ画素領域（ｉ、ｊは３以上の整数）を同一視差対象領域として設定し、
    前記注目画素を基準として、前記対象領域に含まれる前記複数の第２視差出力画素の各々に対する前記差分画素値を演算し、
    前記注目画素を基準として、前記同一視差対象領域に含まれる前記１つまたは複数の第１視差出力画素の各々に対する前記同一視差差分値を演算する請求項１２から１５のいずれか１項に記載の撮像装置。
17. 前記撮像素子は、
    入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
    前記光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと
    を有し、
    隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも２つの前記光電変換素子に対応して設けられたそれぞれの前記開口マスクの開口が、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的かつ連続的に配列され、
    前記少なくとも２つの前記光電変換素子のうちの２つの前記光電変換素子は、前記第１視差画像の第１視差出力画素および前記第２視差画像の第２視差出力画素を出力する請求項１から１６のいずれか１項に記載の撮像装置。
18. 視差を生じさせる第１視差画像および第２視差画像をそれぞれ出力する第１視差画素群および第２視差画素群が互いに異なる位置に配列された撮像素子を備える撮像装置の制御プログラムであって、
    前記第１視差画像の１つの第１視差出力画素である注目画素を基準として、前記注目画素の周辺に位置する前記第２視差画像の複数の第２視差出力画素の各々に対する差分画素値を演算する差分演算ステップと、
    前記複数の第２視差出力画素の各方向と前記差分画素値とを関連付けた差分データを生成するデータ生成ステップと
    をコンピュータに実行させる撮像装置の制御プログラム。

Images