JP6263221B2 - 画像処理装置、画像処理方法、撮像装置および表示装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、撮像装置および表示装置に関し、特に通常の表示装置で表示可能な立体画像を生成、表示するための画像処理装置、画像処理方法、撮像装置および表示装置に関する。

撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。

特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部それぞれからの光電変換信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。特許文献２では、分割された光電変換部で受光した信号を、全て加算することにより撮像画像を生成することが開示されている。

撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１では、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

米国特許４４１０８０４ 特開２００１−０８３４０７号公報

Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２，１（２００５）

しかしながら、複数の視差画像を用いて立体表示を行うには専用の立体表示装置や専用メガネの装着が必要であり、立体表示の利便性が低下してしまう課題がある。

本発明は、上記の課題に鑑みてなされたものであり、専用の立体表示装置を用いず、２次元画像用の標準的な表示装置を用いて、利便性を低下させずに、複数の視差画像を立体的に表示することを目的とする。

上記従来技術の問題を解決すべく、本発明の画像処理装置は、デフォーカス量の大きさが増加するのに伴い視差画像間の像ずれ量の大きさが増加する関係を有する複数の視差画像を生成し、生成された複数の視差画像から重複を許してｎ回（ｎは正の整数）の選択により、選択順に選択された視差画像を並べた視差画像列を生成し、視差画像列に含まれる隣接する視差画像の各組に対して補間処理を繰り返し適用して複数の補間画像を生成し、当該生成された複数の補間画像を隣接する視差画像間に配列して動画の出力画像として出力する。

本発明により、立体画像表示の利便性を低下させずに、通常の表示装置で複数の視差画像を立体的に表示することが可能となる。

本発明の実施形態に係わる撮像装置の概略構成図 本発明の実施形態に係わる撮像素子の画素配列を模式的に示す図 本発明の実施形態に係わる撮像素子に形成された画素の概略平面図と概略断面図 本発明の実施形態に係わる撮像素子の画素と瞳分割との関係を模式的に示す図 本発明の実施形態に係わる撮像素子の画素と瞳分割との関係を模式的に示す図 本発明の実施形態に係わる異なる視点の視差画像の例を示す図 本発明の実施形態に係わる視差画像間の像ずれ量とデフォーカス量を模式的に示す図 図６の異なる視点の視差画像間の像ずれを模式的に示す図 本発明の実施形態に係わる立体画像の生成処理のフローチャートを示す図

以下、本発明の例示的な実施の形態を、図面に基づいて詳細に説明する。

図１は本発明に係わる撮像素子を有する撮像装置としてのカメラの概略構成を示す図である。
同図において、１０１は結像光学系の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。そして前記絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、前記第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は２次元ＣＭＯＳフォトセンサーと周辺回路からなる撮像素子であり、結像光学系の結像面に配置される。

１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１１１ないし第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。以上が結像光学系の構成である。

１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段で、所定の開口パターンを有したマスクの像を投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

１２１はＣＰＵで、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。当該ＣＰＵ １２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動してＡＦ、撮影、画像生成および記録等の一連の動作を実行制御する。ＣＰＵ１２１は本発明の視差画像生成を行なう画像処理手段としての種種の機能を実現する。

１２２は電子フラッシュ制御回路で、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８はシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示装置で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影画像などの画像データを記録する。

本実施例１に係わる撮像素子の画素配列と副画素配列の概念図を図２に示す。
図２は、本実施例１の２次元ＣＭＯＳセンサー（撮像素子）の画素配列を受光面上の４行×４列の範囲で、副画素配列を８行×８列の範囲で模式的に示したものである。実際の撮像素子では、図２に示した４行×４列の画素配列（８行×８列の副画素配列）を受光面上に多数配置し、画像の取得を可能としている。具体的には、本実施例１では、画素周期ΔＸが１０μｍ、有効画素数Ｎ_ＬＦが横３６００列×縦２４０００行＝約８６０万画素（副画素周期Δｘが５μｍ、有効副画素数Ｎが横７２００列×縦４８００行＝約３４６０万画素）の撮像素子として説明を行う。

実施例１において、図２に示した２行×２列の画素群２００は、左上の位置にＲ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、Ｎ_θ×Ｎ_θ（２行×２列）の副画素２０１乃至２０４が２次元に配列されている。

図２に示す撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。

図３に示すように、本実施例１の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮ_θ分割（２分割）、ｙ方向にＮ_θ分割（２分割）された光電変換部３０１乃至３０４が形成されている。光電変換部３０１乃至３０４が、それぞれ、副画素２０１乃至２０４に対応する。

光電変換部３０１から光電変換部３０４は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。

各画素では、マイクロレンズ３０５と光電変換部３０１乃至３０４との間に、カラーフィルター３０６が形成されている。また、必要に応じて、副画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光された後、光電変換部３０１乃至３０４で受光される。

ｐｉｎ構造での光電変換部では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子の外部へ排出される。

次に、本実施例１における瞳分割手段の説明を行う。
図４および図５に、複数の光電変換部３０１乃至３０４（副画素２０１乃至２０４）と瞳分割との対応関係を模式的に示す。図４は、図３（ａ）に示した画素２００Ｇのａ−ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面を示す。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸とｙ軸を図３に対して反転させている（図３（ｂ）は、−ｙ側から見た断面図）。なお、図４においては図４と同じ部分、また図５においては図３および４と同じ部分は同じ符号を付して示す。

撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面５００とする。瞳部分領域４１１乃至４１４は、Ｎ_θ×Ｎ_θ分割（２×２分割）された光電変換部３０１乃至３０４（副画素２０１乃至２０４）の受光面と、マイクロレンズによって、概ね、共役関係になっている。従って、各瞳部分領域を通過した光束は、共役関係にある各光電変換部（副画素）で受光される。結像光学系の射出瞳４００は、瞳分割数をＮ_ｐ＝Ｎ_θ×Ｎ_θとして、異なる瞳部分領域にＮ_ｐ分割される。結像光学系の絞り値をＦとすると、瞳部分領域の実効絞り値は、概ね、Ｎ_θＦとなる。また、瞳領域４１０は、Ｎ_θ×Ｎ_θ分割（２×２分割）された光電変換部３０１乃至３０４（副画素２０１乃至２０４）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

さらに、本実施例１の撮像素子と瞳分割との対応関係を図５を参照して説明する。撮像素子の各画素をＮ_θ×Ｎ_θ分割（２×２分割）した光電変換部３０１乃至３０４（副画素２０１乃至２０４）は、それぞれ、瞳部分領域４１１乃至４１４の異なる瞳部分領域を通過する光束を受光する。

次に、本実施例１における視差画像の生成について説明する。
各画素において、副画素２０１乃至２０４（光電変換部３０１乃至３０４）の中から特定の副画素の信号を選び出すことで、結像光学系の瞳部分領域４１１乃至４１４の中の特定の瞳部分領域に対応した視差画像を得ることができる。例えば、各画素において、副画素２０３（光電変換部３０３）の信号を選び出すことで、結像光学系の瞳部分領域４１３に対応した有効画素数の解像度の視差画像を得ることができる。他の副画素においても同様である。よって、本実施例１では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素の配列からなる画素を複数配列した撮像素子により、異なる瞳部分領域毎の複数（瞳分割数Ｎ_ｐ）の視差画像が取得される。

通過する瞳部分領域が異なれば、視点が異なる。したがって、本実施例１の撮像素子により、異なる視点の複数（瞳分割数Ｎ_ｐ）の視差画像が取得される。本実施例１における視差画像の例を図６に示す。視差画像６０１乃至６０４は、それぞれ、瞳部分領域４１１乃至４１４に対応した異なる視点の複数の視差画像である。

また、各画素において、副画素２０１乃至２０４の信号を全て加算することで、有効画素数の解像度を有する撮像画像を生成することができる。

次に、本発明の視差画像における像ずれ量とデフォーカス量との関係について説明する。

図７に、視差画像間の像ずれ量とデフォーカス量との関係図を概念的に示す。撮像面５００に本実施例１の撮像素子（不図示）が配置され、図５と同様に、結像光学系の射出瞳が、瞳部分領域４１１乃至４１４にＮ_ｐ分割（４分割）される。

デフォーカス量ｄは、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜とする。ｄの符合は、被写体の結像位置が撮像面より被写体側にある前ピン状態を負（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正（ｄ＞０）と定義される。被写体の結像位置が撮像面にある合焦状態はｄ＝０である。図７で、被写体７０１は合焦状態（ｄ＝０）の例を示しており、被写体７０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体７０２からの光束のうち、瞳部分領域４１３（４１４）を通過した光束は、一度、集光した後、光束の重心位置Ｇ３（Ｇ４）を中心として幅Γ３（Γ４）に広がり、撮像面５００でボケた像となる。ボケた像は、撮像面５００に配置された撮像素子上の各画素を構成する副画素２０３（２０４）により受光され、その出力から視差画像が生成される。よって、副画素２０３（２０４）の信号から生成される視差画像には、重心位置Ｇ３（Ｇ４）に幅Γ３（Γ４）に広がった被写体７０２がボケた被写体像として記録される。被写体像のボケ幅Γ３（Γ４）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、視差画像間の被写体像の像ずれ量ｐ（＝Ｇ３−Ｇ４）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、視差画像間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様に増加していく。合焦状態（ｄ＝０）では、視差画像間の被写体像の重心位置が一致（ｐ＝０）し、像ずれは生じない。

したがって、本発明の複数の視差画像では、視差画像のデフォーカス量の大きさが増加するのに伴い、複数の視差画像間の像ずれ量の大きさが増加する。

図６の例において、焦点の合った合焦状態（ｄ＝０）の被写体像６１０は、像ずれしておらず、視差画像６０１乃至６０４の同じ位置に撮影されている。一方、焦点のずれたデフォーカス状態（｜ｄ｜＞０）の被写体像６１１乃至６１４は、像ずれしており、視差画像６０１乃至６０４の異なる位置に撮影されている。
図８は、像ずれ量をわかりやすくするために、図６の視差画像６０１乃至６０４に、エッジ抽出処理を施したものである。図８を参照すると、視差画像６０４の被写体像６１４を基準として、視差画像６０２の被写体像６１２は下方向に、視差画像６０１の被写体像６１１は左下方向に、視差画像６０３の被写体像６１３は左方向に像ずれしていることがわかる。視差画像６０４を開始画像として、視差画像６０４から視差画像６０２、視差画像６０２から視差画像６０１、視差画像６０１から視差画像６０３、視差画像６０３から視差画像６０４と連続的に変化させてみる。すると、像ずれが、順に、下方向、左方向、上方向、右方向と回転して変化することがわかる。視差画像間の視点の変化を認識しやすくし、より立体的に表示するためには、視差画像間の像ずれが同一直線上とならないことが望ましい。本実施例ではこの点を考慮して、撮像素子より得られた複数の視差画像から立体表示用の動画の出力画像を生成する。

続いて、入力画像から本実施例１の複数の視差画像を生成した後、その複数の視差画像から動画の出力画像を生成する画像処理方法について図９のフローチャートを用いて説明する。なお、図９に示す本実施例のフローチャートに従った視差画像生成処理、視差画像列生成処理、補間処理は、ＲＯＭに記憶された所定のプログラムに基づいてＣＰＵ１２１によって実行される。即ち、ＣＰＵ１２１は本実施例の視差画像生成手段、視差画像列生成手段、補間手段として機能する。

ステップＳ９００では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素（副画素２０１乃至２０４）が設けられた画素を複数配列した撮像素子により、入力画像が取得される。または、予め上記構成の撮像素子により撮影され、記録媒体に保存されている入力画像を用いても良い。即ち、本実施例の画像処理は、図１に示すような撮像装置に限らず、ＰＣなどの情報処理装置においても実現可能である。この場合、情報処理装置の全体を制御するＣＰＵが本実施例のＣＰＵ１２１に対応する。また、本実施例の画像処理は、視差画像生成手段、視差画像列生成手段、補間手段として機能するＣＰＵや画像処理エンジンを保有した表示装置においても実現可能である。

撮像素子のｘ方向の画素数をＮ_ｘ、ｙ方向の画素数をＮ_ｙ、ｘ方向の位置をｉ（＝１〜Ｎ_ｘ）、ｙ方向の位置をｊ（＝１〜Ｎ_ｙ）とする。ここで、有効画素数Ｎ_ＬＦ＝Ｎ_ｘ×Ｎ_ｙである。また、撮像素子の位置（ｉ、ｊ）の画素をＰ（ｉ、ｊ）とし、整数ａ＝１〜Ｎ_θとして、ａ番目の副画素をＰ_ａ（ｉ、ｊ）とする。さらに、副画素Ｐ_ａ（ｉ、ｊ）から得られる撮像信号(光電変換信号)をＬ_ａ（ｉ、ｊ）とする。

入力画像は、信号Ｌ_ａ（ｉ、ｊ）の全ての集合Ｌ＝｛Ｌ_ａ（ｉ、ｊ）｜ｉ＝１〜Ｎ_ｘ、ｊ＝１〜Ｎ_ｙ、ａ＝１〜Ｎ_θ｝である。

ステップＳ９１０では、入力画像の各画素から、副画素２０１乃至２０４の中から特定の副画素の信号を選び出す。これにより、結像光学系の瞳部分領域４１１乃至４１４のうちの特定の瞳部分領域に対応した視差画像を生成する。すなわち、異なる瞳部分領域毎に、有効画素数の解像度を有する複数の視差画像を生成する。上述したように、これらの視差画像は、視差画像のデフォーカス量の大きさが増加するのに伴い、複数の視差画像間の像ずれ量の大きさが増加する。

副画素Ｐ_ａの信号から生成され視差画像の信号は、集合Ｌ_ａ＝｛Ｌ_ａ（ｉ、ｊ）｜ｉ＝１〜Ｎ_ｘ、ｊ＝１〜Ｎ_ｙ｝で表わされる。他の各副画素からの信号から生成される複数の視差画像は｛Ｌ_ａ｜ａ＝１〜Ｎ_θ｝となる。

本実施例１では、副画素２０１をａ＝１、副画素２０２をａ＝２、副画素２０３をａ＝３、副画素２０４をａ＝４とする。すると、生成される視差画像は、瞳部分領域４１１に対応する視差画像Ｌ_１、瞳部分領域４１２に対応する視差画像Ｌ_２、瞳部分領域４１３に対応する視差画像Ｌ_３、瞳部分領域４１４に対応する視差画像Ｌ_４の４つとなる。

上述のように、本実施例１では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素を有する画素を複数配列した撮像素子により、異なる瞳部分領域に対応して複数の視差画像が取得された入力画像から生成される。

ステップＳ９２０では、ステップＳ９１０で生成された複数の視差画像｛Ｌ_ａ｜ａ＝１〜Ｎ_θ｝から、重複を許して、第1視差画像から第ｎ視差画像までを順に選択し、選択順の視差画像列｛Ｉ_ｋ｜ｋ＝１〜ｎ｝を生成する。ここでｋ、ｎは正の整数である。

本実施例１では、複数回の選択をｎ＝５とし、第1視差画像Ｉ_１＝Ｌ_４、第２視差画像Ｉ_２＝Ｌ_２、第３視差画像Ｉ_３＝Ｌ_１、第４視差画像Ｉ_４＝Ｌ_３、第５視差画像Ｉ_５＝Ｌ_４とする視差画像列を生成する。

ステップＳ９３０では、ｋ＝１〜ｎ−１として、ステップＳ９２０で生成された視差画像列に含まれる第ｋ視差画像Ｉ_ｋと第ｋ＋１視差画像Ｉ_ｋ＋１間の補間処理を繰り返し行うことで動画の出力画像を生成する。

本実施例１では、視差画像列に含まれ、隣接する第ｋ視差画像Ｉ_ｋと第ｋ＋１視差画像Ｉ_ｋ＋１間の補間処理は、整数ｍ＝０〜Ｍ−１、重みｔ_ｍ＝ｍ／Ｍとして段階的に変更し、補間画像Ｉ_{ｋ、ｋ＋１、ｍ}＝ｔ_ｍＩ_ｋ＋（１−ｔ_ｍ）Ｉ_ｋ＋１を生成する。隣接する視差画像の各組について生成した補間画像｛Ｉ_{ｋ、ｋ＋１、ｍ}｜ｋ＝１〜ｎ−１、ｍ＝０〜Ｍ−１｝を順番に隣接する視差画像間に配列して動画の出力画像をする。補間処理は本実施例のものに限定されず、任意の補間処理を用いることが可能である。

本発明で生成される出力画像は、合焦状態の被写体は静止したまま動かず、デフォーカス状態でボケた被写体がデフォーカス量の大きさに応じた像ずれ量で連続的に動く動画像となる。図６の例では、合焦状態の被写体像６１０は静止したままで、デフォーカス状態でボケた被写体像６１４、被写体像６１２、被写体像６１１、被写体像６１３が補間された画像を挿んで右回りに連続的に動く。これにより、専用の立体表示装置を用いなくても、２次元画像用の標準的な表示装置を用いて視差画像を立体的に表示することができる。また、合焦状態の明瞭な被写体が動かず、デフォーカス状態でボケた被写体が動くため、自然で目への負担が少ない動画像を生成することができる。

本実施例１は、視差画像列の最初の視差画像Ｉ_１＝Ｌ_４と最後の（第ｎ＝５）視差画像Ｉ_５＝Ｌ_４が同じ画像とする例である。動画の出力画像を繰り返し再生する際、区切り無く連続的に表示するためには、第1視差画像と第ｎ視差画像が同じであることが望ましい。

また、本実施例１は、整数ｋ＝１〜ｎ−１として、第ｋ視差画像に対応する瞳部分領域と第ｋ＋１視差画像に対応する瞳部分領域が全て隣接している例である。具体的には、図４で、第１視差画像Ｉ_１（＝Ｌ_４）に対応する瞳部分領域４１４と第２視差画像Ｉ_２（＝Ｌ_２）に対応する瞳部分領域４１２が隣接している。他も同様である。動画の出力画像を連続的に滑らかに変化させるためには、第ｋ視差画像に対応する瞳部分領域と第ｋ＋１視差画像に対応する瞳部分領域が全て隣接していることが望ましい。

なお、図９のフォローチャートの処理において、必要に応じて、ダーク補正、シェーディング補正、デモザイキング処理などを、入力画像、視差画像、補間画像、出力画像のいずれかもしくは複数の組み合わせを行っても良い。

また、本実施例１では、結像光学系の射出瞳が、異なる瞳部分領域に２×２分割される場合を例に説明を行ったが、他の瞳分割数の場合でも同様である。ｘ方向の瞳分割数とｙ方向の瞳分割数は異なっていても良い。また、瞳分割方向は、ｘ方向やｙ方向と異なっていても良い。

上述した画像処理により生成した出力画像を、表示装置１３１に出力して表示する。

本実施例１は、上述した画像処理を行う画像処理手段を有する撮像装置の１例である。

以上の構成により、立体画像表示の利便性を低下させずに、複数の視差画像を立体的に表示することができる。

（その他の実施形態）
本発明は、予め記録媒体に保存されている入力画像を読み取り、前述した画像処理を行う画像処理手段を有するデジタルテレビやデジタルフォトスタンド、タブレットＰＣ、携帯電話などの表示装置でも実現可能である。

また、前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

Claims (21)

1. 結像光学系の異なる瞳領域を通過する光を受け取る画素が配列された撮像手段からの出力に基づいて、少なくとも第１の視差画像、第２の視差画像及び第３の視差画像を生成する生成手段と、
   前記第１の視差画像、前記第２の視差画像及び前記第３の視差画像をこの順で出力する出力手段とを備え、
   前記第１の視差画像、前記第２の視差画像及び前記第３の視差画像は、それぞれ異なる瞳領域を通過した画像に対応し、
   前記第１の視差画像と前記第２の視差画像との間の視差は、前記第１の視差画像と前記第３の視差画像との間の視差とは方向が異なり、前記第１の視差画像と前記第３の視差画像との間の視差よりも小さい、画像処理装置。
2. 前記第１の視差画像、前記第２の視差画像及び前記第３の視差画像を含みｎ個（ｎは３以上の整数）の視差画像からなる視差画像列のうち、最初の視差画像と最後の視差画像とが同じである、請求項１に記載の画像処理装置。
3. 前記第１乃至第３の視差画像のうち隣接する視差画像に対応する前記瞳領域は互いに隣接している、請求項１又は２に記載の画像処理装置。
4. 前記第１乃至第３の視差画像のうち隣接する視差画像の各組に対して、重み付けを段階的に変更しながら補間処理を繰り返し適用する補間処理手段をさらに備える、請求項１乃至３の何れか一項に記載の画像処理装置。
5. 結像光学系と、
   前記撮像手段と、請求項１乃至３の何れか１項に記載の画像処理装置とを備えた撮像装置。
6. 前記画素は、前記結像光学系の異なる瞳領域を通過した光を受け取る複数の副画素を有し、
   前記生成手段は、各瞳領域に対応する副画素の出力から前記視差画像を生成する、請求項５に記載の撮像装置。
7. 前記副画素は２次元的に配列されている、請求項６に記載の撮像装置。
8. 表示手段と、
   請求項１乃至４の何れか１項に記載の画像処理装置とを備えた表示装置。
9. 前記出力手段は、前記視差画像を動画として出力する、請求項１乃至４の何れか１項に記載の画像処理装置。
10. 結像光学系の異なる瞳領域を通過する光を受け取る画素が配列された撮像手段からの出力に基づいて、少なくとも第１の視差画像、第２の視差画像及び第３の視差画像を生成するステップであって、前記第１の視差画像、前記第２の視差画像及び前記第３の視差画像は、それぞれ異なる瞳領域を通過した画像に対応する、ステップと、
    前記第１の視差画像、前記第２の視差画像及び前記第３の視差画像をこの順で出力するステップであって、前記第１の視差画像と前記第２の視差画像との間の視差は、前記第１の視差画像と前記第３の視差画像との間の視差とは方向が異なり、前記第１の視差画像と前記第３の視差画像との間の視差よりも小さい、ステップとを具備する、画像処理装置の制御方法。
11. デフォーカス量の大きさが増加するのに伴い視差画像間の像ずれ量の大きさが増加する関係を有する複数の視差画像を生成する視差画像生成手段と、
    前記生成された複数の視差画像から複数回の選択により、選択された前記視差画像を選択順に並べた視差画像列を生成する視差画像列生成手段と、
    前記視差画像列に含まれる隣接する視差画像の各組に対して補間処理を繰り返し適用して複数の補間画像を生成し、当該生成された複数の補間画像を前記隣接する視差画像間に配列して出力する補間処理手段と、
    前記補間処理手段の出力を動画の出力画像として出力する出力手段と
    を備え、
    前記生成された複数の視差画像は、各視差画像が結像光学系の射出瞳の異なる瞳領域に対応し、前記像ずれが同一直線上とならないことを特徴とする画像処理装置。
12. 前記視差画像列生成手段は、前記視差画像列の最初の視差画像と最後の視差画像が同じであるように前記生成された複数の視差画像を選択することを特徴とする請求項１１に記載の画像処理装置。
13. 前記視差画像列生成手段は、前記隣接する視差画像に対応する前記瞳領域が隣接するように前記生成された複数の視差画像を選択することを特徴とする請求項１１に記載の画像処理装置。
14. 前記補間処理手段は、前記隣接する視差画像の各組に対して、重み付けを段階的に変更しながら補間処理を繰り返し適用することを特徴とする請求項１１乃至１３の何れか一項に記載の画像処理装置。
15. 画像を入力する入力手段と前記入力画像の処理手段を備えた画像処理装置の制御方法であり、
    デフォーカス量の大きさが増加するのに伴い視差画像間の像ずれ量の大きさが増加する関係を有する複数の視差画像を生成する視差画像生成ステップと、
    前記入力された複数の視差画像から複数回の選択により、選択された前記視差画像を選択順に並べた視差画像列を生成する視差画像列生成ステップと、
    前記視差画像列に含まれる隣接する視差画像の各組に対して補間処理を繰り返し適用して複数の補間画像を生成し、当該生成された複数の補間画像を前記隣接する視差画像間に配列して出力する補間処理ステップと、
    前記補間処理ステップの出力を動画の出力画像として出力する出力ステップと
    を備え、
    前記生成された複数の視差画像は、各視差画像が結像光学系の射出瞳の異なる瞳領域に対応し、前記像ずれが同一直線上とならないことを特徴とする制御方法。
16. コンピュータを、
    入力された画像を処理する画像処理装置の制御方法において、
    デフォーカス量の大きさが増加するのに伴い視差画像間の像ずれ量の大きさが増加する関係を有する複数の視差画像を生成する視差画像生成手段、
    前記生成された複数の視差画像から複数回の選択により、選択された前記視差画像を選択順に並べた視差画像列を生成する視差画像列生成手段、
    前記視差画像列に含まれる隣接する視差画像の各組に対して補間処理を繰り返し適用して複数の補間画像を生成し、当該生成された複数の補間画像を前記隣接する視差画像間に配列して出力する補間処理手段、
    前記補間処理手段の出力を動画の出力画像として出力することを出力手段として機能させ、
    前記生成された複数の視差画像は、各視差画像が結像光学系の射出瞳の異なる瞳領域に対応し、前記像ずれが同一直線上とならないことを特徴とするプログラム。
17. 請求項１６のプログラムを記録したコンピュータが読み取り可能な記録媒体。
18. コンピュータを、請求項１１乃至１４のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
19. コンピュータを、請求項１１乃至１４のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
20. 結像光学系と、
    前記結像光学系の異なる瞳領域を通過した光束を受光できる画素を配列した撮像手段と、
    請求項１１乃至１４の何れか一項に記載の画像処理装置とを備えることを特徴とする撮像装置。
21. 前記画素は、前記結像光学系の異なる瞳領域を通過する光束をそれぞれ受光する複数の副画素を有し、前記視差画像生成手段は、各瞳領域に対応する副画素の出力から前記複数の視差画像を生成することを特徴とする請求項２０に記載の撮像装置。