JP6172949B2 - 撮像装置、撮像装置の制御方法、画像処理装置および画像処理装置の制御方法 - Google Patents

Description

本発明は、撮像装置および撮像装置の制御方法に関する。

近年、３次元（３Ｄ）シネマや３Ｄディスプレイなど、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラなどでも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。

立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式などのように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法などが知られている。

一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１および２に開示されている。特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザの立体映像の鑑賞が可能となる。

また、特許文献２は、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第１の画像とに基づいて、第２の画像を生成することができる。

また、従来から、通常表示用の画像を縮小した、サムネイル画像等の縮小画像を表示する表示装置が提案されている。

特開昭５８−２４１０５号公報 特表２００８−５１８３１７号公報

視聴者に立体映像を鑑賞させるためには、視聴者に、左右方向に視差を持たせた画像を、それぞれ対応する目で見させるようにすればよい。これは、特許文献１、２に開示された技術を用いて、左目で鑑賞するための左目用画像と、右目で鑑賞するための右目用画像とを３次元表示用画像として用意することで実現できる。ここで、撮像装置は、例えば、撮像素子の出力から得られる左目用画像と右目用画像とに基づいて視差マップを生成し、この視差マップを用いて、３次元表示用の左目用画像と右目用画像とを生成する。

撮像装置が、サムネイル画像等の縮小画像を３次元表示することが考えられる。しかし、サムネイル画像等の縮小画像は、画像サイズが小さいので、視差も小さい。したがって、縮小画像を３次元表示しても、立体感を得づらいという課題がある。

本発明は、縮小画像を、より立体感が得られるように３次元表示する撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、複数の視差画像を取得できる撮像素子と、前記撮像素子の出力する画像信号に基づいて取得される第１の視差画像データと第２の視差画像との合成画像を縮小した縮小画像と前記縮小画像の視差量情報とを生成して記憶手段に記憶する生成手段と、前記記憶手段に記憶された前記縮小画像の視差量情報が示す視差を拡大する拡大処理手段と、前記視差が拡大された視差量情報と前記縮小画像とに基づいて、視差のある縮小画像を生成して３次元表示する表示手段とを備える。

本発明の撮像装置によれば、縮小画像を、より立体感が得られるように３次元表示することが可能となる。

撮像装置が適用する撮像素子の構成例を概略的に示す図である。 撮像素子の画素の構成例を示す図である。 撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。 本実施形態の撮像装置の構成例を示す図である。 本実施形態における視差マップの生成処理の一例を示す図である。 撮像装置が生成する画像データのファイル構造の一例である。 視差量の編集例を説明する図である。 視差量の編集例を説明する図である。 実施例１の撮像装置による画像ファイルの再生処理の例を説明するフローチャートである。 奥行き調整画像送り処理の例を説明するフローチャートである。 サムネイル画像表示画面の例を示す図である。

図１は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。

シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モードなどを外部回路（例えば、図４中のシステム制御部５０９やタイミング発生回路５０７）からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図２は、撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は、画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）とを有する。

図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチなどを備える。

画素アレイ１０１は、２次元画像を提供するため、図２（Ｂ）に示す多数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態の撮像装置は、各々が、左目用画像を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素部を備える撮像素子を備える。

次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は、撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。

画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。

図３において、マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。

射出瞳４０６から出る光束のうち、光軸４０９を境界線として、上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮影光学系の射出瞳の分割された異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。

図４は、本実施形態の撮像装置の構成例を示す図である。図４を参照して、図１に示す撮像素子１００の、撮像装置であるデジタルカメラへの適用例について説明する。なお、本実施形態の制御方法は、図４に示す撮像装置が備える処理部の機能によって実現される。撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。

レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御などを行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理や補正を行う。タイミング発生回路５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。

システム制御部５０９は、各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを実行することで処理を行う。本実施形態に特有の動作として、システム制御部５０９は、画像合成回路５１３が生成した合成画像と、視差マップ生成回路５１４が生成した視差マップとに基づいて、被写体の形状が正しく反映された、３次元表示用の左目用画像と右目用画像とを生成する。また、システム制御部５０９は、生成した３次元表示用の左目用画像と右目用画像とを再生することによって、ユーザに立体画像を鑑賞させる。なお、システム制御部５０９は、左目用画像と右目用画像と基づいて、位相差の検知を行って、位相差ＡＦを実現することもできる。

メモリ部５０８は、画像データを一時的に記憶するメモリを備える。記憶媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データ（画像ファイル）などを記録し、または記録媒体５１１から画像データを読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、外部装置との間でデータを送受する。表示装置５２１は、表示制御回路５２２が出力する表示用データに従って、各種情報や撮影画像を表示する。

撮像信号処理回路５０６は、撮像素子５０５が出力する撮像データを左目用画像と右目用画像に振り分けて画像処理を行う。メモリ部５０８は、撮像信号処理回路５０６の出力データ、画像合成回路５１３によって生成された合成画像、視差マップ生成回路５１４によって生成された視差マップを記憶する記憶手段として機能する。

画像合成回路５１３は、左目用画像データと右目用画像データとに基づいて、合成画像データを生成する。具体的には、画像合成回路５１３は、左目用画像と右目用画像とを画素毎に加算平均処理することで左目用画像と右目用画像とを合成し、合成画像を生成する。画像合成回路５１３が、必要なＰＤ信号のみを取得して合成画像を生成するようにしてもよい。

画像合成回路５１３は、例えば、図２（Ｂ）のＰＤ３０１Ｌ乃至３０４Ｒが出力する画像信号のうち、ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌが出力する画像信号から左目用画像を生成する。また、画像合成回路５１３は、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒが出力する画像信号から右目用画像を生成する。また、画像合成回路５１３は、ＰＤ３０１Ｌの出力とＰＤ３０１Ｒの出力とを加算し、ＰＤ３０２Ｌの出力とＰＤ３０２Ｒの出力とを加算し、ＰＤ３０３Ｌの出力とＰＤ３０３Ｒの出力とを加算し、ＰＤ３０４Ｌの出力とＰＤ３０４Ｒの出力とを加算する。これにより、合成画像が生成される。

視差マップ生成回路５１４は、画像合成回路５１３が生成した左目用画像と右目用画像とを取得し、取得した左目用画像と右目用画像とに基づいて、画素毎の視差量を算出して視差マップを生成する。視差マップ生成回路５１４は、生成した視差マップをメモリ部５０８に記憶する。視差マップは、３次元表示用の画像データの生成に用いられる。

圧縮伸長回路５２０は、記憶した画像データを所定の画像圧縮方法（例えば、適応離散コサイン変換（ＡＤＣＴ）等）で圧縮し、画像圧縮された画像データをメモリ部５０８に書き込む。また、圧縮伸長回路５２０は、メモリ５０８から読み出した画像データを伸長し、伸長した画像データをメモリ部５０８に書き込む。表示制御回路５２２は、表示装置５２１に対して表示用画像データ等を出力する。具体的には、表示制御回路５２２は、２次元表示用画像の表示制御、３次元表示用画像の表示制御を実行する。

図５は、本実施形態における視差マップの生成処理の一例を示す図である。図５（Ａ）中の符号６０１は、被写体を撮影して得られる構図を示す。符号６０２、６０３、６０４は、被写体を示す。図５（Ａ）中に示す構図では、被写体６０２、６０３、６０４は、この順に上から並んでいる。また、被写体は、図５（Ｃ）に示すように、奥行き方向に並んで配置されている。符号６０４が最も近い被写体、符号６０２が最も遠い被写体である。

図５（Ｂ）は、図５（Ａ）に示す構図を撮影して得られるステレオ画像を示す。画像６０５は左目用画像であり、画像６０６は右目用画像である。左目用画像６０５には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｌ、６０８Ｌ、６０９Ｌとして示される。右目用画像６０６には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｒ、６０８Ｒ、６０９Ｒとして示される。

左目用画像６０５における被写体と右目用画像６０６における当該被写体との間には、位置ずれがある。本実施形態では、位置ずれの量を視差量と定義する。視差マップ生成回路５１４は、まず、公知のパターンマッチング法を用いて、左目用画像６０５と右目用画像６０６に含まれる被写体を検知する。視差マップ生成回路５１４は、検知した被写体毎に、左目用画像における被写体の位置と右目用画像における被写体の位置とに基づいて、視差量を算出し、算出した視差量の情報（視差量情報）を持つ視差マップを生成する。なお、視差マップが含む視差量の情報は、メモリ部５０８に記憶される画像データまたは画像ファイルに含めてもよいし、関連付けされたファイルとして保存してもよい。この例では、視差量の情報は画像ファイルに含まれているものとする。

図５（Ｂ）中の符号６１０は、被写体６０２の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０７Ｌと６０７Ｒとの間の視差量を示す。同様に、符号６１１は、被写体６０４の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０９Ｌと６０９Ｒとの間の視差量を示す。被写体６０３については、左目用画像６０５における位置と右目用画像６０６における位置とが同じである。すなわち、被写体６０３については、視差量がない。

図６は、本実施形態の撮像装置が生成する画像データのファイル構造の一例である。図６では、サムネイル画像用視差マップを含むＤＣＦファイルの構造を例にとって説明する。このＤＣＦファイルは、ＤＣＦ画像データ部７０１と視差マップ部７０２とを有する。ＤＣＦ画像データ部７０１は、ＤＣＦヘッダ部７０３、サムネイル画像部７０４、ＪＰＥＧ画像部７０５を有する。ＤＣＦヘッダ部７０３は、ＤＣＦヘッダ情報を格納する領域であり、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、撮影情報やパラメータなどのメタデータＡ（７０８）が含まれる。また、ＤＣＦヘッダ情報には、サムネイル画像までのオフセット値Ｂ（７０９）、ＪＰＥＧ画像までのオフセット値Ｃ（７１０）が含まれる。また、ＤＣＦヘッダ情報には、サムネイル画像用の視差マップまでのオフセットＤ（７１１）、及びＪＰＥＧ画像用の視差マップまでのオフセットＥ（７１２）が含まれる。このオフセット値Ｂ、Ｃ、Ｄ、Ｅにより各画像データの開始位置が特定されることになる。

ＪＰＥＧ画像部７０５には、右目用画像と左目用画像とに基づいて生成された合成画像（ＪＰＥＧ画像）が格納される。サムネイル画像部７０４は、ＪＰＥＧ画像部７０５に格納されているＪＰＥＧ画像などを間引いてリサイズしたサムネイル画像を格納する領域である。すなわち、システム制御部５０９は、右目用画像と左目用画像とに基づいて生成された合成画像を縮小してサムネイル画像を生成し、サムネイル画像部７０４に格納する。視差マップ部７０７は、ＪＰＥＧ画像７０５の視差量を格納する領域である。サムネイル画像用の視差マップ部７０６は、サムネイル画像の視差量を格納する領域である。このために、システム制御部５０９は、ＪＰＥＧ画像の視差量（ＪＰＥＧ画像視差マップ部７０７内の視差量）と、このＪＰＥＧ画像に基づき生成されたサムネイル画像のサイズとに基づいて、サムネイル画像の視差量を生成する。そして、システム制御部５０９は、生成したサムネイル画像の視差量をサムネイル画像用の視差マップ部７０６に格納する。

図７および図８は、視差量の編集処理の例を説明する図である。図７は、視差マップの生成例を示す。図７中の８０１は、被写体の側面図である。８０２は、被写体の正面図である。８０３は被写体から得られる視差マップの例である。視差マップ８０３においては、被写体の背景部分の視差は０、四角い被写体の視差は１、丸い被写体の視差は２である。視差の値は、整数値であってもよいし、マイナスの値や実数をとってもよい。

図８は、視差マップの視差量の編集例を示す。図８（Ａ）中の８０４は左目用画像と右目用画像とから生成した合成画像である。図８（Ｂ）中の８０５は左目用画像である。図８（Ｃ）中の８０６は右目用画像である。図８（Ｄ）中の８０７は視差マップである。

システム制御部５０９は、視差マップ生成回路５１４に指示して、視差マップ７０７の視差量を編集（重み付け）することができる。

図８（Ｅ）中の８１０は、重み付けされ、視差量が２倍となった視差マップである。システム制御部５０９は、視差マップ８１０と合成画像８０４とに基づいて、視差拡大した左目画像８０８（図８（Ｆ））と視差拡大した右目画像８０９（図８（Ｇ））とを、３次元表示用画像データとして生成する。

本実施形態では、システム制御部５０９は、図７および図８を参照して説明した視差量の編集処理を、サムネイル画像に対して実行する。具体的には、システム制御部５０９は、図６中のサムネイル画像視差マップ部７０６に格納されているサムネイル画像の視差量を編集する。

（実施例１）
図９は、実施例１の撮像装置が実行するサムネイル画像の再生処理を説明するフローチャートである。

まず、システム制御部５０９が、外部Ｉ／Ｆ部５１２を介して、サムネイル画像の再生の開始が指示されたかを判断する（ステップＳ９０１）。具体的には、システム制御部５０９は、サムネイル画像再生ボタンが押されたかを判断する。サムネイル画像再生ボタンが押された場合、システム制御部５０９は、サムネイル画像の再生の開始が指示されたと判断する。サムネイル画像再生ボタンが押されていない場合、システム制御部５０９は、サムネイル画像の再生の開始が指示されていないと判断する。サムネイル画像の再生の開始が指示されていない場合は、処理がステップＳ９０１に戻る。サムネイル画像の再生の開始が指示された場合は、処理がステップＳ９０２に進む。

次に、システム制御部５０９が、記録媒体５１１内の画像ファイルをメモリ部５０８に読み出す処理（画像ファイル読み込み処理）を行う（ステップＳ９０２）。続いて、システム制御部５０９が、メモリ部５０８に読み込んだ画像ファイルの解析処理を行う（ステップＳ９０３）。具体的には、システム制御部５０９が、図６に示すＤＣＦファイルの構造を解析することで、ＤＣＦファイルに含まれる画像データへのアクセスを可能にする。

次に、システム制御部５０９が、ステップＳ９０３における解析結果から、画像ファイルが立体画像ファイルであるかを判断する（ステップＳ９０４）。画像ファイルが立体画像ファイルであるとは、左目用画像と右目用画像とをそれぞれ用意することができる画像ファイルである。本実施例では、システム制御部５０９は、画像ファイルが、視差マップと合成画像とが記録されたファイル構造である場合に、この画像ファイルを立体画像ファイルであると判断する。

画像ファイルが立体画像ファイルでない場合は、処理がステップＳ９０６に進む。そして、システム制御部５０９が、平面画像サムネイル再生処理を行い（ステップＳ９０６）、処理がステップＳ９０８に進む。ステップＳ９０６においては、システム制御部５０９は、例えば、図６中のＤＣＦファイルのサムネイル画像部７０４に格納されているサムネイル画像を２次元表示する。

画像ファイルが立体画像ファイルである場合は、処理がステップＳ９０５に進む。そして、システム制御部５０９が、再生設定が立体画像再生設定であるかを判断する（ステップＳ９０５）。立体画像再生設定は、立体画像（３次元表示用画像）を再生することを指示する設定である。立体画像再生設定は、例えば、ユーザによる操作部と画像表示部を介した操作にしたがって予め行われる。

再生設定が立体画像再生設定でない場合は、処理がステップＳ９０６に進む。再生設定が立体画像再生設定である場合は、処理がステップＳ９０７に進む。そして、システム制御部５０９が、立体画像サムネイル再生処理を行い（ステップＳ９０７）、処理がステップＳ９０７に進む。立体画像サムネイル再生処理は、サムネイル画像を３次元表示する処理である。

次に、システム制御部５０９が、サムネイル画像の表示が完了したかを判断する（ステップＳ９０８）。サムネイル画像の表示が完了していない場合は、処理がステップＳ９０２に戻る。サムネイル画像の表示が完了した場合は、処理が終了する。

図１０は、図９のステップＳ９０７における立体画像サムネイル再生処理の例を説明するフローチャートである。

まず、システム制御部５０９が、解析した画像ファイルのサムネイル画像データ部７０４からサムネイル画像を取得する（ステップＳ１００１）。次に、システム制御部５０９が、サムネイル画像視差マップ部７０６から、上記取得したサムネイル画像の視差量を取得する（ステップＳ１００２）。なお、サムネイル画像の視差量が画像ファイルに存在しない場合は、システム制御部５０９が、サムネイル画像の生成元のＪＰＥＧ画像の視差量からサムネイル画像のサイズに合わせて、サムネイル画像の視差量を生成するようにしてもよい。

次に、システム制御部５０９が、上記ステップＳ１００２で取得した視差量を編集する（ステップＳ１００３）。本実施例では、システム制御部５０９が、視差量を重み付けして視差を拡大する拡大処理手段として機能する。これにより、サムネイル画像の立体再生時に、より立体感を得ることができる。

次に、システム制御部５０９が、ステップＳ１００１で取得したサムネイル画像とステップＳ１００３における編集後の視差量とに基づいて、左目用サムネイル画像を作成する（ステップＳ１００４）。左目用サムネイル画像は、鑑賞者に左目で鑑賞させるためのサムネイル画像（左目用縮小画像）である。また、システム制御部５０９が、ステップＳ１００１で取得したサムネイル画像とステップＳ１００３における編集後の視差量とに基づいて、右目用サムネイル画像を作成する（ステップＳ１００５）。右目用サムネイル画像は、鑑賞者に右目で鑑賞させるためのサムネイル画像（右目用縮小画像）である。

次に、システム制御部５０９が、作成した左目用サムネイル画像と右目用サムネイル画像とを表示制御回路５２２に送り、表示部５２１に表示する（ステップＳ１００６）。

以上説明した実施例１の撮像装置は、サムネイル画像再生の際、サムネイル画像を視差拡大して表示する。これにより、サムネイル画像を、より立体感が得られるように３次元表示することが可能となる。

（実施例２）
実施例２の撮像装置では、システム制御部５０９が、記録媒体５１１内の画像ファイルに含まれるサムネイル画像をサムネイル画像表示画面上に表示する。

図１１は、サムネイル画像表示画面の例を示す図である。図１１中では、サムネイル画像１１０１乃至１１０４が表示されている。ユーザが、サムネイル画像表示画面上で、３次元表示させたいサムネイル画像を選択する。図１１に示す例では、太線の枠で囲まれたサムネイル画像１１０４が、ユーザによって選択されたサムネイル画像である。システム制御部５０９が、選択されたサムネイル画像の視差量のみを拡大して、当該サムネイル画像を３次元表示する。

図１１に示す例では、サムネイル画像１１０１乃至１１０３は、選択されていない。システム制御部５０９は、選択されていないサムネイル画像については、ステップＳ１００３の視差マップの重み付け処理で、視差マップの重みづけ処理を行なわずに左目用サムネイル画像と右目用サムネイル画像とを作成し表示する。システム制御部５０９が、選択されていないサムネイル画像について、ステップＳ１００３の視差マップの重み付け処理で、視差を縮小して、左目用サムネイル画像と右目用サムネイル画像とを作成し表示するようにしてもよい。

以上説明した実施例２の撮像装置は、サムネイル画像の再生の際、選択されているサムネイル画像のみを視差拡大して表示する。これにより、選択されたサムネイル画像についてのみ、より立体感が得られるように３次元表示することが可能となる。その結果、鑑賞者にとって、選択中のサムネイル画像の確認が容易となる。

（実施例３）
実施例３の撮像装置では、システム制御部５０９が、選択中のサムネイル画像のみ視差拡大して表示し、選択されていないサムネイル画像については、３次元表示を行わず、２次元表示する。これにより、選択されたサムネイル画像についてのみ、より立体感が得られるように３次元表示することが可能となる。その結果、鑑賞者にとって、選択中のサムネイル画像の確認が容易となる。

（実施例４）
前述した実施例１の撮像装置は、表示時にサムネイル画像の視差マップを視差拡大するが、実施例４の撮像装置は、ファイル記録時に、視差拡大したサムネイル画像の視差量を記録してもよい。

実施例４の撮像装置は、サムネイル画像用に視差マップを予め視差拡大して生成し、この視差マップを内包した画像データファイルを生成する。これにより、画像再生時に視差マップを生成する場合よりも、サムネイル画像再生処理の負荷が減る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

２０１ 画素
２０２ マイクロレンズ
２０３、２０４ ＰＤ

Claims (12)

1. 複数の視差画像を取得できる撮像素子と、
   前記撮像素子の出力する画像信号に基づいて取得される第１の視差画像データと第２の視差画像データとの合成画像を縮小した縮小画像と前記縮小画像の視差量情報とを生成して記憶手段に記憶する生成手段と、
   前記記憶手段に記憶された前記縮小画像の視差量情報が示す視差を拡大する拡大処理手段と、
   前記視差が拡大された視差量情報と前記縮小画像とに基づいて、視差のある縮小画像を生成して３次元表示する表示手段とを備える
   ことを特徴とする撮像装置。
2. 前記表示手段は、さらに、前記記憶手段に記憶された縮小画像を表示し、
   前記拡大処理手段は、前記表示された縮小画像のうちから選択された縮小画像の視差量情報が示す視差のみを拡大する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記表示手段は、前記表示された縮小画像のうち、選択されなかった縮小画像を２次元表示する
   ことを特徴とする請求項２に記載の撮像装置。
4. 複数の視差画像を取得できる撮像素子と、
   前記撮像素子の出力する画像信号に基づいて取得される第１の視差画像データと第２の視差画像データとの合成画像を縮小した縮小画像と前記縮小画像の視差量情報とを生成し、前記視差量情報が示す視差を拡大した上で、前記縮小画像と前記視差が拡大された視差量情報とを記憶手段に記憶する生成手段と、
   前記記憶手段に記憶された前記縮小画像と前記視差が拡大された視差量情報とに基づいて、視差のある縮小画像を生成して３次元表示する表示手段とを備える
   ことを特徴とする撮像装置。
5. 前記生成手段は、前記撮像素子の出力する画像信号に基づいて取得される第１の視差画像データと第２の視差画像データとに基づいて、前記合成画像と前記合成画像の視差量情報とを生成し、生成した合成画像の視差量情報と前記縮小画像のサイズとに基づいて、前記縮小画像の視差量情報を生成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像素子は、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 複数の視差画像を取得できる撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子の出力する画像信号に基づいて取得される第１の視差画像データと第２の視差画像データとの合成画像の縮小画像と前記縮小画像の視差量情報とを生成して記憶手段に記憶する生成工程と、
   前記記憶手段に記憶された前記縮小画像の視差量情報が示す視差を拡大する拡大処理工程と、
   前記視差が拡大された視差量情報と前記縮小画像とに基づいて、視差のある縮小画像を生成して３次元表示する表示工程とを有する
   ことを特徴とする制御方法。
8. 複数の視差画像を取得できる撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子の出力する画像信号に基づいて取得される第１の視差画像データと第２の視差画像データとの合成画像の縮小画像と前記縮小画像の視差量情報とを生成し、前記視差量情報が示す視差を拡大した上で、前記縮小画像と前記視差が拡大された視差量情報とを記憶手段に記憶する生成工程と、
   前記記憶手段に記憶された前記縮小画像と前記視差が拡大された視差量情報とに基づいて、視差のある縮小画像を生成して３次元表示する表示工程とを有する
   ことを特徴とする制御方法。
9. 第１及び第２の視差画像を合成した合成画像を縮小した縮小画像と、前記縮小画像の視差量情報とを生成して記憶手段に記憶する生成手段と、
   前記記憶手段に記憶された前記縮小画像の視差量情報が示す視差を拡大する拡大処理手段と、
   前記合成画像に対応する画像の表示として、前記視差が拡大された視差量情報と前記縮小画像とに基づいて視差のある縮小画像を生成して３次元表示する表示手段とを備える
   ことを特徴とする画像処理装置。
10. 第１及び第２の視差画像を合成した合成画像を縮小した縮小画像と、前記縮小画像の視差が拡大された視差量情報とを記憶手段に記憶する生成手段と、
    前記合成画像に対応する画像の表示として、前記記憶手段に記憶された前記縮小画像と前記視差が拡大された視差量情報とに基づいて、視差のある縮小画像を生成して３次元表示する表示手段とを備える
    ことを特徴とする画像処理装置。
11. 第１及び第２の視差画像を合成した合成画像を縮小した縮小画像と、前記縮小画像の視差量情報とを生成して記憶手段に記憶する生成工程と、
    前記記憶手段に記憶された前記縮小画像の視差量情報が示す視差を拡大する拡大処理工程と、
    前記合成画像に対応する画像の表示として、前記視差が拡大された視差量情報と前記縮小画像とに基づいて、視差のある縮小画像を生成して３次元表示する表示工程とを有する
    ことを特徴とする画像処理装置の制御方法。
12. 第１及び第２の視差画像を合成した合成画像を縮小した縮小画像と、前記縮小画像の視差が拡大された視差量情報とを記憶手段に記憶する生成工程と、
    前記記憶手段に記憶された前記縮小画像と前記視差が拡大された視差量情報とに基づいて、視差のある縮小画像を生成して３次元表示する表示工程とを有する
    ことを特徴とする画像処理装置の制御方法。

Images