JP5911276B2 - 撮像装置およびその制御方法、画像処理装置 - Google Patents

Description

本発明は、撮像装置に関し、特に立体視表示（以下、３Ｄ表示ともいう）および２次元表示（以下、２Ｄ表示ともいう）のための画像データを含む画像ファイルの記録処理に関するものである。

近年、３次元（３Ｄ）シネマや３Ｄディスプレイ等、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラ等でも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。

立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式等のように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法等が知られている。
立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１および２に開示されている。

特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像信号、右目用画像信号としてそれぞれ用いることで、ユーザは立体映像の鑑賞が可能となる。

特許文献２は、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第１の画像とに基づいて、第２の画像を生成することができる。この計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づいており、マルチビュー画像をレンダリングするために、入力画像と視差マップを用いて第２の画像が生成可能である。

特開昭５８−２４１０５号公報 特表２００８−５１８３１７号公報

立体映像として画像を鑑賞するには、上述のように、左右方向に視差を持たせた画像を、それぞれに対応するユーザの目で見る必要がある。したがって、いずれの方式にしても、左目で鑑賞するための左目用画像と、右目で鑑賞するための右目用画像が必要である。
特許文献１が開示するように、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を用いて撮影した場合、以下のような問題がある。対をなすフォトダイオードの一方が撮像光学系の射出瞳のある領域を通過した光束を光電変換した左目用画像信号を出力し、他方が射出瞳の上記領域とは異なる領域を通過した光束を光電変換した右目用画像信号を出力する場合を想定する。この場合、被写体によっては、左目用画像、右目用画像のいずれの画像も、被写体の形状を反映した画像でないことがある。

例えば、点光源からの光がボケたように撮影される撮影シーンにおいては、本来、円形にボケた光源の写真が撮影されるべきである。しかし、特許文献１が開示する固体撮像素子で撮影した場合、撮影される画像は、被写体の形状が反映されていない半円形や楕円形等の形状となってしまう。例えば、左目用画像における被写体は左半分が欠けており、右目用画像における被写体は右半分が欠けているというように、左目用画像と右目用画像とでは、画像として写る被写体の形状が異なって撮影される。その理由としては、撮像光学系の射出瞳から出た光束のうち、光軸を境にして、フォトダイオードが受光する光の領域が異なるためである。
このような場合、特許文献２に開示の技術を用いて前記第２の画像を計算により求めようと試みたとしても正しい被写体形状の画像は得られない。つまり、基の画像にて実際の被写体とは異なる形状に撮影されるので、計算により求めた前記第２の画像についても正しい画像として再生することはできないからである。

また、視差マップを利用する場合、一般のアプリケーションで扱えるように、互換性のあるファイルフォーマットに従って画像ファイルを作成する必要がある。視差マップデータを含むファイルと画像データを含むファイルとを別々に作成した場合、複数のファイルを管理する必要が生じるので、ユーザの使い勝手を考慮すると両データを単一のファイルに内包させることが望ましい。
そこで、本発明の目的は、２次元表示および立体視表示で正しい被写体形状の画像を再生可能な画像ファイルを作成できる撮像装置とその制御方法を提供することである。

上記課題を解決するために本発明に係る装置は、撮像光学系の異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部と、前記複数の光電変換部より出力される複数の画像信号のうち、異なる瞳領域を通過した光束に対応する信号を合成して画像加工前の合成画像信号を生成する画像生成手段と、前記撮像光学系の瞳領域の対となる領域に対応する信号から生成される画像信号に基づいて、視差マップデータを生成する視差マップ生成手段と、前記合成画像信号および前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録手段と、を有する。

本発明によれば、２次元表示および立体視表示で正しい被写体形状の画像を再生可能な画像ファイルを作成することができる。

本発明の実施形態に係る撮像素子の全体構成を概略的に示す図である。 撮像素子の画素の構成例を示す図である。 撮影レンズの射出瞳の異なる領域からの光が撮像素子に入射する様子を表した概念図である。 本発明の実施形態に係る撮像装置の構成例を示す図である。 視差マップの生成処理例を示す図である。 視差マップを模式的に示す図である。 図８ないし１０と併せて本発明の第１実施形態を説明するために、ファイル構造例を模式的に示す図である 撮影シーケンス例を説明するフローチャートである。 ファイル作成処理例を説明するフローチャートである。 視差マップ生成処理例を説明するフローチャートである。 第２実施形態におけるファイル構造例を模式的に示す図である。 第２実施形態における視差マップ生成処理例を説明するフローチャートである。 第３実施形態におけるファイル構造例を模式的に示す図である。 第３実施形態における視差マップ生成処理例を説明するフローチャートである。

以下、図面を参照して本発明の各実施形態を説明する。
図１は、本発明の実施形態の撮像装置に適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器等を列毎に有する。

シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モード等を外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図２は、撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）を有する。

図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像信号を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像信号を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチ等を備える。

画素アレイ１０１は２次元画像を提供するため、図２（Ｂ）に示す複数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態に用いる撮像素子は、各々が、左目用画像信号を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像信号を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素部を備える。複数の光電変換部を有する画素部は水平方向および垂直方向に並べて配置される。

次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は、１つの光学素子（マイクロレンズ）に対して、撮影レンズの射出瞳の異なる領域を通過した光束が撮像素子１００に入射する様子を表した概念図である。
画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。

図３において、マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。
射出瞳４０６から出る光束のうち、光軸４０９を境界線として、図３の上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮像光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。

図４は、本実施形態の撮像装置の構成例を示す図である。図４を参照して、図１に示す撮像素子１００をデジタルカメラへ適用した例について説明する。
撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理（画素補間処理や色変換処理等）や補正を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。

システム制御部５０９は各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを解釈して実行することで各種の処理を行う。なお、システム制御部５０９は、左目用画像と右目用画像の各データを比較し、位相差検出を行ってＡＦ（オートフォーカス）制御を行うことができる。

メモリ部５０８は、画像データを一時的に記憶するメモリを備える。記録制御を行う記録媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データや後述の視差マップデータ等を記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、コンピュータ機器等の外部装置との間でデータを送受し、ユーザは画像加工を行うことができる。また外部Ｉ／Ｆ部５１２に接続された不図示の操作部を用いて、ユーザはデジタルカメラに対する操作を行うことができる。

画像合成回路５１３は撮像素子５０５から出力された画像データについて画素毎に加算平均処理を行い、また必要なＰＤ信号のみを取得する処理を行う。図２を例にすると、各ＰＤから出力される画素信号３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒに対し、左側ＰＤの出力のみを取り出したものを、（３０１Ｌ，３０２Ｌ，３０３Ｌ，３０４Ｌ）とする。また、右側ＰＤの出力のみを取り出したもの（３０１Ｒ，３０２Ｒ，３０３Ｒ，３０４Ｒ）とする。左側ＰＤおよび右側ＰＤの各出力を加算平均した、（（３０１Ｌ＋３０１Ｒ）／２，（３０２Ｌ＋３０２Ｒ）／２，（３０３Ｌ＋３０３Ｒ）／２，（３０４Ｌ＋３０４Ｒ）／２）から、合成画像データが作成される。

視差マップ生成回路５１４は、合成画像における被写体像の位置を基準とした左目用画像／右目用画像の位置ずれ量を視差量として算出する。算出した視差量に関する情報は視差マップとしてメモリ部５０８に記憶される。圧縮伸長回路５１５は、メモリ部５０８に記憶した画像データを所定の画像圧縮方法（例えば、適応離散コサイン変換（ＡＤＣＴ）等）に従って画像圧縮する。また、圧縮伸長回路５１５は、画像圧縮された画像データをメモリ部５０８に書き込む機能、及びメモリ部５０８から読み出した画像データを伸長してメモリ部５０８に書き込む機能を有する。

表示部５１６は、表示制御回路５１７からの表示用データに従って、各種情報や撮影画像を表示する。表示制御回路５１７は２次元表示用の画像データを表示するための表示制御や、立体視表示で画像データを表示するための表示制御を行う。

次に、撮影時のデジタルカメラの動作について説明する。
撮像装置のメイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路５０６等の撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部５０９が撮像素子５０５からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置５０２がレンズ部５０１の可動レンズを駆動し、システム制御部５０９は、合焦状態であるか否かを判定する。

システム制御部５０９は、合焦状態でないと判定した場合、再びレンズ部５０１の駆動制御により、焦点状態の検出処理を実行する。なお、被写体までの距離を求める演算については、撮像素子５０５による撮像データから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部５０９は、合焦状態と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路５０６は撮像素子５０５が出力した画像信号を処理し、システム制御部５０９は画像データをメモリ部５０８に書き込む制御を行う。

撮像素子５０５が出力する撮像データについては、複数のＰＤからの画像信号として出力される。図２（Ｂ）に示す例では、ＰＤ３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒの順に画像信号が出力される。撮像信号処理回路５０６は、撮像素子５０５の出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。左目用画像データは、図２（Ｂ）における左側ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌ等の出力のみを選択して処理した結果得られる画像データである。また、右目用画像データは、図２（Ｂ）における右側ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒ等の出力のみを選択して処理した結果得られる画像データである。左目用画像データと右目用画像データとは、別々にメモリ部５０８に保持される。

画像合成回路５１３は、メモリ部５０８に保持した左目用画像と右目用画像の各データを読み出して合成画像データを生成する。生成された合成画像データはメモリ部５０８に格納される。画像合成回路５１３によって実行される画像処理は、左目用画像と右目用画像について画素毎の加算平均値を算出する処理である。従って、この画像処理によって生成される合成画像は、被写体の形状を反映した画像となる。つまり、撮像素子５０５にて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成回路５１３の画像処理によって被写体像の形状が補間されるため、正しい形状の画像データが生成される。例えば、被写体の形状が円形状であって、左目用画像と右目用画像では円形状でない場合でも、合成画像では被写体の形状と同じ円形状となる。

次に、視差マップ生成回路５１４が視差マップを生成して、メモリ部５０８に視差マップデータを記憶する。視差マップ生成回路５１４は、合成画像の位置を基準とした左目用画像／右目用画像の位置ずれ量を視差量として、視差マップを生成する。

図５は、視差マップの生成処理例を示す図である。図５（Ａ）中の符号６０１は、被写体を撮影して得られる構図を示す。符号６０２、６０３、６０４はそれぞれ被写体を示す。図５（Ａ）中に示す構図では、被写体６０２、６０３、６０４は、この順に上から並んでいる。また、被写体は、図５（Ｃ）に示すように、奥行き方向に並んで配置されている。符号６０４がカメラから最も近い被写体を示し、符号６０２が最も遠い被写体を示す。
図５（Ｂ）は、図５（Ａ）に示す構図を撮影して得られるステレオ画像を示す。画像６０５は左目用画像を示し、画像６０６は右目用画像を示す。左目用画像６０５には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｌ、６０８Ｌ、６０９Ｌとして示される。右目用画像６０６には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｒ、６０８Ｒ、６０９Ｒとして示される。

左目用画像６０５における被写体像と右目用画像６０６における被写体像との間には、位置ずれがある。本実施形態では、両者間の位置ずれの量を視差量と定義する。符号６１０は、被写体６０２の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０７Ｌと６０７Ｒとの間の視差量を示す。同様に、符号６１１は、被写体６０４の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０９Ｌと６０９Ｒとの間の視差量を示す。被写体６０３については、左目用画像６０５における位置と右目用画像６０６における位置とが同じである。すなわち、被写体６０３については、視差量がゼロである。

視差マップ生成回路５１４は、まず、公知のパターンマッチング法を用いて、左目用画像６０５と右目用画像６０６に含まれる被写体を検知する。視差マップ生成回路５１４は、検知した被写体毎に以下の処理を実行する。
視差マップ生成回路５１４は、左目用画像６０５、右目用画像６０６における被写体像の重心間の中点から、左目用画像６０５における被写体像の重心までの位置ずれ量を視差量として算出する。言い換えると、視差マップ生成回路５１４は、左目用画像６０５と右目用画像６０６とに基づいて生成された合成画像における被写体像の重心の位置を基準とした、左目用画像における当該被写体の重心の位置ずれ量を視差量として算出する。算出される視差量は、左目用画像に対応する視差量である。もちろん、視差マップ生成回路５１４が、合成画像における被写体像の重心の位置を基準とした、右目用画像における当該被写体像の重心の位置ずれ量を、右目用画像に対応する視差量として算出してもよい。

図５（Ｂ）に示す例では、被写体６０２については、視差マップ生成回路５１４は、視差量６１０の半分の量である視差量６１２を算出する。また、被写体６０４については、視差マップ生成回路５１４は、視差量６１１の半分の量である視差量６１３を算出する。視差マップ生成回路５１４は、算出した視差量６１２、６１３に関する情報と、当該視差量の基準となる画像の位置情報を視差マップとしてメモリ部５０８に記憶する。この例では、視差量の基準となる画像の位置情報は、合成画像における被写体像の重心を示す。なお、上述したように、図５（Ｂ）に示す例では、被写体６０３については視差量がゼロである。

図６は、視差マップを模式的に例示した図である。視差マップ６２１は、視差量６２２と、視差量の基準となる画像の位置（重心）の情報６２３を含む。

次に、視差マップを用いた画像の再生処理について説明する。
システム制御部５０９は、メモリ部５０８から合成画像データと視差マップデータを読み出す。システム制御部５０９は、視差マップデータが示す視差量の基準となる画像の位置が、合成画像における被写体像の重心であることを確認する。そして、システム制御部５０９は、合成画像における被写体像を当該視差マップデータが示す視差量の分だけシフトさせることによって、再生対象の左目用画像すなわち視差量に対応する画像の再生用データを生成する。

また、システム制御部５０９は視差マップデータが示す視差量の符号を反転させる。システム制御部５０９は、視差マップが示す視差量の符号を反転させて得られる視差量を、合成画像における当該被写体像の重心を基準とする右目用画像における当該被写体の重心の位置ずれ量とする。そして、システム制御部５０９は、合成画像における被写体像を、当該視差マップデータが示す視差量の符号を反転させて得られる視差量の分だけシフトさせる。これによって、再生対象の右目用画像すなわち視差マップデータが示す視差量に対応する画像以外の画像の再生用データが生成される。

なお、合成画像における被写体像のシフトによって、当該被写体像が配置されていた位置の画素は、欠落画素となる。システム制御部５０９は、例えば、下記の参考文献１に記載されている技術を用いて、この欠落画素に色空間情報を付与する。すなわち、システム制御部５０９は、欠落画素の近傍の画素の画素値の平均値を色空間情報として算出し、算出した色空間情報を欠落画素に付与する。
参考文献１：特許第３５２４１４７号公報

以上のように本実施形態の撮像装置は、左目用画像と右目用画像を合成して、被写体の形状が反映された合成画像を生成し、該合成画像での位置を基準とする視差量に関する情報を視差マップデータとして生成する。メモリ部５０８には、左目用画像データと右目用画像データ、さらに画像合成回路５１３によって生成された合成画像データと、視差マップ生成回路５１４によって生成された視差マップデータが記憶される。

合成画像データと、視差マップデータが示す視差量に基づいて、再生対象の左目用画像データおよび右目用画像データが生成される。従って、撮影光学系の射出瞳の異なる領域を通過した光束の光電変換によって得られる左目用画像、右目用画像での形状が被写体形状と異なる場合であっても、画像の再生時には被写体の形状を反映した正しい画像を再生できる。

［第１実施形態］
次に、本発明の第１実施形態における画像データのファイル構造について図７を参照して説明する。
図７は、視差マップを含む、ＤＣＦ規格に準拠した画像ファイルを作成した場合の構造例を示す。なお、ＤＣＦ（Design rule for Camera
File system）とは、デジタルカメラにおいて画像データを共通の仕様で扱うための画像ファイル形式である。画像ファイル６０００は、ＤＣＦヘッダ部６００３、サムネイル画像部６００４、ＪＰＥＧ画像部６００５、視差マップ部６００６で構成されている。ＪＰＥＧは、“Joint Photographic Experts Group”の略号である。

ＤＣＦ画像データ部６００１は、ＤＣＦヘッダ部６００３、サムネイル画像部６００４、ＪＰＥＧ画像部６００５を含む。ＤＣＦヘッダ部６００３はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、以下の付帯情報、および各画像データを格納する領域を特定するためのオフセット情報が含まれる（括弧内は符号を示す）。
・メタデータＡ（６００７）：ＪＰＥＧ画像部６００５に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（６００８）：サムネイル画像部６００４の先頭位置までのオフセットデータ。
・オフセット値Ｃ（６００９）：ＪＰＥＧ画像部６００５の先頭位置までのオフセットデータ。
・オフセット値Ｄ（６０１０）：視差マップ部６００６の先頭位置までのオフセットデータ。
オフセット値Ｂ、Ｃ、ＤはＤＣＦヘッダ部６００３の基準位置から算出される各画像部までの相対位置情報であり、これらの値により画像ファイル内における各画像データの開始位置が特定される。

サムネイル画像部６００４は、ＪＰＥＧ画像部６００５に格納されているＪＰＥＧ画像データ等を間引いてリサイズ処理したサムネイル画像データを格納する領域である。サムネイル画像データは、例えば、表示部５１６の画面上に複数枚の縮小画像表示（インデックス表示）を行う際等に利用される。

ＪＰＥＧ画像部６００５は、ＲＡＷ画像データを撮像信号処理回路５０６で処理した後、圧縮して得たＪＰＥＧ画像データを格納する領域である。ＲＡＷ画像とは、撮像素子による各画素のデータから得られる画像であって、画像加工前、つまり現像処理等を行う前の画像を意味する。ＪＰＥＧ画像データは、多くのアプリケーションで扱うことが可能なデータであり、本実施形態では右目用画像と左目用画像を合成したＪＰＥＧ画像のデータが格納される。両画像を加算合成することでＪＰＥＧ画像部６００５のデータは２Ｄ表示用として正しい被写体形状の画像を再生できる。なお、加算合成には加算平均処理も含むものとする。さらに視差マップを用いることで左目用画像、右目用画像を復元でき、３Ｄ表示用としても再生できる画像データが得られる。
視差マップ部６００６は、ＪＰＥＧ画像部６００５の画像データに係る視差量を格納する領域である。視差量は前記の方法により算出される。

次に、本実施形態における画像ファイルの記録動作について、図８を参照して説明する。図８は、撮影開始から記録媒体５１１に画像ファイルを記録するまでの一連のシーケンスを説明するフローチャートである。以下では、撮影前に予め撮影者が、３Ｄ撮影を行う設定を行っている場合と、そうでない場合の処理について説明する。

Ｓ６１０１では、図５で説明したように、不図示のレリーズボタンのユーザ操作に応答して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、露光処理までの一連の撮影処理が行われる。次のＳ６１０２では、視差マップを含む画像ファイル、または視差マップを含まない画像ファイルの作成処理が行われ、作成された画像ファイルはメモリ部５０８に一時保存される。なお、ＤＣＦファイルの作成処理の詳細については図９および図１０を参照して後述する。Ｓ６１０３では、Ｓ６１０２で生成されてメモリ部５０８に一時保存された画像ファイルのデータを、記録媒体５１１へ書き込む記録処理が行われる。

次に、図８のＳ６１０２における画像ファイルの作成処理について、図９を参照して説明する。
まず、Ｓ６２０１にて撮像信号処理回路５０６は、撮像素子５０５から出力されるＲＡＷデータを取得する。画像合成回路５１３は取得したＲＡＷデータを用いて合成画像データを生成する（Ｓ６２０２）。生成された合成画像データはメモリ部５０８に記憶される。
Ｓ６２０３は視差マップの作成が必要か否かの判定処理である。例えばユーザ操作に従って３Ｄ撮影を行った場合、視差マップが必要になるが、２Ｄ撮影を行った場合、視差マップは不要である。ここでは、視差マップを生成する場合から説明する。

Ｓ６２０４の視差マップ生成処理について、図１０を参照して説明する。
まずＳ６２０１で取得したＲＡＷデータから画像合成回路５１３は左目用画像データを生成し（Ｓ６３０１）、さらに右目用画像データを生成する（Ｓ６３０２）。なお、左目用画像データおよび右目用画像データの生成順序はこの逆でもよい。
生成された各画像データに対して、ＪＰＥＧ画像のサイズに合わせたリサイズ処理が行われる（Ｓ６３０３）。次に、リサイズ処理された左目用画像データと右目用画像データから視差マップ生成回路５１４が視差マップデータを生成する（Ｓ６３０４）。生成された視差マップデータはメモリ部５０８に記憶される。なお、リサイズ処理を行っていない左目用画像および右目用画像のデータから視差マップのデータを生成し、その後でリサイズ処理を行ってもよい。

図９のＳ６２０５ではサムネイル画像データが生成され、Ｓ６２０６にてＪＰＥＧ画像データが生成される。メモリ部５０８に格納された合成画像データを読み出す処理が実行され、圧縮伸長回路５１５は、設定されたモードに応じた画像圧縮処理を行う。メモリ部５０８の空き領域には、撮影開始から一連の処理を終えたＪＰＥＧ画像とサムネイル画像の各データが格納される。

最後にＤＣＦヘッダが作成され（Ｓ６２０７）、メモリ部５０８に格納されているサムネイル画像、ＪＰＥＧ画像、視差マップのデータにより、画像ファイル６０００の作成処理が実行される。このとき、ＤＣＦヘッダ部６００３には、撮影情報、パラメータ等のメタデータＡ（図７の６００７参照）として、シャッタースピードや露光時間等の撮影情報からメタデータが作成され、それらの値が設定される。またデータサイズに基づいてサムネイル画像部６００４までのオフセット値Ｂ（６００８参照）、ＪＰＥＧ画像部６００５までのオフセット値Ｃ（６００９参照）、及び視差マップ部６００６までのオフセット値Ｄ（６０１０参照）が設定される。こうして、ＤＣＦヘッダ部６００３のヘッダ情報が生成される。これにより、ＤＣＦヘッダ部６００３内には視差マップの存在の有無及び場所を示す情報（オフセット６０１０参照）が格納されることになる。例えば、オフセット６０１０のオフセット値Ｄが所定値（例えば、“０”）であれば、視差マップが画像ファイル６０００に格納されていないことを意味する。視差マップが画像ファイル６０００内に含まれていないことを示す所定値が設定されているか、またはオフセット６０１０自体がＤＣＦヘッダ部６００３に存在しない場合には、視差マップが存在しないと判断することができる。一方、オフセット値Ｄに所定のオフセット値が与えられる場合には、視差マップが画像ファイル６０００内に格納されており、かつ、その格納場所をオフセット値Ｄから特定できる。

次に、図９のＳ６２０３にて、視差マップを生成しない場合の画像ファイルの作成処理について図９を参照して説明する。
Ｓ６２０１とＳ６２０２の処理にてメモリ部５０８には合成画像データが格納される。Ｓ６２０３での判定後、合成画像データを用いてサムネイル画像データが生成され（Ｓ６２０５）、ＪＰＥＧ画像データが生成される（Ｓ６２０６）。視差マップの生成処理を省略することで、メモリ部５０８を無駄に使用しないで済む。

Ｓ６２０７ではＤＣＦヘッダ部６００３に関して、撮影情報やパラメータ等のメタデータＡ（図７の６００７参照）、つまりシャッタースピードや露光時間等の撮影情報からメタデータが作成されて、それらの値が設定される。さらに各データサイズに基づいてサムネイル画像部６００４までのオフセット値Ｂ（６００８参照）、ＪＰＥＧ画像部６００５までのオフセット値Ｃ（６００９参照）、視差マップ部６００６までのオフセット値Ｄ（６０１０参照）が設定される。ここで、オフセット６１０１に格納させるオフセット値Ｄは、視差マップが画像ファイル６０００内に含まれていないことを示す所定値、例えば“０”に設定される。あるいは視差マップが画像ファイル６０００に含まれない場合には、オフセット６０１０自体を生成しなくてもよい。

次にＳ６２０８では、生成されたＤＣＦヘッダ部６００３、サムネイル画像部６００４およびＪＰＥＧ画像部６００５の各領域のデータから、視差マップを含まない画像ファイル６０００が作成される。
本実施形態では、画像ファイルを記録媒体５１１に書き込む記録処理について説明したが、これに限らず、コンピュータ機器やプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合う場合でも前記と同様の処理が行われる。

第１実施形態によれば、画像ファイルのＪＰＥＧ画像部に、左目用画像と右目用画像を合成したＪＰＥＧ画像のデータを格納し、当該データに関する視差マップを画像ファイルに内包させる。これにより、視差マップを用いた３Ｄ表示での画像再生が可能となる。また視差マップを利用できないアプリケーションでは、加算合成処理したＪＰＥＧ画像データを用いて２Ｄ表示での画像再生が可能となり、汎用性が保証される。すなわち、本実施形態では、一般のアプリケーションでも再生可能なファイルフォーマットを維持したままで、２Ｄ表示および３Ｄ表示で再生可能な画像ファイルを作成できる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。
以下、図１１を参照して、サムネイル画像用の視差マップを生成した場合の画像ファイルの構造と生成処理について説明する。

図１１は、サムネイル画像用視差マップを含むＤＣＦファイルの構造例を示す。
ＤＣＦ画像データ部７００１は、ＤＣＦヘッダ部７００３、サムネイル画像部７００４、ＪＰＥＧ画像部７００５を含む。ＤＣＦヘッダ部７００３はＤＣＦヘッダ情報を格納する領域であり、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報は、撮影情報やパラメータ等のメタデータＡ（７００８参照）を含む。この他、サムネイル画像部７００４の先頭位置までのオフセット値Ｂ（７００９参照）と、ＪＰＥＧ画像部７００５の先頭位置までのオフセット値Ｃ（７０１０参照）が含まれる。オフセット値Ｄ（７０１１参照）は、サムネイル画像用視差マップ部７００６の先頭位置までのオフセットを示す。オフセット値Ｅ（７０１２参照）は、ＪＰＥＧ画像用視差マップ部７００７の先頭位置までのオフセットデータを示す。これらのオフセット値Ｂ、Ｃ、Ｄ、Ｅにより、画像ファイル内における各画像データの開始位置が特定される。なお、オフセット値の配置順序は例示であって、他の順序でも構わない。

視差マップ部７００２は、サムネイル画像用視差マップ部７００６とＪＰＥＧ画像用視差マップ部７００７を含む。サムネイル画像用視差マップ部７００６にはサムネイル画像のサイズに合わせて生成された視差マップデータが格納され、サムネイル画像の３Ｄ表示での画像再生処理に使用する。サムネイル画像用視差マップ部７００６は、ＪＰＥＧ画像用視差マップ部７００７よりも前（ＤＣＦヘッダ部７００３側）に配置されるが、視差マップ部７００２における各視差マップの配置順序は図１１と逆でもよい。なお、サムネイル画像部７００４、ＪＰＥＧ画像部７００５、ＪＰＥＧ画像用視差マップ部７００７は第１実施形態の場合と同様であるため、それらの詳細な説明は省略する。
図１１のように、サムネイル画像用視差マップをＪＰＥＧ画像用視差マップとともに画像ファイルの後方に配置することで、視差マップを使用しない場合の画像再生や視差マップの削除等の編集において利便性が向上する。

次に、第２実施形態における視差マップの生成について、図９および図１２を参照して説明する。
まず、図９のＳ６２０１およびＳ６２０２の処理にてメモリ部５０８に合成画像データが格納される。画像合成回路５１３は、左目用画像データを生成し（図１２のＳ７１０１）、右目用画像データを生成する（Ｓ７１０２）。生成された各画像データに対して、設定されたＪＰＥＧ画像のサイズに合わせてリサイズ処理が実行される（Ｓ７１０３）。ＪＰＥＧ画像用にリサイズ処理された右目用画像データと左目用画像データから、視差マップ生成回路５１４はＪＰＥＧ画像用の視差マップを生成する（Ｓ７１０４）。

次にサムネイル画像用視差マップを生成するために、Ｓ７１０１およびＳ７１０２で生成した左目用画像データと右目用画像データに対して、サムネイル画像サイズへのリサイズ処理が実行される（Ｓ７１０５）。サムネイル画像用にリサイズ処理された右目用画像データと左目用画像データから、視差マップ生成回路５１４はサムネイル画像用視差マップデータを生成する（Ｓ７１０６）。その後、第１実施形態の説明と同様にＤＣＦヘッダ部７００３が作成される。このときサムネイル画像用視差マップ部７００６のオフセット値ＤとＪＰＥＧ画像用視差マップ部７００７のオフセット値Ｅをそれぞれ設けることにより、画像ファイル７０００はサムネイル画像用およびＪＰＥＧ画像用の視差マップを別々に持つことができる。

以上のように、第２実施形態では、サムネイル画像用視差マップを生成して、該マップのデータを内包した画像ファイルを作成する。これにより、サムネイル画像について３Ｄ表示での画像再生処理を行うことができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。
図１３はＲＡＷ画像データを含む画像ファイルを作成した場合のファイル構造を例示する。

ＤＣＦ画像データ部８００１はＤＣＦヘッダ部８００３、サムネイル画像部８００４、表示用ＪＰＥＧ画像部８００５、ＲＡＷ画像部８００６を含む。ＤＣＦヘッダ部８００３はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報は、ＲＡＷ画像部８００６に格納される画像データに関連する撮影情報やパラメータ等のメタデータＡ（８０１０参照）を含む。この他、以下のオフセット値が含まれる（括弧内は符号を示す）。
・オフセット値Ｂ（８０１１参照）：サムネイル画像部８００４の先頭位置までのオフセットデータを示す。
・オフセット値Ｃ（８０１２参照）：表示用ＪＰＥＧ画像部８００５の先頭位置までのオフセットデータを示す。
・オフセット値Ｄ（８０１３参照）：ＲＡＷ画像部８００６の先頭位置までのオフセットデータを示す。
・オフセット値Ｅ（８０１４参照）：サムネイル画像用視差マップ部８００７の先頭位置までのオフセットデータを示す。
・オフセット値Ｆ（８０１５参照）：表示ＪＰＥＧ画像用視差マップ部８００８の先頭位置までのオフセットデータを示す。
・オフセット値Ｇ（８０１６参照）：ＲＡＷ画像用視差マップ部８００９の先頭位置までのオフセットデータを示す。
オフセット値ＢないしＧにより画像ファイル内における各画像データの開始位置が特定される。

ＲＡＷ画像部８００６はＲＡＷ画像データを格納する領域である。ＲＡＷ画像データは、撮像素子から読み出されたデータであって、現像や圧縮処理等の画像加工が行われる前の大サイズの画像データである。本実施形態では、以下に示す２種類のＲＡＷ画像データを取り扱う例について説明する。
・複数のＰＤで得たデータを各画素内で加算平均したＲＡＷ画像データ（以下、加算ＲＡＷ画像データという）
・選択処理や合成処理を行わずに、画素内の各ＰＤで得たデータをそのまま使用したＲＡＷ画像データ（以下、非加算ＲＡＷ画像データという）。

加算ＲＡＷ画像データは、１画素内の各ＰＤの検出データに加算平均処理を施こして得られるデータであり、演算処理後のデータではあるが、表示等には適さないという意味でＲＡＷ画像データである。本実施形態では加算ＲＡＷ画像データを、加算平均処理後のデータとして説明するが、加算処理のみ行ったデータを加算ＲＡＷ画像データとして扱い、後処理で除算処理やダイナミックレンジの調整を行う形態でも構わない。

図１３に示す視差マップ部８００２は、サムネイル画像用視差マップ部８００７、表示ＪＰＥＧ画像用視差マップ部８００８、ＲＡＷ画像用視差マップ部８００９を含む。サムネイル画像用視差マップ部８００７および表示ＪＰＥＧ画像用視差マップ部８００８については、第２実施形態の場合と同様であるため、それらの詳細な説明を省略する。

ＲＡＷ画像用視差マップ部８００９は、ＲＡＷ画像部８００６のＲＡＷ画像データに係る視差量を格納する領域である。非加算ＲＡＷ画像データの場合には、撮像素子５０５から読み出した各ＰＤの情報がそのまま使用されるため、後で視差マップを復元できる。そのため本実施形態では、ＲＡＷ画像部８００６に格納されるＲＡＷ画像データが非加算ＲＡＷ画像データである場合、ＲＡＷ画像用視差マップ部８００９を内包しない画像ファイルを作成するものとして説明する。その他、サムネイル画像部８００４、表示用ＪＰＥＧ画像部８００５等については、第２実施形態の場合と同様であるため、それらの詳細な説明を省略する。

次に、第３実施形態における視差マップの生成について、図９および図１４を参照して説明する。
まず、図９のＳ６２０１およびＳ６２０２の処理においてメモリ部５０８には合成画像データが格納される。画像合成回路５１３は、左目用画像データを生成し（Ｓ８１０１）、右目用画像データを生成する（Ｓ８１０２）。次にシステム制御部５０９は、ＲＡＷ画像データが非加算ＲＡＷ画像データであるか、または加算ＲＡＷ画像データであるかを判定し、ＲＡＷ画像用視差マップを作成する必要性の有無を判定する（Ｓ８１０３）。ＲＡＷ画像データが非加算ＲＡＷ画像データであるか、または加算ＲＡＷ画像データであるかの判定については、ユーザが設定したモード等から判定する方法や、メディア容量や画像サイズ等から自動で判定する方法がある。加算ＲＡＷ画像データの場合、Ｓ８０１４に進む。Ｓ８１０１やＳ８１０２で生成した左目用画像データと右目用画像データから、視差マップ生成回路５１４はＲＡＷ画像用視差マップデータを生成する（Ｓ８１０４）。次に、Ｓ８１０１、Ｓ８１０２で生成した左目用画像データと右目用画像データは、それぞれＪＰＥＧ画像用にリサイズ処理され（Ｓ８１０５）、表示用ＪＰＥＧ画像の視差マップデータが生成される（Ｓ８１０６）。さらに、Ｓ８１０１およびＳ８１０２で生成した左目用画像データと右目用画像データは、それぞれサムネイル画像用にリサイズ処理され（Ｓ８１０７）、サムネイル画像用の視差マップデータが生成される（Ｓ８１０８）。

一方、Ｓ８１０３で非加算ＲＡＷ画像データと判定された場合には、ＲＡＷ画像用視差マップデータの生成は不要であり、Ｓ８１０５に進んで、ＪＰＥＧ画像用およびサムネイル画像用のリサイズ処理と視差マップ生成処理が行われる。
第１実施形態のＤＣＦヘッダ部と同様に、ＤＣＦヘッダ部８００３には、撮影情報、パラメータ等のメタデータＡ（図１３の８０１０参照）として、シャッタースピードや露光時間等の撮影情報が設定される。またデータサイズに基づいて前記オフセット値ＢからＧが設定され、ＤＣＦヘッダ部８００３のヘッダ情報が生成される。こうして、ＤＣＦヘッダ部８００３内にはＲＡＷ画像データ用の視差マップの存在の有無及び場所を示す情報（オフセットＧ）が格納されることになる。オフセット８０１６の示すオフセット値Ｇとして所定値（例えば、“０”）が設定されている場合、ＲＡＷ画像用視差マップのデータが画像ファイル８０００には格納されていないことを意味する。あるいは、オフセット８０１６自体がＤＣＦヘッダ部８００３に存在しない場合、ＲＡＷ画像用視差マップデータは画像ファイル８０００に格納されていないことが分かる。オフセット値Ｇに正当な値が与えられていれば、ＲＡＷ画像用視差マップデータが画像ファイル８０００内に格納されていることが判明し、その格納場所はオフセット値Ｇから特定できる。

以上のように、第３実施形態では、加算ＲＡＷ画像データであるか、または非加算ＲＡＷ画像データであるかによって画像ファイルに視差マップのデータを内包させる必要があるか否かを判断する。その結果、非加算ＲＡＷ画像データと判定された場合、ＲＡＷ画像用視差マップは不要となるので、その分のファイル容量を削減できる。

以上、本発明の好ましい実施形態について説明したが、ＤＣＦヘッダ部に格納するオフセットデータの配置順序や、視差マップ部に格納する視差マップデータの配置順序については任意に変更可能である。また、本実施形態では３Ｄ画像の再生処理に要する時間を短縮するために、サムネイル画像用視差マップおよび表示用ＪＰＥＧ画像の視差マップを常に作成するものとして説明した。これに限らず、ＲＡＷ画像用視差マップが画像ファイル内に存在する場合には、サムネイル画像用視差マップや表示用ＪＰＥＧ画像の視差マップを作成して画像ファイルに含める工程を削除してもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

５０５ 撮像素子
５０６ 撮像信号処理回路
５０９ システム制御部
５１０ 記録媒体制御Ｉ／Ｆ部
５１１ 記録媒体
５１３ 画像合成回路
５１４ 視差マップ生成回路

Claims (9)

1. 撮像光学系の異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部と、
   前記複数の光電変換部より出力される複数の画像信号のうち、異なる瞳領域を通過した光束に対応する信号を合成して画像加工前の合成画像信号を生成する画像生成手段と、
   前記撮像光学系の瞳領域の対となる領域に対応する信号から生成される画像信号に基づいて、視差マップデータを生成する視差マップ生成手段と、
   前記合成画像信号および前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録手段と、を有することを特徴とする撮像装置。
2. 前記記録手段は、前記合成画像信号のJPEG画像を前記画像ファイルに含んで記録することを特徴とする請求項１に記載の撮像装置。
3. 前記画像ファイルはDCF形式で記録されることを特徴とする請求項１または２に記載の撮像装置。
4. 前記記録手段は、前記合成画像信号をリサイズして生成される縮小画像信号と、前記縮小画像信号に対応して前記視差マップデータがリサイズされた縮小視差マップデータを合わせて前記画像ファイルに記録させることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 複数のマイクロレンズを有し、
   前記複数のマイクロレンズは、各マイクロレンズがそれぞれ複数の前記光電変換部に対応することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記視差マップデータとは、前記撮像光学系の異なる瞳領域を通過した光束に対応する画像信号間の領域ごとの視差量を示すデータであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記記録手段は、前記合成画像信号及び前記撮像光学系の異なる瞳領域のいずれかを通過した光束に対応する画像信号を含む画像ファイルを生成し、前記記録媒体に記録することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像光学系の異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部からの画像信号と、前記複数の画像信号のうち、異なる瞳領域を通過した光束に対応する信号を合成した画像加工前の合成画像信号を取得する取得手段と、
   前記複数の画像信号のうち、前記撮像光学系の瞳領域の対となる領域に対応する画像信号に基づいて、視差マップデータを生成する視差マップ生成手段と、
   前記合成画像信号および前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録手段と、を有することを特徴とする画像処理装置。
9. 撮像光学系の異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部が画像信号を出力する出力ステップと、
   前記出力ステップにて出力される画像信号のうち、異なる瞳領域を通過した光束に対応する信号を合成して画像加工前の合成画像信号を生成する生成ステップと、
   前記撮像光学系の瞳領域の対となる領域に対応する信号から生成される画像信号に基づいて、視差マップデータを生成する視差マップ生成ステップと、
   前記合成画像信号および前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録ステップと、を有することを特徴とする撮像装置の制御方法。
   

Images