JP6433474B2

JP6433474B2 - 撮像装置およびその制御方法

Info

Publication number: JP6433474B2
Application number: JP2016234449A
Authority: JP
Inventors: 祐三青山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-12-01
Filing date: 2016-12-01
Publication date: 2018-12-05
Anticipated expiration: 2031-12-02
Also published as: JP2017077005A

Description

本発明は撮像装置に関し、特に立体視表示（以下、３Ｄ表示ともいう）および２次元表示（以下、２Ｄ表示ともいう）に用いる各画像データをファイルに記録する処理に関するものである。

近年、３次元（３Ｄ）シネマや３Ｄディスプレイ等、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラ等でも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。
立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式等のように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法等が知られている。

一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１に開示されている。特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像信号、右目用画像信号としてそれぞれ用いることで、ユーザは立体映像の鑑賞が可能となる。

ところで、左目用画像と右目用画像のデータを別々のファイルとして管理する方法は可能であるが、画像データの管理に問題がある。つまり、各画像データを別々のファイルにすると管理が煩雑になり、また、片方のファイルが消失すると立体映像が鑑賞できなくなってしまうという問題がある。そこで、特許文献２に開示のファイル生成方式では、左目用画像と右目用画像の各データを同一のファイルに記録することで、効率的なファイル管理が可能である。この場合、２次元表示には左目用画像または右目用画像を使用し、立体視表示には左目用画像と右目用画像の両方を使用する。

特開昭５８−２４１０５号公報特開２０１０−２００３５４号公報

しかし、特許文献１が開示する、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を用いて撮影した場合、以下のような問題がある。対をなすフォトダイオードの一方が撮像光学系の射出瞳のある領域を通過した光束を光電変換した左目用画像信号を出力し、他方が射出瞳の上記領域とは異なる領域を通過した光束を光電変換した右目用画像信号を出力する場合を想定する。この場合、被写体によっては、左目用画像、右目用画像のいずれの画像も、被写体の形状を反映した画像でないことがある。

例えば、点光源からの光がボケたように撮影される撮影シーンにおいては、本来、円形にボケた光源の写真が撮影されるべきである。しかし、特許文献１が開示する固体撮像素子で撮影した場合には、撮影される画像は、被写体の形状が反映されていない半円形や楕円形等の形状となってしまう。例えば、左目用画像における被写体は左半分が欠けており、右目用画像における被写体は右半分が欠けているというように、左目用画像と右目用画像とでは、画像として写る被写体の形状が異なって撮影される。その理由としては、撮像光学系の射出瞳から出た光束のうち、光軸を境にして、フォトダイオードが受光する光の領域が異なるためである。

このような左目用画像と右目用画像の各データを、特許文献２に開示された技術で１つのファイルとして生成しても、画像再生の際に正しくない形状の２次元画像を表示せざるを得なくなるという問題が生じる。
そこで、本発明の目的は、立体視表示に用いる左目用画像および右目用画像のデータと、２次元表示に用いる正しい被写体形状の画像データを同一ファイルに記録することで再生画像の再現性を高めることである。

上記課題を解決するために本発明に係る装置は、複数のマイクロレンズを有し、前記複数のマイクロレンズは、各マイクロレンズがそれぞれ複数の光電変換部に対応する撮像素子と、前記各マイクロレンズに対応する画素を構成する前記複数の光電変換部より出力される２つの信号のうち、それぞれ異なる前記光電変換部に対応する第１の信号と第２の信号を合成して合成画像データを生成する画像生成手段と、前記合成画像データと、前記第１の信号で構成される第１の画像データ及び前記第２の信号で構成される第２の画像データを含む画像ファイルを生成する画像ファイル生成手段と、を有し、前記画像ファイルは、撮影情報及びパラメータのようなメタデータと、前記画像ファイル内の各画像エリアへのオフセットのデータを含むヘッダー部、前記合成画像データに対応するサムネイル画像を含むサムネイル画像部、画像部、をこの順に含み、前記画像部では、前記合成画像データ、前記第１及び第２の画像データをこの順に含むことを特徴とする。

本発明によれば、立体視表示に用いる左目用画像および右目用画像のデータと、２次元表示に用いる正しい被写体形状の画像データを同一ファイルに記録することで再生画像の再現性を高めることができる。

本発明の実施形態に係る撮像素子の全体構成を概略的に示す図である。撮像素子の画素の構成例を示す図である。撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。本発明の実施形態に係る撮像装置の構成例を示す図である。本発明の第１実施形態に係るファイル構造を例示する図である。本発明の第１実施形態におけるファイル生成処理例を示すフローチャートである。本発明の第２実施形態におけるファイル生成処理例を示すフローチャートである。本発明の第３実施形態に係るファイル構造を例示する図である。本発明の第３実施形態に係るファイル構造の別例を示す図である。

図１は、本発明の実施形態の撮像装置に適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器等を列毎に有する。

シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モード等を外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図２は、撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）を有する。

図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像信号を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像信号を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチ等を備える。

画素アレイ１０１は２次元画像を提供するため、図２（Ｂ）に示す複数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態に用いる撮像素子は、各々が、左目用画像信号を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像信号を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素を備える。

次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。
画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。

図３において、マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。

射出瞳４０６から出る光束のうち、光軸４０９を境界線として、図３の上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮像光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。

図４は、本実施形態の撮像装置の構成例を示す図である。図４を参照して、図１に示す撮像素子１００をデジタルカメラへ適用した例について説明する。
撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理（画素補間処理や色変換処理等）や補正を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。

システム制御部５０９は各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを解釈して実行することで各種の処理を行う。なお、システム制御部５０９は、左目用画像と右目用画像の各データを比較し、位相差検出を行ってＡＦ（オートフォーカス）制御を行うことができる。

メモリ部５０８は、画像データを一時的に記憶するメモリを備える。記録制御を行う記録媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データ等を記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、コンピュータ機器等の外部装置との間でデータを送受し、ユーザは画像加工を行うことができる。また外部Ｉ／Ｆ部５１２に接続された不図示の操作部を用いて、ユーザはデジタルカメラに対する操作を行うことができる。

画像合成回路５１３は撮像素子５０５から出力された画像データについて画素毎に加算平均処理を行い、また必要なＰＤ信号のみを取得する処理を行う。図２を例にすると、各ＰＤから出力される画素信号３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒに対し、左側ＰＤの出力のみを取り出したものを、（３０１Ｌ，３０２Ｌ，３０３Ｌ，３０４Ｌ）とする。また、右側ＰＤの出力のみを取り出したもの（３０１Ｒ，３０２Ｒ，３０３Ｒ，３０４Ｒ）とする。左側ＰＤおよび右側ＰＤの各出力を加算平均した、（（３０１Ｌ＋３０１Ｒ）／２，（３０２Ｌ＋３０２Ｒ）／２，（３０３Ｌ＋３０３Ｒ）／２，（３０４Ｌ＋３０４Ｒ）／２）から、合成画像データが作成される。尚、加算合成処理にて加算処理のみ行い、後処理で除算処理やダイナミックレンジの調整を行う形態でも構わない。

圧縮伸長回路５１５は、メモリ部５０８に記憶した画像データを所定の画像圧縮方法（例えば、適応離散コサイン変換（ＡＤＣＴ）等）に従って画像圧縮する。また、圧縮伸長回路５１５は、画像圧縮された画像データをメモリ部５０８に書き込む機能、及びメモリ部５０８から読み出した画像データを伸長してメモリ部５０８に書き込む機能を有する。表示部５１６は、表示制御回路５１７からの表示用データに従って、各種情報や撮影画像を表示する。
撮像信号処理回路５０６は、撮像素子５０５が出力する撮像データを左目用画像と右目用画像の各データに振り分けて画像処理を行う。メモリ部５０８は、撮像信号処理回路５０６の出力データ、画像合成回路５１３によって生成された合成画像データ等を記憶する。

次に、撮影時のデジタルカメラの動作について説明する。
撮像装置のメイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路５０６等の撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部５０９が撮像素子５０５からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置５０２がレンズ部５０１の可動レンズを駆動し、システム制御部５０９は、合焦状態であるか否かを判定する。

システム制御部５０９は、合焦状態でないと判定した場合、再びレンズ部５０１の駆動制御により、焦点状態の検出処理を実行する。なお、被写体までの距離を求める演算については、撮像素子５０５によるデータから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部５０９は、合焦状態と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路５０６は撮像素子５０５が出力した画像信号を処理し、システム制御部５０９は画像データをメモリ部５０８に書き込む制御を行う。

撮像素子５０５が出力する撮像データについては、複数のＰＤからの画像信号として出力される。図２（Ｂ）に示す例では、ＰＤ３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒの順に画像信号が出力される。撮像信号処理回路５０６は、撮像素子５０５の出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。左目用画像データは、図２（Ｂ）における左側ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌ等の出力のみを選択して処理した結果得られる画像データである。また、右目用画像データは、図２（Ｂ）における右側ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒ等の出力のみを選択して処理した結果得られる画像データである。左目用画像データと右目用画像データとは、別々にメモリ部５０８に保持される。

画像合成回路５１３は、メモリ部５０８に保持した左目用画像と右目用画像の各データを読み出して合成画像データを生成する。生成された合成画像データはメモリ部５０８に格納される。画像合成回路５１３によって実行される画像処理は、左目用画像と右目用画像について画素毎の加算平均値を算出する処理である。従って、この画像処理によって生成される合成画像は、被写体の形状を反映した画像となる。つまり、撮像素子５０５にて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成回路５１３の画像処理によって被写体像の形状が補間されるため、正しい形状の画像データが生成される。例えば、被写体の形状が円形状であって、左目用画像と右目用画像では円形状でない場合でも、合成画像では被写体の形状と同じ円形状となる。

なお、図４に示す構成例では、撮像素子５０５による画像データを左目用画像データと右目用画像データに分ける処理を撮像信号処理回路５０６が行い、両画像データの合成処理を画像合成回路５１３が行っている。これに限らず、撮像信号処理回路５０６が、画像処理を行った後の左目用画像と右目用画像の各データを合成する構成でもよい。

メモリ部５０８には、左目用画像と右目用画像、および画像合成回路５１３によって生成された合成画像の各データが蓄積される。システム制御部５０９は、記録媒体制御Ｉ／Ｆ部５１０を介して、半導体メモリ等の着脱可能な記録媒体５１１にデータを記録させる制御を行う。あるいは、外部Ｉ／Ｆ部５１２を介してコンピュータ等の外部機器に画像データを出力することでユーザは画像加工を行うことができる。

［第１実施形態］
以下、本発明の第１実施形態について説明する。第１実施形態では、左右のＰＤ、つまり全ＰＤのＲＡＷ画像データを撮像信号処理回路５０６に入力した場合に合成画像データ、右目用画像データ、および左目用画像データをそれぞれ出力可能なシステム構成を有する。ＲＡＷ画像とは、撮像素子５０５による各画素のデータから得られる画像であって現像処理等の画像加工を行う前の画像を意味する。

図５は、本実施形態における画像データのファイル構造を例示する。画像データファイル６００は、デジタルカメラにおいて汎用的に使用されているＤＣＦ画像データファイルとする。ＤＣＦ（Design rule for Camera File system）とは、デジタルカメラにおいて画像データを共通の仕様で扱うための画像ファイル形式である。
画像データファイル６００は、ＤＣＦヘッダ部６１０、サムネイル画像部６２０およびＪＰＥＧ画像部６３０の各領域を有する。ＪＰＥＧは、“Joint Photographic Experts Group”の略号である。

ＤＣＦヘッダ部６１０はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、以下の付帯情報、および各画像データを格納する領域を特定するためのオフセット情報が含まれる（括弧内は符号を示す）。
・メタデータＡ（６１１）：ＪＰＥＧ画像部６３０に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（６１２）：合成サムネイル画像部６２１の先頭位置までのオフセットデータ。
・オフセット値Ｃ（６１３）：左目用サムネイル画像部６２２の先頭位置までのオフセットデータ。
・オフセット値Ｄ（６１４）：右目用サムネイル画像部６２３の先頭位置までのオフセットデータ。
・オフセット値Ｅ（６１５）：合成ＪＰＥＧ画像部６３１の先頭位置までのオフセットデータ。
・オフセット値Ｆ（６１６）：左目用ＪＰＥＧ画像部６３２の先頭位置までのオフセットデータ。
・オフセット値Ｇ（６１７）：右目用ＪＰＥＧ画像部６３３の先頭位置までのオフセットデータ。
オフセット値ＢないしＧはＤＣＦヘッダ部６１０の基準位置から算出される各画像部までの相対位置情報であり、これらの値により、画像ファイル内における各画像データの開始位置が特定される。

サムネイル画像部６２０は、ＪＰＥＧ画像部６３０に格納されているＪＰＥＧ画像データ等を間引いてリサイズしたサムネイル画像データを格納する領域である。サムネイル画像データは、例えば、表示部５１６の画面上に複数枚の縮小画像表示（インデックス表示）を行う際等に利用される。
合成サムネイル画像部６２１には、２Ｄ表示に使用するサムネイル画像データが記録される。左目用サムネイル画像部６２２と右目用サムネイル画像部６２３には、３Ｄ表示に使用するサムネイルの左目用画像と右目用画像のデータがそれぞれ記録される。

ＪＰＥＧ画像部６３０は、ＲＡＷ画像データを画像処理した後で圧縮伸長回路５１５により圧縮して得たＪＰＥＧ画像データを格納する領域である。この画像データは一般の多くのアプリケーションで扱うことが可能なデータである。合成ＪＰＥＧ画像部６３１は、２Ｄ表示に使用するＪＰＥＧ画像データが記録される。左目用ＪＰＥＧ画像部６３２と右目用ＪＰＥＧ画像部６３３には、３Ｄ表示に使用するＪＰＥＧの左目用画像と右目用画像のデータがそれぞれ記録される。
以上に説明したファイル構造は一例であって、画像編集等の各種用途に応じて各画像部の配置順序を変更したファイル構造にしてもよい。

図６は、デジタルカメラのＤＣＦファイル生成処理についての基本的なフローチャートを示す。
Ｓ７００で処理が開始すると、次のＳ７０１では撮像素子５０５から読み出した右側ＰＤと左側ＰＤを併せた全ＰＤのＲＡＷデータがメモリ部５０８上に展開され、Ｓ７０２へ進む。Ｓ７０２にて、メモリ部５０８上のＲＡＷ画像データに対し、ＲＡＷ画像用の現像パラメータを用いて撮像信号処理回路５０６が現像処理を行い、出力された画像データがメモリ部５０８に配置されて、Ｓ７０３へ進む。ＲＡＷ画像については、全てのＰＤから読み出した信号が用いられるため、前述した点光源の光が暈けた状態で撮影される被写体に対しても正しい形状の画像データとして認識できる。ここでは便宜上、右側ＰＤと左側ＰＤを併せた全てのＰＤを用いて加算合成により生成された画像のことを合成画像と呼ぶことにする。ＲＡＷ画像に対して合成ＲＡＷ画像、ＪＰＥＧ画像に対して合成ＪＰＥＧ画像、サムネイル画像に対して合成サムネイル画像という。なお、加算合成には加算平均処理も含むものとする。

Ｓ７０３では、Ｓ７０２で得た合成ＲＡＷ画像データが撮像信号処理回路５０６へ入力され、ＪＰＥＧ画像用の現像パラメータを用いて現像処理が行われる。さらに所定方式での画像圧縮によって、合成ＪＰＥＧ画像と合成サムネイル画像のデータが生成され、Ｓ７０４へ進む。Ｓ７０４は２Ｄ用画像ファイルと３Ｄ用画像ファイルのどちらを生成するかの判定処理である。３Ｄ用画像ファイルを生成する場合、Ｓ７０５へ進み、２Ｄ用画像ファイルを生成する場合、Ｓ７０９に進む。なお、ここで定義する３Ｄ用画像ファイルとは、３Ｄ表示用画像と２Ｄ表示用画像の両方を扱うことが可能な形式のファイルのことである。

Ｓ７０５では、Ｓ７０１で得た全ＰＤのＲＡＷデータが撮像信号処理回路５０６へ入力され、右側ＰＤに対応するＲＡＷ画像データが抽出される。抽出したＲＡＷ画像データに対してＲＡＷ画像用の現像パラメータを用いて、撮像信号処理回路５０６は現像処理を行い、メモリ部５０８へ右目用のＲＡＷ画像データを出力し、Ｓ７０６へ進む。Ｓ７０６ではメモリ部５０８に展開された右目用ＲＡＷ画像データが撮像信号処理回路５０６へ入力され、ＪＰＥＧ画像用の現像パラメータを用いて現像処理が行われる。さらに所定方式での画像圧縮によって、右目用ＪＰＥＧ画像と右目用サムネイル画像の各データが生成され、Ｓ７０７へ進む。

Ｓ７０７では、Ｓ７０１で得た全ＰＤのＲＡＷデータが撮像信号処理回路５０６へ入力され、左側ＰＤに対応するＲＡＷ画像データが抽出される。抽出したＲＡＷ画像データに対してＲＡＷ画像用の現像パラメータを用いて、撮像信号処理回路５０６は現像処理を行い、メモリ部５０８へ左目用ＲＡＷ画像データを出力し、Ｓ７０８へ進む。Ｓ７０８にて、メモリ部５０８に展開された左目用ＲＡＷ画像データが撮像信号処理回路５０６へ入力され、ＪＰＥＧ画像用の現像パラメータを用いて現像処理が行われる。さらに所定方式での画像圧縮によって、左目用ＪＰＥＧ画像と左目用サムネイル画像の各データが生成され、Ｓ７０９へ進む。

Ｓ７０９において、撮影時のシャッタースピードや露出時間等を示す情報が、メタデータＡ（図５の６１１参照）として設定される。次に、本ステップまでに生成されている各画像のデータサイズに基づいて、各画像部までのオフセット値ＢないしＧ（図５の６１２ないし６１７参照）が計算され、それらの値が設定される。こうして、メタデータＡとオフセット値ＢないしＧを含むＤＣＦヘッダ部６１０のデータがメモリ部５０８上に作成され、Ｓ７１０へ進む。Ｓ７１０にて、Ｓ７０９で作成したＤＣＦヘッダ部６１０と各ＪＰＥＧ画像およびサムネイル画像のデータは、図５で説明した構造のＤＣＦファイルとして１つに結合され、ＤＣＦファイル生成処理が終了する。

一方、Ｓ７０４で２Ｄ用画像ファイルを生成することが判定された場合には、Ｓ７０９へ進む。Ｓ７０９では、撮影情報やパラメータ等のメタデータＡ（図５の６１１参照）の設定と、各合成画像までのオフセット値Ｂ（６１２参照）およびＥ（６１５参照）が計算されて設定が行われる。ここで、右目用画像および左目用画像までのオフセット値Ｃ（６１３参照）、Ｄ（６１４参照）、Ｆ（６１６参照）、Ｇ（６１７参照）については、画像データファイル６００に該当の画像が含まれないことを示す所定値（例えば、“０”）が設定される。あるいは、各オフセット値の項目自体を画像ファイルに記録しない方法を採用する場合、当該項目に対応する領域のないＤＣＦヘッダ部６１０が作成され、Ｓ７１０へ進む。Ｓ７１０にて、ＤＣＦヘッダ部６１０のデータ、合成ＪＰＥＧ画像および合成サムネイル画像の各データからＤＣＦファイルが生成されて、一連のＤＣＦファイル生成処理が終了する。なお、２Ｄ表示用ファイルの構造については従来のＤＣＦファイルと同じであるため、詳細な説明を省略する。

第１実施形態では、撮像素子における全てのＰＤの出力から右目用画像および左目用画像と、これらの加算合成による合成画像の各データを生成することで、２次元表示用画像として正しい被写体形状の画像データをファイルに記録できる。すなわち、被写体を異なる方向から捉えた左目用および右目用の各画像データと併せて、加算合成によって正しい被写体形状を再現する合成画像データを含むファイルが得られる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。第２実施形態では、右側ＰＤと左側ＰＤの各ＲＡＷデータをそれぞれ撮像信号処理回路５０６に入力して、右目用画像データ、左目用画像データを出力する。右目用画像データと左目用画像データは画像合成回路５１３により合成画像データとして出力される。なお、第２実施形態におけるファイル構造は、第１実施形態の場合と同様である（図５参照）。

図７は、第２実施形態におけるＤＣＦファイル生成処理について基本的なフローチャートを示す。
Ｓ８００で処理が開始すると、次のＳ８０１では、撮像素子５０５から読み出した、右側ＰＤと左側ＰＤによるＲＡＷデータがメモリ部５０８上に展開され、Ｓ８０２へ進む。Ｓ８０２にて、メモリ部５０８上の右側ＰＤのＲＡＷデータが抽出され、ＲＡＷ画像用の現像パラメータを用いて撮像信号処理回路５０６が現像処理を行う。出力された右目用ＲＡＷ画像データはメモリ部５０８に配置され、Ｓ８０３へ進む。Ｓ８０３にて、メモリ部５０８上の左側ＰＤによるＲＡＷデータが抽出され、ＲＡＷ画像用の現像パラメータを用いて撮像信号処理回路５０６が現像処理を行う。出力された左目用ＲＡＷ画像データはメモリ部５０８に配置され、Ｓ８０４へ進む。

Ｓ８０４では、右目用ＲＡＷ画像データと左目用ＲＡＷ画像データが画像合成回路５１３に入力される。画像合成回路５１３は両ＲＡＷ画像データに対して画素毎の加算平均処理を行って合成ＲＡＷ画像データを生成し、メモリ部５０８上に配置してＳ８０５へ進む。加算合成処理された画像データは被写体形状に係る補間処理が施されるため、前述した点光源の光が暈けた状態で撮影される被写体に対しても正しい形状の画像データとして認識できる。Ｓ８０５では、Ｓ８０４で得た合成ＲＡＷ画像データが撮像信号処理回路５０６へ入力され、ＪＰＥＧ画像用の現像パラメータを用いて現像処理が行われる。さらに所定方式での画像圧縮によって合成ＪＰＥＧ画像と合成サムネイル画像の各データが生成され、Ｓ８０６へ進む。

Ｓ８０６は、２Ｄ用画像ファイルと３Ｄ用画像ファイルのどちらを生成するかについての判定処理である。３Ｄ用画像ファイルを生成する場合には、Ｓ８０７へ進み、２Ｄ用画像ファイルを生成する場合には、Ｓ８０９に進む。Ｓ８０７では、Ｓ８０２で得た右目用ＲＡＷ画像データが撮像信号処理回路５０６へ入力され、ＪＰＥＧ画像用の現像パラメータを用いて現像処理が行われる。さらに所定方式での画像圧縮によって右目用ＪＰＥＧ画像と右目用サムネイル画像の各データが生成され、Ｓ８０８へ進む。

Ｓ８０８では、Ｓ８０３で得た左目用ＲＡＷ画像データが撮像信号処理回路５０６へ入力され、ＪＰＥＧ画像用の現像パラメータを用いて現像処理が行われる。さらに所定方式での画像圧縮によって左目用ＪＰＥＧ画像と左目用サムネイル画像の各データが生成され、Ｓ８０９へ進む。Ｓ８０９では、撮影時のシャッタースピードや露出時間等の情報が、メタデータＡ（図５の６１１参照）として設定される。次に、本ステップまでに生成された各画像のデータサイズに基づき、各画像までのオフセット値ＢないしＧ（図５の６１２ないし６１７参照）が計算されて設定が行われる。こうして、撮影情報のメタデータＡとオフセット値ＢないしＧを含むＤＣＦヘッダ部６１０のデータがメモリ部５０８上に作成されて、Ｓ８１０へ進む。Ｓ８１０では、Ｓ８０９で作成したＤＣＦヘッダ部６１０のデータと、各ＪＰＥＧ画像およびサムネイル画像のデータを用いて、図５で説明した構造のＤＣＦファイルとして１つに結合する処理が実行され、ＤＣＦファイル生成処理が終了する。

一方、Ｓ８０６の判定処理で２Ｄ用画像ファイルを生成することが判定された場合には、Ｓ８０９へ進む。Ｓ８０９では、撮影情報やパラメータ等のメタデータＡ（図５の６１１参照）の設定と、各合成画像までのオフセット値Ｂ（６１２参照），Ｅ（６１５参照）が計算されて設定が行われる。ここで、オフセット値Ｃ（６１３参照）、Ｄ（６１４参照）、Ｆ（６１６参照）、Ｇ（６１７参照）については、各画像が画像データファイル６００に含まれないことを示す所定値が設定される。あるいは、オフセット値の項目自体を画像ファイルに記録せずにＤＣＦヘッダ部６１０が作成され、Ｓ８１０へ進む。

以上のように、第２実施形態では、右側ＰＤと左側ＰＤを用いて右目用画像と左目用画像のデータをそれぞれ生成し、両画像データをもとに合成画像データを生成することで２次元表示用画像として正しい被写体形状となる画像データをファイルに記録可能である。

［第３実施形態］
次に、本発明の第３実施形態を説明する。第３実施形態では、合成画像データ並びに右目用画像データおよび左目用画像データとともに、ＲＡＷ画像データを同一ファイルに内包させる。
図８は、本実施形態における画像データのファイル構造を例示する。画像データファイル９００はＲＡＷヘッダ部９１０、サムネイル画像部９２０、表示用ＪＰＥＧ画像部９３０、ＲＡＷ画像部９４０の各領域からなる。

ＲＡＷヘッダ部９１０はＲＡＷヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＲＡＷヘッダ情報には、以下の付帯情報、および各画像データを格納する領域を特定するためのオフセット情報が含まれる（括弧内は符号を示す）。
・メタデータＡ（９１１）：ＲＡＷ画像部９４０に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（９１２）：合成サムネイル画像部９２１の先頭位置までのオフセットデータ。
・オフセット値Ｃ（９１３）：左目用サムネイル画像部９２２の先頭位置までのオフセットデータ。
・オフセット値Ｄ（９１４）：右目用サムネイル画像部９２３の先頭位置までのオフセットデータ。
・オフセット値Ｅ（９１５）：２Ｄ表示用ＪＰＥＧ画像部９３１の先頭位置までのオフセットデータ。
・オフセット値Ｆ（９１６）：左目への表示用ＪＰＥＧ画像部９３２の先頭位置までのオフセットデータ。
・オフセット値Ｇ（９１７）：右目への表示用ＪＰＥＧ画像部９３３の先頭位置までのオフセットデータ。
・オフセット値Ｈ（９１８）：左目用ＲＡＷ画像部９４１の先頭位置までのオフセットデータ。
・オフセット値Ｉ（９１９）：右目用ＲＡＷ画像部９４２の先頭位置までのオフセットデータ。
オフセット値ＢないしＩにより、画像ファイル内における各画像データの開始位置が特定される。

サムネイル画像部９２０は、表示用ＪＰＥＧ画像部９３０に格納されているＪＰＥＧ画像等を間引いてリサイズしたサムネイル画像データを格納する領域である。サムネイル画像データは、例えばパーソナルコンピュータ等の外部装置の画像表示部に複数枚の縮小画像を表示させるインデックス表示の際等に利用される。
合成サムネイル画像部９２１には、２Ｄ表示に使用するサムネイル画像データが記録される。左目用サムネイル画像部９２２と右目用サムネイル画像部９２３には、３Ｄ表示に使用するサムネイルの左目用画像と右目用画像の各データがそれぞれ記録される。

表示用ＪＰＥＧ画像部９３０は、ＲＡＷ画像部９４０に格納されたＲＡＷ画像データを所定の圧縮方式で処理したＪＰＥＧ画像データを格納する領域である。ＪＰＥＧ画像データは一般に、画像確認の参照等に用いられ、多くのアプリケーションで扱うことが可能である。２Ｄ表示用ＪＰＥＧ画像部９３１は、２Ｄ表示に使用するＪＰＥＧ画像データが記録される。表示用ＪＰＥＧ画像部９３２および９３３には、３Ｄ表示に使用する表示用ＪＰＥＧの左目用画像と右目用画像のデータがそれぞれ記録される。

ＲＡＷ画像部９４０は、撮像素子５０５から劣化を伴わずに出力したＲＡＷ画像データを格納する領域である。ＲＡＷ画像データはパーソナルコンピュータ等の外部装置によって画像の再現処理（現像）を行えるので、高品質のプリントやユーザの目的に合致したより高度な画像編集が可能である。反面、ＲＡＷ画像はデータ量が多く、画像表示等には適さないので、実際に３Ｄ表示を行う際には表示用ＪＰＥＧ画像部９３０の画像データが用いられる。よって、ＲＡＷ画像部９４０には、データ量を抑えるために素材としてのＲＡＷデータのみを記録すればよい。本実施形態では、左側ＰＤから得られるＲＡＷ画像データが左目用ＲＡＷ画像部９４１に記録され、右側ＰＤから得られるＲＡＷ画像データが右目用ＲＡＷ画像部９４２に記録される。

また、図９に別例として示すファイル構造の場合、ＲＡＷ画像部９４０には、右目用と左目用に分割していない、全ＰＤから得られるＲＡＷ画像データが記録される。つまり、ＲＡＷ画像部９４０に記録されたＲＡＷ画像データは、その後に選別されて３Ｄ表示用の画像データに加工される。例えば、パーソナルコンピュータ等の外部装置はＲＡＷ画像部９４０からＲＡＷ画像データを取得して、右目用と左目用の各画像データを分離し、現像処理を行うことで３Ｄ表示用の画像データを生成することができる。なお、この場合、オフセット値はＢからＨまでとなり、オフセット値ＨはＲＡＷ画像部９４０の先頭位置までのオフセットデータである。

次に、本実施形態におけるＲＡＷファイル生成処理について説明する。
ＲＡＷファイル生成処理は第１実施形態および第２実施形態で説明したＤＣＦファイル生成と同様に行われる。即ち、図６や図７で説明した処理に従って、各画像部９２１ないし９２３、９３１ないし９３３、９４１および９４２、あるいは９４０に格納する画像データがそれぞれメモリ部５０８上に配置される。その後、撮影情報やパラメータ等のメタデータＡ（９１１参照）が作成され、各画像部までのオフセット値ＢないしＩ（９１２ないし９１９参照）が計算されて設定が行われることにより、ＲＡＷヘッダ部９１０が作成される。このＲＡＷヘッダ部９１０と各画像データに基づき、図８または図９に示すファイル構造の画像ファイルとして１つに結合する処理が実行され、ファイル生成処理が終了する。
以上のように、本実施形態では２Ｄ表示用の画像データとして正しい被写体形状となる画像データと、画像加工前のＲＡＷ画像データを含むファイルを生成することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、画像編集等の用途に応じて各画像データの配置順序を変更したファイル構造でもよい。例えばサムネイル画像を立体視表示に使用しない場合には、左目用画像および右目用画像の各データを省略して合成画像データのみをファイルに記録してもよく、ファイル構造については種々の変形及び変更が可能である。

５０１レンズ部
５０５撮像素子
５０６撮像信号処理回路
５０９システム制御部
５１０記録媒体制御Ｉ／Ｆ部
５１１記録媒体
５１３画像合成回路

Claims

複数のマイクロレンズを有し、前記複数のマイクロレンズは、各マイクロレンズがそれぞれ複数の光電変換部に対応する撮像素子と、
前記各マイクロレンズに対応する画素を構成する前記複数の光電変換部より出力される２つの信号のうち、それぞれ異なる前記光電変換部に対応する第１の信号と第２の信号を合成して合成画像データを生成する画像生成手段と、
前記合成画像データと、前記第１の信号で構成される第１の画像データ及び前記第２の信号で構成される第２の画像データを含む画像ファイルを生成する画像ファイル生成手段と、を有し、
前記画像ファイルは、撮影情報及びパラメータのようなメタデータと、前記画像ファイル内の各画像エリアへのオフセットのデータを含むヘッダー部、
前記合成画像データに対応するサムネイル画像を含むサムネイル画像部、
画像部、をこの順に含み、
前記画像部では、前記合成画像データ、前記第１及び第２の画像データをこの順に含むことを特徴とする撮像装置。
前記画像ファイルを記録媒体に記録する記録手段を有することを特徴とする請求項１に記載の撮像装置。
前記画像ファイルは、前記合成画像データのJPEG画像を含むことを特徴とする請求項１または２に記載の撮像装置。
前記画像ファイルはDCF形式であることを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
前記記録手段は、前記合成画像データに対応するサムネイル画像を前記画像ファイルに記録することを特徴とする請求項２に記載の撮像装置。
前記記録手段は、前記複数の光電変換部より出力される複数の信号のサムネイル画像を前記画像ファイルに記録することを特徴とする請求項２に記載の撮像装置。
前記各マイクロレンズに対応する画素を構成する前記複数の光電変換部は、マイクロレンズを介して、撮像光学系の異なる瞳領域を通過した光束をそれぞれ受光することを特徴とする請求項１乃至６のいずれか１つに記載の撮像装置。
前記２つの信号を用いて焦点検出を行う焦点検出手段を有することを特徴とする請求項１乃至７のいずれか１つに記載の撮像装置。
複数のマイクロレンズを有し、前記複数のマイクロレンズは、各マイクロレンズがそれぞれ複数の光電変換部に対応する撮像素子を有する撮像装置の制御方法であって、
前記各マイクロレンズに対応する画素を構成する前記複数の光電変換部より出力される２つの信号のうち、それぞれ異なる前記光電変換部に対応する第１の信号と第２の信号を合成して合成画像データを生成する画像生成ステップと、
前記合成画像データと、前記第１の信号で構成される第１の画像データ及び前記第２の信号で構成される第２の画像データを含む画像ファイルを生成する画像ファイル生成ステップと、を有し、
前記画像ファイルは、撮影情報及びパラメータのようなメタデータと、前記画像ファイル内の各画像エリアへのオフセットのデータを含むヘッダー部、
前記合成画像データに対応するサムネイル画像を含むサムネイル画像部、
画像部、をこの順に含み、
前記画像部では、前記合成画像データ、前記第１及び第２の画像データをこの順に含むことを特徴とする撮像装置の制御方法。