JP5924943B2 - 撮像装置および撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置および撮像装置の制御方法に関する。

近年、３次元（３Ｄ）シネマや３Ｄディスプレイなど、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラなどでも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。

立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式などのように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法などが知られている。

一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１に開示されている。特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。

フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザの立体映像の鑑賞が可能となる。また、上記第１の画像信号と第２の画像信号とに基づいて合成画像を生成し、生成した合成画像を２次元表示用の画像として記録する撮像装置が考えられる。

ここで、撮像装置は、左目用画像と右目用画像とを別々のファイルとして管理することができるが、片方のファイルが消失してしまうと、立体画像を鑑賞することができなくなるという問題がある。特許文献２は、左目用画像と右目用画像とを同一のファイルに記録する画像ファイル生成方法を開示する。

特開昭５８−２４１０５号公報 特開２０１０−２００３５４号公報

特許文献２が開示する画像ファイル生成方法を適用して、左目用画像、右目用画像および合成画像を一つのファイルに記録する撮像装置が考えられる。しかし、この撮像装置では、ファイルサイズが大きくなってしまうという課題がある。

本発明は、左目用画像、右目用画像および合成画像を一つのファイルに記録する撮像装置であって、記録する画像のファイルサイズを抑えることを可能とする撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、複数のマイクロレンズを有し、各マイクロレンズがそれぞれ複数の光電変換部に対応する撮像素子と、前記各マイクロレンズに対応する前記複数の光電変換部より出力される複数の画像信号をそれぞれ合成して合成画像信号を生成する画像生成手段と、前記合成画像信号より得られる合成画像データを予め決められた第１の圧縮率で圧縮し、前記複数の光電変換部のうちのいずれかより出力された画像信号から得られる画像データを前記第１の圧縮率より高い圧縮率である第２の圧縮率で圧縮する画像圧縮手段と、前記合成画像データと、前記複数の光電変換部のうちのいずれかより出力された画像信号から得られる画像データを含む画像ファイルを生成する画像ファイル生成手段とを備え、前記画像圧縮手段は、前記合成画像データの圧縮結果に基づいて、前記複数の光電変換部のうちいずれかより出力された画像信号から得られる画像データを圧縮する際の前記第２の圧縮率を決定する。

本発明の撮像装置によれば、左目用画像、右目用画像および合成画像を一つのファイルに記録し効率的なファイル管理を実現しつつ、記録する画像のファイルサイズを抑えることが可能となる。

撮像装置が適用する撮像素子の構成例を概略的に示す図である。 撮像素子の画素の構成例を示す図である。 撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。 本実施形態の撮像装置の構成例を示す図である。 画像データのファイル構造の一例を示す図である。 画像ファイル生成処理の例を説明するフローチャートである。 ＪＰＥＧ画像圧縮率設定画面の一例を示す図である。 ＪＰＥＧ圧縮率の決定処理の一例を説明するフローチャートである。 ＪＰＥＧ圧縮率の決定処理の一例を説明するフローチャートである。 画像データのファイル構造の一例を示す図である。 画像データのファイル構造の一例を示す図である。

前述したように、立体映像を鑑賞するには、左目用画像と右目用画像とを利用する必要があり、これらの画像は同一ファイルに記録した方が効率的なファイル管理を行うことができる。

ここで、一つのマイクロレンズに対応する複数のフォトダイオードを有する撮像素子を備える撮像装置が、以下の処理を実行することが考えられる。この撮像装置は、例えば、左目用画像と右目用画像とを合成して生成した合成画像を２次元表示用画像として利用し、左目用画像と右目用画像とを３次元表示用画像として利用する。これらの画像は同一ファイルに記録した方が効率的なファイル管理を行うことができるが、３枚の画像を同一ファイルに記録することとなり、ファイルサイズが大きくなるという課題がある。以下に説明する本実施形態の撮像装置によれば、上述した課題を解決することができる。

図１は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。

シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モードなどを外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図２は、撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は、画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）とを有する。

図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像を出力する。なお、以下の説明では左側のＰＤを左側ＰＤとも記述する。また、右側のＰＤを右側ＰＤとも記述する。また、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチなどを備える。

画素アレイ１０１は、２次元画像を提供するため、図２（Ｂ）に示す多数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態の撮像装置は、各々が、左目用画像を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素部を有する撮像素子を備える。

次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。

画素アレイ１０１は、マイクロレンズ４０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。

図３において、マイクロレンズ４０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。

射出瞳４０６から出る光束のうち、光軸４０９を境界線として、上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮影光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。

図４は、本実施形態の撮像装置の構成例を示す図である。図４を参照して、図１に示す撮像素子１００の、撮像装置であるデジタルカメラへの適用例について説明する。撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。

レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御などを行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理や補正を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。

システム制御部５０９は、各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを実行することで処理を行う。記憶部（メモリ部）５０８は、画像データを一時的に記憶するメモリを備える。記憶媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データなどを記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、外部装置との間でデータを送受する。

撮像信号処理回路５０６は、撮像素子５０５が出力する画像信号に対して各種の補正を行ったり画像処理を行ったりする。メモリ部５０８は、撮像信号処理回路５０６の出力データ、画像合成回路５１３によって生成された合成画像等を一時的に記憶する。画像合成回路５１３は、合成画像を生成する。画像圧縮回路５１４は、画像信号を圧縮する画像圧縮手段として機能する。表示部５１５は、各種情報や撮影画像を表示する。本実施形態の撮像装置の制御方法は、図４に示す撮像装置が備える各処理部の機能によって実現される。

次に、撮影時のデジタルカメラの動作について説明する。メイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路５０６などの撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部５０９が、撮像素子５０５からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置５０２が、レンズ部５０１の可動レンズを駆動し、システム制御部５０９が、合焦状態であるか否かを判定する。

システム制御部５０９が、合焦状態でないと判定した場合、再びレンズ部５０１の駆動制御により、焦点状態の検出処理が実行される。なお、被写体までの距離を求める演算については、撮像素子５０５からのデータから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部５０９は、合焦と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路５０６は撮像素子５０５が出力した画像信号を処理し、システム制御部５０９は画像データをメモリ部５０８に書き込む制御を行う。

撮像素子５０５が出力する画像データは、複数のＰＤからの画像信号として出力される。図２（Ｂ）に示す例では、ＰＤ３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒの順に画像信号が出力される。撮像信号処理回路５０６が、撮像素子５０５の出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。左目用画像データは、図２（Ｂ）における左側ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌの出力（左目用画像信号）のみを選択して処理した結果得られる画像データである。

また、右目用画像は、図２（Ｂ）における右側ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒの出力（右目用画像信号）のみを選択して処理した結果得られる画像データである。左目用画像データと右目用画像データとは、別々にメモリ部５０８に保持される。

画像合成部５１３は、メモリ部５０８に保持した左目用画像と右目用画像の各データを読み出して合成画像を生成する。生成された合成画像データはメモリ部５０８に格納される。画像合成部５１３によって実行される画像処理は、左目用画像と右目用画像について画素毎の加算平均値を算出する処理である。従って、この画像処理によって、被写体の形状が補間される。これにより、生成される合成画像は、被写体の形状を反映した形状を有する。例えば、被写体の形状が円形状であって、左目用画像と右目用画像が半円形状である場合、合成画像は、被写体の形状と同じ円形状を有する。すなわち、撮像信号処理回路５０６および画像合成部５１３は、以下の処理を実行する画像生成手段として機能する。この画像生成手段は、撮像素子５０５の出力する画像信号に基づいて３次元表示用の左目用画像データと右目用画像データとを生成し、該生成した左目用画像データと右目用画像データとを加算合成して２次元表示用の合成画像データを生成する。

撮像素子５０５にて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成部５１３の画像処理によって、被写体像の形状が補間されるため、正しい形状の画像データが生成される。なお、撮像信号処理回路５０６が、画像処理を行った後の左目用画像と右目用画像とを合成するようにしてもよい。

上述した処理によって、メモリ５０８には、左目用画像と右目用画像、および画像合成回路５１３によって生成された合成画像が格納される。次に、システム制御部５０９が、メモリに格納されている各画像を読み出す。そして、画像圧縮回路５１４が、読み出された画像をＪＰＥＧ圧縮して、表示用画像として再度メモリ５０８に書き込む。その後、システム制御部５０９が、メモリ５０８に書き込まれた画像を、記録媒体制御Ｉ／Ｆ部５１０を介して半導体メモリ等の着脱可能な記録媒体５１１に記録する。なお、システム制御部５０９が、外部Ｉ／Ｆ部５１２を介して、直接、外部コンピュータ等に入力するようにしてもよい。

（実施例１）
以下に、実施例１について説明する。実施例１の撮像装置は、合成画像を予め決められた第１の圧縮率で圧縮し、左目用画像および右目用画像を第１の圧縮率より高い圧縮率である第２の圧縮率で圧縮する。

図５は、実施例１の撮像装置が記録する画像データのファイル構造の一例を示す図である。実施例１の撮像装置は、左目用画像、右目用画像および合成画像を、画像データファイル６００としてメモリ部５０８に記録する。画像データファイル６００は、デジタルカメラにおいて汎用的に使用されているＤＣＦ画像データファイルの形式を有する。具体的には、画像データファイル６００は、ＤＣＦヘッダ部６１０、サムネイル画像部６２０およびＪＰＥＧ画像部６３０の各領域を有する。

ＤＣＦヘッダ部６１０は、ＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報は、ＪＰＥＧ画像部６３０に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ（６１１）を含む。また、ＤＣＦヘッダ情報は、合成サムネイル画像までのオフセット値Ｂ（６１２）、左目用サムネイル画像までのオフセット値Ｃ（６１３）、右目用サムネイル画像までのオフセット値Ｄ（６１４）を含む。ＤＣＦヘッダ情報は、さらに、合成ＪＰＥＧ画像までのオフセット値Ｅ（６１５）、左目用ＪＰＥＧ画像までのオフセット値Ｆ（６１６）、右目用ＪＰＥＧ画像までのオフセット値Ｇ（６１７）を含む。オフセット値Ｂ乃至Ｇにより、各画像データの開始位置が特定される。

サムネイル画像部６２０は、撮像装置が複数枚（インデックス）表示を行う際などに利用するサムネイル画像を格納する。サムネイル画像は、ＪＰＥＧ画像部６３０に格納されているＪＰＥＧ画像などを間引いてリサイズした画像である。サムネイル画像部６２０は、合成サムネイル画像部６２１、左目用サムネイル画像部６２２、右目用サムネイル画像部６２３を有する。

合成サムネイル画像部６２１には、撮像装置が２次元表示する際に使用するサムネイル画像が記録される。左目用サムネイル画像部６２２、右目用サムネイル画像部６２３には撮像装置が３次元表示する際に使用するサムネイルの左目画像と右目画像がそれぞれ記録される。

ＪＰＥＧ画像部６３０は、撮像装置がＲＡＷ画像を画像処理した後、圧縮して得られたＪＰＥＧ画像を格納する領域である。ＪＰＥＧ画像は、一般の多くのアプリケーションで扱うことが可能である。

ＪＰＥＧ画像部６３０は、合成ＪＰＥＧ画像部６３１、左目用ＪＰＥＧ画像部６３２、右目用ＪＰＥＧ画像部６３３を有する。合成ＪＰＥＧ画像部６３１には、撮像装置が２次元表示する際に使用するＪＰＥＧ画像が記録される。左目用ＪＰＥＧ画像部６３２、右目用ＪＰＥＧ画像部６３３には、撮像装置が３次元表示する際に使用するＪＰＥＧの左目画像と右目画像がそれぞれ記録される。

図５に示すファイル構造では、３種類のＪＰＥＧ画像を一つのファイルに格納することになるが、それぞれのＪＰＥＧ画像は使用用途が異なる。従って、撮像装置は、ＪＰＥＧ画像の使用用途に沿って、それぞれのＪＰＥＧ画像の圧縮率を決定する。

なお、撮像装置が記録する画像ファイルのファイル構造は、図５に示したファイル構造に限定されない。撮像装置が、画像編集などの各種用途に応じて、図５中に示す各画像の順序を変更したファイル構造を有する画像ファイルを記録するようにしてもよい。

図６は、実施例１の撮像装置による画像ファイル生成処理の例を説明するフローチャートである。この例では、撮像装置は画像ファイルとしてＤＣＦファイルを生成する。まず、システム制御部５０９が、撮像素子５０５の右側ＰＤと左側ＰＤとからＲＡＷデータを取得する。すなわち、システム制御部５０９は、撮像素子が備える全てのＰＤからＲＡＷデータを取得し、メモリ５０８に記憶する（ステップＳ７０１）。本実施形態では、全てのＰＤから取得されるＲＡＷデータを全ＰＤＲＡＷデータと記述する。

次に、撮像信号処理回路５０６が、メモリ５０８上の全ＰＤＲＡＷデータをＲＡＷ画像用の現像パラメータを用いて現像を行って、ＲＡＷ画像データを生成し、メモリ５０８に配置する（ステップＳ７０２）。このＲＡＷ画像データは、全てのＰＤから読み出された信号が用いられているため、点光源の光がボケたように写る被写体に対しても正しい形状の画像データとして認識することができる。この例では、便宜上、右側ＰＤと左側ＰＤを合わせた全てのＰＤから生成された画像を合成画像とする。そして、ステップＳ７０２において生成されたＲＡＷ画像データを、合成ＲＡＷ画像データとも記述する。すなわち、撮像信号処理回路５０６は、左目用画像データと右目用画像データとの加算合成に代えて、撮像素子５０５の出力する全ての画像信号に基づいて、２次元表示用の合成画像データを生成する。

次に、撮像信号処理部５０６が、ステップＳ７０２で得られた合成ＲＡＷ画像データをＪＰＥＧ画像用の現像パラメータを用いて現像を行う。さらに、画像圧縮回路５１４が、当該現像結果を所定の圧縮率で画像圧縮することにより、合成ＪＰＥＧ画像と合成サムネイル画像とを生成する（ステップＳ７０３）。ステップＳ７０３において適用される圧縮率の決定処理については後述する。

次に、システム制御部５０９が、２次元表示用の画像ファイルと３次元表示用の画像ファイルのいずれを生成するかを判断する（ステップＳ７０４）。ここで定義する３Ｄ用画像ファイルとは、３次元画像と２次元画像の両方を扱うことが可能な形式のファイルのことである。システム制御部５０９が、３次元表示用の画像ファイルを生成すると判断した場合は、ステップＳ７０５に進む。

ステップＳ７０５において、システム制御部５０９が、ステップＳ７０１で得られた全ＰＤＲＡＷデータを撮像信号処理回路５０６へ入力する。撮像信号処理回路５０６が、右側ＰＤに対応するＲＡＷデータを抽出する。撮像信号処理回路５０６が、抽出したＲＡＷデータに対してＲＡＷ画像用の現像パラメータを用いて現像を行うことにより、右目用ＲＡＷ画像データを生成し、メモリ５０８に配置する（ステップＳ７０５）。

次に、撮像信号処理回路５０６が、メモリ５０８内の右目用ＲＡＷ画像データをＪＰＥＧ画像用の現像パラメータを用いて現像を行う。そして、画像圧縮回路５１４が、当該現像結果を所定の圧縮率で画像圧縮することで、右目用ＪＰＥＧ画像と右目用サムネイル画像とを生成する（ステップＳ７０６）。ステップＳ７０６において適用される圧縮率の決定処理については後述する。

次に、システム制御部５０９が、ステップＳ７０１で得られた全ＰＤＲＡＷデータを撮像信号処理回路５０６へ入力する。撮像信号処理回路５０６が、左側ＰＤに対応するＲＡＷデータを抽出する。撮像信号処理回路５０６が、抽出したＲＡＷデータに対してＲＡＷ画像用の現像パラメータを用いて現像を行うことにより、左目用ＲＡＷ画像データを生成し、メモリ５０８に配置する（ステップＳ７０７）。

次に、撮像信号処理回路５０６が、メモリ５０８内の左目用ＲＡＷ画像データをＪＰＥＧ画像用の現像パラメータを用いて現像を行う。そして、画像圧縮回路５１４が、当該現像結果を所定の圧縮率で画像圧縮することで、左目用ＪＰＥＧ画像と左目用サムネイル画像とを生成する（ステップＳ７０８）。ステップＳ７０８において適用される圧縮率の決定処理については後述する。

次に、システム制御部５０９が、ＤＣＦヘッダを生成する（ステップＳ７０９）。すなわち、システム制御部５０９は、例えば、図５に示すＤＣＦヘッダ部６１０に情報を格納する。具体的には、システム制御部５０９は、撮影時のシャッタースピードや露出時間を含む情報を、図５中の撮影情報、パラメータなどのメタデータＡ（６１１）に設定する。また、システム制御部５０９は、ステップＳ７０９における処理までに生成されている各画像のデータサイズに基づいて、各画像までのオフセット値Ｂ〜Ｇ（６１２〜６１９）を計算し、当該オフセット値を設定する。

次に、システム制御部５０９が、ステップＳ７０９で生成したＤＣＦヘッダと、各ＪＰＥＧ画像と、サムネイル画像とを用いて、例えば図５に示す構造を有するＤＣＦファイルを生成して記録する（ステップＳ７１０）。すなわち、システム制御部５０９が、圧縮された合成画像データ、左目用画像データおよび右目用画像データを、同一の画像ファイルに記録する画像記録手段として機能する。

上記ステップＳ７０４において、システム制御部５０９が、２次元表示用の画像ファイルを生成すると判断した場合は、ステップＳ７０９に進み、以下のＤＣＦヘッダ作成処理を実行する。システム制御部５０９は、撮影情報、パラメータなどのメタデータＡ（６１１）を設定する。また、システム制御部５０９は、合成画像までのオフセット値Ｂ（６１２），Ｅ（６１５）を計算して設定する。

システム制御部５０９は、右目用画像、左目用画像までのオフセット値Ｃ（６１３）、Ｄ（６１４）、Ｆ（６１６）、Ｇ（６１７）には、画像が画像データファイル６００に含まれないことを示す所定値に設定する。システム制御部５０９が、オフセット値の項目自体を記録しないようにしてもよい。続いて、ステップＳ７１０において、システム制御部５０９が、ＤＣＦヘッダ部、合成ＪＰＥＧ画像、合成サムネイル画像から構成されるＤＣＦファイルを生成して（ステップＳ７１０）、処理を終了する。なお、２次元表示用の画像ファイルのファイル構造は、従来のＤＣＦファイル構造と変わらないので、ここでは説明を省略する。

図７は、ＪＰＥＧ画像圧縮率設定画面の一例を示す図である。ＪＰＥＧ画像圧縮率設定画面は、ＪＰＥＧ画像の圧縮率を設定する画面である。ユーザが、圧縮率「高」を選択した場合は、システム制御部５０９は、ユーザ設定の圧縮率として高い圧縮率を決定する。画像圧縮回路５１４が、当該高い圧縮率でＪＰＥＧ画像を圧縮することにより、ファイルサイズの小さいＪＰＥＧ画像が得られる。

ユーザが、圧縮率「低」を選択した場合は、システム制御部５０９は、ユーザ設定の圧縮率として、低い圧縮率を決定する。画像圧縮回路５１４が、当該低い圧縮率でＪＰＥＧ画像を圧縮することにより、ファイルサイズの大きいＪＰＥＧ画像が得られる。

図８は、実施例１におけるＪＰＥＧ圧縮率の決定処理の一例を説明するフローチャートである。以下の説明では、ＪＰＥＧ画像圧縮率設定画面上でのユーザの選択操作により、ＪＰＥＧ画像の圧縮に用いられる圧縮率として低い圧縮率が設定されているものとする。まず、システム制御部５０９が、圧縮処理対象のＪＰＥＧ画像の種類を判断する（ステップＳ１００１）。

圧縮処理対象のＪＰＥＧ画像が、合成ＪＰＥＧ画像部６３１に格納する「合成画像」である場合は、システム制御部５０９は、当該ＪＰＥＧ画像の圧縮に用いる圧縮率として、ユーザ設定の圧縮率すなわち低い圧縮率を決定する。当該ユーザ設定の圧縮率が、第１の圧縮率である。

合成画像は、右目用画像、左目用画像に比べて、視聴者にとって違和感のない画像である。従って、合成画像は、一般的なアプリケーションで２次元表示する際に使用したり、レタッチ処理を行う時に使用したり、あるいは、プリント出力する場合などに使用したり、使用用途が多岐にわたる。したがって、ステップＳ１００２において、画像圧縮回路５１４が、合成画像をユーザ設定の圧縮率で圧縮する（ステップＳ１００２）。ステップＳ１００２における処理は、前述した図６のステップＳ７０３における画像圧縮処理に対応する。

圧縮処理対象のＪＰＥＧ画像が、左目用ＪＰＥＧ画像部６３２に格納される「左目用画像」または右目用ＪＰＥＧ画像部６３３に格納される「右目用画像」である場合、システム制御部５０９は、以下の処理を実行する。システム制御部５０９は、当該ＪＰＥＧ画像の圧縮に用いる圧縮率として、ユーザ設定の圧縮率より高い圧縮率を決定する。当該決定される圧縮率は、第２の圧縮率である。システム制御部５０９は、第２の圧縮率として、例えばユーザ設定の圧縮率より予め決められた値だけ大きい圧縮率を採用する。

左目用画像と、右目用画像とは、撮像装置が表示モニタに３次元画像を表示する場合に使用される。一般的な表示モニタの解像度は、格納されている画像データの解像度よりも低い。また、画像データが３次元画像として表示されるため、低圧縮率で画像データを格納していても低圧縮率で記録している効果を得られることは少ない。よって、画像圧縮回路５１４は、ユーザ設定の圧縮率よりも高い第２の圧縮率で圧縮する（ステップＳ１００３）。ステップＳ１００３における処理は、図６のステップＳ７０６、Ｓ７０８における画像圧縮処理に対応する。

実施例１の撮像装置は、利用用途が多岐にわたる「合成画像」をユーザ設定の圧縮率に従い圧縮処理を行い、利用用途が限られる左目用画像と右目用画像とをユーザ設定の圧縮率よりも高い圧縮率で圧縮処理を行う。従って、実施例１の撮像装置によれば、合成画像、左目用画像、右目用画像を同一ファイルに記録し効率的なファイル管理を実現しつつ、不必要にファイルサイズが大きくなることを防ぐことが可能となる。

（実施例２）
次に、実施例２の撮像装置について説明する。ＪＰＥＧ圧縮の特徴として、同じ圧縮パラメータを使用しても、画像データの内容によって圧縮後のデータサイズが異なる点がある。例えば、画像データに高周波成分が多く含まれている場合は圧縮後のデータサイズは大きくなり、反対に、高周波成分が少ない場合は圧縮後のデータサイズは小さくなる。従って、実施例２の撮像装置は、先に圧縮処理を施した合成画像の圧縮結果に応じて、左目用画像と右目用画像の圧縮率を決定する。

図９は、実施例２におけるＪＰＥＧ圧縮率の決定処理の一例を説明するフローチャートである。まず、システム制御部５０９が、圧縮処理対象のＪＰＥＧ画像の種類を判断する（ステップＳ１１０１）。

圧縮処理対象のＪＰＥＧ画像が、合成ＪＰＥＧ画像部６３１に格納する「合成画像」である場合は、システム制御部５０９は、当該ＪＰＥＧ画像の圧縮に用いる圧縮率として、ユーザ設定の圧縮率すなわち予め定められた第１の圧縮率を決定する。そして、画像圧縮回路５１４が、合成画像をユーザ設定の圧縮率で圧縮する（ステップＳ１１０２）。

次に、システム制御部５０９が、ステップＳ１１０３における合成画像の圧縮後のデータサイズに基づいて、左目用画像と右目用画像を圧縮する際に用いる圧縮率を決定する（ステップＳ１１０３）。この例では、撮像装置が、圧縮後のデータサイズとそれに対応する第２の圧縮率との対応情報が設定されたテーブルを予め記憶手段に記憶しておくものとする。システム制御部５０９が当該テーブルを参照して、圧縮後のデータサイズに応じて圧縮率を第１の圧縮率として決定する。具体的には、システム制御部５０９は、合成画像データの圧縮結果として圧縮後の合成画像データのデータサイズを取得する。そして、システム制御部５０９は、取得した圧縮後の合成画像データのデータサイズと、上記テーブル内の対応情報とに基づいて、左目用画像データおよび右目用画像データを圧縮する際の第２の圧縮率を決定する。なお、システム制御部５０９が、例えば圧縮後の合成画像、左目用画像、右目用画像のデータ量の合計が所定の値以下になるように左目用画像、右目用画像の圧縮に用いる圧縮率を決定するようにしてもよい。

圧縮処理対象のＪＰＥＧ画像が、左目用ＪＰＥＧ画像部６３２に格納される「左目用画像」または右目用ＪＰＥＧ画像部６３３に格納される「右目用画像」である場合は、ステップＳ１１０５に進む。そして、システム制御部５０９が、ステップＳ１１０３において決定された圧縮率で、左目用画像と右目用画像とを圧縮する（ステップＳ１１０４）。

実施例２の撮像装置は、利用用途が多岐にわたる合成画像を、ユーザ設定の圧縮率で圧縮処理を行い、利用用途が限られる左目用画像と右目用画像については、合成画像の圧縮結果に応じて適応的に決定した圧縮率で圧縮処理を行う。従って、実施例２の撮像装置によれば、合成画像、左目用画像、右目用画像を同一ファイルに記録し効率的なファイル管理を実現しつつ、先行して圧縮する合成画像のデータ内容の如何にかかわらずファイルサイズが大きくなることを防ぐことが可能となる。

（他の実施例）
実施例１、２の撮像装置では、右側ＰＤと左側ＰＤを合わせた全ＰＤのＲＡＷデータを撮像信号処理回路５０６に入力したとき、合成画像データ、右目画像データ、および左目画像データをそれぞれ出力可能である。他の実施例の撮像装置は、右側ＰＤと左側ＰＤのＲＡＷデータをそれぞれ撮像信号処理回路５０６に入力して、右目画像データ、左目画像データを出力し、右目画像データと左目画像データを画像合成回路５１３に通して合成画像データを出力する。

このような構成を有する撮像装置によっても、図５で示すファイル構造で、３種類のＪＰＥＧ画像を一つのファイルに格納することになり、それぞれのＪＰＥＧ画像の圧縮率は図８と図９で説明した処理により決定することが可能である。

他の実施例の撮像装置では、合成画像、右目画像および左目画像をＲＡＷ画像のファイル構造として生成することも可能である。図１０および図１１は、他の実施例における画像データのファイル構造の一例を示す図である。図１０に示す画像データファイル９００は、ＲＡＷヘッダ部９１０、サムネイル画像部９２０、表示用ＪＰＥＧ画像部９３０、ＲＡＷ画像部９４０の各領域を有する。

ＲＡＷヘッダ部９１０は、ＲＡＷヘッダ情報を格納する領域でああり、予め所定のデータサイズが与えられている。ＲＡＷヘッダ情報は、ＲＡＷ画像部９４０に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ（９１１）を含む。

また、ＲＡＷヘッダ情報は、合成サムネイル画像までのオフセット値Ｂ（９１２）、左目用サムネイル画像までのオフセット値Ｃ（９１３）、右目用サムネイル画像までのオフセット値Ｄ（９１４）を含む。また、ＲＡＷヘッダ情報は、合成表示用ＪＰＥＧ画像までのオフセット値Ｅ（９１５）、左目用表示用ＪＰＥＧ画像までのオフセット値Ｆ（９１６）、右目用表示用ＪＰＥＧ画像までのオフセット値Ｇ（９１７）を含む。また、ＲＡＷヘッダ情報は、さらに、右目用ＲＡＷ画像までのオフセット値Ｈ（９１８）、左目用ＲＡＷ画像までのオフセット値Ｉ（９１９）を含む。このオフセット値Ｂ〜Ｉにより各画像データの開始位置が特定される。

サムネイル画像部９２０の構成は、図５に示すサムネイル画像部６２０と同様である。サムネイル画像部９２０は、合成サムネイル画像部９２１、左目用サムネイル画像部９２２、右目用サムネイル画像部９２３を有する。

表示用ＪＰＥＧ画像部９３０は、ＲＡＷ画像部９４０に格納されたＲＡＧ画像を所定の圧縮方式で処理したＪＰＥＧ画像を格納する領域である。表示用ＪＰＥＧ画像部９３０は、合成表示用ＪＰＥＧ画像部９３１、左目用表示用ＪＰＥＧ画像部９３２、右目用表示用ＪＰＥＧ画像部９３３を有する。合成表示用ＪＰＥＧ画像部９３１には、２次元表示する際に使用するＪＰＥＧ画像が記録されている。左目用表示用ＪＰＥＧ画像部９３２、右目用ＪＰＥＧ画像部６３３には、３次元表示する際に使用する表示用ＪＰＥＧの左目画像と右目画像がそれぞれ記録されている。

ＲＡＷ画像部９４０は、撮像素子５０５からの出力を劣化させずに出力したＲＡＷデータが格納される領域である。ＲＡＷデータは、パーソナルコンピュータ等の外部装置によって画像の再現（現像）処理を行うことにより、高品質のプリントやユーザの目的に合致したより高度な画像編集を実現するためのデータである。

ＲＡＷ画像は、データ量が多く画像表示などには適さない。従って、撮像装置が実際に３次元立体表示を行う場合には、表示用ＪＰＥＧ部９３０が用いられる。そのため、ＲＡＷ画像部９４０には、データ量を抑制するために、素材のＲＡＷデータが記録される。具体的には、左側ＰＤから得られる左目用ＲＡＷデータは、左目用ＲＡＷ画像部９４１に記録される。また、右側ＰＤから得られる右目用ＲＡＷデータは、右目用ＲＡＷ画像部９４２に記録される。

撮像装置が、図１１に示すようなファイル構造を有するファイルに３種類のＪＰＥＧ画像を格納するようにしてもよい。図１１に示す例では、ＲＡＷ画像部９４０は、ＲＡＷ画像部９４３を有する。撮像装置は、ＲＡＷ画像部９４３に、右目用と左目用に分割していないＲＡＷデータを記録する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５０５ 撮像素子
５０６ 撮像信号処理回路
５０９ システム制御部
５１３ 画像合成回路
５１４ 画像圧縮回路

Claims (8)

1. 複数のマイクロレンズを有し、各マイクロレンズがそれぞれ複数の光電変換部に対応する撮像素子と、
   前記各マイクロレンズに対応する前記複数の光電変換部より出力される複数の画像信号をそれぞれ合成して合成画像信号を生成する画像生成手段と、
   前記合成画像信号より得られる合成画像データを予め決められた第１の圧縮率で圧縮し、前記複数の光電変換部のうちのいずれかより出力された画像信号から得られる画像データを前記第１の圧縮率より高い圧縮率である第２の圧縮率で圧縮する画像圧縮手段と、
   前記合成画像データと、前記複数の光電変換部のうちのいずれかより出力された画像信号から得られる画像データを含む画像ファイルを生成する画像ファイル生成手段とを備え、
   前記画像圧縮手段は、前記合成画像データの圧縮結果に基づいて、前記複数の光電変換部のうちいずれかより出力された画像信号から得られる画像データを圧縮する際の前記第２の圧縮率を決定する
   ことを特徴とする撮像装置。
2. 前記画像ファイルを記録媒体に記録する記録手段をさらに備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像ファイルは、前記合成画像信号から得られるＪＰＥＧ形式の画像データを含む
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記画像ファイルは、ＤＣＦ形式である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記画像圧縮手段は、前記合成画像データの圧縮結果として圧縮後の合成画像データのデータサイズを取得し、取得した圧縮後の合成画像データのデータサイズと、予め記憶手段に記憶された、前記合成画像データの圧縮後のデータサイズと第２の圧縮率との対応情報とに基づいて、前記第２の圧縮率を決定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記各マイクロレンズに対応する前記複数の光電変換部は、前記マイクロレンズを介して、撮像光学系の異なる瞳領域を通過した光束をそれぞれ受光する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記複数の画像信号を用いて焦点検出を行う焦点検出手段をさらに備える
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 複数のマイクロレンズを有し、各マイクロレンズがそれぞれ複数の光電変換部に対応する撮像素子を備える撮像装置の制御方法であって、
   前記各マイクロレンズに対応する前記複数の光電変換部より出力される複数の画像信号をそれぞれ合成して合成画像信号を生成する工程と、
   前記合成画像信号より得られる合成画像データを予め決められた第１の圧縮率で圧縮し、前記複数の光電変換部のうちのいずれかより出力された画像信号から得られる画像データを前記第１の圧縮率より高い圧縮率である第２の圧縮率で圧縮する工程と、
   前記合成画像データと、前記複数の光電変換部のうちのいずれかより出力された画像信号から得られる画像データを含む画像ファイルを生成する工程とを有し、
   前記圧縮する工程において、前記合成画像データの圧縮結果に基づいて、前記複数の光電変換部のうちいずれかより出力された画像信号から得られる画像データを圧縮する際の前記第２の圧縮率が決定される
   ことを特徴とする撮像装置の制御方法。
   

Images