JP5622459B2 - 画像記録装置及び画像再生装置 - Google Patents

Description

本発明は、多重合成モードで画像データを記録するための画像記録装置及び多重合成モードで記録された画像データを再生するための画像再生装置に関する。

デジタルカメラ等の画像記録装置は、通常、被写体像を撮像素子に結像させるためのレンズを有している。ここで、レンズは収差を有しているため、レンズを介して撮像素子に結像する被写体像は実際に得られるべき被写体像とは異なるものとなる。近年では、このような収差の影響を画像処理によって補正する所謂収差補正機能を有する画像記録装置についての各種の提案が例えば特許文献１においてなされている。特許文献１は、収差として歪曲収差を補正するようにしている。

通常、収差補正は、収差補正後の画像データの各画素を収差補正前の画像データの各画素に対応させるように所定の関係式に従って座標変換することで行われる。ここで、デモザイク処理（同時化処理等とも呼ばれる）後の画像データ（以下、カラー画像データという）に対する収差補正であれば座標変換時における補正座標の自由度が高いが、デモザイク処理前の画像データ（以下、ベイヤ画像データという）では、座標変換時に補正後もベイヤ配列に従うという制約があるため補正座標の自由度が低く、画質劣化を伴いやすい。したがって、全色成分に対して座標変換が必要な歪曲収差補正機能を有する画像記録装置では、ベイヤ画像データではなく、カラー画像データに対して収差補正を行うのが一般的である。

また、近年の画像記録装置は、画像記録モードとして多重合成モードを有しているものがある。多重合成モードとは、撮像部による複数回の撮像（露光）を行い、該複数回の撮像（露光）により得られた露光画像を合成して記録部に記録する記録モードである。このような多重合成モードを有する画像記録装置に関する提案が例えば特許文献２においてなされている。

特開２００６−３４５０５６号公報 特開２０１０−５６７３３号公報

上述したように、収差補正はデモザイク処理後に行われるのが一般的である。このため、多重合成モードにおいて得られた複数の露光画像を用いて適切な収差補正がなされた合成画像を得るためには、複数回の撮像により得られたベイヤ画像データの各々をカラー画像データに変換してから各々のカラー画像データに対する収差補正を行い、収差補正がなされた複数のカラー画像データを合成する必要がある。ここで、近年の画像記録装置においては、デモザイク処理等の画像処理がなされる前の画像データを記録する機能（所謂ＲＡＷデータ記録機能）を有するものが増えてきている。このような多重合成モードにおいて画像処理前の画像データを記録しようとした場合において、ベイヤ画像データのままで合成画像を生成してしまうと、各々のベイヤ画像データにおける収差によっては、合成画像に対して適切な収差補正を行うことができなくなる場合がある。

このように、従来は、多重合成モードにおいて収差補正を行うと露光画像をベイヤ画像データとして記録できず、ベイヤ画像データのままで合成をしてしまうと適切な収差補正を行うことができなくなる場合がある。
本発明は、上記の事情に鑑みてなされたもので、多重合成モードにおいても適切な収差補正を行うことができるようにベイヤ画像データを記録することが可能な画像記録装置、及びこのような画像記録装置によって記録されたベイヤ画像データを適切に収差補正して再生可能な画像再生装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像記録装置は、被写体像を集光するレンズと、上記レンズで集光された被写体像を撮像してベイヤ画像データを生成する撮像部と、上記ベイヤ画像データをデモザイク処理してカラー画像データを生成するカラー画像処理部と、上記撮像時における上記レンズの収差情報を取得する収差情報取得部と、当該画像記録装置の画像記録モードを多重合成モードに設定する記録モード設定部と、当該画像記録装置の画像記録形式として上記ベイヤ画像データと上記カラー画像データとの少なくとも何れかを選択する記録形式選択部と、上記画像記録モードが上記多重合成モードに設定され、かつ、上記画像記録形式として上記ベイヤ画像データが選択された場合に、上記撮像部による撮像を複数回実行させるとともに、該複数回の撮像により生成された複数の上記ベイヤ画像データと、上記複数回の撮像によって生成された複数の上記ベイヤ画像データの各々に対応した上記収差情報と、複数の上記ベイヤ画像データが上記多重合成モードにおいて生成された一連のベイヤ画像データであること示すヘッダ情報と、を１つのファイルにまとめて記録するように制御する記録制御部と、複数の上記ベイヤ画像データを合成するベイヤ画像合成部とを具備し、上記記録制御部は、上記複数回の撮像の各々に対応した上記収差情報の中に差が所定の閾値よりも小さい組がある場合には、複数の上記ベイヤ画像データを上記１つのファイルに記録するに先立って、上記組の収差情報に対応した複数の上記ベイヤ画像データを上記ベイヤ画像合成部によって合成した後、上記１つのファイルに記録することを特徴とする。

上記の目的を達成するために、本発明の第２の態様の画像再生装置は、第１の態様に記載の画像記録装置によって記録された１つのファイルを再生する画像再生装置であって、複数の上記ベイヤ画像データが上記多重合成モードにおいて生成された一連のベイヤ画像データであることが判定された場合に、上記カラー画像処理部によって複数の上記ベイヤ画像データの各々をデモザイク処理して複数の上記カラー画像データを取得し、複数の上記カラー画像データにおける収差を複数の上記カラー画像データの各々に対応した上記収差情報に基づいて補正し、該収差が補正された複数の上記カラー画像データを合成するように制御する再生制御部と、上記再生制御部の制御に従って合成された合成カラー画像データに基づく画像を表示する表示部とを具備することを特徴とする。

本発明によれば、多重合成モードにおいても適切な収差補正を行うことができるようにベイヤ画像データを記録することが可能な画像記録装置、及びこのような画像記録装置によって記録されたベイヤ画像データを適切に収差補正して再生可能な画像再生装置を提供することができる。

本発明の一実施形態に係る画像記録装置及び画像再生装置の一例としてのデジタルカメラの構成を示すブロック図である。 本発明の一実施形態に係るデジタルカメラにおける画像撮影動作時の処理について示すフローチャートである。 画像記録モードが多重合成モードで画像記録形式としてカラー画像データが選択されている場合の処理の流れを示す図である。 画像記録モードが多重合成モードで画像記録形式としてベイヤ画像データが選択されている場合の従来の処理の流れを示す図である。 画像記録モードが多重合成モードで画像記録形式としてベイヤ画像データが選択されている場合の本発明の一実施形態の処理の流れを示す図である。 多重合成ベイヤ画像ファイルをマルチ画像ファイルの形式で構成した場合のファイル構成を示す図である。 多重合成ベイヤ画像ファイルから多重合成ＪＰＥＧ画像ファイルを作成する際の処理の流れを示す図である。 多重合成ベイヤ画像ファイルから複数のＪＰＥＧ画像ファイルを作成する際の処理の流れを示す図である。 収差の差のないベイヤ画像データ同士を合成して多重合成ベイヤ画像ファイルを作成する場合の処理の流れを示す図である。 図９の多重合成ベイヤ画像ファイルから多重合成ＪＰＥＧ画像ファイルを作成する際の処理の流れを示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像記録装置及び画像再生装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１００は、レンズ１０１と、絞り１０２と、撮像素子１０３と、アナログアンプ（Ａ−ＡＭＰ）１０４と、アナログ/デジタルコンバータ（ＡＤＣ）１０５と、バス１０６と、ＤＲＡＭ１０７と、画像処理部１０８と、記録媒体１０９と、ビデオエンコーダ１１０と、表示部１１１と、ＣＰＵ１１２と、操作部１１３と、ＦＬＡＳＨメモリ１１４とを有している。なお、図１は、レンズ１０１と絞り１０２がデジタルカメラ１００の本体と一体的に構成されている例を示している。

ここで、本実施形態におけるデジタルカメラ１００は、画像記録モードを、多重合成モードと非多重合成モードとの何れかに設定可能であるとする。多重合成モードとは、撮像素子１０３の複数回の撮像（露光）により得られた複数の画像データを合成してから記録する記録モードである。一方、非多重合成モードは、例えば単写モードや連写モード等の、合成を行わないで画像データを記録する画像記録モードである。

また、本実施形態におけるデジタルカメラ１００は、記録媒体１０９に記録する画像データの記録形式としてベイヤ画像データとカラー画像データとの少なくとも何れかを選択可能であるとする。ここで、本実施形態におけるベイヤ画像データとは、１画素が１つの色成分を有してなる画像データのことを言うものとする。一方、カラー画像データとは、１画素が複数（例えば３つ）の色成分を有してなる画像データのことを言うものとする。

図１において、レンズ１０１は、撮像素子１０３で取得される画像の画角を変更するためのズームレンズやレンズ１０１の焦点位置を調整するためのフォーカスレンズ等の複数のレンズから構成された光学系を有し、被写体像２０１を撮像素子１０３に結像させる。ズームレンズやフォーカスレンズは、ＣＰＵ１１２により、駆動制御がなされる。絞り１０２は、レンズ１０１と、撮像素子１０３との間に配されており、撮像素子１０３の光電変換面への光入射量を制御する。絞り１０２は、ＣＰＵ１１２により、開閉制御がなされる。

撮像素子１０３は、レンズ１０１を介して入射した被写体像２０１を受光するための光電変換面を有している。光電変換面は、光の量を電荷量に変換するための光電変換素子（フォトダイオード等）等からなる画素が２次元状に配置されて構成されている。ここで、本実施形態の撮像素子１０３の画素配列は例えば原色系ベイヤ配列である。原色系ベイヤ配列とは、赤色（Ｒ）及び緑色（Ｇｒ）の画素が配列される行と緑色（Ｇｂ）及び青色（Ｂ）の画素が配列される行とが交互に繰り返される配列である。このような撮像素子１０３は、レンズ１０１を介して入射した被写体像２０１を電気信号（画像信号）に変換してＡ−ＡＭＰ１０４に出力する。撮像素子１０３の動作制御及び撮像素子１０３において得られる電気信号の取り込み制御はＣＰＵ１１２によって行われる。

Ａ−ＡＭＰ１０４は、撮像素子１０３から取り込まれた画像信号を、ＣＰＵ１１２から指示される所定の増幅率で増幅する。ＡＤＣ１０５は、Ａ−ＡＭＰ１０４から出力されるアナログ画像信号をデジタル画像信号（ＲＡＷデータ）に変換する。ここで、ＲＡＷデータは、各画素がベイヤ配列に対応した１つの色成分を有する。したがって、ＲＡＷデータは本実施形態におけるベイヤ画像データに属する。以降は、ＲＡＷデータをベイヤ画像データとして説明を続ける。

バス１０６は、デジタルカメラ１００で発生した各種データをデジタルカメラ１００の各部に転送するための転送路である。バス１０６は、ＡＤＣ１０５と、ＤＲＡＭ１０７と、画像処理部１０８と、記録媒体１０９と、ビデオエンコーダ１１０と、表示部１１１と、ＣＰＵ１１２と、ＦＬＡＳＨメモリ１１４とに接続されている。

ＤＲＡＭ１０７は、デジタルカメラ１００の各ブロックで発生した各種のデータが一時的に記憶される記憶部である。
画像処理部１０８は、ＤＲＡＭ１０７に記憶された各種の画像データ（ベイヤ画像データ、カラー画像データ）に対して種々の画像処理を施す。本実施形態における画像処理部１０８は、カラー画像処理部としての機能を有しており、ＤＲＡＭ１０７に記憶されたベイヤ画像データに対してデモザイク処理、ＹＣ変換処理を施してＹＣＣデータを生成する。

デモザイク処理は、原色系ベイヤ配列の撮像素子１０３を介して得られたＲＡＷデータ等の、１画素が１つの色成分しか有さない画像データから、補間によって１画素が複数の色成分を有する画像データを生成する処理である。例えば、原色系ベイヤ配列の場合、デモザイク処理によって、１画素がＲ、Ｇ、Ｂの３つの色成分を有する画像データが生成される。また、ＹＣ変換処理は、デモザイク処理後の画像データを輝度データ（Ｙ）と色差データ（Ｃｂ、Ｃｒ）とからなるＹＣＣデータに変換する処理である。デモザイク処理後の画像データをＹＣ変換して得られるＹＣＣデータは、１画素が３つの色成分を有する画像データに対応して生成されたものとなる。したがって、ＹＣＣデータは本実施形態におけるカラー画像データに属する。この他、ＲＡＷデータに対してデモザイク処理のみを施すことにより得られるＲＧＢデータも本実施形態におけるカラー画像データとみなすことができる。以降は、ＹＣＣデータをカラー画像データとして説明を続ける。

また、画像処理部１０８は、カラー画像合成部としての機能も有しており、多重合成モードにおいて得られた一連のカラー画像データを合成して多重合成カラー画像データを生成する。また、画像処理部１０８は、ベイヤ画像合成部としての機能も有しており、多重合成モードにおいて得られた一連のベイヤ画像データを所定の条件のもとで合成して合成ベイヤ画像データを生成する。

また、画像処理部１０８は、収差情報取得部及び収差補正部としての機能を有しており、レンズ１０１の収差（歪曲収差、倍率色収差等）に起因してカラー画像データに生じる像高のずれ等を収差情報に基づいて補正する。収差情報は、例えばＦＬＡＳＨメモリ１１４に記憶される情報である。ＦＬＡＳＨメモリ１１４に記憶させる収差情報は収差補正の手法に応じて決定する。

例えば、収差補正後の像高Ｙと収差補正前の像高Ｙ’との関係式ｆ（Ｙ）を用いた座標変換によって収差補正を行う場合には、この関係式ｆ（Ｙ）を特定するための情報を収差情報としてＦＬＡＳＨメモリ１１４に記憶させる。即ち、収差補正後像高Ｙと収差補正前像高Ｙ’との関係がＹ’−Ｙ＝ｆ（Ｙ）という関係式で定義され、ｆ（Ｙ）がｆ（Ｙ）＝ａＹ^２＋ｂＹ^３＋ｃＹ^４＋ｄＹ^５という関数で表されるとすると、ｆ（Ｙ）の係数ａ、ｂ、ｃ、ｄを収差情報として記憶させておく。なお、この例では、ｆ（Ｙ）がＹの５次関数で表される例を示しているが、ｆ（Ｙ）は必ずしも５次関数とする必要はない。

また、理想像高Ｚと実像高Ｚ’との関係式ｆ（Ｚ）を用いた座標変換によって収差補正を行う場合には、この関係式ｆ（Ｚ）を特定するための情報を収差情報としてＦＬＡＳＨメモリ１１４に記憶させる。ここで、理想像高Ｚとは、レンズ１０１に収差がないと仮定した状態で撮像素子１０３に被写体像が集光された際の像高である。一方、実像高とは、レンズ１０１を介して撮像素子１０３に実際に被写体像が集光された際の像高である。即ち、理想像高Ｚと実像高Ｚ’との関係がＺ’−Ｚ＝ｆ（Ｚ）という関係式で定義され、ｆ（Ｚ）がｆ（Ｚ）＝ａＺ^２＋ｂｚ^３＋ｃｚ^４＋ｄＺ^５という関数で表されるとすると、ｆ（Ｚ）の係数ａ、ｂ、ｃ、ｄを収差情報として記憶させておく。

さらに、理想像高Ｚへの補正率Ｒを導入して、理想像高Ｚと実像高Ｚ’との関係がＺ’−Ｚ＝ｆ（Ｒ，Ｚ）という関係式で定義され、ｆ（Ｒ，Ｚ）がｆ（Ｒ，Ｚ）＝Ｒ×（ａＺ^２＋ｂｚ^３＋ｃｚ^４＋ｄＺ^５）という関数で表されるとすると、係数ａ、ｂ、ｃ、ｄと補正率Ｒとを収差情報として記憶させる。

以上のような収差情報がＦＬＡＳＨメモリ１１４に記憶されている状態において、画像処理部１０８は、ＦＬＡＳＨメモリ１１４から取得した収差情報によって特定される像高の関係から、収差補正前のカラー画像データの座標変換を行うことにより、カラー画像データに対する収差補正を行う。

ここで、収差情報は、レンズ１０１に含まれる光学系全体としての収差である。したがって、レンズ１０１にズームレンズやフォーカスレンズが含まれている場合には、ズームレンズの位置やフォーカスレンズの位置によって収差情報は変化する。このため、本実施形態のようにレンズ１０１にズームレンズやフォーカスレンズが含まれている場合には、例えばズームレンズの位置情報毎及びフォーカスレンズの位置情報毎の収差情報を記憶しておく。勿論、演算によってズームレンズの位置情報毎及びフォーカスレンズの位置情報毎の収差情報を求めるようにしても良い。

また、画像処理部１０８は、上述した処理の他に、カラー画像データに対して例えばホワイトバランス補正処理、色補正処理、ガンマ変換処理、圧縮処理等の画像処理を行う。また、画像処理部１０８は、カラー画像データの再生時には圧縮されたカラー画像データの伸長処理等も行う。

記録媒体１０９は、撮影により得られた画像ファイルが記録される。この記録媒体１０９は、例えばデジタルカメラ１００の本体に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。
ビデオエンコーダ１１０は、表示部１１１に画像を表示させるための各種処理を行う。具体的には、ビデオエンコーダ１１０は、画像処理部１０８で表示部１１１の画面サイズ等に応じてリサイズされ、ＤＲＡＭ１０７に記憶されているカラー画像データをＤＲＡＭ１０７から読み出し、読み出したカラー画像データを映像信号へ変換した後で表示部１１１へ出力し、画像の表示を行う。表示部１１１は、例えば液晶ディスプレイ等で構成された表示部である。

記録制御部及び再生制御部としての機能を有するＣＰＵ１１２は、デジタルカメラ１００の各種シーケンスを統括的に制御する。このＣＰＵ１１２は、操作部１１３が操作された場合に、ＦＬＡＳＨメモリ１１４に記憶されている、各種シーケンスの実行に必要なプログラムを読み出して、各種シーケンスの制御を行う。ここで、ＣＰＵ１１２は、読み出し部、判定部としての機能も有している。

操作部１１３は、レリーズボタン、電源ボタン、ズームボタン、各種入力キー等の操作部材である。ユーザにより操作部１１３の何れかの操作部材が操作されることにより、ＣＰＵ１１２は、ユーザの操作に応じた各種シーケンスを実行する。本実施形態では、操作部１１３により、画像記録モードの設定や画像記録形式の選択を行うことも可能である。この場合、操作部１１３が、記録モード設定部と、記録形式選択部の一例として機能する。

ＦＬＡＳＨメモリ１１４は、デジタルカメラの動作に必要な各種パラメータやＣＰＵ１１２にて実行されるプログラムを記憶している。ＣＰＵ１１２は、ＦＬＡＳＨメモリ１１４に記憶されているプログラムに従い、またＦＬＡＳＨメモリ１１４から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。上述したように、本実施形態におけるＦＬＡＳＨメモリ１１４は、デジタルカメラ１００の動作に必要なパラメータの１つとして、レンズ１０１の収差情報も記憶している。

次に、本実施形態に係るデジタルカメラ１００における画像撮影動作について説明する。図２は、本実施形態に係るデジタルカメラ１００における画像撮影動作時の処理について示すフローチャートである。記録制御部としての機能を有するＣＰＵ１１２は、図２に示す画像撮影動作において、画像記録モードが多重合成モードであるか、画像記録形式がカラー画像データであるかを判定し、これらの判定結果に応じて異なる画像撮影動作の処理を実行する。

デジタルカメラ１００の電源投入等の後に行われるライブビュー表示動作の後に、図２の処理が開始される。図２の処理の開始後、ＣＰＵ１１２は、操作部１１３のレリーズボタンが押し下げされたか否かを判定する（ステップＳ１０１）。ここで、ステップＳ１０１の判定を行うのと並行して、ＣＰＵ１１２は、周知の露光量演算を行っており、撮影時における撮像素子１０３の露光量を適正とするために必要な絞り１０２の開放量と撮像素子１０３の露光時間とを演算する。また、ＣＰＵ１１２は、ステップＳ１０１の判定を行うのと並行して、周知の焦点演算も行っており、焦点演算の結果に基づいてレンズ１０１を合焦位置に駆動する。

ステップＳ１０１の判定において、レリーズボタンが押し下げされていない場合に、ＣＰＵ１１２は、操作部１１３の電源ボタンの操作により、デジタルカメラ１００の電源がオフされたか否かを判定する（ステップＳ１０２）。ステップＳ１０２の判定において、電源がオフされた場合に、ＣＰＵ１１２は、図２の処理を終了させる。一方、ステップＳ１０２の判定において、電源がオフされていない場合には処理がステップＳ１０１に戻る。

また、ステップＳ１０１の判定において、レリーズボタンが押し下げされた場合に、ＣＰＵ１１２は、露光量演算の際に演算された開放量となるように絞り１０２を制御しつつ、撮像素子１０３を所定の露光時間だけ動作させてベイヤ画像データの取り込み（撮像動作）を行う（ステップＳ１０３）。次に、ＣＰＵ１１２は、撮像動作時のレンズ１０１の状態に対応した収差情報をＦＬＡＳＨメモリ１１４から読み出してＤＲＡＭ１０７に記憶させる（ステップＳ１０４）。その後、ＣＰＵ１１２は、画像記録モードが多重合成モードであるか否かを判定する（ステップＳ１０５）。

ステップＳ１０５の判定において、画像記録モードが多重合成モードでない、即ち非多重合成モードである場合に、ＣＰＵ１１２は、画像記録形式としてカラー画像データが選択されているか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、画像記録形式としてカラー画像データが選択されていない場合に、ＣＰＵ１１２は、ステップＳ１０７〜ステップＳ１１０の処理をスキップしてステップＳ１１１以後の処理を行う。

一方、ステップＳ１０６の判定において、画像記録形式としてカラー画像データが選択されている場合に、ＣＰＵ１１２は、画像処理部１０８を制御してベイヤ画像データに対する画像処理を実行する。まず、画像処理部１０８は、ベイヤ画像データに対してデモザイク処理、ＹＣ変換処理を施すことにより、カラー画像データを生成する（ステップＳ１０７）。続いて、画像処理部１０８はカラー画像データの収差補正を行う（ステップＳ１０８）。この際、画像処理部１０８は、ステップＳ１０４においてＤＲＡＭ１０７に記憶された収差情報を読み出し、読み出した収差情報を用いてカラー画像データにおける収差を補正する。その後、画像処理部１０８は、例えばＪＰＥＧ方式等の圧縮方式を用いて収差補正がなされたカラー画像データを圧縮する（ステップＳ１０９）。実際には、図２のステップＳ１０７〜ステップＳ１０９で示した処理の間に、ホワイトバランス補正処理、色補正処理、ガンマ変換処理等の画像処理も行われるが、図２では図示を省略している。

カラー画像データの圧縮が終了した後、ＣＰＵ１１２は、画像処理部１０８により生成された圧縮画像データ（ＪＰＥＧ画像データ）に、ＪＰＥＧ画像ファイル用の所定のヘッダ情報を付与してＪＰＥＧ画像ファイルを作成する。その後、ＣＰＵ１１２は、作成したＪＰＥＧ画像ファイルを記録媒体１０９に記録する（ステップＳ１１０）。

次に、ＣＰＵ１１２は、画像記録形式としてベイヤ画像データが選択されているか否かを判定する（ステップＳ１１１）。ステップＳ１１１の判定において、画像記録形式としてベイヤ画像データが選択されていない場合には処理がステップＳ１０１に戻る。一方、ステップＳ１１１の判定において、画像記録形式としてベイヤ画像データが選択されている場合に、ＣＰＵ１１２は、ステップＳ１０３において取り込まれたベイヤ画像データに、ベイヤ画像ファイル用の所定のヘッダ情報を付与してベイヤ画像ファイルを作成する。そして、ＣＰＵ１１２は、作成したベイヤ画像ファイルを記録媒体１０９に記録する（ステップＳ１１２）。その後、処理がステップＳ１０１に戻る。

以上説明したように、本実施形態では、画像記録モードが非多重合成モードであって画像記録形式としてカラー画像データのみが選択されている場合にはＪＰＥＧ画像ファイルのみが記録媒体１０９に記録される。また、画像記録モードが非多重合成モードであって画像記録形式としてベイヤ画像データのみが選択されている場合にはベイヤ画像ファイルのみが記録媒体１０９に記録される。さらに、画像記録モードが非多重合成モードであって画像記録形式としてカラー画像データとベイヤ画像データの両方が選択されている場合にはＪＰＥＧ画像ファイルとベイヤ画像ファイルの両方が記録媒体１０９に記録される。

また、ステップＳ１０５の判定において、画像記録モードが多重合成モードである場合に、ＣＰＵ１１２は、撮影枚数（ベイヤ画像データの取得数）が予め設定された多重合成枚数に達したか否かを判定する（ステップＳ１１３）。なお、多重合成枚数は、例えばユーザの操作部１１３の操作により設定されるものである。ステップＳ１１３の判定において、撮影枚数が多重合成枚数に達していない場合には処理がステップＳ１０１に戻る。即ち、多重合成モードの場合には、撮影枚数が多重合成枚数に達するまでは、ユーザのレリーズボタンの押下に応答した撮像動作が繰り返され、複数回の撮像動作により得られたベイヤ画像データがＤＲＡＭ１０７に逐次記憶される。

ステップ１１３の判定において、撮影枚数が多重合成枚数に達した場合に、ＣＰＵ１１２は、多重合成ＪＰＥＧ画像データの作成を画像処理部１０８に指示する。この指示を受けて、画像処理部１０８は、各々のベイヤ画像データに対してデモザイク処理、ＹＣ変換処理を施すことにより、カラー画像データを生成する（ステップＳ１１４）。続いて、画像処理部１０８は、各々のカラー画像データの収差補正を行う（ステップＳ１１５）。この際、画像処理部１０８は、各々のカラー画像データの元となったベイヤ画像データに対応してＤＲＡＭ１０７に記憶された収差情報を読み出す。そして、画像処理部１０８は、各々のカラー画像データと対応する収差情報を用いて収差補正を行う。

収差補正の後、画像処理部１０８は、収差補正がなされたカラー画像データを合成して多重合成カラー画像データを生成する（ステップＳ１１６）。
ここで、カラー画像データの合成の手法について簡単に説明する。カラー画像データの合成は、例えばカラー画像データの色成分毎に加算することで行う。例えば、３枚のＹＣＣデータを合成する場合、３枚のＹＣＣデータにおける同一画素位置のＹ、Ｃｂ、Ｃｒを以下の式に従って加算する。
Ｙ’ ＝Ｙ１＋Ｙ２＋Ｙ３
Ｃｂ’＝Ｃｂ１＋Ｃｂ２＋Ｃｂ３ （式１）
Ｃｒ’＝Ｃｒ１＋Ｃｒ２＋Ｃｒ３
ここで、Ｙｎ、Ｃｂｎ、Ｃｒｎ（ｎ＝１、２、３）は、それぞれ、ｎ枚目のＹＣＣデータにおけるＹの値、Ｃｂの値、Ｃｒの値を示している。ただし、（式１）における色差Ｃｂ、Ｃｒは、何れも０を中心（無彩色）とした値である。

また、カラー画像データの合成の別の例として平均値を求める手法もある。この合成手法は、合成元のカラー画像データの各々の露光量が適正であり、合成画像データの明るさも適正なものとしたい場合に好適なものである。例えば、３枚のＹＣＣデータを合成する場合、３枚のＹＣＣデータにおける同一画素位置のＹ、Ｃｂ、Ｃｒの平均値を以下の式に従って求める。
Ｙ’ ＝（Ｙ１＋Ｙ２＋Ｙ３）/３
Ｃｂ’＝（Ｃｂ１＋Ｃｂ２＋Ｃｂ３）/３ （式２）
Ｃｒ’＝（Ｃｒ１＋Ｃｒ２＋Ｃｒ３）/３
ただし、（式２）における色差Ｃｂ、Ｃｒは、何れも０を中心（無彩色）とした値である。

多重合成カラー画像データの生成後、画像処理部１０８は、例えばＪＰＥＧ方式等の圧縮方式を用いて多重合成カラー画像データを圧縮する（ステップＳ１１７）。実際には、多重合成カラー画像データの生成後に、画像処理部１０８は、ホワイトバランス補正処理、色補正処理、ガンマ変換処理等の画像処理も行っているが、図２では図示を省略している。

多重合成カラー画像データの圧縮が終了した後、ＣＰＵ１１２は、画像記録形式としてカラー画像データが選択されているか否かを判定する（ステップＳ１１８）。ステップＳ１１８の判定において、画像記録形式としてカラー画像データが選択されている場合に、ＣＰＵ１１２は、画像処理部１０８により生成された圧縮画像データ（多重合成ＪＰＥＧ画像データ）に、ＪＰＥＧ画像ファイル用の所定のヘッダ情報を付与して多重合成ＪＰＥＧ画像ファイルを作成する。その後、ＣＰＵ１１２は、作成した多重合成ＪＰＥＧ画像ファイルを記録媒体１０９に記録する（ステップＳ１１９）。一方、ステップＳ１１８の判定において、画像記録形式としてカラー画像データが選択されていない場合に、ＣＰＵ１１２は、ステップＳ１１９の処理をスキップしてステップＳ１２０以後の処理を行う。

次に、ＣＰＵ１１２は、画像記録形式としてベイヤ画像データが選択されているか否かを判定する（ステップＳ１２０）。ステップＳ１２０の判定において、画像記録形式としてベイヤ画像データが選択されていない場合には処理がステップＳ１０１に戻る。一方、ステップＳ１２０の判定において、画像記録形式としてベイヤ画像データが選択されている場合に、ＣＰＵ１１２は、多重合成ベイヤ画像ファイルの記録処理を行う（ステップＳ１２１）。その後、処理がステップＳ１０１に戻る。ステップＳ１２１の多重合成ベイヤ画像ファイルの記録処理において、ＣＰＵ１１２は、多重合成枚数分だけ取得された複数のベイヤ画像データと、ベイヤ画像データの各々に対応した収差情報と、多重合成ＪＰＥＧ画像データと、複数のベイヤ画像データが多重合成モードにおいて取得された一連のベイヤ画像データであること示す多重合成情報が記録されたヘッダ情報とを１つのファイルまとめて記録してなる多重合成ベイヤ画像ファイルを作成する。そして、ＣＰＵ１１２は、作成した多重合成ベイヤ画像ファイルを記録媒体１０９に記録する。

このように、本実施形態では、画像記録形式としてベイヤ画像データが選択されている場合には、多重合成モードであってもベイヤ画像データの合成を行わずに多重合成モードの一連の撮像で得られたベイヤ画像データをそれぞれ記録媒体１０９に記録する。その一方で、各々のベイヤ画像データに対応した収差情報を記録しておく。

以上説明したように、本実施形態では、画像記録モードが多重合成モードであって画像記録形式としてカラー画像データのみが選択されている場合には多重合成ＪＰＥＧ画像ファイルのみが記録媒体１０９に記録される。また、画像記録モードが多重合成モードであって画像記録形式としてベイヤ画像データのみが選択されている場合には多重合成ベイヤ画像ファイルのみが記録媒体１０９に記録される。さらに、画像記録モードが多重合成モードであって画像記録形式としてカラー画像データとベイヤ画像データの両方が選択されている場合には多重合成ＪＰＥＧ画像ファイルと多重合成ベイヤ画像ファイルの両方が記録媒体１０９に記録される。

以下、本実施形態における多重合成モード時の動作を従来の技術と比較しながらさらに詳しく説明する。
まず、画像記録形式がカラー画像データの場合について図３を参照して説明する。ここでは、説明を簡単にするために多重合成枚数が２枚であるとする。また、多重合成モードにおける２回の撮像によって得られる２枚のベイヤ画像データをそれぞれベイヤ画像データ１、ベイヤ画像データ２とする。さらに、ベイヤ画像データ１はレンズ１０１の収差によって樽型に歪んでおり、ベイヤ画像データ２はレンズ１０１の収差によって糸巻き型に歪んでいるものとする。

上述したように、カラー画像データに対する処理において、ＣＰＵ１１２は、多重合成ＪＰＥＧ画像データを生成するように画像処理部１０８に指示を送る。この指示を受けて画像処理部１０８は、ベイヤ画像データ１を読み出し、読み出したベイヤ画像データ１に対してデモザイク処理を施してカラー画像データ１を生成する。その後、画像処理部１０８は、カラー画像データ１における樽型の収差をベイヤ画像データ１の撮像時に得られた収差情報１を用いて補正する。同様に、画像処理部１０８は、ベイヤ画像データ２を読み出し、読み出したベイヤ画像データ２に対してデモザイク処理を施してカラー画像データ２を生成する。その後、画像処理部１０８は、カラー画像データ２における糸巻き型の収差をベイヤ画像データ２の撮像時に得られた収差情報２を用いて補正する。

カラー画像データ１、２の収差補正の後、画像処理部１０８は、収差補正後のカラー画像データ１、２を合成して多重合成カラー画像データを生成する。その後に、画像処理部１０８は、多重合成カラー画像データを圧縮して多重合成ＪＰＥＧ画像データを生成する。多重合成ＪＰＥＧ画像データの作成後、ＣＰＵ１１２は、多重合成ＪＰＥＧ画像データに所定のヘッダ情報を付与して多重合成ＪＰＥＧ画像ファイルを作成する。そして、ＣＰＵ１１２は、作成した多重合成ＪＰＥＧ画像ファイルを記録媒体１０９に記録する。

このように、カラー画像データに対する処理の場合には、収差のない画像データ同士を合成することができるので、収差のない適正な合成画像データを生成することができる。
一方、ベイヤ画像データに対する処理の場合にはカラー画像データに対する処理の場合とは異なる。即ち、ベイヤ画像データに対する処理においては、２枚のベイヤ画像データを単純に合成してしまうと、図４（ａ）に示すように、多重合成ベイヤ画像データ中にベイヤ画像データ１の収差成分とベイヤ画像データ２の収差成分とが残存（加算又は平均化）してしまう。ベイヤ画像データ１とベイヤ画像データ２の収差成分は多重合成カラー画像データにおいても残存する。したがって、このような２枚のベイヤ画像データの収差成分が残存した状態の多重合成ベイヤ画像データに対して収差補正を行うと、図４（ｂ）に示すような結果となる。例えば、収差情報１を用いて収差補正を行うと、ベイヤ画像データ１に起因する樽型の収差成分については正しく補正される反面、ベイヤ画像データ２に起因する糸巻き型の収差成分についてはより強調されてしまう。逆に、収差情報２を用いて収差補正を行うと、ベイヤ画像データ２に起因する糸巻き型の収差成分については正しく補正される反面、ベイヤ画像データ１に起因する樽型の収差成分についてはより強調されてしまう。勿論、収差補正を行わないで圧縮処理を行った場合にはＪＰＥＧ画像データにおいてベイヤ画像データ１の収差成分とベイヤ画像データ２の収差成分とが残存してしまう。

このように、ベイヤ画像データに対する処理の場合には、収差の異なる複数のベイヤ画像データを合成してしまうと、その後に正しい収差補正を行うことができなくなる。
このため、本実施形態では、画像記録形式がベイヤ画像データの場合には、画像記録モードが多重合成モードであってもベイヤ画像データの合成を行わない。その代わりに図３で示したような処理を後処理として行えるように、多重合成ベイヤ画像ファイルに、多重合成モード中の複数回の撮像（露光）により得られたベイヤ画像データの各々と、各々のベイヤ画像データに対応した収差情報とを記録しておく。

図５に多重合成モードにおける多重合成ベイヤ画像ファイル作成までの処理の流れを示す。２枚のベイヤ画像データから多重合成ＪＰＥＧ画像データを生成するまでの処理は図３で示したものと同様である。ここで、図５の処理において作成される多重合成ＪＰＥＧ画像データは、例えば多重合成ベイヤ画像ファイルの内容を示すための再生プレビュー用として用いられるものである。

多重合成ＪＰＥＧ画像データの作成後、ＣＰＵ１１２は、多重合成ＪＰＥＧ画像ファイルと、ベイヤ画像ファイル１と、ベイヤ画像ファイル２とを１つにまとめたマルチ画像ファイルの形式を有する多重合成ベイヤ画像ファイルを作成して記録媒体１０９に記録する。ここで、マルチ画像ファイルとは、複数の画像ファイルが連結したものとして構成される画像ファイルである。また、多重合成ＪＰＥＧ画像ファイルのヘッダ情報としては、ベイヤ画像データ１とベイヤ画像データ２とが多重合成モードに従って記録された一連のベイヤ画像データであることを示す多重合成情報を記録する。また、ベイヤ画像ファイル１のヘッダ情報としては収差情報１を記録する。さらに、ベイヤ画像ファイル２のヘッダ情報としては収差情報２を記録する。

なお、画像記録形式としてカラー画像データも選択されている場合、ＣＰＵ１１２は、図５の処理の途中で生成された多重合成ＪＰＥＧ画像データに基づいて多重合成ＪＰＥＧ画像ファイルを作成し、この作成した多重合成ＪＰＥＧ画像ファイルを多重合成ベイヤ画像ファイルと別個に記録媒体１０９に記録する。

図５に示すようにして作成された多重合成ベイヤ画像ファイルでは収差の異なるベイヤ画像データの合成を行わないようにしているので、後の画像処理において適正な収差補正を行うことができる。また、複数のベイヤ画像ファイルをマルチ画像ファイルの形式で記録することで、ユーザにとっての利便性も向上する。

ここで、多重合成ＪＰＥＧ画像データは、多重合成ベイヤ画像ファイルの内容確認のための再生プレビュー用として用いられるものである。即ち、ユーザが多重合成ベイヤ画像ファイルの内容確認さえできれば良く、再生時の解像度はそれほど高くする必要はない。したがって、多重合成ＪＰＥＧ画像データについてはリサイズ（縮小）して記録するようにしても良い。この場合には、画像処理部１０８において多重合成カラー画像データが生成された後、この多重合成カラー画像データに対してリサイズ（縮小）処理を施してから圧縮して記録することになる。縮小した多重合成ＪＰＥＧ画像データを記録することにより、多重合成ベイヤ画像ファイルのファイルサイズを小さくすることが可能である。また、プレビュー用の画像の再生にかかる処理時間も短縮できる。なお、多重合成ベイヤ画像ファイルの内容確認を不要とすれば、多重合成ＪＰＥＧ画像データを多重合成ベイヤ画像ファイルに記録しなくとも良い。

図６は、図５で示した多重合成ベイヤ画像ファイルの具体的な構成を示した図である。図６の例は、多重合成ベイヤ画像ファイルをマルチ画像ファイルの一例としてのマルチピクチャーフォーマットの形式で構成した例である。一般に、マルチピクチャーフォーマットに従って作成されるマルチ画像ファイルは複数の画像ファイルが連結したものとして構成されている。各画像ファイルは何れも、ＳＯＩ（Start Of Image）から始まり、ＥＯＩ（End Of Image）で終わる。そして、マルチ画像ファイル中の各画像ファイルにはＡＰＰセグメントが設けられており、このＡＰＰセグメントに続いて画像データが記録される。

図５の例で示した多重合成ベイヤ画像ファイルをマルチピクチャーフォーマットに従って作成した場合、多重合成ベイヤ画像ファイルは、図６に示すように、１つの多重合成ＪＰＥＧ画像ファイルと、２つのベイヤ画像ファイル１、２とから構成される。
図６の例において、多重合成ＪＰＥＧ画像ファイルは、２つのＡＰＰセグメントＡＰＰ１（１）、ＡＰＰ２（１）を有している。ＡＰＰセグメントＡＰＰ１（１）には上述した多重合成情報を記録する。ＡＰＰセグメントＡＰＰ２（１）にはＭＰインデックスＩＦＤを記録する。ＭＰインデックスＩＦＤとは、多重合成ベイヤ画像ファイル中に記録されている各ベイヤ画像ファイルに対するオフセット量を示す情報である。なお、オフセット量は、例えば、多重合成ＪＰＥＧ画像データ中のある基準位置（例えば先頭位置）から各ベイヤ画像ファイルのＳＯＩまでの距離（例えばバイト数）とする。このようなＭＰインデックスＩＦＤにより、マルチ画像ファイル中の任意の画像ファイルを読み出すことが可能である。

また、ベイヤ画像ファイル１は２つのＡＰＰセグメントＡＰＰ１（２）、ＡＰＰ２（２）を有しており、ベイヤ画像ファイル２も２つのＡＰＰセグメントＡＰＰ１（３）、ＡＰＰ２（３）を有している。ＡＰＰセグメントＡＰＰ１（２）にはベイヤ画像データ１に対応した収差情報１を記録する。また、ＡＰＰセグメントＡＰＰ１（３）にはベイヤ画像データ２に対応した収差情報２を記録する。

なお、図６は多重合成枚数が２枚の例であるが、多重合成枚数が３枚以上となった場合であっても同様の考え方でマルチ画像ファイルを作成できる。即ち、多重合成枚数が３つ以上となった場合であっても、ＳＯＩからＥＯＩの間に収差情報を記録するＡＰＰセグメントとベイヤ画像データとを記録してなるベイヤ画像ファイルを順次追加するだけで良い。

また、図６で示した多重合成ベイヤ画像ファイルの構成は一例であり、マルチピクチャーフォーマットに準拠する範囲内で多重合成ＪＰＥＧ画像ファイル、ベイヤ画像ファイルの格納方法を自由に設定して良い。
以上のようにして記録媒体１０９に記録された多重合成ベイヤ画像ファイルに対する表示要求がなされた場合、例えばデジタルカメラ１００における画像再生モード時に多重合成ベイヤ画像ファイルが選択された場合には、選択された多重合成ベイヤ画像ファイル中の多重合成ＪＰＥＧ画像データが画像処理部１０８によって読み出されて伸張処理される。そして、伸張処理により得られた多重合成カラー画像データに基づくプレビュー画像がビデオエンコーダ１１０を介して表示部１１１に表示される。

また、本実施形態の多重合成ベイヤ画像ファイルを用いて多重合成ＪＰＥＧ画像ファイルを作成することもできる。図７は、図５のようにして作成された多重合成ベイヤ画像ファイルから多重合成ＪＰＥＧ画像ファイルを作成する際の処理の流れを示す図である。この処理は、例えばユーザによって多重合成ベイヤ画像ファイルの再生指示又は多重合成ＪＰＥＧ画像ファイルの作成指示がなされた場合に行われる。

まず、ユーザによって記録媒体１０９に記録された画像ファイルの再生指示がなされた場合、ＣＰＵ１１２は、ユーザによって選択された画像ファイルのヘッダ情報を読み出す。そして、ヘッダ情報に多重合成情報が記録されている場合に、ＣＰＵ１１２は、ユーザによって選択された画像ファイルが多重合成ベイヤ画像ファイルであることを認識する。そして、ＣＰＵ１１２は、多重合成ベイヤ画像ファイル内のベイヤ画像ファイル１からベイヤ画像データ１とベイヤ画像データ１に対応した収差情報１とを読み出すとともに、ベイヤ画像ファイル２からベイヤ画像データ２とベイヤ画像データ２に対応した収差情報２とを読み出す。その後、ＣＰＵ１１２は多重合成ＪＰＥＧ画像データを生成するように画像処理部１０８に指示を送る。この指示を受けて画像処理部１０８は、ベイヤ画像データ１を読み出し、読み出したベイヤ画像データ１に対してデモザイク処理を施してカラー画像データ１を生成する。その後、画像処理部１０８は、カラー画像データ１における収差をベイヤ画像データ１の撮像時に得られた収差情報１を用いて補正する。同様に、画像処理部１０８は、ベイヤ画像データ２を読み出し、読み出したベイヤ画像データ２に対してデモザイク処理を施してカラー画像データ２を生成する。その後、画像処理部１０８は、カラー画像データ２における収差をベイヤ画像データ２の撮像時に得られた収差情報２を用いて補正する。

カラー画像データ１、２の収差補正の後、画像処理部１０８は、収差補正後のカラー画像データ１、２を合成して多重合成カラー画像データを生成する。多重合成ベイヤ画像ファイルの再生時においては、ＣＰＵ１１２は、画像処理部１０８により多重合成ＪＰＥＧ画像データを伸張させる。そして、ＣＰＵ１１２は、ビデオエンコーダ１１０を制御して、画像処理部１０８における伸張処理により得られた多重合成カラー画像データに基づく画像を表示部１１１に再生する。再生プレビュー用として多重合成ＪＰＥＧ画像データを縮小して記録していた場合であっても、図７で示したようにして多重合成カラー画像データを再生することにより、ユーザは、多重露光モードにおいて得られた複数のベイヤ画像データに対応した高精彩な合成画像を見ることが可能である。

また、多重合成ベイヤ画像ファイルから生成した多重合成カラー画像データを多重合成ＪＰＥＧ画像ファイルとして記録する際には、画像処理部１０８は、多重合成カラー画像データを圧縮して多重合成ＪＰＥＧ画像データを生成する。多重合成ＪＰＥＧ画像データの作成後、ＣＰＵ１１２は、多重合成ＪＰＥＧ画像データに所定のヘッダ情報を付与して多重合成ベイヤ画像ファイルとは別個の多重合成ＪＰＥＧ画像ファイルを作成する。そして、ＣＰＵ１１２は、作成した多重合成ＪＰＥＧ画像ファイルを多重合成ベイヤ画像ファイルとは別個に記録媒体１０９に記録する。

また、本実施形態では、多重合成ベイヤ画像ファイル中の各々のベイヤ画像データを個別にデモザイク処理して個別に収差補正を行うことができる。このため、図８に示すように、多重合成ベイヤ画像ファイルから各ベイヤ画像ファイルに対応した複数のＪＰＥＧ画像ファイルを作成することも可能である。

また、上述した実施形態では、ベイヤ画像データの合成は行わないようにしている。これは、図４で示したように、収差が異なるベイヤ画像データを合成してしまうと、後の収差補正が適正に行えなくなるためである。即ち、収差が等しい（又は収差の差が所定の閾値よりも小さい）ベイヤ画像データ同士であれば合成を行っても良い。ベイヤ画像データの合成を伴う場合の多重合成ベイヤ画像ファイルの作成処理の例を図９に示す。ここでは、多重合成枚数が３枚の例で説明する。また、多重合成モードにおける３回の露光によって得られる３枚のベイヤ画像データをそれぞれベイヤ画像データ１、ベイヤ画像データ２、ベイヤ画像データ３とする。さらに、ベイヤ画像データ２とベイヤ画像データ３とは収差が等しいものとする。

多重合成ＪＰＥＧ画像データの作成の流れは図３で説明したものと同様である。即ち、３枚のベイヤ画像データ１、２、３が個別にデモザイク処理されてカラー画像データ１、２、３が生成される。そして、カラー画像データ１における収差がベイヤ画像データ１の撮像時に得られた収差情報１を用いて補正される。同様に、カラー画像データ２における収差がベイヤ画像データ２の撮像時に得られた収差情報２を用いて補正され、カラー画像データ３における収差がベイヤ画像データ３の撮像時に得られた収差情報３を用いて補正される。このような収差補正の後、画像処理部１０８は、収差補正後のカラー画像データ１、２、３を合成して多重合成カラー画像データを生成する。その後に、画像処理部１０８は多重合成カラー画像データを圧縮して多重合成ＪＰＥＧ画像データを生成する。

さらに、画像処理部１０８は、収差情報１、２、３を比較し、収差の差のないベイヤ画像データ２、３を合成して合成ベイヤ画像データを生成する。このベイヤ画像データの合成の手法について簡単に説明する。ベイヤ画像データの合成は、例えばカラー画像データの合成と同様にベイヤ画像データの色成分毎に加算することで行う。例えば、３枚のＲＡＷ画像データを合成する場合、３枚のＲＡＷ画像データにおける同一画素位置のＲ、Ｇｒ、Ｇｂ、Ｂを以下の式に従って加算する。
Ｒ’ ＝Ｒ１＋Ｒ２＋Ｒ３
Ｇｒ’＝Ｇｒ１＋Ｇｒ２＋Ｇｒ３ （式３）
Ｇｂ’＝Ｇｂ１＋Ｇｂ２＋Ｇｂ３
Ｂ’ ＝Ｂ１＋Ｂ２＋Ｂ３
ここで、Ｒｎ、Ｇｒｎ、Ｇｂｎ、Ｂｎ（ｎ＝１、２、３）は、それぞれ、ｎ枚目のＲＡＷデータにおけるＲの値、Ｇｒの値、Ｇｂの値、Ｂの値を示している。（式３）で示したような加算でなく、平均値を求めるような合成を行うようにしても良い。

また、ベイヤ画像データの合成の別の例としてガンマ補正後の色空間上で合成を行う手法もある。この場合には以下の式に従って合成を行う。
Ｒ’ ＝γ^−１（γ（Ｒ１）＋γ（Ｒ２）＋γ（Ｒ３））
Ｇｒ’＝γ^−１（γ（Ｇｒ１）＋γ（Ｇｒ２）＋γ（Ｇｒ３） （式４）
Ｇｂ’＝γ^−１（γ（Ｇｂ１）＋γ（Ｇｂ２）＋γ（Ｇｂ３）
Ｂ’ ＝γ^−１（γ（Ｂ１）＋γ（Ｂ２）＋γ（Ｂ３））
ここで、γ（）はγ補正後の画素値であることを示す。また、γ^−１（）は逆γ補正後の画素値であることを示す。

多重合成ＪＰＥＧ画像データ及び合成ベイヤ画像データの作成後、ＣＰＵ１１２は、多重合成ＪＰＥＧ画像ファイルと、ベイヤ画像ファイル１と、合成ベイヤ画像ファイルとを１つにまとめた多重合成ベイヤ画像ファイルを作成し、作成した多重合成ベイヤ画像ファイルを記録媒体１０９に記録する。ここで、多重合成ＪＰＥＧ画像ファイルのヘッダ情報としてベイヤ画像データ１と合成ベイヤ画像データとが多重合成モードに従って記録された一連のベイヤ画像データであることを示す多重合成情報を記録する。また、合成ベイヤ画像データを記録する際には、合成ベイヤ画像データが何枚のベイヤ画像データを合成することで生成されたのかを示す情報も多重合成情報として記録しておくことが望ましい。また、ベイヤ画像ファイル１のヘッダ情報としては収差情報１を記録する。さらに、多重合成ベイヤ画像ファイルのヘッダ情報としては収差情報２又は収差情報３を記録する。収差情報２と収差情報３は差異が殆どないので何れかを記録すれば良い。勿論、収差情報２と収差情報３の両方を合成ベイヤ画像データのヘッダ情報として記録しても良い。また、収差情報２と収差情報３から演算により算出した収差情報（例えば収差情報２と収差情報３の平均値）を合成ベイヤ画像データのヘッダ情報として記録しても良い。

このようにして収差の同じベイヤ画像データを合成してしまうことにより、多重合成ベイヤ画像ファイルのファイルサイズを小さくすることが可能である。
ここで、図９の例では、合成カラー画像データを生成する際に、ベイヤ画像データ１、２、３からカラー画像データ１、２、３を生成し、これらカラー画像データ１、２、３を個別に収差補正した上で合成を行うようにしている。これに対し、先に収差の差のないベイヤ画像データ２、３を合成して合成ベイヤ画像データを生成し、この合成ベイヤ画像データを収差補正した上で収差補正済みのカラー画像データ１と合成して合成カラー画像データを生成するようにしても良い。

また、図９の例では、ベイヤ画像データの合成も画像処理部１０８により行うようにしているが、画像処理部１０８とは別個の処理部によって行うようにしても良い。
図１０は、図９のようにして作成された多重合成ベイヤ画像ファイルから多重合成ＪＰＥＧ画像ファイルを作成する際の処理の流れを示す図である。

この処理において、ＣＰＵ１１２は、多重合成ベイヤ画像ファイル内のベイヤ画像ファイル１からベイヤ画像データ１とベイヤ画像データ１に対応した収差情報１とを読み出すとともに、合成ベイヤ画像ファイルから合成ベイヤ画像データと合成ベイヤ画像データに対応した収差情報とを読み出す。その後、ＣＰＵ１１２は多重合成ＪＰＥＧ画像データを生成するように画像処理部１０８に指示を送る。これを受けて画像処理部１０８は、ベイヤ画像データ１と合成ベイヤ画像データの各々に対して個別にデモザイク処理（及びＹＣ変換処理）と収差補正処理とを施す。これにより、図１０に示すように、ベイヤ画像データ１に対してデモザイク処理が施されてカラー画像データ１が生成され、このカラー画像データ１における収差が、ベイヤ画像データ１の撮像時における収差情報１を用いて補正される。同様に、合成ベイヤ画像データに対してデモザイク処理が施されて合成カラー画像データが生成され、この多重合成カラー画像データにおける収差が、ベイヤ画像データ２又はベイヤ画像データ３に対応した収差情報を用いて補正される。

収差補正の後、画像処理部１０８は、収差補正後のカラー画像データ１と合成カラー画像データとを合成して多重合成カラー画像データを生成する。その後に、画像処理部１０８は、多重合成カラー画像データを圧縮して多重合成ＪＰＥＧ画像データを生成する。多重合成ＪＰＥＧ画像データの生成後、ＣＰＵ１１２は、多重合成ＪＰＥＧ画像データに所定のヘッダ情報を付与して多重合成ＪＰＥＧ画像ファイルを作成し、この作成した多重合成ＪＰＥＧファイルを記録媒体１０９に記録する。

ここで、カラー画像データ１と合成カラー画像データとを合成する際に、合成した結果を（式２）の結果と対応させる、即ち３枚のカラー画像データの平均値を求めるように合成する場合と対応させるためには、カラー画像データ１と合成カラー画像データとの合成比を１：２とする必要がある。即ち、合成カラー画像データを別のカラー画像データに合成する場合には、合成カラー画像データの作成に用いられているベイヤ画像データの枚数に応じて合成カラー画像データと別の画像データとの合成比を変える必要がある。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した例は多重合成枚数が２枚、３枚の例を説明しているが、本実施形態の手法は多重合成枚数が２以上の任意の枚数に対して適用可能である。

また、上述した多重合成モードの処理では、ベイヤ画像データの取得から多重合成ベイヤ画像ファイルの作成までの全ての処理をデジタルカメラ１００において行っている。これに対し、例えばデジタルカメラ１００において多重合成ベイヤ画像ファイルの作成を行わないようにしても良い。例えば、デジタルカメラ１００においては多重合成モードで取得された複数のベイヤ画像データと各々のベイヤ画像データに対応した収差情報のみを記録するようにしておき、デジタルカメラ１００とは別の画像処理装置において多重合成ベイヤ画像ファイルを作成するようにしても良い。

さらに、上述した実施形態においては、レンズ１０１と絞り１０２がデジタルカメラ１００の本体と一体的に構成されている例を示している。これに対し、本実施形態の手法は、レンズ交換式のデジタルカメラに対しても適用可能である。この場合には、収差情報は交換レンズに記憶しておく。そして、デジタルカメラ１００の本体と交換レンズとの通信によって収差情報を取得する。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…デジタルカメラ、１０１…レンズ、１０２…絞り、１０３…撮像素子、１０４…アナログアンプ（ＡＭＰ）、１０５…デジタルコンバータ（ＡＤＣ）、１０６…バス、１０７…ＤＲＡＭ、１０８…画像処理部、１０９…記録媒体、１１０…ビデオエンコーダ、１１１…表示部、１１２…ＣＰＵ、１１３…操作部、１１４…ＦＬＡＳＨメモリ

Claims (13)

1. 被写体像を集光するレンズと、
   上記レンズで集光された被写体像を撮像してベイヤ画像データを生成する撮像部と、
   上記ベイヤ画像データをデモザイク処理してカラー画像データを生成するカラー画像処理部と、
   上記撮像時における上記レンズの収差情報を取得する収差情報取得部と、
   当該画像記録装置の画像記録モードを多重合成モードに設定する記録モード設定部と、
   当該画像記録装置の画像記録形式として上記ベイヤ画像データと上記カラー画像データとの少なくとも何れかを選択する記録形式選択部と、
   上記画像記録モードが上記多重合成モードに設定され、かつ、上記画像記録形式として上記ベイヤ画像データが選択された場合に、上記撮像部による撮像を複数回実行させるとともに、該複数回の撮像により生成された複数の上記ベイヤ画像データと、上記複数回の撮像によって生成された複数の上記ベイヤ画像データの各々に対応した上記収差情報と、複数の上記ベイヤ画像データが上記多重合成モードにおいて生成された一連のベイヤ画像データであること示すヘッダ情報と、を１つのファイルにまとめて記録するように制御する記録制御部と、
   複数の上記ベイヤ画像データを合成するベイヤ画像合成部と、
   を具備し、
   上記記録制御部は、上記複数回の撮像の各々に対応した上記収差情報の中に差が所定の閾値よりも小さい組がある場合には、複数の上記ベイヤ画像データを上記１つのファイルに記録するに先立って、上記組の収差情報に対応した複数の上記ベイヤ画像データを上記ベイヤ画像合成部によって合成した後、上記１つのファイルに記録することを特徴とする画像記録装置。
2. 上記収差情報に従って上記カラー画像データにおける収差を補正する収差補正部と、
   上記収差が補正された複数の上記カラー画像データを合成して多重合成カラー画像データを生成するカラー画像合成部と、
   をさらに具備し、
   上記記録制御部は、上記画像記録モードが上記多重合成モードに設定され、かつ、上記画像記録形式として上記ベイヤ画像データが選択された場合に、複数の上記カラー画像データにおける収差を複数の上記カラー画像データの各々に対応した上記収差情報に基づいて上記収差補正部によって補正し、該収差が補正された複数の上記カラー画像データを上記カラー画像合成部によって合成し、該合成により生成された多重合成カラー画像データを、上記１つのファイルにさらにまとめて記録するように制御することを特徴とする請求項１に記載の画像記録装置。
3. 上記記録制御部は、上記多重合成カラー画像データをリサイズ処理してから上記１つのファイルにまとめて記録することを特徴とする請求項２に記載の画像記録装置。
4. 上記１つのファイルは、複数の画像データを記録するためのマルチ画像ファイルの形式に従っていることを特徴とする請求項２又は３に記載の画像記録装置。
5. 上記１つのファイルに記録された多重合成カラー画像データは、上記１つのファイルに対する表示要求がなされた際に読み出されることを特徴とする請求項２又は３に記載の画像記録装置。
6. 上記収差情報は、収差補正後の像高と収差補正前の像高との関係を示す関係式によって表されることを特徴とする請求項２乃至５の何れかに記載の画像記録装置。
7. 上記収差情報は、上記レンズに収差がないと仮定した状態で上記撮像部に被写体像が集光された際の像高である理想像高と上記レンズを介して上記撮像部に実際に被写体像が集光された際の像高である実像高との関係を示す関係式によって表されることを特徴とする請求項２乃至５の何れかに記載の画像記録装置。
8. 上記収差情報は、上記理想像高への補正率をさらに含むことを特徴とする請求項７に記載の画像記録装置。
9. 上記記録制御部は、上記画像記録形式として上記ベイヤ画像データと上記カラー画像データの両方が選択された場合に、上記多重合成カラー画像データを上記１つのファイルとは別のファイルにも記録することを特徴とする請求項２乃至８の何れかに記載の画像記録装置。
10. 上記カラー画像合成部が上記ベイヤ画像合成部を兼用していることを特徴とする請求項２に記載の画像記録装置。
11. 上記多重合成カラー画像データは、ＪＰＥＧ形式で記録されることを特徴とする請求項２乃至９の何れかに記載の画像記録装置。
12. 上記１つのファイルに記録された複数の上記ベイヤ画像データと、上記収差情報と、上記ヘッダ情報とを読み出す読み出し部と、
    上記読み出したヘッダ情報により、複数の上記ベイヤ画像データが上記多重合成モードにおいて生成された一連のベイヤ画像データであるか否かを判定する判定部と、
    をさらに具備し、
    上記記録制御部は、複数の上記ベイヤ画像データが上記多重合成モードにおいて生成された一連のベイヤ画像データであることが判定された場合に、上記１つのファイルに記録された複数の上記ベイヤ画像データの各々を上記カラー画像処理部によってデモザイク処理して複数の上記カラー画像データを取得し、複数の上記カラー画像データにおける収差を複数の上記カラー画像データの各々に対応した上記収差情報に基づいて上記収差補正部によって補正し、該収差が補正された複数の上記カラー画像データを上記カラー画像合成部によって合成し、該合成により生成された多重合成カラー画像データを、上記１つのファイルとは別のファイルとして記録するように制御することを特徴とする請求項２乃至１０の何れかに記載の画像記録装置。
13. 請求項１２に記載の画像記録装置によって記録された１つのファイルを再生する画像再生装置であって、
    複数の上記ベイヤ画像データが上記多重合成モードにおいて生成された一連のベイヤ画像データであることが判定された場合に、上記カラー画像処理部によって複数の上記ベイヤ画像データの各々をデモザイク処理して複数の上記カラー画像データを取得し、複数の上記カラー画像データにおける収差を複数の上記カラー画像データの各々に対応した上記収差情報に基づいて上記収差補正部によって補正し、該収差が補正された複数の上記カラー画像データを上記カラー画像合成部によって合成するように制御する再生制御部と、
    上記再生制御部の制御に従って上記カラー画像合成部によって合成された合成カラー画像データに基づく画像を表示する表示部と、
    を具備することを特徴とする画像再生装置。

Images