JP6320250B2 - 画像記録装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像記録装置および方法、並びにプログラムに関し、特に、動画撮影を中断することなく、静止画撮影を行うことを可能とする画像記録装置の制御技術に関する。

従来、動画撮影時において任意のタイミングで静止画（以下、「動画中静止画」と呼ぶ）を取得する技術が提案されている。本技術では、撮像光学系が単一であるデジタルカメラにおいて、ユーザー指示によって静止画撮影モードとなった場合に、動画記録が中断され、後で動画を鑑賞する際に、静止画取得時のみ動画がストップして再生されるという課題がある。さらに、同時刻に動画と静止画の両方を取得する際に、望ましいシャッター速度が動画と静止画の夫々で異なるといった課題もある。例えば、６０ｆｐｓで動画を撮影すると同時に、１／６０秒よりも長いシャッター速度で静止画を取得したい、という場合に発生する。

上記課題に対して、特許文献１および特許文献２に示す技術が提案されている。特許文献１に示す技術では、入射光を瞳分割光学系により２つの光束に分割し、夫々を静止画撮影用の撮像素子及び、動画撮影用の撮像素子に入射させることによって、動画と静止画を取得する。

また、特許文献２に示す技術では、動画中静止画の取得時に、動画像の１フレームの露光時間を複数に分割して複数の連続撮影画像を取得し、前記画像を位置合わせ無しで合成したものを動画フレーム、位置合わせを行いながら合成した画像を静止画として取得する。

特開２０１３−１６０７８２号公報 特開２０１３−００５１３６号公報

しかしながら、上記特許文献１に記載の技術では、瞳分割に伴うシェーディングが発生し、取得される動画及び静止画にシェーディングによる輝度ムラ、もしくはシェーディングの補正によるノイズムラが生じるという課題がある。また、瞳分割により取得される動画及び静止画の被写界深度が所望の設定値よりも深くなるという課題がある。特許文献１では、前記課題を解決するための記載がない。なお、瞳分割によるシェーディングおよび被写界深度の変化についての詳細は後述する。

さらに、特許文献２に記載の技術では、時分割で撮影を行った複数の画像はそれぞれ露光量が少ないため、合成画像のＳＮが著しく劣化するという課題がある。また、静止画を動画像相当の画像サイズで取得するため、一般的には所望よりも得られる静止画のサイズは小さくなり、仮に拡大して静止画相当のサイズに変換したとしても、拡大処理に伴う解像感の劣化を引き起こしてしまう。

本発明は、上記課題に鑑みて成されたものであり、瞳分割によるシェーディングや被写界深度の変化の影響、および時分割撮影によるＳＮ劣化の影響を最小限に抑えつつ、動画撮影中にシームレスに静止画を取得することを目的とする。

上記目的を達成するために、本発明の画像記録装置は、１つのマイクロレンズと一対の光電変換部を有する複数の画素で構成され、前記複数の画素のそれぞれが光学系の射出瞳を通過した光束を前記マイクロレンズにより前記一対の光電変換部のそれぞれに受光して信号を出力する撮像素子を備える画像記録装置において、前記一対の光電変換部のうちの一方から得られる第１の画像と他方から得られる第２の画像を加算合成して動画フレームを生成する動画フレーム生成手段と、静止画を取得するための前記撮像素子による撮影の撮影条件を決定する決定手段と、前記撮像素子による動画撮影中に静止画取得指示がなされた場合、前記決定手段により決定された撮影条件に基づいて撮影された複数の第１の画像を取得し、当該複数の第１の画像のうち１枚の静止画を生成するために必要な枚数を加算合成して静止画を生成する静止画生成手段とを備え、前記動画フレーム生成手段は、動画フレームを生成するために必要な枚数を加算合成した第１の画像と前記第２の画像から動画フレームを生成することを特徴とする。

本発明によれば、瞳分割によるシェーディングや深度変化の影響、および時分割撮影によるＳＮ劣化の影響を最小限に抑えつつ、動画撮影中にシームレスに静止画を取得することができる。

本発明の第１の実施形態に係る画像記録装置の一例であるデジタルカメラの機能構成を示すブロック図である。 （ａ）図１における撮像部の画素配列を示す図、（ｂ）図２（ａ）に示す画素２００を拡大した図である。 撮像部の撮像面全体を示す図である。 図２（ｂ）に示す画素のＳ−Ｓ断面を＋ｙ側から見た断面図と光学系の射出瞳面である。 図４に示す画素のｘ軸断面における受光特性を示す図である。 （ａ）周辺像高部に配置された画素が有する瞳分割画素の投影像を示した図、（ｂ）図６（ａ）の瞳強度分布を説明するための図である。 瞳分割画素Ａと瞳分割画素Ｂの明るさ（輝度）の変化を示す図である。 第１の実施形態における動画優先モード時の画像処理部の動作処理を示すフローチャートである。 時分割静止画の撮影条件の決定方法の一例を示す図である。 図８のステップＳ８１１における動作処理の具体例を示す図である。 図８のステップＳ８０９における表示用動画フレーム生成処理の具体例を示す図である。 第２の実施形態における静止画優先モード時の画像処理部の動作処理を示すフローチャートである。 図１２のステップＳ１２１１における動作処理の具体例を示す図である。 図１２のステップＳ１２０９における表示用動画フレーム生成処理の具体例を示す図である。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

［第1の実施形態］
図１は、本発明の第１の実施形態に係る画像記録装置の一例であるデジタルカメラの機能構成を示すブロック図である。

デジタルカメラ１００は、システム制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、光学系１０４、撮像部１０５、Ａ／Ｄ変換部１０６、画像処理部１０７、記録媒体１０８、およびシステムバス１０９を備える。

システム制御部１０１は、例えばＣＰＵであり、制御プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える複数の機能ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、上記制御プログラムに加えて、各種機能ブロックの動作に必要なパラメータ等を記憶する。焦点検出などに必要なレンズ情報として、射出瞳距離もＲＯＭ１０２に記憶されている。

ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各種機能ブロックの動作において、出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像するレンズ群である。光学系１０４には絞りも含まれており、絞りを調節することで撮影時の光量調節を行う。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、主に、ＲＡＭ１０３から画像データを読み出して所定の画像処理を行う。記録媒体１０８は着脱可能なメモリカード等であり、画像処理部１０７により画像処理された画像データやＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像データなどが記録画像として保存される。システムバス１０９は、各種機能ブロックの間で信号のやり取りを行うために用いられる。

図２（ａ）は、図１における撮像部１０５の画素配列を示す図である。図２（ｂ）は、図２（ａ）に示す画素２００を拡大した図である。

撮像部１０５では、図２（ａ）に示すように、画素２００が二次元的に規則的に配列されている。

画素２００は、図２（ｂ）に示すように、マイクロレンズ２０１と、一対の光電変換部２０３Ａ，２０４Ｂ（以下、「瞳分割画素２０３Ａ，２０４Ｂ」と呼ぶ。）から構成される。

図３は、撮像部１０５の撮像面全体を示す図であり、画素２００は撮像面の中央近傍（符号３００）に配置された画素とする。また、撮像部１０５のいずれの画素も、瞳分割画素２０３Ａ，２０４Ｂのそれぞれが独立に受光して得られた信号を出力することができる。なお、図３における符号３０１については後述する。

画素２００の右側にある瞳分割画素２０３Ａから出力された信号をＡ（ｘ，ｙ）、左側にある瞳分割画素２０４Ｂから出力された信号をＢ（ｘ，ｙ）としたとき、全開口信号ｇ（ｘ，ｙ）は下記（式１）で表現される。

ｇ（ｘ，ｙ）＝Ａ（ｘ，ｙ）＋Ｂ（ｘ，ｙ）・・・（式１）
以下の説明では、瞳分割画素２０３Ａもしくは瞳分割画素２０４Ｂの信号から成る画像を瞳分割画像と呼び、瞳分割画素２０３Ａから得られる画像をＡ像、瞳分割画素２０４Ｂから得られる画像をＢ像と呼ぶ。また、全開口信号ｇから成る画像を全開口画像と呼ぶ。

次に、画素２００における瞳分割の概念について図４を参照して説明する。

図４は、図２（ｂ）に示す画素２００のＳ−Ｓ断面を＋ｙ側から見た断面図と光学系１０４の射出瞳面である。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸とｙ軸を図２に対して反転させている。なお、図４において、図２と同じ部分は同じ符号で表記している。

撮像部１０５は、光学系１０４の結像面近傍に配置されている。被写体からの光束は、光学系１０４の射出瞳４００を通過して、それぞれの画素に入射する。射出瞳４００の大きさは、絞りの大きさや、レンズを保持するレンズ枠などの大きさによって変化する。

瞳部分領域４０１Ａ，４０２Ｂは、２×１分割された瞳分割画素２０３Ａ，２０４Ｂの受光面と、マイクロレンズ２０１によって、概ね共役関係になっている。従って、各瞳部分領域を通過した光束は、共役関係にある各瞳分割画素で受光される。

光学系１０４の射出瞳４００は、瞳分割数をＮｐ＝Ｍ×Ｎとして、異なる瞳部分領域にＮｐ分割される。光学系１０４の絞り値をＦとすると、瞳部分領域の実効絞り値は、概ね√（Ｍ×Ｎ）Ｆとなる。また、瞳領域４０３は、Ｍ×Ｎ分割された光電変換部を全て合わせた際の画素２００全体で受光可能な瞳領域（全開口領域）である。

本実施形態では、瞳分割数Ｍ×Ｎを２×１としているので、瞳部分領域の実効絞り値は√２Ｆとなる。つまり、Ａ像、Ｂ像のそれぞれは全開口画像と比較して、一段分被写界深度が深く、暗い画像となる。

図５は、図４に示す画素２００のｘ軸断面における受光特性を示す図である。

図５において、横軸は光学系１０４の射出瞳面における水平座標、縦軸は瞳分割画素の受光効率を表す。また、この縦軸は、各開口絞りの透過率分布でもあるので、瞳分割画素の光束受光効率と見なすことができる。この光束受光効率の分布特性を瞳強度分布と呼ぶこととする。また、図５における点線は射出瞳４００の幅を投影したものである。

図４および図５において、撮像面の中央近傍の画素における瞳分割画素２０３Ａ，２０４Ｂに受光する光量は等しくなる。

瞳分割画素２０３Ａの瞳強度分布５０１Ａに着目すると、＋ｘ側はセンサの瞳分割性能が十分でないことによる回折ボケのため緩やかなカーブとなっている。一方、−ｘ側はレンズ枠のケラレにより急なカーブになる。そのため、瞳強度分布５０１Ａは、強度のピークに対して非対称になっている。他方、瞳分割画素２０４Ｂの瞳強度分布５０２Ｂに関しては、瞳強度分布５０１Ａが左右反転した形状となっていて同様のことが言える。

次に、図３に示す撮像部１０５の３０１に示す周辺像高部に配置された画素について説明する。

図６（ａ）は周辺像高部に配置された画素が有する瞳分割画素の投影像を示した図である。図６（ｂ）は、図６（ａ）の瞳強度分布を説明するための図である。

図６（ａ）において、周辺像高における画素でも、瞳部分領域６０１Ａ，６０２Ｂおよび瞳領域６０３の構成は図４と同じである。一方、射出瞳６００の形状は口径食（ケラレ）によって変化する。その結果、シェーディングが発生する。そのため、射出瞳の投影像の重心が瞳部分領域６０１Ａの中心寄りになり、図６（ｂ）に示すように、瞳部分領域６０１Ａの方が瞳部分領域６０２Ｂよりも受光効率が高くなり、明るい画像となる。他方、反対の周辺像高では、この現象の逆が起こり、瞳部分領域６０２Ｂの方が瞳部分領域６０１Ａよりも受光効率が高くなり、明るい画像となる。ここで、周辺像高部における瞳分割画素Ａと瞳分割画素Ｂの明るさの関係を図７に示す。

図７は、瞳分割画素Ａと瞳分割画素Ｂの明るさ（輝度）の変化を示す図である。

図７において、実線は瞳分割画素Ａを、点線は瞳分割画素Ｂを表している。図７において、−ｘ側では瞳分割画素Ａの方が、瞳分割画素Ｂよりも明るいので、Ｂ像と比較してＡ像の方が被写界深度が浅く、画像のノイズ量を表す指標であるＳ／Ｎ比が向上する。一方、＋ｘ側ではその逆となる。

以上が、撮像部１０５における画素配列及び瞳分割の概念であり、瞳分割に伴うシェーディング及び被写界深度差の発生という課題の説明である。

次に、デジタルカメラ１００内の画像処理部１０７で実行される、動画中静止画の取得処理について説明する。

本実施形態では、取得される静止画よりも動画の画質の方に重点を置いた処理となっており、静止画の画質の方に重点を置いた処理に関しては第２実施形態で説明を行う。以下、前者の処理を動画優先モード、後者の処理を静止画優先モードと呼ぶ。

図８は、第１の実施形態における動画優先モード時の画像処理部１０７の動作処理を示すフローチャートである。

前提として、本処理の開始時点でデジタルカメラ１００は動画撮影中であるものとする。また、撮像部１０５の撮影モードには、動画モードと静止画モードがあり、これら２つのモードは、それぞれ読み出し画像の画素数やシャッター速度などの撮影条件が異なっている。以下、Ａ像とＢ像で動作が異なるため、それぞれに分けて説明を行う。

Ａ像の処理に関しては、まず、ステップＳ８０１において、画像処理部１０７は、静止画取得指示の有無を判定する。静止画取得指示とは、例えばデジタルカメラ１００のレリーズボタン（不図示）の半押しなどの外部からの操作が挙げられる。

ステップＳ８０１において、静止画取得指示がなしと判定した場合、ステップＳ８０２に進み、動画モードでの撮影が行われる。一方、静止画取得指示有りと判定した場合には、ステップＳ８０３に進み、静止画モードでの撮影が行われる。

ステップＳ８０３では、画像処理部１０７は、静止画モードの撮影条件を決定する。静止画モードの撮影条件とは、１枚の静止画を撮影する際の撮影条件であり、具体的には、撮影感度、絞り値、シャッター速度であり、撮影画角の明るさから最適な露出となるように自動決定される。

次に、ステップＳ８０４では、画像処理部１０７は、時分割静止画の撮影条件の決定処理を行う。ここで、静止画を時分割で取得する理由は主に２点ある。１つは動画モードにおけるシャッター速度と、静止画モードにおけるシャッター速度が異なる場合があるからである。もう１つは瞳分割による画質的な課題（シェーディングや被写界深度差）を解決するために、本実施形態では動画フレームを全開口画像で生成するので、静止画モードで取得されたＡ像から、Ｂ像と対となる動画フレームも生成する必要があるからである。

動画モードにおけるシャッター速度と、静止画モードにおけるシャッター速度の違いについて説明する。

例えば、６０ｆｐｓの動画ではフレームレートの関係上、シャッター速度は１／６０秒以下となるが、暗いシーンを撮影する場合における静止画のシャッター速度は、それよりも長い時間が好ましい。また、ダイナミックレンジ拡大処理などで、静止画を適正な明るさよりもアンダー露出で撮影する場合には、静止画のシャッター速度は動画と比較して短時間であることが好ましい。以上の理由により、動画モードと静止画モードのシャッター速度が異なる場合があるため、後の合成処理で合成枚数を変えることにより、動画と静止画のどちらにも対応できるよう、撮影速度を短くし時分割的に撮影する。従って、時分割静止画の撮影条件として、露出条件の他に、静止画を時分割で取得する枚数も必要となる。

ステップＳ８０４における時分割静止画の撮影条件の決定方法について図９を用いて詳細に説明する。

図９は、時分割静止画の撮影条件の決定方法の一例を示す図である。

図９では、動画のシャッター速度Ｔｖ＿ｍｏｖｉｅが１／１００秒、静止画のシャッター速度Ｔｖ＿ｓｔｉｌｌが１／６０秒の場合を示している。

まず、Ｔｖ＿ｍｏｖｉｅとＴｖ＿ｓｔｉｌｌを簡単な整数比で表す。つまり、図９の例では、Ｔｖ＿ｓｔｉｌｌ：Ｔｖ＿ｍｏｖｉｅ＝５：３となる。ここで、整数比が、動画及び静止画を生成する際に必要な加算枚数Ｎ＿ｓｔｉｌｌ，Ｎ＿ｍｏｖｉｅとなる。さらに、動画及び静止画の所望のシャッター速度を、それぞれの加算枚数で除算した値が、時分割静止画のシャッター速度Ｔｖ＿ｄｉｖである。図９の例では、Ｔｖ＿ｄｉｖ＝１／３００秒である。

本実施形態では、１枚の静止画を生成するために５枚の時分割静止画を取得する必要があるが、１フレームの動画を生成するためには３枚の時分割静止画が必要である。そこで、連続的に動画フレームを生成するために、時分割静止画を６枚取得し、うち５枚を合成して静止画を生成し、この静止画３枚ずつを合成して２フレームの動画フレームを生成する。従って、時分割静止画取得枚数は６枚となる。このように、撮影条件、１枚の静止画を生成するための必要な枚数および動画フレームを生成するための必要な枚数は、撮像素子から出力される信号の信号レベルに基づいて決定される。

図８に戻り、ステップＳ８０５において、画像処理部１０７は、上述の方法で決定した撮影条件により時分割静止画を取得し、ステップＳ８０６において、時分割静止画を所定枚数分取得したかどうかを判定する。未取得と判定した場合、画像処理部１０７は、ステップＳ８０５に戻って静止画の取得を継続する。一方、取得済みと判定した場合、画像処理部１０７は静止画取得指示をＯＦＦ（解除）し（ステップＳ８０７）、動画撮影モードに遷移する。

他方、Ｂ像では、静止画取得指示の有無にかかわらず、ステップＳ８０８で継続的に動画撮影が行われる。

ステップＳ８０９の表示用動画フレーム生成処理では、静止画取得指示がある場合にはＢ像の動画フレームのみが入力され、静止画取得指示がない場合には、Ａ像およびＢ像の動画フレームが入力される。なお、Ａ像およびＢ像で取得された動画フレームや時分割静止画は、ＲＯＭ１０２に格納される。なお、ステップＳ８０９の表示用動画フレーム生成処理の詳細については後述する。

次に、ステップＳ８１０において、画像処理部１０７は、動画記録停止指示の有無を判定する。動画記録停止指示とは、例えばデジタルカメラ１００の動画撮影ボタン(不図示）の押下などの外部からの操作が挙げられる。

ステップＳ８１０において、動画記録停止指示がなしと判定した場合には、ステップＳ８０１に戻って動画撮影が継続される。一方、動画記録指示があり判定した場合には、ステップＳ８１１の本記録用動画、静止画作成処理が実行される。

ステップＳ８１１では、画像処理部１０７は、ＲＯＭ１０２に記録された動画フレームおよび時分割静止画から、本記録用の動画および静止画を生成する。ステップＳ８１１における動作処理の具体例を図１０に示す。

図１０では、動画の任意の７フレームを抽出し、動画撮影中に静止画取得指示が出された場合の本記録用の動画及び静止画を生成する過程を示している。

図１０において、水平軸は時間ｔを示し、垂直軸は取得される画像の垂直方向の解像度（画素）を示す。また、Ａ像およびＢ像から得られる動画フレームをそれぞれＡ１，Ａ２・・Ａ７，Ｂ１，Ｂ２・・Ｂ７とし、３フレーム目のタイミングで時分割静止画の取得が開始される。

時分割静止画はＡ像として取得され、撮影条件は図９の例と同じである。すなわち、動画、静止画、および時分割静止画のシャッター速度はそれぞれ１／１００秒、１／６０秒、１／３００秒であり、時分割静止画の取得枚数は６枚である。なお、取得される時分割静止画はそれぞれ、ＡＳ１、ＡＳ２・・、ＡＳ６とする。さらに、取得される動画フレームおよび静止画の垂直方向の解像度（画素）は、それぞれ２０００ピクセル、８０００ピクセルとする。

まず、上述のように、時分割静止画が６枚撮影され、生成される動画フレームは２フレームとなる。従って、静止画取得指示が出されている期間は３フレーム目と４フレーム目となる。よって、それ以外の１，２，５，６，７フレームは、Ａ像、Ｂ像共に動画フレームを取得し、本記録動画は各フレームのＡ像とＢ像を加算した全開口画像となる。

次に、静止画撮影モードとなる３，４フレームの説明を行う。

まず、本記録静止画は、連続撮影された６枚の時分割静止画のうち、ＡＳ１〜ＡＳ５の５枚の静止画の合成処理により得られる。なお、合成処理の手法は問わないが、ここでは５枚の時分割静止画を加算合成し、１枚の静止画を生成するものとする。

次に、静止画撮影モードにおける本記録動画の生成について説明する。

Ｂ像では動画フレームＢ３とＢ４が得られているのに対し、Ａ像では時分割静止画で撮影されているため、加算合成処理によって対応する動画フレームを得る必要がある。また、Ａ像では、静止画相当の解像度（画素）で撮影されているため、動画フレーム相当の画素数に縮小する必要がある。ここでは、バイリニア縮小処理によりＡＳ１〜ＡＳ６を縮小する。縮小したＡ像静止画を縮小ＡＳ１〜縮小ＡＳ６，動画フレームＢ３とＢ４に対応するＡ像フレームを、Ａ３’，Ａ４’とする。その場合、図１０に示すように、Ａ３’は縮小ＡＳ１〜縮小ＡＳ３の加算合成、Ａ４’は縮小ＡＳ４〜縮小ＡＳ６の加算合成によって生成されたものである。そして、Ａ３’とＢ３、Ａ４’とＢ４フレームを加算し、全開口画像の動画フレームを得る。

以上がステップＳ８１１の動作であり、ステップＳ８１１において、本記録される動画および静止画が生成される。生成された本記録動画および静止画はＲＯＭ１０２に記録され、本処理が終了する。

次に、図８のステップＳ８０９の表示用動画フレーム生成処理の詳細について図１１を用いて説明する。

本記録動画の生成では、複数の時分割静止画を取得して合成する合成処理を伴うため、処理のリアルタイム性の観点から、デジタルカメラの表示部にライブ表示することが困難であると考えられる。従って、本記録される動画とは異なるものの、リアルタイムにユーザーが撮影した動画を確認するための表示用動画を簡易的に生成する必要がある。

図１１は、図８のステップＳ８０９における表示用動画フレーム生成処理の具体例を示す図である。

図１１に示すように、静止画撮影を行わないフレーム１，２，５，６，７については、本記録動画と同様にＡ像とＢ像を加算した全開口動画を表示用動画とする。また、静止画撮影を行うフレーム３，４については、Ｂ像で取得した動画フレームＢ３，Ｂ４のみを用いる。

しかしながら、動画フレームＢ３，Ｂ４は瞳分割を行ったうちの片側の像であるため、上述の瞳分割によるシェーディング、被写界深度の差異が発生している。

そこで、図１１に示すように、まずＢ３，Ｂ４にゲインをかけ、瞳分割によるシェーディングを補正する。具体的には、図７に示したシェーディングの影響を打ち消すような特性を持った面ゲインを乗じる。次に、すでに取得されたＡ像、Ｂ像の動画フレームのペアから画像のデフォーカス量を算出し、デフォーカス量に応じて被写界深度差を補うためのボケを、ゲイン乗算後のＢ３，Ｂ４に付加する。

図１１におけるＤｅｆＭＡＰとは、デフォーカス量の分布を表すデフォーカスマップである。デフォーカスマップ処理の具体的な方法は、例えば特開２００８−０１５７５４号公報において開示されている技術などが挙げられる。

図１１の例では、動画フレームのペアを２フレーム前のＡ１，Ｂ１としたが、実際はボケ付加処理にかかる処理時間によって、何フレーム前の情報を基にデフォーカスマップを生成するかが決まる。なお、動画撮影によって刻々と画角が変わっていくため、デフォーカスマップは定期的に更新することが望ましい。

以上がステップＳ８０９の処理の説明であり、ステップＳ８０９によって、表示用の動画フレームが生成され、デジタルカメラの表示部にライブ表示される。

上記第１の実施形態によれば、瞳分割画像であるＡ像およびＢ像で静止画および動画をそれぞれ取得し、特に静止画を時分割で撮影して適切に合成処理を行うことで、動画撮影を中断することなく静止画を取得することが可能となる。特に、本実施形態では、瞳分割した片方の像で継続的に動画撮影を行い、時分割したもう片方の像の静止画から対となるフレームを作って加算する。これにより、全開口動画に相当する動画が取得でき、動画においては瞳分割による画質への弊害（シェーディング、被写界深度差）を抑制することが可能となる。

［第２の実施形態］
上記第１の実施形態では、動画の画質を優先して、シームレスに動画中静止画を取得する方法について説明した。本第２の実施形態では、シームレスに動画中静止画を取得しつつ、静止画の画質を優先させる方法（静止画優先モード）について説明を行う。以下、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。

本第２の実施形態では、画像処理部１０７の処理内容が上記第１の実施形態と異なる。

図１２は、第２の実施形態における静止画優先モード時の画像処理部１０７の動作処理を示すフローチャートである。

まず、ステップＳ１２０１の判定結果から静止画取得指示がないと判定した場合、上記第１の実施形態と同様に、画像処理部１０７は、Ａ像、Ｂ像共に動画モードで画像を取得して（ステップＳ１２０７）、ステップＳ１２０９へ進む。

一方、ステップＳ１２０１で静止画取得指示があると判定した場合は、画像処理部１０７は、Ａ像で静止画を取得し（ステップＳ１２０２）、Ｂ像で時分割静止画を取得する（ステップＳ１２０３〜ステップＳ１２０６）。ここで、Ａ像の静止画は時分割撮影ではなく、所定のシャッター速度による１枚撮影である。また、ステップＳ１２０３，Ｓ１２０４における時分割静止画の撮影条件の決定方法は、上述した図８のステップＳ８０３，Ｓ８０４と同一である。

次に、画像処理部１０７は、ステップＳ１２０５およびステップＳ１２０６にて時分割静止画の取得枚数が所定枚数に達するまで時分割静止画を取得する。そして、所定枚数に達したときにはステップＳ１２０８〜ステップＳ１２１０を経て、本記録用の動画および静止画生成を行う（ステップＳ１２１１）。取得された静止画はＲＯＭ１０２に記録される。なお、ステップＳ１２０９の表示用動画フレーム生成処理の詳細については後述する。

ステップＳ１２１１では、画像処理部１０７は、ＲＯＭ１０２に記録された静止画および時分割静止画から、本記録用の動画および静止画を生成する。ステップＳ１２１１における動作処理の具体例を図１３に示す。なお、図１３における動画および静止画の撮影条件、ならびに動画および静止画の垂直方向の画素数は、上記第１の実施形態における図１０に示すものと同一とする。

図１３において、まず、第１の実施形態と同様に、静止画取得指示がない１，２，５，６，７フレームにおいては、Ａ像とＢ像のいずれも動画モードで動画フレームを撮影し、本記録動画としてＡ像とＢ像を加算した全開口動画を記録する。

次に、静止画取得指示ありの３，４フレームでは、Ａ像では時分割を行わずに静止画を撮影し、Ｂ像では時分割静止画を撮影する。ここで、Ａ像で取得された静止画をＡＳ、Ｂ像で取得された時分割静止画をＢＳ１〜ＢＳ６と呼ぶ。

まず、本記録動画は、連続撮影された時分割静止画ＢＳ１〜ＢＳ６を縮小処理し（以下、「縮小ＢＳ１〜縮小ＢＳ６」と呼ぶ）、縮小ＢＳ１〜縮小ＢＳ３を加算合成する。そして、動画の３フレーム目に対応するＢ３’フレームを生成し、縮小ＢＳ４〜縮小ＢＳ６を加算合成して、動画の４フレーム目に対応するＢ４’フレームを生成する。

また、本記録静止画は、Ａ像から得られた静止画ＡＳと、ＡＳに対応するＢ像の静止画を加算し、全開口静止画として取得する。ここで、Ｂ像の静止画は、時分割処理で得られた時分割静止画ＢＳ１〜ＢＳ５を加算合成処理して取得する。

以上がステップＳ１２１１の動作であり、ステップＳ１２１１において、本記録される動画および静止画が生成される。生成された本記録動画および静止画はＲＯＭ１０２に記録され、本処理が完了する。

次に、ステップＳ１２０９の表示用動画フレーム生成処理の詳細について説明する。

図１４は、図１２のステップＳ１２０９における表示用動画フレーム生成処理の具体例を示す図である。

図１４に示すように、静止画撮影を行わないフレーム１，２，５，６，７については、本記録動画と同様にＡ像とＢ像を加算した全開口動画を表示用動画とする。また、静止画撮影を行うフレーム３，４については、Ｂ像で取得した時分割静止画のうちＢＳ１，ＢＳ４のみを用いる。

しかしながら、時分割静止画ＢＳ１，ＢＳ４は瞳分割を行ったうちの片側の像であるため、上述の瞳分割によるシェーディング、被写界深度の差異が発生している。さらに、ＢＳ１，ＢＳ４は時分割されており、シャッター速度が短いため、適正露出よりも暗い画像となっている（本実施形態では適正露出の１／３の明るさ）。

そこで、図１４に示すように、まずＢＳ１，ＢＳ４にゲインをかけ、明るさを適正露出相当にすると共に、瞳分割によるシェーディング補正を行う。次に、すでに取得されたＡ像、Ｂ像の動画フレームのペアから画像のデフォーカス量を算出し、デフォーカス量に応じて被写界深度差を補うためのボケを、ゲイン乗算後のＢＳ１，ＢＳ４に付加する。なお、ボケ付加処理に関しては、上記第１の実施形態における図１１にて説明したものと同様である。

上記第２の実施形態によれば、瞳分割画像であるＡ像およびＢ像で静止画および時分割静止画をそれぞれ取得し、特に時分割静止画を適切に合成処理することで、動画撮影を中断することなく静止画を取得することが可能となる。特に、本実施形態では、瞳分割した片方の像で時分割せずに静止画撮影を行い、時分割したもう片方の像の静止画から対となる静止画を作って加算する。これにより、全開口静止画に相当する静止画が取得でき、静止画においては瞳分割による画質への弊害（シェーディング、被写界深度差）を抑制することが可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ システム制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録媒体
１０９ システムバス

Claims (12)

1. １つのマイクロレンズと一対の光電変換部を有する複数の画素で構成され、前記複数の画素のそれぞれが光学系の射出瞳を通過した光束を前記マイクロレンズにより前記一対の光電変換部のそれぞれに受光して信号を出力する撮像素子を備える画像記録装置において、
   前記一対の光電変換部のうちの一方から得られる第１の画像と他方から得られる第２の画像を加算合成して動画フレームを生成する動画フレーム生成手段と、
   静止画を取得するための前記撮像素子による撮影の撮影条件を決定する決定手段と、
   前記撮像素子による動画撮影中に静止画取得指示がなされた場合、前記決定手段により決定された撮影条件に基づいて撮影された複数の第１の画像を取得し、当該複数の第１の画像のうち１枚の静止画を生成するために必要な枚数を加算合成して静止画を生成する静止画生成手段とを備え、
   前記動画フレーム生成手段は、動画フレームを生成するために必要な枚数を加算合成した第１の画像と前記第２の画像から動画フレームを生成することを特徴とする画像記録装置。
2. 前記決定手段は、前記撮影条件として、前記動画のシャッター速度と前記静止画のシャッター速度を簡単な整数比で表したものから前記静止画および前記動画フレームを生成するために必要な枚数を決定することを特徴とする請求項１に記載の画像記録装置。
3. 前記決定手段は、前記複数の静止画を取得するためのシャッター速度を、前記動画のシャッター速度を前記動画フレームを生成するための必要な枚数で除算するか、または、前記静止画のシャッター速度を前記静止画を生成するために必要な枚数で除算して算出することを特徴とする請求項２に記載の画像記録装置。
4. 前記静止画取得指示が出された場合において、前記第２の画像を動画フレーム相当の画素数に縮小し、さらに所定のゲインをかけたのち、所定のボケ付加処理を施して、表示用の動画フレームとして出力する表示用動画フレーム生成手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像記録装置。
5. １つのマイクロレンズと一対の光電変換部を有する複数の画素で構成され、前記複数の画素のそれぞれが光学系の射出瞳を通過した光束を前記マイクロレンズにより前記一対の光電変換部のそれぞれに受光して信号を出力する撮像素子を備える画像記録装置において、
   前記一対の光電変換部のうちの一方から得られる第１の画像と他方から得られる第２の画像を加算合成して動画フレームを生成する動画フレーム生成手段と、
   静止画を取得するための前記撮像素子による撮影の撮影条件を決定する決定手段と、
   前記撮像素子による動画撮影中に静止画取得指示がなされた場合、前記決定手段により決定された撮影条件に基づいて撮影された複数の第２の画像を取得し、当該複数の第２の画像のうち１枚の静止画を生成するために必要な枚数を加算合成した静止画と１枚の前記第１の画像とを加算合成して静止画を生成する静止画生成手段とを備え、
   前記動画フレーム生成手段は、動画フレームを生成するために必要な枚数を加算合成した第２の画像から前記動画フレームを生成することを特徴とする画像記録装置。
6. 前記決定手段は、前記撮影条件として、前記動画のシャッター速度と前記静止画のシャッター速度を簡単な整数比で表したものから前記静止画および前記動画フレームを生成するために必要な枚数を決定することを特徴とする請求項５に記載の画像記録装置。
7. 前記決定手段は、前記複数の静止画を取得するためのシャッター速度を、前記動画のシャッター速度を前記動画フレームを生成するための必要な枚数で除算するか、または、前記静止画のシャッター速度を前記静止画を生成するために必要な枚数で除算して算出することを特徴とする請求項６に記載の画像記録装置。
8. 前記静止画取得指示が出された場合において、前記第２の画像に所定のゲインをかけたのち、所定のボケ付加処理を施した画像を、表示用の動画フレームとして出力する表示用動画フレーム生成手段をさらに有することを特徴とする請求項５乃至７のいずれか１項に記載の画像記録装置。
9. 前記撮影条件、前記１枚の静止画を生成するための必要な枚数および前記動画フレームを生成するための必要な枚数は、前記撮像素子から出力される信号の信号レベルに基づいて決定されることを特徴とする請求項１乃至８のいずれか１項に記載の画像記録装置。
10. １つのマイクロレンズと一対の光電変換部を有する複数の画素で構成され、前記複数の画素のそれぞれが光学系の射出瞳を通過した光束を前記マイクロレンズにより前記一対の光電変換部のそれぞれに受光して信号を出力する撮像素子を備える画像記録装置の画像記録方法において、
    前記一対の光電変換部のうちの一方から得られる第１の画像と他方から得られる第２の画像を加算合成して動画フレームを生成する動画フレーム生成工程と、
    静止画を取得するための前記撮像素子による撮影の撮影条件を決定する決定工程と、
    前記撮像素子による動画撮影中に静止画取得指示がなされた場合、前記決定工程にて決定された撮影条件に基づいて撮影された複数の第１の画像を取得し、当該複数の第１の画像のうち１枚の静止画を生成するために必要な枚数を加算合成して静止画を生成する静止画生成工程とを備え、
    前記動画フレーム生成工程は、動画フレームを生成するために必要な枚数を加算合成した第１の画像と前記第２の画像から動画フレームを生成することを特徴とする画像記録方法。
11. １つのマイクロレンズと一対の光電変換部を有する複数の画素で構成され、前記複数の画素のそれぞれが光学系の射出瞳を通過した光束を前記マイクロレンズにより前記一対の光電変換部のそれぞれに受光して信号を出力する撮像素子を備える画像記録装置の画像記録方法において、
    前記一対の光電変換部のうちの一方から得られる第１の画像と他方から得られる第２の画像を加算合成して動画フレームを生成する動画フレーム生成工程と、
    複数の静止画を取得するための前記撮像素子による撮影の撮影条件を決定する決定工程と、
    前記撮像素子による動画撮影中に静止画取得指示がなされた場合、前記決定工程にて決定された撮影条件に基づいて撮影された複数の第２の画像を取得し、当該複数の第２の画像のうち１枚の静止画を生成するために必要な枚数を加算合成した静止画と１枚の前記第１の画像とを加算合成して静止画を生成する静止画生成工程とを備え、
    前記動画フレーム生成工程は、動画フレームを生成するために必要な枚数を加算合成した第２の画像から前記動画フレームを生成することを特徴とする画像記録方法。
12. 請求項１０または１１に記載の画像記録方法をコンピュータに実行させるためのコンピュータに読み取り可能なプログラム。

Images