JP5233611B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、移動する被写体（動体）を連写撮影（連続撮影）して複数の撮影画像を生成する連写撮影機能を有するデジタルカメラ等の撮影装置が知られている。その撮影装置は、動体を撮像するために、高フレームレートを実現できる駆動モードで撮像素子を駆動する。

また、撮影装置により動体が連写撮影された複数の画像を合成し、１枚の画像で動体の動きを表す画像合成を行う画像合成装置が知られている（例えば、特許文献１参照）。
特開２００６−５４５２号公報

しかし、従来の画像合成装置では、連続撮影のフレームレートが高フレームレートで一定であった。一般的に、高フレームレートを実現できる駆動モードでは、画素加算や間引き等により、生成される画像が低精細である。このため、合成画像において、動体画像については高フレームレートが好ましいものの、背景画像も低精細画像となっていた。

本発明の課題は、動体を高フレームレートで連続撮影できるとともに、その動体画像と高精細な背景画像との合成画像を得ることである。

上記課題を解決するために、請求項１に記載の発明の画像処理装置は、
撮影画像の解像度を切り替えて、動体を撮影して撮影画像を生成する撮影手段と、
前記撮影手段により連続撮影された複数の撮影画像の前記動体の動体領域画像と、前記撮影手段により撮影された、前記複数の撮影画像より高精細の撮影画像と、を合成して合成画像を生成する制御手段と、を備える。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記制御手段は、前記動体を高フレームレートで前記撮影手段に連続撮影させ、当該連続撮影の直後に、前記動体を低フレームレートで前記撮影手段に撮影させる。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記制御手段は、前記連続撮影された低画素の複数の撮影画像を、前記撮影された高精細の撮影画像に、位置合わせする。

請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置において、
前記制御手段は、前記連続撮影された低画素の複数の撮影画像を合成して低画素の合成画像を生成し、当該生成した低画素の合成画像を線形補間して高画素の補間画像を生成し、当該生成した高画素の補間画像と、前記撮影された高精細の撮影画像と、を合成して高画素の合成画像を生成する。

請求項５に記載の発明は、請求項１から４のいずれか一項に記載の画像処理装置において、
前記連続撮影開始の指示入力を受け付ける指示手段を備え、
前記制御手段は、前記指示手段に連続撮影開始の指示が入力されると、前記撮影手段に高フレームレートで前記動体を連続して所定回数撮影させる。

請求項６に記載の発明は、請求項１から４のいずれか一項に記載の画像処理装置において、
前記連続撮影の指示入力を受け付ける指示手段を備え、
前記制御手段は、前記指示手段に連続撮影の指示が入力されている間に、前記撮影手段に高フレームレートで前記動体の連続撮影を継続させる。

請求項７に記載の発明の画像処理方法は、
撮影画像の解像度を切り替えて、動体を撮影して撮影画像を生成する撮影工程と、
前記撮影工程で連続撮影された複数の撮影画像の前記動体の動体領域画像と、前記撮影工程で撮影された、前記複数の撮影画像より高精細の撮影画像と、を合成して合成画像を生成する合成工程と、を含む。

請求項８に記載の発明のプログラムは、
コンピュータを、
撮影画像の解像度を切り替えて、動体を撮影して撮影画像を生成する撮影手段、
前記撮影手段により連続撮影された複数の撮影画像の前記動体の動体領域画像と、前記撮影手段により撮影された、前記複数の撮影画像より高精細の撮影画像と、を合成して合成画像を生成する制御手段、
として機能させる。

本発明によれば、動体を高フレームレートで連続撮影できるとともに、その動体画像と高精細な背景画像との合成画像を得ることができる。

以下、添付図面を参照して本発明に係る好適な実施の形態及びその変形例を順に詳細に説明する。なお、本発明は、図示例に限定されるものではない。

図１〜図８を参照して、本発明に係る実施の形態を説明する。先ず、図１を参照して、本実施の形態の画像処理装置１の装置構成を説明する。図１に、本実施の形態の画像処理装置１の機能構成を示す。

画像処理装置１は、デジタルスチルカメラ等の撮影装置であり、複数枚の画像を撮影する連写機能（連続撮影機能）を有する。また、画像処理装置１は、撮影モードとして、全画素モードと、間引きモードと、を有する。全画素モードは、低フレームレートで撮影し、高精細画像を得るモードである。本実施の形態において、全画素モードは、最大５ｆｐｓのフレームレートで撮影し、８Ｍ画素数（８００万画素（高画素））の画像を得るモードとして説明する。間引きモードは、全画素モードの画像を間引いた画像を得るモードである。本実施の形態において、間引きモードは、最大２０ｆｐｓの高フレームレートで撮影し、２Ｍ画素数（２００万画素（低画素））の低精細画像を得るモードとして説明する。また、画像処理装置１は、間引きモードで撮影した画像と、全画素モードで撮影した画像とを合成して、動体（移動する被写体）の移動の様子を表す合成画像を生成する画像合成機能を有する。

図１に示すように、画像処理装置１は、光学レンズ部１１と、イメージセンサ１２と、メモリ１３と、画像生成部１４と、ＣＯＤＥＣ（COder DECoder）１５と、制御部１６と、操作部１７と、表示制御部１８と、ＬＣＤ（Liquid Crystal Display：液晶表示部）１９と、メモリカード制御部２０と、メモリカード２１と、を備える。イメージセンサ１２、メモリ１３、画像生成部１４、ＣＯＤＥＣ１５、制御部１６、表示制御部１８及びメモリカード制御部２０は、メモリバス２２に接続されている。光学レンズ部１１及びイメージセンサ１２により、撮影手段としての撮影部Ａが構成されている。

光学レンズ部１１は、被写体を撮影するために光を集光するレンズ等で構成されたものであり、焦点、露出等のカメラ設定パラメータを調整するための周辺回路を備える。

イメージセンサ１２は、例えば、ＣＣＤ（Charge Coupled Device）等で構成され、光学レンズ部１１が光を集光することによって結像した画像を、デジタル化した画像データ（画像フレーム）として所定のフレームレートで取り込む。イメージセンサ１２は、全画素モード又は間引きモードのフレームレートで画像取り込みが可能である。イメージセンサ１２から出力される画像信号は、図示しない所定の処理の後、ベイヤデータとしてメモリ１３に記憶される。ベイヤデータとは、原色ベイヤー配列の色フィルタに応じた色情報の画素からなる画像データである。

メモリ１３は、ＲＡＭ（Random Access Memory）等により構成され、撮影処理を行う度にイメージセンサ１２が取り込んだ画像データを一時記憶する。また、メモリ１３は、画像処理に必要な画像データ、各種フラグの値、閾値等も記憶（保持）する。各処理部は、メモリバス２２を介してメモリ１３へデータを読み書きする。さらに、メモリ１３は、ＬＣＤ１９で画像表示を行うための表示画像データの記憶と読み出しを行うための表示メモリ領域を含んでいる。

画像生成部１４は、メモリ１３に記憶されたベイヤデータを読み出し、このベイヤデータに所定の処理を施してＹＵＶデータとしてメモリ１３に記憶（書き戻）させる。ＹＵＶデータとは、輝度信号（Ｙ）と、輝度信号及び青色成分の差（Ｕ）と、輝度信号及び赤色成分の差（Ｖ）との３つの情報で色を表した画像データである。

ＣＯＤＥＣ１５は、画像データのＪＰＥＧ圧縮及び伸張を行う。ＣＯＤＥＣ１５は、メモリカード２１への画像記録時に、メモリ１３に記憶されているＹＵＶデータを読み出してＪＰＥＧ圧縮し、ＪＰＥＧ符号としてメモリ１３に書き戻す。

操作部１７は、各種キーを有し、ユーザからのキー操作入力を受け付け、ユーザの操作に応じた操作信号を制御部１６に出力する。操作部１７は、例えば、シャッタキー、選択決定用キー、再生キー、メニューキー等を備えている。

制御部１６は、ＣＰＵ（Central Processing Unit）、ＲＡＭ、ＲＯＭ（Read Only Memory）等を備え、画像処理装置１の各部を制御する。ＲＯＭには、各種データ及び各種プログラムが記憶されている。制御部１６において、ＣＰＵによりＲＯＭに記憶されたプログラムから指定されたプログラムが読み出されてＲＡＭに展開され、その展開されたプログラムとＣＰＵとの協働により、各種処理が実行される。ＲＯＭには、後述する動画合成撮影処理を行うための動画合成撮影プログラムが記憶されているものとする。

表示制御部１８は、メモリ１３の表示メモリ領域に格納された表示画像データを読み出し、当該読み出された表示画像データに基づいてＲＧＢ信号を生成し、当該生成されたＲＧＢ信号をＬＣＤ１９に出力する。また、表示制御部１８は、ＲＧＢ信号を、外部インタフェース（図示略）を介して外部出力させることにより、テレビやＰＣ、プロジェクタ等の外部機器に画像表示させることも可能である。ＬＣＤ１９は、表示制御部１８から入力されたＲＧＢ信号に応じて画像表示を行う。具体的には、ＬＣＤ１９は、複数の画像データ（画像フレーム）に基づいたライブビュー画像や、撮影した静止画像、合成画像等を再生表示する。ＬＣＤ１９は、ＥＬＤ（Electro Luminescent Display）等、他の表示部に代えてもよい。

メモリカード制御部２０は、メモリカード２１へのデータの読み書きを制御する。メモリカード制御部２０は、画像記録時に、ＣＯＤＥＣ１５により生成されたＪＰＥＧ符号をメモリカード２１に書き込む。メモリカード２１は、着脱可能な可搬の記憶媒体であり、例えば、ＳＤ（Secure Digital）カード、メモリスティック等である。

次いで、図２〜図８を参照して、画像処理装置１の動作を説明する。図２に、動画合成撮影処理の動体の動き、撮影画像及び合成画像の一例を示す。

図２を参照して、画像処理装置１で実行される動画合成撮影処理において、動体としてのバウンドするボールＢを撮影する例を説明する。動画合成撮影処理は、間引きモードと全画素モードとを切り替えて連続撮影し、得られた複数の画像を合成して、低精細の動体画像と高精細の背景画像とを有する合成画像を生成してメモリカード２１に記録する処理である。なお、動画合成撮影処理においては、画像処理装置１を三脚等で固定して撮影する。

動画合成撮影処理では、画像８枚を連続撮影するものとする。その最初の７枚の画像が、間引きモードでの撮影により取得され、その最後の１枚の画像は、全画素モードでの撮影により取得される。図２に示すように、移動するボールＢを撮影する場合に、間引きモードでの撮影画像Ｆ１〜Ｆ７と、全画素モードでの撮影画像Ｆ８と、が時間経過とともに順に撮影されて取得される。撮影画像Ｆ１〜Ｆ７のサイズは、撮影画像Ｆ８の垂直１／４のサイズとなっている。

そして、撮影画像Ｆ１〜Ｆ７と、撮影画像Ｆ８との合成により、合成画像Ｆ１１が生成される。合成画像Ｆ１１は、低精細の撮影画像Ｆ１〜Ｆ７のボールＢと、高精細の背景としての撮影画像Ｆ８とを含む。図２上、撮影画像Ｆ１〜Ｆ７の塗りつぶし領域を薄い色で表現し、撮影画像Ｆ８の塗りつぶし領域を濃い色で表現し、合成画像Ｆ１１の各領域が対応する色になっている。これは、図面上、部分画像の取得元を分かりやすくするために表現したもので、実際の画像での濃淡ではなく、図７及び図８でも同様である。

次いで、図３〜図８を参照して、画像処理装置１で実行される動画合成撮影処理の流れを説明する。図３に、動画合成撮影処理の流れを示す。図４に、動画合成撮影処理における第１の連続撮影処理の流れを示す。図５に、動画合成撮影処理における合成処理の流れを示す。図６に、合成処理における２Ｍ合成ＹＵＶ生成処理の流れを示す。図７に、連続撮影におけるタイミングチャートを示す。図８に、合成処理におけるメモリ１３の画像記憶状態の流れを示す。

画像処理装置１において、ライブビュー表示がなされている場合に、例えば、ユーザから操作部１７に、動画合成撮影処理の実行指示が入力されたことをトリガとして、制御部１６により、動画合成撮影処理が実行される。なお、露光時間等、撮影に必要な諸条件は、ライブビュー表示時に、操作部１７を介する操作設定入力等に応じて設定されているものとする。

図３に示すように、間引きモードで複数の画像を連続撮影し、全画素モードで最後の１枚の画像を撮影する連続撮影処理が実行される（ステップＳ１）。そして、ステップＳ１の連続撮影処理で得られた間引きモードの複数の撮影画像と、全画素モードの１枚の撮影画像とを合成して合成画像を生成する合成処理が実行される（ステップＳ２）。そして、ステップＳ２で得られた合成画像のＹＵＶデータである画像データ（後述する８Ｍ単一ＹＵＶ）がメモリ１３に記憶されており、その画像データが読み出されてＣＯＤＥＣ１５によりＪＰＥＧ符号に変換され、そのＪＰＥＧ符号がメモリカード制御部２０を介してメモリカード２１に記録され（ステップＳ３）、動画撮影合成処理が終了する。

図４を参照して、動画合成撮影処理のステップＳ１の連続撮影処理を詳細に説明する。本実施の形態では、第１の連続撮影処理とする。先ず、ユーザから操作部１７のシャッタキーが押下入力されたか否かが判別される（ステップＳ１０）。シャッタキーが押下入力されていない場合（ステップＳ１０；ＮＯ）、ステップＳ１０に移行される。

シャッタキーが押下入力された場合（ステップＳ１０；ＹＥＳ）、ライブビュー時に算出、設定されている露光時間により、撮影時の露光時間（電子シャッタタイミング）が設定される（ステップＳ１１）。以後、ステップＳ１１で設定された露光時間に応じて、撮影時の光学レンズ部１１における露光が制御される。そして、変数ｎに初期値１が代入される（ステップＳ１２）。そして、変数ｎ＝８であるか否かが判別される（ステップＳ１３）。

変数ｎ＝８でない場合（ステップＳ１３；ＮＯ）、撮影モードが間引きモードに設定される（ステップＳ１４）。そして、イメージセンサ１２から間引きモードで１枚の画像データが取り込まれてメモリ１３に転送され、メモリ１３にベイヤデータとして記憶される（ステップＳ１５）。ここで、ステップＳ１５における撮影間隔は、１／２０秒である。また、ステップＳ１５において、イメージセンサ１２の間引き駆動により、サイズが１／４に間引かれたベイヤデータが得られる。そして、変数ｎが１インクリメントされ（ステップＳ１６）、ステップＳ１３に移行される。

変数ｎ＝８である場合（ステップＳ１３；ＹＥＳ）、撮影モードが全画素モードに設定される（ステップＳ１７）。そして、イメージセンサ１２から全画素モードで１枚の画像データが取り込まれてメモリ１３に転送され、メモリ１３にベイヤデータとして記憶され（ステップＳ１８）、連続撮影処理が終了する。ステップＳ１８における撮影間隔は、１／５秒となるが、最後の撮影であるため、連写速度には影響しない。また、ステップＳ１８において、イメージセンサ１２の駆動により、全画素サイズのベイヤデータが得られる。

ここで、図７を参照して、第１の連続撮影処理における時間経過に応じた撮影状態の一例を示す。図２と同様に、図７において、動体であるボールＢが時間経過とともに移動していく様が連続撮影される。図７に示すように、１枚の撮影毎に、露光、撮影画像取り込み→メモリ１３への転送、メモリ１３へのベイヤデータ記憶の各処理が実行されている。

先ず、ステップＳ１３〜Ｓ１６の間引きモードの撮影で、メモリ１３に、７枚のベイヤデータｆ１〜ｆ７が、時間経過とともに、１枚ずつ順に記憶されていく。そして、ステップＳ１７，Ｓ１８の全画素モードの撮影で、メモリ１３に、ベイヤデータｆ１〜ｆ７に加えて、ベイヤデータｆ８が記憶される。１度の連続撮影処理で、最終的には、図７の右端に示すベイヤデータｆ１〜ｆ８がメモリ１３に記憶される。

次いで、動画合成撮影処理のステップＳ２の合成処理を詳細に説明する。先ず、メモリ１３に記憶されている全画素モードのベイヤデータ（８枚目のベイヤデータ）から、間引きベイヤデータが生成される（ステップＳ２１）。ステップＳ２１では、全画素モードのベイヤデータがメモリ１３から読み出され、垂直に１／４間引かれて間引きベイヤデータが生成されてメモリ１３に書き込まれる。この間引きベイヤデータは、ベイヤデータをイメージセンサ１２の間引き駆動の方法と同じ状態に間引き、同様のメモリ１３のメモリ配置にすることで実現される。

そして、メモリ１３に記憶されている１〜８枚目の間引かれたベイヤデータ（１〜７枚目の間引きモードのベイヤデータ＋ステップＳ２１で生成された８枚目の間引きベイヤデータ）が、画像生成部１４によりＹＵＶデータに変換されメモリ１３に書き込まれる（ステップＳ２２）。ステップＳ２２での変換後のＹＵＶデータを、２Ｍ単一ＹＵＶとする。ベイヤデータからＹＵＶデータへの変換は、既存の方法により実行され、ステップＳ２３でも同様である。

そして、メモリ１３に記憶されている全画素ベイヤデータ（８枚目の全画素モードのベイヤデータ）が、画像生成部１４によりＹＵＶデータに変換されメモリ１３に書き込まれる（ステップＳ２３）。ステップＳ２３での変換後のＹＵＶデータを、８Ｍ単一ＹＵＶとする。

そして、メモリ１３に記憶されている８枚の２Ｍ単一ＹＵＶが合成され、１枚の２Ｍ合成ＹＵＶデータが生成される２Ｍ合成ＹＵＶ生成処理が実行される（ステップＳ２４）。ステップＳ２４で生成される合成ＹＵＶデータを、２Ｍ合成ＹＵＶとする。２Ｍ合成ＹＵＶでは、各２Ｍ単一ＹＵＶの動体画像と、背景画像とを含むＹＵＶデータとなる。２Ｍ合成ＹＵＶ生成処理は、同じサイズのＹＵＶデータの動画合成処理であり、既存の動画合成処理でよい。２Ｍ合成ＹＵＶ生成処理の一例を後述する。

そして、画素合成対象座標Ｘ，Ｙが初期化される（ステップＳ２５）。画素合成対象座標Ｘ，Ｙは、８ＭサイズのＹＵＶデータにおける合成対象の選択画素の座標を示す。画素合成対象座標Ｘ，Ｙは、例えば、８ＭＹＵＶデータの左上端画素から水平右方向に順に１画素ずつ選択されていき、右端の画素が選択されると、１ライン下の左端の画素が選択され、水平右方向に順に１画素ずつ選択されていくことが繰り返される。このようにして、画素合成対象座標Ｘ，Ｙとして、８ＭＹＵＶデータの全ての画素が順に選択される。この選択方法では、左上端の画素が、画素合成対象座標Ｘ，Ｙの初期値にされる。

そして、画素合成対象座標Ｘ，Ｙに対応する８Ｍ単一ＹＵＶデータの画素値が取得され、画素値Ｖ８に代入される（ステップＳ２６）。そして、画素合成対象座標Ｘ，Ｙに対応する２Ｍ合成ＹＵＶデータの画素値が取得され、画素値Ｖ２に代入される（ステップＳ２７）。ステップＳ２７では、２Ｍ合成ＹＵＶデータの座標が、８ＭサイズのＹＵＶデータの画素合成対象座標Ｘ，Ｙに対応するよう、２Ｍ合成ＹＵＶデータの座標が、対応する画素合成対象座標Ｘ，Ｙへ位置合せがされる。そして、位置合わせされた座標の２Ｍ合成ＹＵＶデータの画素値が取得される。このとき、８ＭサイズのＹＵＶデータの画素合成対象座標Ｘ，Ｙが、２Ｍ合成ＹＵＶデータの画素間の座標に相当する場合がある。この場合は、２Ｍ合成ＹＵＶデータの画素値がないので、８ＭサイズのＹＵＶデータの画素合成対象座標Ｘ，Ｙに対応する２Ｍ合成ＹＵＶの画素座標の画素値が、線形補間によって算出され、画素値Ｖ２に代入される。

そして、画素値Ｖ８，Ｖ２の相関を差分によって判定するために、差分絶対値｜Ｖ８−Ｖ２｜が算出され、差分絶対値｜Ｖ８−Ｖ２｜が、予め設定された閾値ＴＨより大きいか否かが判別される（ステップＳ２８）。閾値ＴＨは、画素値Ｖ８，Ｖ２の相関の有無を判別するための閾値である。

｜Ｖ８−Ｖ２｜＞ＴＨである場合（ステップＳ２８；ＹＥＳ）、画素値Ｖ８，Ｖ２に相関がなく、画素値Ｖ２が合成画像のＹＵＶデータの座標Ｘ，Ｙの合成画素値Ｖｇに設定される（ステップＳ２９）。この合成画像を、８Ｍ合成ＹＵＶとする。｜Ｖ８−Ｖ２｜≦ＴＨである場合（ステップＳ２８；ＮＯ）、画素値Ｖ８，Ｖ２に相関があり、画素値Ｖ８が８Ｍ合成ＹＵＶの座標Ｘ，Ｙの合成画素値Ｖｇに設定される（ステップＳ３０）。

そして、ステップＳ２９又はＳ３０で設定された合成画素値Ｖｇがメモリ１３に書き込まれる（ステップＳ３１）。そして、画素合成対象座標Ｘ，Ｙの選択が、８ＭサイズのＹＵＶデータの全画素についてなされたか否かが判別される（ステップＳ３２）。画素合成対象座標Ｘ，Ｙの選択が全画素についてなされていない場合（ステップＳ３２；ＮＯ）、画素合成対象座標Ｘ，Ｙが、８ＭサイズのＹＵＶデータの次の画素の座標に更新され（ステップＳ３３）、ステップＳ２６に移行される。

画素合成対象座標Ｘ，Ｙの選択が全画素についてなされた場合（ステップＳ３２；ＹＥＳ）、合成処理が終了する。合成処理終了時点で、メモリ１３に８Ｍ合成ＹＵＶが記憶されている。

ここで、図６を参照して、２Ｍ合成ＹＵＶ生成処理の具体的な一例を説明する。２Ｍ合成ＹＵＶ生成処理において、先ず、メモリ１３上の８枚の２Ｍ単一ＹＵＶが読み出され、８枚の２Ｍ単一ＹＵＶの疑似背景画像が生成される（ステップＳ２６１）。ステップＳ２６１では、８枚の２Ｍ単一ＹＵＶの一つの座標Ｘ，Ｙの画素値が取得され、それらの画素値の中央値が取得され、その中央値が疑似背景画像の座標Ｘ，Ｙの画素値に設定される。この処理が、全画素（全座標）について繰り返されることにより、疑似背景画像が生成される。

そして、８枚の２Ｍ単一ＹＵＶと、ステップＳ２６１で生成された疑似背景画像とを用いて、動体判別パラメータが算出される（ステップＳ２６２）。ステップＳ２６２では、先ず、ある１枚の２Ｍ単一ＹＵＶ及び疑似背景画像の一つの座標Ｘ，Ｙの画素値が取得され、その２Ｍ単一ＹＵＶ及び疑似背景画像の画素値の差分絶対値が算出される。この差分絶対値の算出が、８枚の２Ｍ単一ＹＵＶ（全２Ｍ単一ＹＵＶ）とについて繰り返される。そして、全２Ｍ単一ＹＵＶの座標Ｘ，Ｙの標準偏差値が算出される。この標準偏差値の算出が、全座標（全画素）について繰り返される。そして、２Ｍ単一ＹＵＶ及び疑似背景画像の画素値の差分絶対値が、２Ｍ単一ＹＵＶの標準偏差値を超える全画素値が抽出される。そして、抽出された画素値の標準偏差値が算出され、動体判別パラメータ（変動閾値）とされる。

そして、８枚の２Ｍ単一ＹＵＶと、ステップＳ２６１で生成された疑似背景画像と、ステップＳ２６２で生成された動体判別パラメータと、を用いて、８枚の２Ｍ単一ＹＵＶの動体（動体領域画像）が抽出される（ステップＳ２６２）。ステップＳ２６２では、１枚の２Ｍ単一ＹＵＶ及び疑似背景画像の画素値の差分絶対値が動体判別パラメータ以上である座標が１、小さい座標が０とされ、この１，０のデータに、ラベリング、最大領域の抽出、膨張、穴埋め及び収縮がなされて、この２Ｍ単一ＹＵＶの動体抽出のマスクデータが生成される。このマスクデータの生成が、全２Ｍ単一ＹＵＶについて繰り返される。そして、各２Ｍ単一ＹＵＶのマスクデータを用いて、各２Ｍ単一ＹＵＶの動体領域画像が抽出されることにより、全２Ｍ単一ＹＵＶの動体領域画像が抽出される。

そして、撮影順が最後のフレーム（８枚目）の２Ｍ単一ＹＵＶについて、ステップＳ２６３で抽出された動体領域画像が取得される（ステップＳ２６４）。そして、直前に取得した動体領域画像で、２Ｍ合成ＹＵＶに登録されていない部分のみ、２Ｍ合成ＹＵＶに上書きされる（ステップＳ２６５）。そして、ステップＳ２６５で上書きされた２Ｍ合成ＹＵＶの動体領域画像が登録される（ステップＳ２６６）。

そして、ステップＳ２６６において全２Ｍ単一ＹＵＶの動体領域画像の上書きが終了したか否かが判別される（ステップＳ２６７）。全２Ｍ単一ＹＵＶの動体領域画像の上書きが終了していない場合（ステップＳ２６７；ＮＯ）、選択中の２Ｍ単一ＹＵＶに対し、撮影順が１つ前のフレームの２Ｍ単一ＹＵＶについて、ステップＳ２６４で抽出された動体領域画像が取得され（ステップＳ２６８）、ステップＳ２６５に移行される。

全２Ｍ単一ＹＵＶの動体領域画像の上書きが終了した場合（ステップＳ２６７；ＹＥＳ）、全２Ｍ単一ＹＵＶから背景画像が選択される（ステップＳ２６９）。例えば、８枚目の２Ｍ単一ＹＵＶが選択される。そして、２Ｍ合成ＹＵＶのうち、ステップＳ２６６で登録されている動体領域画像以外の未登録座標について、ステップＳ２６９で選択された背景画像の対応する座標の画素値が２Ｍ合成ＹＵＶに書き込まれて、最終的な２Ｍ合成ＹＵＶが生成され（ステップＳ２７０）、２Ｍ合成ＹＵＶ生成処理が終了する。

ここで、図８を参照して、動画合成撮影処理のステップＳ２の合成処理におけるメモリ１３に記憶される画像の具体例を説明する。先ず、図８（ａ）に示すように、間引きデータで撮影された撮影画像のベイヤデータｆ１〜ｆ７と、全画素モードで撮影された撮影画像のベイヤデータｆ８と、がメモリ１３に記憶されている。そして、図８（ｂ）に示すように、ステップＳ２１において、ベイヤデータｆ８から間引きベイヤデータｆ９が生成されてメモリ１３に記憶される。

そして、図８（ｃ）に示すように、ステップＳ２２において、ベイヤデータｆ１〜ｆ７，ｆ９から２Ｍ単一ＹＵＶである撮影画像Ｆ１〜Ｆ８が生成されてメモリ１３に記憶され、ステップＳ２３において、間引きベイヤデータｆ８から８Ｍ単一ＹＵＶである撮影画像Ｆ９が生成されてメモリ１３に記憶される。そして、図８（ｄ）に示すように、ステップＳ２４において、撮影画像Ｆ１〜Ｆ８から２Ｍ合成ＹＵＶである合成画像Ｆ１０が生成されてメモリ１３に記憶される。

そして、図８（ｅ）に示すように、ステップＳ２５〜Ｓ３３において、撮影画像Ｆ９及び合成画像Ｆ１０から８Ｍ合成ＹＵＶである合成画像Ｆ１１が生成されてメモリ１３に記憶される。

以上、本実施の形態によれば、画像処理装置１は、動体を間引きモードで連続撮影して７枚の低精細のベイヤデータを取得し、その動体を全画素モードで撮影して１枚の高精細のベイヤデータを取得し、この高精細のベイヤデータから１枚の間引きベイヤデータを生成し、８枚の低精細のベイヤデータから生成した８枚の２Ｍ単一ＹＵＶを合成して２Ｍ合成ＹＵＶを生成する。そして、画像処理装置１は、１枚の高精細のベイヤデータから生成した８Ｍ単一ＹＵＶと２Ｍ合成ＹＵＶとを合成して８Ｍ合成ＹＵＶを生成する。このため、動体を間引きモードの高フレームレートで連続撮影できるとともに、その動体領域画像を含む２Ｍ合成ＹＵＶと、高精細な背景画像である８Ｍ単一ＹＵＶとの合成画像である８Ｍ合成ＹＵＶを得ることができる。

また、画像処理装置１は、動体を間引きモードで連続撮影し、その直後に、全画素モードで撮影する。このため、背景画像として適切な８Ｍ単一ＹＵＶを得ることができるとともに、全画素モードの低フレームレートの撮影が、間引きモードの高フレームレートの撮影に影響を与えることを防ぐことができる。

また、画像処理装置１は、２Ｍ合成ＹＵＶと８Ｍ単一ＹＵＶとを合成する場合に、低画素の２Ｍ合成ＹＵＶを高画素の８Ｍ単一ＹＵＶに位置合せし、低画素の２Ｍ合成ＹＵＶの画素値を線形補間し、その線形補間画像と８Ｍ単一ＹＵＶとを合成して８Ｍ合成ＹＵＶを生成する。このため、画素数の異なる２Ｍ合成ＹＵＶと８Ｍ単一ＹＵＶとを容易且つ適切に合成できる。

また、画像処理装置１は、操作部１７のシャッタキー押下に応じて、間引きモードの連続撮影を開始し、所定の７枚の低精細の撮影画像であるベイヤデータを得る。このため、撮影操作を容易にすることができる。

（変形例）
図９を参照して、上記実施の形態の変形例を説明する。図９に、第２の連続撮影処理の流れを示す。

本変形例は、上記実施の形態と同様に、画像処理装置１を用いる。また、画像処理装置１により、動画合成撮影処理が実行されるが、ステップＳ１の連続撮影処理として、第１の連続撮影処理に代えて、第２の連続撮影処理が実行される。第１の連続撮影処理では、シャッタキー押下をトリガとして７＋１枚の画像の連続撮影が行われるものであったが、第２の連続撮影処理では、シャッタキー押下中にずっと連続撮影が行われる。

図９を参照して、第２の連続撮影処理を説明する。先ず、ユーザから操作部１７のシャッタキーが押下入力開始されたか否かが判別される（ステップＳ１００）。シャッタキーが押下入力開始されていない場合（ステップＳ１００；ＮＯ）、ステップＳ１００に移行される。

シャッタキーが押下入力開始された場合（ステップＳ１００；ＹＥＳ）、ステップＳ１０１が実行される。ステップＳ１０１，Ｓ１０２は、第１の連続撮影処理のステップＳ１１、Ｓ１２と同様である。そして、ユーザからの操作部１７のシャッタキーの押下入力中であるか否かが判別される（ステップＳ１０３）。シャッタキーが押下入力中である場合（ステップＳ１０３；ＹＥＳ）、ステップＳ１０４が実行される。ステップＳ１０４〜Ｓ１０６は、第１の連続撮影処理のステップＳ１４〜Ｓ１６と同様である。シャッタキーが押下入力中でない場合（ステップＳ１０３；ＮＯ）、シャッタキー押下が終了し、ステップＳ１０７が実行される。ステップＳ１０７，Ｓ１０８は、第１の連続撮影処理のステップＳ１７，Ｓ１８と同様である。

ステップＳ２の合成処理では、間引きモードの連続撮影で得られた（ｎ−１）枚のベイヤデータと、全画素モードの撮影で得られたベイヤデータと、を用いて画像合成が実行される。

以上、本変形例によれば、画像処理装置１は、操作部１７のシャッタキー押下中の間に、間引きモードの連続撮影を継続し、複数の低精細の撮影画像であるベイヤデータを得る。このため、ユーザの所望の時間の連続撮影を行うことができる。

なお、上記実施の形態における記述は、本発明に係る撮影装置、撮影方法及びプログラムの一例であり、これに限定されるものではない。

例えば、上記実施の形態では、間引きモードにおける撮影枚数を、７枚としたが、これに限定されるものではなく、他の枚数としてもよい。また、上記実施の形態及び変形例における、間引きモードにおける撮影画像のフレームレート、間引き割合、サイズは、２０ｆｐｓ、１／４、２Ｍ画素数に限定されるものではなく、他の数値としてもよい。全画素モードにおける撮影画像のフレームレート、サイズも、５ｆｐｓ、８Ｍ画素数に限定されるものではなく、他の数値としてもよい。

また、上記実施の形態及び変形例における画像処理装置１の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。

本発明に係る実施の形態の画像処理装置の機能構成を示すブロック図である。 動画合成撮影処理の動体の動き、撮影画像及び合成画像の一例を示す図である。 動画合成撮影処理を示すフローチャートである。 動画合成撮影処理における第１の連続撮影処理を示すフローチャートである。 動画合成撮影処理における合成処理を示すフローチャートである。 合成処理における２Ｍ合成ＹＵＶ生成処理を示すフローチャートである。 第１の連続撮影処理におけるタイミングチャートである。 合成処理におけるメモリ１３の画像記憶状態の流れを示す図である。 第２の連続撮影処理を示すフローチャートである。

符号の説明

１・・・画像処理装置、Ａ・・・撮影部、１１・・・光学レンズ部、１２・・・イメージセンサ、１３・・・メモリ、１４・・・画像生成部、１５・・・ＣＯＤＥＣ、１６・・・制御部、１７・・・操作部、１８・・・表示制御部、１９・・・ＬＣＤ、２０・・・メモリカード制御部、２１・・・メモリカード、２２・・・メモリバス

Claims (8)

1. 撮影画像の解像度を切り替えて、動体を撮影して撮影画像を生成する撮影手段と、
   前記撮影手段により連続撮影された複数の撮影画像の前記動体の動体領域画像と、前記撮影手段により撮影された、前記複数の撮影画像より高精細の撮影画像と、を合成して合成画像を生成する制御手段と、を備える画像処理装置。
2. 前記制御手段は、前記動体を高フレームレートで前記撮影手段に連続撮影させ、当該連続撮影の直後に、前記動体を低フレームレートで前記撮影手段に撮影させる請求項１に記載の画像処理装置。
3. 前記制御手段は、前記連続撮影された低画素の複数の撮影画像を、前記撮影された高精細の撮影画像に、位置合わせする請求項１又は２に記載の画像処理装置。
4. 前記制御手段は、前記連続撮影された低画素の複数の撮影画像を合成して低画素の合成画像を生成し、当該生成した低画素の合成画像を線形補間して高画素の補間画像を生成し、当該生成した高画素の補間画像と、前記撮影された高精細の撮影画像と、を合成して高画素の合成画像を生成する請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記連続撮影開始の指示入力を受け付ける指示手段を備え、
   前記制御手段は、前記指示手段に連続撮影開始の指示が入力されると、前記撮影手段に高フレームレートで前記動体を連続して所定回数撮影させる請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記連続撮影の指示入力を受け付ける指示手段を備え、
   前記制御手段は、前記指示手段に連続撮影の指示が入力されている間に、前記撮影手段に高フレームレートで前記動体の連続撮影を継続させる請求項１から４のいずれか一項に記載の画像処理装置。
7. 撮影画像の解像度を切り替えて、動体を撮影して撮影画像を生成する撮影工程と、
   前記撮影工程で連続撮影された複数の撮影画像の前記動体の動体領域画像と、前記撮影工程で撮影された、前記複数の撮影画像より高精細の撮影画像と、を合成して合成画像を生成する合成工程と、を含む画像処理方法。
8. コンピュータを、
   撮影画像の解像度を切り替えて、動体を撮影して撮影画像を生成する撮影手段、
   前記撮影手段により連続撮影された複数の撮影画像の前記動体の動体領域画像と、前記撮影手段により撮影された、前記複数の撮影画像より高精細の撮影画像と、を合成して合成画像を生成する制御手段、
   として機能させるためのプログラム。

Images