JP4157003B2

JP4157003B2 - 画像処理装置

Info

Publication number: JP4157003B2
Application number: JP2003309712A
Authority: JP
Inventors: 勝明渡辺
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-09-02
Filing date: 2003-09-02
Publication date: 2008-09-24
Anticipated expiration: 2023-09-02
Also published as: JP2005080061A

Description

本発明は、画像処理装置に係り、より詳しくは、撮影手段により撮影された画像を動画像して記録することができると共に、動画撮影中に静止画撮影することが可能な画像処理装置に関する。

従来より、静止画像の他、動画像を撮影可能な撮影装置が知られている。このような撮影装置のうち、動画撮影中にシャッターボタンを押下することにより、静止画像を記録媒体に記録することができるものがある。

このように動画撮影中に静止画撮影を行った場合において、動画像を構成する複数のフレーム画像のデータに基づいて高解像度の静止画像を生成するもの等、低解像度の画像から高解像度の画像を生成する技術が知られている（例えば特許文献１〜４参照）。
特開２０００−２４４８５１号公報特開平９−１８１９５１号公報特開平８−１５４２１２号公報特開２００３−１８３９８号公報

例えば引用例１に記載された技術では、連続した複数のフレーム画像の中からエッジ情報等に基づいて１枚の基準静止画となるフレーム画像を選択し、その他のフレーム画像の動きベクトルを演算する。そして、動きベクトルの演算結果に基づいて基準静止画の配置点とは異なる位置に配置して複数のフレーム画像を合成する。

しかしながら、このような処理により動画像から静止画像を生成する場合、計算量が膨大になってしまう場合があり、ハードウェア及びソフトウェアに大きな負荷がかかる場合がある。このため、廉価なデジタルカメラ等には搭載することができない場合がある、という問題があった。

本発明は、上記事実に鑑みて成されたものであり、適正な画質で動画像から静止画像を生成すると共に、処理負荷を軽減することができる画像処理装置を提供することを目的とする。

上記目的を達成するために、請求項１記載の発明は、動画像データを構成する複数のフレーム画像データを記憶する記憶手段と、前記複数のフレーム画像データのうち予め定めた所定数のフレーム画像の各々について、前記フレーム画像の被写体の動きの度合いを検出する動き検出手段と、各フレーム画像について検出した動きの度合いに基づいて、前記複数のフレーム画像データのうち、静止画像を生成するためのフレーム画像データの数を決定する決定手段と、決定された数のフレーム画像データに基づいて静止画像を生成する生成手段と、を備え、前記決定手段は、前記被写体の動きの度合いが大きくなるに従って、前記静止画像を生成するためのフレーム画像データの数を多くすることを特徴とする。

この発明によれば、記憶手段には、動画像データを構成する複数のフレーム画像データが記憶される。これは、例えば動画撮影中に静止画撮影された場合や、動画再生中に静止画記録の指示がなされた場合に、その時点からのフレーム画像データが複数記憶される。

動き検出手段は、複数のフレーム画像データのうち予め定めた所定数のフレーム画像の各々について、フレーム画像の被写体の動きの度合いを検出する。これは、例えばフレーム画像を複数のブロックに分割し、分割したブロック毎に、過去のフレーム画像データの領域で最も近似するブロックを探索し、探索したブロックとのずれ量を算出することで求めることができる。

決定手段は、各フレーム画像について検出した動きの度合いに基づいて、複数のフレーム画像データのうち、静止画像を生成するためのフレーム画像データの数を決定する。すなわち、被写体の動きの度合いに応じて、静止画像を生成するためのフレーム画像の数を変化させる。具体的には、前記決定手段は、前記被写体の動きの度合いが大きくなるに従って、前記静止画像を生成するためのフレーム画像データの数を多くする。そして、生成手段は、決定された数のフレーム画像データに基づいて静止画像を生成する。

これにより、被写体の動きに応じた適切な数のフレーム画像から静止画像を生成することができ、処理負荷を軽減することができる。

例えば請求項２に記載したように、前記動き検出手段は、各フレーム画像について、前記フレーム画像を所定数に分割した分割領域毎に動き量を検出し、前記決定手段は、検出した各フレーム画像の各分割領域の動き量の総和を求める総和演算手段を含み、前記総和が多くなるに従って、前記静止画像を生成するためのフレーム画像データの数を多くすることができる。

このように、各フレーム画像の動き量の総和を求め、この総和が多くなるに従って静止画像を生成するためのフレーム画像データの数を多くすることにより、総和が多い場合、すなわち被写体の動きが激しい場合には、多くのフレーム画像を用いて静止画像を生成することで良好な画質の静止画像を生成することができ、総和が少ない場合、すなわち被写体の動きが少ない場合には、少ない数のフレーム画像を用いて静止画像を生成するため、処理負荷を最小限に抑えることができる。

また、請求項３に記載したように、前記総和演算手段は、前記分割領域毎に重みを付与して前記総和を求めるようにしてもよい。

例えば、請求項４に記載したように、前記総和演算手段は、前記フレーム画像の中心部に向かうに従って分割領域の重みを多くして前記総和を求めることができる。

被写体が中心部に存在することが明らかな場合には、このようにフレーム画像の中心部に向かうに従って分割領域の重みを多くすることにより、動きの度合いを適切に把握することができ、静止画像を生成するためのフレーム画像の数を適切に決定することができる。

また、請求項５に記載したように、前記決定手段は、前記被写体の形状を抽出する形状抽出手段をさらに備え、前記総和演算手段は、抽出された前記被写体の形状の部分の重みを多くして前記総和を求めるようにしてもよい。

被写体が大きく動くような場合には、このように被写体の形状を抽出し、抽出した形状の部分の重みを多くして総和を求めることにより、動きの度合いを適切に把握することができ、静止画像を生成するためのフレーム画像の数を適切に決定することができる。

以上説明したように、本発明によれば、適正な画質で動画像から静止画像を生成すると共に、処理負荷を軽減することができる、という優れた効果を有する。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。なお、本実施形態では、デジタルスチルカメラに本発明を適用した場合について説明するが、デジタルビデオカメラや、カメラ付き携帯電話等の撮影機能を備えた携帯端末装置にも適用可能である。

図１に示すように、本実施形態に係るデジタルスチルカメラ（以下、デジタルカメラと称す）１０は、被写体像を結像させるためのレンズを含んで構成された光学ユニット１２と、光学ユニット１２の光軸後方に配設されたＣＣＤ（Charge Coupled Device）１３と、ＣＣＤ１３から出力されたアナログ信号の画像信号をデジタル信号に変換するＡ／Ｄコンバータ１４と、光学ユニット１２のレンズを駆動するレンズ駆動部及びＣＣＤ１３を駆動するＣＣＤ駆動部を含んで構成される駆動部１５と、デジタルカメラ１０の撮影によって得られた画像や各種情報を表示するためのＬＣＤ１６と、撮影者によって操作される操作部１８と、主としてＣＣＤ１３による撮影によって得られたデジタル画像データを一時的に記憶する主記憶装置としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２０と、各種プログラム、パラメータなどが予め記憶された外部ＲＯＭ２２と、デジタルカメラ１０全体の動作を司る主制御部２４と、を備えて構成されている。なお、ＳＤＲＡＭ２０はメインメモリとして機能する。

なお、操作部１８としては、静止画や動画撮影の実行を指示する際に操作されるシャッターボタン、静止画撮影モード、動画撮影モード、及び再生モードの何れかを選択するために操作される撮影モード選択手段としてのモード切替スイッチ、各種パラメータを設定したり、再生モード選択時には再生対象の画像を指定するために操作されるカーソルボタン、本デジタルカメラ１０の電源をＯＮ／ＯＦＦするために操作される電源スイッチなどが含まれる。

また、主制御部２４は、Ａ／Ｄコンバータ１４から入力されたデジタル信号に対して種々の処理を施す画像信号処理部３０と、撮影者による操作部１８の操作状況に応じて、デジタルカメラ１０の全体的な動作を制御するＣＰＵ３２と、駆動部１５及び操作部１８等との入出力制御を行う入出力ポート３４と、画像データを静止画像の処理に適した所定形式（例えばＪＰＥＧ形式）に従って圧縮・伸張し、符号化する静止画像処理部３６と、画像データを動画像の処理に適した所定形式（例えばＭＰＥＧ形式）に従って圧縮・伸張し、符号化すると共に、詳細は後述するが、動画撮影中に静止画撮影が指示された場合に動画像データから静止画像データを生成する動画像処理部３７と、ＳＤＲＡＭ２０に対するデータの読み書きやＲＯＭ２２に対するデータの読み込みを制御するメモリコントローラ３８と、比較的小容量の内蔵ＲＡＭ４０と、ＤＭＡ（Direct Memory Access）転送を行うためのＤＭＡコントローラ（ＤＭＡＣ）４２と、デジタルカメラ１０とＵＳＢケーブルなどの所定のケーブルを介して接続されたパーソナルコンピュータやプリンタ等の外部機器と各種データの送受信を行うための外部通信制御部４４と、ＬＣＤ１６に画像を表示させるＬＣＤ信号処理部４６と、記録メディアに対して各種データの読み書きを制御するメディア制御部４８と、がバス５０によって各々接続されて構成されている。

なお、本実施の形態では、主制御部２４は、１チップＬＳＩ（Large Scale Integrated circuit）として構成されており、これによってデジタルカメラ１０の小型化、高信頼性化、及び低コスト化が図られている。

光学ユニット１２は、図示しないズームレンズ群及びフォーカスレンズを有し、且つそれぞれを光軸方向に移動させるレンズ移動機構を備え、焦点距離の変更（変倍）が可能なズームレンズとして構成されている。

光学ユニット１２は、駆動部１５の制御により、所望のズーム倍率になるようにズームレンズ群が光軸方向に移動され（焦点距離可変レンズ）、レンズを通過した被写体像を示す入射光がＣＣＤ１３の受光面上に結像するように、フォーカスレンズが光軸方向に移動される（オートフォーカス（ＡＦ）機構）ようになっている。これにより、ＣＣＤ１３では、光学ユニット１２のレンズを通過した被写体像を示す入射光に基づき被写体を撮影して被写体像を示すアナログ画像信号を出力する。

なお、本実施の形態では、合焦制御として、撮影によって得られた画像のコントラストが最大となるようにレンズ位置を調整する、所謂ＴＴＬ（Through The Lens）方式を採用しており、撮影エリア内の予め定められた位置（ＡＦフレーム）に存在する被写体に焦点が合うように、自動的に合焦制御が行われるようになっている。具体的には、撮影者による操作部１８のモード切替スイッチの操作により、静止画を撮影するための静止画撮影モードが選択されている場合には、シャッターボタンが半押しされることによって、自動的に合焦制御が行われる。一方、動画を撮影するための動画撮影モードが選択されている場合には、シャッターボタンが全押しされて、撮影が開始された後、連続的に合焦制御が行われるようになっている。

ＣＣＤ１３の出力端は、Ａ／Ｄコンバータ１４と接続されている。すなわち、Ａ／Ｄコンバータ１４は、ＣＣＤ１３により撮影されて出力された被写体像を示すアナログ画像信号をデジタル画像データ（以下、「ＣＣＤデータ」という）に変換する。Ａ／Ｄコンバータ１４の出力端は、画像信号処理部３０と接続されており、ＣＣＤデータは、メモリコントローラ３８を介してＤＭＡ転送により一旦ＳＤＲＡＭ２０に格納される。

画像信号処理部３０は、一旦ＳＤＲＡＭ２０に格納されたＣＣＤデータをＤＭＡ転送により読み出し、撮影モード等に応じて必要サイズにするべくリサイズ処理を行う。また、例えば光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うと共に、ガンマ処理及びシャープネス処理等の各種画像処理を行う。そして、画像処理が施された画像データに対してＹＣ変換処理を行うことにより、Ｒ，Ｇ，Ｂのデジタル画像データから輝度データＹとクロマデータＣｒ、Ｃｂ（以下、「ＹＣデータ」という）を生成し、このＹＣデータは、メモリコントローラ３８を介して、ＳＤＲＡＭ２０に一旦格納される。

このＳＤＲＡＭ２０に格納されたＹＣデータは、メモリコントローラ３８を介して画像信号処理部３０によりＤＭＡ転送により読み出されて、静止画像処理部３６に入力される。静止画像処理部３６は、入力されたＹＣデータを例えばカラー静止画符号化の国際標準であるＪＰＥＧ方式により圧縮符号化する。静止画像処理部３６により圧縮された圧縮データは、メディア制御部４８を介して、ＤＭＡ転送により一旦ＳＤＲＡＭ２０に格納され、デジタルカメラ１０に装填された図示しない記録メディアに記録される。

なお、記録メディアとしては、スマートメディア、ＰＣカード、マイクロドライブ、マルチメディアカード（ＭＭＣ）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどの種々の形態が可能であり、使用されるメディアに応じた信号処理手段とインターフェースが適用される。

また、ＳＤＲＡＭ２０に格納されたＹＣデータは、メモリコントローラ３８を介して画像信号処理部３０により読み出されて、ＬＣＤ信号処理部４６に入力される。

ＬＣＤ信号処理部４６は、図示しないビデオエンコーダを備えており、入力されたＹＣデータをＮＴＳＣ（National TV Standards Committee）信号に変換する。また、ＬＣＤ信号処理部４６は、ＬＣＤ１６と接続されており、変換したＮＴＳＣ信号をＬＣＤ１６に供給することで、ＬＣＤ１６に画像を表示させる。

また、ＣＣＤ１３から出力される画像信号に基づくＹＣデータが定期的に書き換えられ、そのＹＣデータから生成される映像信号がＬＣＤ１６に供給されることにより、ＣＣＤ１３がとらえる被写体像が略リアルタイムに動画像として、或いは連続した画像としてＬＣＤ１６に表示される。すなわち、ＬＣＤ１６は、電子ビューファインダとして利用でき、撮影者は、通常の光学ファインダ（図示省略）だけでなく、このＬＣＤ１６の表示画像（所謂スルー画像）によっても、撮影画角を確認することができる。そして、シャッタスイッチの押下操作など所定の記録指示（撮影指示）操作に呼応して、記録用のデジタル画像データの取り込みが開始される。

また、画像再生時には、メディア制御部４８により、記録メディアに記憶された再生対象とする圧縮データが読み出されて、静止画像処理部３６により伸長された後、ＬＣＤ信号処理部４６に転送される。これにより、撮影により取得し、記録メディアに記憶した圧縮データに基づく画像をＬＣＤ１６に再生表示することができる。

また、デジタルカメラ１０は、静止画撮影モードによって静止画像を例えばＪＰＥＧ方式によって圧縮して記録メディアに記録することができる他、動画撮影モードによって動画像を記録メディアに記録することができる。

動画像は、例えばＱＶＧＡサイズ（３２０×２４０ピクセル）やＶＧＡサイズ（６４０×４８０ピクセル）等のように比較的小さなサイズで記録され、静止画像は、ＱＶＧＡサイズやＶＧＡサイズの他に、ＳＶＧＡサイズ（８００×６００ピクセル）、ＸＧＡサイズ（１０２４×７６８ピクセル）、ＳＸＧＡサイズ（１２８０×１０２４ピクセル）等の大きなサイズで記録することができる。

本実施形態では、動画撮影モードでは、所謂ＭＰＥＧ（Moving Picture coding Experts Group）方式によって動画像を圧縮符号化する。なお、所謂モーションＪＰＥＧ方式によって動画像を圧縮符号化してもよい。モーションＪＰＥＧ方式は、撮影画像を所定時間毎にＪＰＥＧ方式によって圧縮して記録し、この複数の静止画像を連続して再生することで動画表示を実現する方式である。モーションＪＰＥＧ方式では、動画撮影モードにおける１つ１つのフレーム画像の処理は、静止画撮影モードによる撮影の場合と同様であり、撮影時間に応じた複数の静止画像の画像データに基づいて動画像データが生成され、記録メディアに記録される。

また、デジタルカメラ１０は、動画撮影モードで動画撮影中に、シャッターボタンを押下することにより、静止画撮影を行うこともできる。この場合、動画像データから静止画像データを生成する。

図２には、動画像処理部３７の概略ブロック図を示した。動画像処理部３７は、動画像圧縮部５２、フレームメモリ５４、及び静止画像生成部５６を含んで構成されている。

動画像圧縮部５２は、ＭＰＥＧ方式に従って、入力されたＹＣデータを圧縮符号化し、圧縮データとして出力する。圧縮データは、順次一旦ＳＤＲＡＭ２０に記憶され、図示しない記録メディアに記録される。

また、動画像圧縮部５２は、動画撮影中にシャッターボタンが押下されて静止画撮影が指示された場合には、通常の動画圧縮処理を行うと共に、その時点のＹＣデータから予め定めたＮ２個のＹＣデータをフレームメモリ５４に順次格納する。

静止画像生成部５６は、詳細は後述するが、フレームメモリ５４に記憶されたＮ２個以下で且つＮ０個よりも多いＮ１個のＹＣデータに基づくフレーム画像の動きベクトルを算出し、算出したＮ１個分のフレーム画像の動きベクトルに基づいて、静止画像を生成するためのフレーム画像の数をＮ０、Ｎ１、Ｎ２の中から選択する。そして、選択した数のフレーム画像に基づいて静止画像を生成する。なお、Ｎ０、Ｎ１、Ｎ２の関係は、図３に示すように、Ｎ０＜Ｎ１＜Ｎ２となっており、例えばＮ１はＮ０の２倍、Ｎ２はＮ１の２倍となるように設定される。

そして、フレームメモリ５４に記憶されたＹＣデータの中から、決定した数のＹＣデータに基づいて静止画像データを生成して出力する。この静止画像データは、図示しない記録メディアに記録される。すなわち、動画撮影中にシャッターボタンが押下された場合、そのときの被写体の動きの度合いに応じて、静止画像を生成する元となるフレーム画像の数を変化させる。これにより、被写体の動きの度合いに応じて合成対象のフレーム画像の数を適切に選択することができ、装置の処理負荷を軽減することができる。

次に、本実施の形態の作用として、動画処理部３７で実行される動画撮影時に静止画撮影が指示された場合の処理の流れについて、図４に示すフローチャートを参照して説明する。

図４に示す処理ルーチンは、動画撮影モードにおいてシャッターボタンが押下された場合に実行される。

ステップ１００では、動画像圧縮部５２により、Ｎ２個のフレーム画像のＹＣデータが順次フレームメモリ５４に記憶される。

次のステップ１０２では、静止画像生成部５６により、フレームメモリ５４に記憶されたフレーム画像のＹＣデータのうち、Ｎ１個のフレーム画像のＹＣデータに基づいて、動きベクトルを算出する。

この動きベクトルの検出は、詳しくは、例えば動きベクトル検出対象の現フレーム画像の１つ前のサイクルで撮影されたフレーム画像を参照用フレーム画像とする。そして、現フレーム画像を複数のブロック（被探索ブロック）に分割し、個々のブロックを単位として、図５にも示すように、参照用フレーム画像上に各々設定した探索範囲内で被探索ブロックを適宜動かしながら誤差演算を繰り返すことで、被探索ブロックに最も類似しているブロック（誤差が最小となるブロック）を探索範囲内から探し出し、当該ブロックと被探索ブロックとのずれ量（動き量）及びずれの方向（動き方向）を被探索ブロックについての動きベクトルとする。

算出した動きベクトルは、例えば静止画像生成部５６の図示しないメモリに一時的に記憶される。

次に、ステップ１０４において、静止画像生成部５６は、設定された重み付け方法によりＮ１個のフレーム画像の動きベクトルの動き量の総和ｍ_tを算出する。このＮ１個のフレーム画像の動きベクトルの動き量の総和ｍ_tは次式で示される。

…（１）

ここで、ｍ、ｎはフレーム画像をｍ行ｎ列に分割した際の行数、列数を各々表し、ａ_jkはｊ行ｋ列のブロックに付与される重みを表し、Ｍｖｅｃ_jkは、ｊ行ｋ列のブロックの動きベクトルの動き量を示す。

すなわち、各ブロックの動きベクトルの動き量Ｍｖｅｃ_jkに重みａ_jkを乗算してフレーム画像毎の動き量の和を求め、さらにＮ１個のフレーム画像について求めた和の総和を求めることによりｍ_tを得る。

重みａ_jkの付与の仕方については、例えば以下に説明する３種類の方法があり、ユーザーが設定画面を参照しながら操作部１８を操作して設定することができる。

まず、第１の重み付けの方法は、図６に示すように、フレーム画像６０の各ブロックの重みを全て同一の値ａ₁にする方法である。なお、図６〜８では、ブロックの模様が重みの値の種類を表している。細かいテクスチャがランダムに動くような被写体を撮影する場合には、このような重み付け方法が有効である。

第２の重み付けの方法は、図７に示すように、フレーム画像６０の中心部から離れるに従って、重みの値を変化させる方法である。図７では、中心部の４つのブロックの重みをａ₃、その周囲の所定領域のブロックの重みをａ₂、さらにその周囲の領域のブロックの重みをａ₁としており、ａ₃＞ａ₂＞ａ₁である。すなわち、画像の中心部ほど重みの値が大きく、中心部から離れるに従って重みの値が小さくなる。例えば、被写体が必ず画面の中心部に位置することが予め判っている場合には、このような重み付けの方法が有効である。

第３の重み付けの方法は、図８に示すように、被写体６２の形状に基づいて重み付けする方法である。この場合、静止画像生成部５６は、フレームメモリ５４に記憶されたフレーム画像データに基づいて特徴抽出処理を施し、被写体の形状を抽出し、抽出した形状に基づいて各ブロックに対する重みを設定する。図８では、被写体６２の形状に沿った領域のブロックの重みをａ₃、その周囲の被写体６２の形状に沿った所定領域のブロックの重みをａ₂、さらにその周囲の被写体６２の形状に沿った所定領域のブロックの重みをａ₁としており、ａ₃＞ａ₂＞ａ₁である。すなわち、被写体６２に近いブロックほど重みの値が大きく、被写体から離れるに従って重みの値が小さくなる。

なお、ステップ１０２、１０４の処理は、本発明の動き検出手段に相当し、ステップ１０４の処理は、本発明の総和演算手段に相当する。

次に、ステップ１０６において、求めた動き量の総和ｍ_tが０以上でかつ予め定めた閾値Ｍ_s未満である条件を満たすか否かを判定し、この条件を満たす場合にはステップ１０８へ移行し、満たさない場合には、ステップ１１０へ移行する。

ここで、閾値Ｍ_sは、動き量の総和ｍ_tがこの値未満であれば、被写体の動きが比較的ゆっくりであるか又は静止している状態と判断できる値に設定される。

従って、ステップ１０８では、フレームメモリ５４に記憶されたＹＣデータのうち、Ｎ０個のＹＣデータを用いて静止画像を生成する。

ステップ１１０では、求めた動き量の総和ｍ_tが閾値Ｍ_s以上でかつ予め定めた閾値Ｍ_n未満である条件を満たすか否かを判定し、この条件を満たす場合にはステップ１１２へ移行し、満たさない場合には、ステップ１１４へ移行する。なお、ステップ１０６、１１０の処理は、本発明の決定手段に相当する。

ここで、閾値Ｍ_nは、動き量の総和ｍ_tがこの値未満で且つ閾値Ｍ_s以上であれば、被写体の動きがゆっくりではないが、激しく動いているとも言えない普通に動いている程度の状態と判断でき、動き量の総和ｍ_tが閾値Ｍ_n以上であれば、被写体の動きが激しいと判断できる値に設定される。

従って、ステップ１１２では、フレームメモリ５４に記憶されたＹＣデータのうち、Ｎ１個のＹＣデータを用いて静止画像を生成する。

一方、求めた動き量の総和ｍ_tが閾値Ｍ_s以上でかつ予め定めた閾値Ｍ_n未満である条件を満たさない場合、すなわち、動き量の総和ｍ_tが閾値Ｍ_n以上である場合には、ステップ１１４において、フレームメモリ５４に記憶されたＹＣデータのうち、Ｎ２個のＹＣデータを用いて静止画像を生成する。なお、ステップ１０８、１１２、１１４の処理は、本発明の生成手段に相当する。

静止画像の生成は、公知の種々の方法を用いることができ、例えば画素ずらしにより複数の動画用のフレーム画像データから高精細な静止画像を生成することができる。

簡単に説明すると、図９に示すように、基準となるフレーム画像の各画素７０の中心点７２から、先に求めた他の各フレーム画像の動きベクトルに基づいて、各フレーム画像の各画素の中心点７４を基準となる中心点７２に対してどの位置に配置するかを決定し、各フレーム画像を合成する。

このように、予め定めた複数のフレーム画像について検出した動き量の総和を被写体の動きの度合いとし、動きの度合いが大きいほど多くのフレーム画像を用いて静止画像を生成し、動きの度合いが小さいほど少ない数のフレーム画像を用いて静止画像を生成するため、被写体の動きにの度合いに応じて効率よく適正な画質で動画像から静止画像を生成することができると共に、装置の処理負荷を軽減することができる。

なお、本実施形態では、デジタルカメラに本発明を適用した場合について説明したが、これに限らず、動画を再生することができるものであれば、撮影手段を備えない画像再生装置にも本発明を適用可能である。

デジタルカメラのブロック図である。動画処理部のブロック図である。フレーム画像の数について説明するための図である。動画処理部で実行されるフローチャートである。動きベクトルの算出について説明するための図である。重みについて説明するための図である。重みについて説明するための図である。重みについて説明するための図である。画素ずらしについて説明するための図である。

符号の説明

１０デジタルカメラ
１２光学ユニット
１３ＣＣＤ
１４Ａ／Ｄコンバータ
１５駆動部
１６ＬＣＤ
１８操作部
２４主制御部
３０画像信号処理部
３２ＣＰＵ
３４入出力ポート
３６動画処理部
３７静止画像処理部
３８メモリコントローラ
４４外部通信制御部
４６ＬＣＤ信号処理部
４８メディア制御部
５０バス
５２動画像圧縮部
５４フレームメモリ（記憶手段）
５６静止画像生成部

Claims

動画像データを構成する複数のフレーム画像データを記憶する記憶手段と、
前記複数のフレーム画像データのうち予め定めた所定数のフレーム画像の各々について、前記フレーム画像の被写体の動きの度合いを検出する動き検出手段と、
各フレーム画像について検出した動きの度合いに基づいて、前記複数のフレーム画像データのうち、静止画像を生成するためのフレーム画像データの数を決定する決定手段と、
決定された数のフレーム画像データに基づいて静止画像を生成する生成手段と、
を備え、
前記決定手段は、前記被写体の動きの度合いが大きくなるに従って、前記静止画像を生成するためのフレーム画像データの数を多くする
画像処理装置。
前記動き検出手段は、各フレーム画像について、前記フレーム画像を所定数に分割した分割領域毎に動き量を検出し、前記決定手段は、検出した各フレーム画像の各分割領域の動き量の総和を求める総和演算手段を含み、前記総和が多くなるに従って、前記静止画像を生成するためのフレーム画像データの数を多くすることを特徴とする請求項１記載の画像処理装置。
前記総和演算手段は、前記分割領域毎に重みを付与して前記総和を求めることを特徴とする請求項２記載の画像処理装置。
前記総和演算手段は、前記フレーム画像の中心部に向かうに従って分割領域の重みを多くして前記総和を求めることを特徴とする請求項３記載の画像処理装置。
前記決定手段は、前記被写体の形状を抽出する形状抽出手段をさらに備え、前記総和演算手段は、抽出された前記被写体の形状の部分の重みを多くして前記総和を求めることを特徴とする請求項３記載の画像処理装置。