JP6866142B2 - プログラム、画像処理装置、および画像処理方法 - Google Patents

Description

本発明は、動画像から出力対象の候補のフレームを選択するプログラム、画像処理装置、および画像処理方法に関する。

従来、動画像データに含まれる複数のフレームから特定のフレームを選択し、そのフレームの静止画像データを生成する技術がある。例えば、動画像から観賞に適した数枚の静止画像を自動的に生成する。この場合、例えば画質に基づいてフレームの評価を行い、評価の高いフレームの選択が行われる。この際、動画像データに含まれる多数のフレームについて解析や評価を行うと処理負荷が大きいため、サンプリングなどにより一部のフレームのみを復号、解析することにより処理時間の抑制が行われることがある。

しかし、一部のフレームのみについて解析や評価を行う場合、解析されたフレームの中では評価が高かったフレームだとしても、そのフレームが観賞のための静止画像として適切であるとは限らない。

特許文献１に記載の技術では、解析されたフレームに含まれる顔の表情が満足であるか否かが判定される。そして、表情が満足であると判定されなかった場合には該フレームが保存されずに、動画像において該フレームから遅延させたフレームが保存される。

特表２００９―５２７９８３号公報

しかしながら、特許文献１に記載のように、解析が行われた元のフレームから遅延させたフレームの方が、上記元のフレームよりも適切でないことがある。即ち、上記の元のフレームではなく、元のフレームから遅延させたフレームを選択することで、かえって適切でないフレームを選択してしまうことがある。

本発明は上記問題を鑑み、動画像から出力対象の候補のフレームを選択する場合に、解析対象のフレームの数を抑えた上で、より適切なフレームを選択することができる技術を提供することを目的とする。

上記目的を達成するために、本発明におけるプログラムは、動画像から出力対象の候補のフレームを選択するためのプログラムであって、前記動画像に含まれているフレームを解析する解析手段と、前記解析手段による解析の結果に基づいて、前記出力対象の候補としての候補フレームを選択する選択手段としてコンピュータを機能させ、前記動画像に含まれているフレームのうち、フレーム間予測を用いずに符号化されるフレームである第１のフレームが所定の特徴量に関する所定の条件を満たす場合、前記解析手段は、前記動画像に含まれ且つ前記フレーム間予測を用いて符号化されるフレームである第２のフレームを解析し、前記選択手段は、前記第１のフレームの前記解析手段による解析の結果と、前記第２のフレームの前記解析手段による解析の結果とに基づき、前記第１のフレームと前記第２のフレームから前記候補フレームを選択し、前記第１のフレームが前記所定の条件を満たさない場合、前記解析手段は、前記第２のフレームを解析せず、前記選択手段は、前記第１のフレームを前記候補フレームとして選択することを特徴とする。

本発明によれば、動画像から出力対象の候補のフレームを選択する場合に、解析対象のフレームの数を抑えた上で、より適切なフレームを選択することができる

実施形態１の画像処理装置のハードウェア構成の一例を示したブロック図である。 実施形態１の画像処理装置の機能構成の一例を示したブロック図である。 実施形態１の画像処理装置に記憶されるテーブルの一例を示す図である。 実施形態１における静止画像の選択処理の一例を示すフローチャートである。 選択候補決定処理の一例を示すフローチャートである。 実施形態１における、追加解析画像までのオフセットを決定するオフセット決定処理を示すフローチャートである。 実施形態２におけるオフセット決定処理の一例を示すフローチャートである。 実施形態２において画像処理装置に記憶されるテーブルの一例を示す図である。 実施形態３におけるオフセット決定処理の一例を示すフローチャートである。 実施形態４におけるオフセット決定処理の一例を示すフローチャートである。

以下、添付の図面を参照して、本発明の実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は、本実施形態において、動画像から出力対象のフレームを選択する画像処理装置のハードウェア構成の一例を示したブロック図である。

図１において、１００は画像処理装置のハードウェア全体である。１０２は中央演算処理装置（以下、ＣＰＵ）である。ＣＰＵ１０２は、後述する各種処理のための演算および論理判断を行ない、データや命令をやり取りするためのシステムバス１０１に接続された各構成要素を制御する。１０５は本実施形態における動画像データや該動画像データから抽出された静止画像データ、プログラムを記憶しておくためのハードディスク等の記憶装置である。１０６はユーザが情報の入力あるいは操作を行なうためのマウス、キーボード、タブレット等の入力部である。１０７はグラフィックコントローラ等の出力のための回路を含むディスプレイ等の出力部である。

また画像処理装置１００には、プログラムメモリとデータメモリが搭載されている。プログラムメモリには、後述するフローチャートで示す各処理を実行するためのプログラムを格納されている。ＣＰＵ１０２がプログラムメモリに格納されているプログラムをデータメモリ上で実行することで、後述する各フローチャートで示す処理が実行される。該プログラムメモリはＲＯＭ１０３であっても良いし、記憶装置１０５であっても良い。

図２は、本実施形態における画像処理装置１００の機能構成の一例を示すブロック図である。ＣＰＵ１０２が、プログラムメモリ内のプログラムを実行することで、図２に示す各機能構成として動作する。

２０１は動画像データを入力するための動画像入力部である。２０２は、動画像入力部２０１により入力された動画像データのうち、指定されたフレームを復号して静止画像データを生成するための動画像復号部である。２０３は、動画像復号部２０２により生成された静止画像データおよび該静止画データの特徴量を管理する静止画像データ管理部である。静止画像データ管理部２０３は、図３（ａ）、図３（ｂ）で後述する２つのテーブルを管理する。なお、該２つのテーブルは、例えばＲＡＭ１０４に記憶され、ＲＡＭ１０４において管理される。

２０４は、動画像復号部２０２により生成された静止画像データ（フレーム）の各種の特徴量について解析し、その静止画像データ（フレーム）の評価を行うための静止画像解析部である。２０５は、静止画像解析部２０４による評価に応じて、出力対象の候補の静止画像データ（フレーム）を選択する静止画像選択部である。２０６は、静止画像解析部２０４による静止画像データ（フレーム）の解析結果、評価を元に、追加解析を行う静止画像データ（フレーム）を決定する追加画像決定部である。

本実施形態では、例えば第１フレームについての静止画像解析部２０４による解析、評価の結果、追加画像決定部２０６により新たな第２フレームが決定された場合、静止画像解析部２０４は、該第２フレームについても解析、評価を行う。そして、静止画像データ管理部２０３は、第１フレームと第２フレームのうち、評価値の高い方のフレームを出力対象の候補として選択する。そのため、仮に上記の第１フレームの方が第２フレームよりも評価が高い場合には、第１フレームが出力対象の候補として選択される。本実施形態の静止画像データ（フレーム）の選択処理の詳細については後述する。

図３は、画像処理装置１００に記憶されるテーブルの一例を表す図である。図３に示すテーブルは、例えばＣＰＵ１０２によりＲＡＭ１０４に記憶される。

図３（ａ）は、動画像復号部２０２により復号され、静止画像解析部２０４により解析、評価された静止画像の一覧を示すテーブルである。図３（ａ）の例では、動画像復号部２０２は、動画像入力部２０１に入力された動画像に含まれている複数のフレームについて、３０フレーム毎に復号するものとする。図３（ａ）に示すテーブルにおいて、各行は、復号された１枚の静止画像を表している。図３（ａ）に示すテーブル中の１つの静止画像データにおいて、最も左の列は動画像の対応するフレームのフレーム番号、左から２つ目の列は静止画像の評価スコアを示す。左から３つ目以降の列は、静止画像を解析した結果の各特徴量を表しており、各特徴量は、解析時に最小値０、最大値１に正規化されている。図３（ａ）において、「目瞑り特徴量」は、画像に含まれている人物が目を瞑っている程度を示し、目を瞑っている程度が高い場合、目瞑り特徴量が多くなる。また「ボケ・ブレ特徴量」は、画像のボケまたはブレの程度を示し、ボケやブレが大きいほど、「ボケ・ブレ特徴量」が多くなる。目瞑りの程度やボケやブレの程度については、公知である種々の方法により算出することができる。

なお、図３（ａ）では、特徴量として「目瞑り特徴量」、「ボケ・ブレ特徴量」を示しているが、例えば静止画像の露出、彩度などの画質および被写体の種類、位置、大きさ、表情などの特徴量も算出、正規化され、図３（ａ）が示すテーブルに含まれる。ただし、図３（ａ）では、これらその他の特徴量については、具体的な値が省略されている。

図３（ａ）に示す「評価スコア」は、静止画像解析部２０４により各行に対応する静止画像の各特徴量に基づいて算出された評価を示す。そして、「目瞑り特徴量」、「ボケ・ブレ特徴量」が大きいほど、「評価スコア」は低くなる。即ち、ある静止画像が出力対象として適切でない場合に、該静止画像に特徴量としてより大きな値が与えられる。また、「目瞑り特徴量」、「ボケ・ブレ特徴量」以外のその他の特徴量についても、出力対象として適切でない場合に、特徴量としてより大きな値が与えられる。なお、「評価スコア」の算出方法としては各種の方法を用いることができる。 図３（ｂ）は、出力対象の候補としての静止画像（候補フレーム）の一覧を示すテーブルであり、静止画像選択部２０５は、図３（ｂ）のテーブルが示す静止画像から、出力対象の静止画像を選択する。該テーブルにおいて、各行は復号された１枚の静止画像を表している。テーブル中の１つの静止画像データにおいて、左の列は動画像の対応するフレームのフレーム番号、右の列は静止画像の評価スコアである。即ち、図３（ａ）に示したテーブルにおける左の２列の情報が、図３（ｂ）に示すテーブルとなる。

ただし、後述するように、図３（ａ）に示すテーブルが対応する複数のフレームのうち、「目瞑り特徴量」または「ボケ・ブレ特徴量」が高いフレーム（元フレーム）については、追加画像決定部２０６により新たな解析対象としてのフレームが決定される。そして、静止画像解析部２０４は、追加画像決定部２０６により決定された新たなフレームについて各種の特徴量の解析、評価を行う。静止画像データ管理部２０３は、上記の元フレームと、上記の新たなフレームのうち、より評価スコアの高いフレームを、図３（ｂ）に示すテーブルに、選択候補として含ませる。例えば図３（ｂ）では、図３（ａ）が示すフレーム番号が「１」のフレームではなく、該フレームよりも評価スコアの高い、フレーム番号が「４」のフレームが選択候補としてテーブルに含まれている。

図４は、本実施形態における画像処理装置１００が静止画像を選択する処理の一例を示すフローチャートである。図４に示すフローチャートが示す各処理は、ＣＰＵ１０２がプログラムメモリに格納されているプログラムをデータメモリ上で実行し、図２に示す各要素として機能することで実現される。以下の説明では、図２に示す各要素が、図４に示すフローチャートが示す上記の各処理を実行するものとして説明する。

動画像入力部２０１は、画像処理装置１００の外部の装置やメモリ、または記憶装置１０５等の内部のメモリから、出力対象の静止画像が選択される動画像を取得する（Ｓ４０１）。Ｓ４０１において入力される動画像のフォーマットは、ＭＰＥＧ形式である。また該動画像には、フレーム間予測により符号化されているＰフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）、Ｂフレーム（Ｂｉ−ｄｉｒｅｃｔｅｄ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）が含まれている。さらに、フレーム間予測を用いずに、静止画像として圧縮されているＩフレーム（Ｉｎｔｒａ Ｆｒａｍｅ）が含まれる。

動画像復号部２０２は、Ｓ４０１において取得された動画像のＰフレームとＢフレームは復号せずに、Ｉフレームを特定して復号することで静止画像を生成し、生成された静止画像を記憶装置１０５に保存する（Ｓ４０２）。Ｉフレームの符号化にはフレーム間予測が使用されていないため、Ｉフレームの復号処理には、Ｐフレーム、Ｂフレームの復号処理のように、他のフレームの復号が必要でない。そのため、Ｉフレームの復号処理はＰフレーム、Ｂフレームに比べて復号にかかる処理量が少なく、処理の高速化が期待できる。さらに、Ｉフレームの場合、フレーム間予測が用いられないため、Ｐフレーム、Ｂフレームよりも画質が良い可能性が高い。そのため、動画像復号部２０２は、出力対象の選択候補として、Ｉフレームを復号する。またＳ４０２では、Ｐフレーム、Ｂフレームが復号されないため、全てのフレームが復号される場合に比べて、フレームの復号のための処理時間が短縮される。

なお、Ｓ４０２において動画像復号部２０２は、復号された静止画像に動画像のファイル名およびフレーム番号に応じたファイル名を付与して記憶装置１０５に保存し、それにより、該静止画像を識別可能である。

次に、静止画像データ管理部２０３は、Ｓ４０２で生成された複数の静止画像（複数のＩフレーム）のうち、Ｓ４０１で入力された動画像において時系列的に最初のものを、現在着目している静止画像ＩｃとしてＲＡＭ１０４に読み込む（Ｓ４０３）。そして、静止画像データ管理部２０３は、図５を用いて後述する選択候補決定処理により、図３（ｂ）に示したテーブルに保持する静止画像を決定する（Ｓ４０４）。

次に、静止画像データ管理部２０３は、Ｓ４０２で保存され、Ｓ４０４において選択候補決定処理が実行されていない静止画像が記憶装置１０５に記憶されているか否かを判定する（Ｓ４０５）。Ｓ４０５において上述の静止画像が記憶装置１０５に記憶されていると判定された場合に、静止画像データ管理部２０３は、それらの静止画像のうち時系列的に最初のものを現在着目している静止画像ＩｃとしてＲＡＭ１０４に読み込む（Ｓ４０７）。そして、静止画像データ管理部２０３は、Ｓ４０７において読み込まれた静止画像について、Ｓ４０４において選択候補決定処理を実行する。一方、Ｓ４０５において上述の静止画像が記憶装置１０５に記憶されていないと判定された場合に、処理がＳ４０６に進む。静止画像選択部２０５は、選択候補決定処理で決定され、図３（ｂ）に示すテーブルが含む出力対象の候補である候補フレームから、出力対象のフレームを選択する（Ｓ４０６）。具体的には、Ｓ４０６において静止画像選択部２０５は、評価スコアが上位である静止画像を予め決められた枚数選択する。

図５は本実施形態における選択候補決定処理の一例を示すフローチャートであり、図４のＳ４０４の詳細を示す。

静止画像データ管理部２０３は、現在着目している静止画像Ｉｃに対応するフレームから追加で復号するフレームまでのフレーム数を示すオフセットを０で初期化する（Ｓ５０１）。次に、静止画像解析部２０４が、静止画像Ｉｃの各特徴量を抽出し（Ｓ５０２）、該特徴量を元に静止画像Ｉｃの評価スコアＳｃを算出する（Ｓ５０３）。さらに静止画像データ管理部２０３は、図３（ａ）に示したテーブルに、Ｓ５０２で抽出された特徴量と、Ｓ５０３で算出された評価スコアＳｃを、静止画像Ｉｃのフレーム番号に対応付けて記憶する。評価スコアは、テーブル（３ａ）に記載の目瞑り特徴量、ボケ・ブレ特徴量に加えて、静止画像の露出、彩度などの画質および被写体の種類、位置、大きさ、表情などの特徴量に適切な重みをかけたものを積算して算出するものとする。本実施形態で取り上げた目瞑り特徴量、ボケ・ブレ特徴量のように静止画像の評価に対して負の影響を与える特徴量の場合には、重みは負の値となる。

そして、追加画像決定部２０６は、図６で詳細を後述する追加解析画像を示すオフセットを決定するオフセット決定処理を行う（Ｓ５０４）。Ｓ５０４におけるオフセット決定処理により、追加画像決定部２０６は、Ｓ４０１で入力された動画像において、静止画像Ｉｃから追加で解析する静止画像に対応するフレームまでのフレーム数であるオフセット値を決定する。

次に静止画像データ管理部２０３は、Ｓ５０４において決定されたオフセットが０より大きいか否か、すなわち追加で静止画像を復号、解析する必要があるか否かを判断する（Ｓ５０５）。Ｓ５０５の判断の結果、オフセットが０より大きくない場合には、追加で静止画像を復号、解析する必要なないとして、Ｓ５１１に処理が移る。

Ｓ５０５の判断の結果、オフセットが０より大きい場合には、Ｓ５０６に処理が進む。動画像復号部２０２は、Ｓ４０１で入力された動画像において、現在の静止画像Ｉｃに対応するフレームのフレーム番号にオフセットを加えた番号のフレームを特定し、特定されたフレームを追加で復号する（Ｓ５０６）。なお、Ｓ５０６において復号されるフレームは、あくまで特定されたフレーム番号のフレームであり、Ｉフレームに限らず、ＰフレームまたはＢフレームでもよい。静止画像解析部２０４は、Ｓ５０６における追加の復号によって生成された追加静止画像Ｉａの特徴量を抽出する（Ｓ５０７）。それから、追加静止画像Ｉａの評価スコアＳａをＳ５０３における処理と同様の処理により算出する（Ｓ５０８）。

静止画像データ管理部２０３は、追加静止画像Ｉａの評価スコアＳａが静止画像Ｉｃの評価スコアＳｃより大きいか否かを判断する（Ｓ５０９）。該判断の結果、ＳａがＳｃより大きい場合には、処理がＳ５１０に進む。静止画像データ管理部２０３は、追加静止画像Ｉａに対応するフレーム番号と評価スコアＳａを、図３（ｂ）が示す、選択候補の静止画像一覧を示すテーブルに追加して（Ｓ５１０）、処理を終了する。Ｓ５１０における処理により、静止画像Ｉａに対応するフレームが、出力対象の候補である候補フレームとして選択される。一方、Ｓ５０９の判断の結果、ＳａがＳｃより大きくない場合には、静止画像Ｉｃに対応するフレーム番号と評価スコアＳｃを、図３（ｂ）が示す、選択候補の静止画像一覧を示すテーブルに追加して（Ｓ５１１）、処理を終了する。Ｓ５１１における処理により、静止画像Ｉｃに対応するフレームが、出力対象の候補である候補フレームとして選択される。

図６は、実施形態１における、追加解析画像までのオフセットを決定するオフセット決定処理を示すフローチャートであり、図５のＳ５０４の詳細を示す。

追加画像決定部２０６は、図３（ａ）が示すテーブルにおいて、現在着目している静止画像Ｉｃの所定の特徴量として目瞑り特徴量Ｆｂｃを特定し、特定された目瞑り特徴量Ｆｂｃが目瞑り特徴量用の閾値Ｔｂを超えているか否かを判断する（Ｓ６０１）。Ｓ６０１の判断の結果、目瞑り特徴量Ｆｂｃが閾値Ｔｂを越えていない場合には、処理がＳ６０２に進む。目瞑り特徴量Ｆｂｃが閾値Ｔｂを越えている場合には、静止画像Ｉｃが、目瞑り特徴量に関して、他のフレームを追加で解析・評価する必要がある所定の条件を満たす静止画像であるとして、処理がＳ６０３に進む。

追加画像決定部２０６は、図３（ａ）が示すテーブルにおいて、静止画像Ｉｃのボケ・ブレ特徴量Ｆｓｃを所定の特徴量として特定し、特定されたボケ・ブレ特徴量Ｆｓｃがボケ・ブレ特徴量用の閾値Ｔｓを超えているか否かを判断する（Ｓ６０２）。ボケ・ブレ特徴量Ｆｓｃが閾値Ｔｓを越えていなければ、図６に示す処理が終了する。ボケ・ブレ特徴量Ｆｓｃが閾値Ｔｓを越えていれば、静止画像Ｉｃが、ボケ・ブレ特徴量に関して、他のフレームを追加で解析・評価する必要がある所定の条件を満たす静止画像であるとして、処理がＳ６０３に進む。

追加画像決定部２０６は、Ｓ６０３において、追加で解析される対象となるフレームを特定するためのオフセットを３に決定してする。即ち、図６に示す処理によれば、目瞑り特徴量Ｆｂｃが閾値Ｔｂを越えているという条件と、ボケ・ブレ特徴量Ｆｓｃが閾値Ｔｓを越えている等条件のいずれかが満たされれば、オフセットが０から３に更新される。即ち、Ｓ５０６〜Ｓ５０８の処理により、追加でフレームの復号、解析、評価が行われ、Ｓ５０９において現在着目の静止画像Ｉｃ（Ｉフレーム）との評価スコアの比較が行われる。

図６に示した処理について、図３（ａ）に示すテーブルを用いて具体的に説明する。例えば、ボケ・ブレ特徴量のための閾値Ｔｓが「０．５」である場合、フレーム番号１に対応する静止画像Ｉｃ（Ｉフレーム）は、Ｓ６０２において、ボケ・ブレ特徴量ＦｓｃがＴｓを超えていると判断される。そのため、Ｓ６０３の処理において、オフセットが３に設定される。その結果、図５のＳ５０５においてオフセットが０より大きいと判断される。そのため、Ｓ５０６において、動画像に含まれる複数フレームのうち、フレーム番号の１にオフセットの３を加えた４番目のフレームが追加で復号され、静止画像が生成・保存される。そして、Ｓ５０７で該静止画像の特徴量が抽出され、Ｓ５０８で評価スコアＳａが算出される。例えば評価スコアＳａが０．８６であったものとすると、Ｓ５０９における比較の結果、評価スコアＳａが評価スコアＳｃより高いため、図３（ｂ）に示す選択候補の静止画像一覧を示すテーブルに、フレーム番号４とその評価値０．８６が記憶される。

同様に、図３（ａ）のテーブルが示すフレーム番号６１に対応する静止画像Ｉｃ（Ｉフレーム）は、目瞑り特徴量ＦｂｃがＴｂ（例えば０．６）よりも高いために、Ｓ６０３において、オフセットが３に設定される。その結果、Ｓ５０５において、オフセットが０より大きいと判断され、フレーム番号の６１にオフセットの３を加えた６４番目のフレームがＳ５０６において追加で復号され、静止画像が生成・保存される。そして、Ｓ５０７において該静止画像の特徴量が抽出され、Ｓ５０８において評価スコアＳａが算出される。ここで、評価スコアＳａが０．６８であったものとする。すると、Ｓ５０９の比較の結果、評価スコアＳａよりも評価スコアＳｃ（０．７２）の方が高いため、図３（ｂ）に示す選択候補の静止画像一覧を示すテーブルには、フレーム番号６１とその評価値０．７２が記憶される。

図３（ａ）のテーブルが示すフレーム番号３１、９１に対応する静止画像については、目瞑り特徴量、ボケ・ブレ特徴量が共に小さく、図６のＳ６０１、Ｓ６０２のいずれでも「Ｎｏ」と判定される。そのため、図３（ｂ）に示す選択候補の静止画像一覧を示すテーブルには、フレーム番号３１、９１と、それぞれのフレーム番号に対応する静止画像の評価スコアが記憶される。

その結果、図４のＳ４０６において静止画像選択部２０５は、図３（ｂ）に示す選択候補の静止画像一覧を示すテーブルから、上位の評価スコアの静止画像を選択する。例えば２枚の静止画像が選択されるとすると、フレーム番号４と９１の静止画像が選択される。

以上の実施形態の画像処理装置１００によれば、動画像に含まれている複数のフレームの一部のフレームを復号・解析する。具体的には、Ｉフレームが復号・解析される。そして、その解析の結果、目瞑りやブレ・ボケが発生している場合に、追加の解析が行われ、目瞑りやブレ・ボケが発生していない場合には、追加の解析が行われない。そのため、Ｉフレームについて目瞑りやブレ・ボケが発生しており、他のフレームについても参照した方が良い場合に、追加でフレームの解析が行われる。よって、全てのフレームを解析する場合に比べて、フレーム解析の負荷を抑えた上で、より適切なフレームを選択することができる。

また、追加でフレームの解析が行われたとしても、現在着目している静止画像Ｉｃ（Ｉフレーム）の方が追加で解析されたフレームの静止画像Ｉａよりも評価スコアが高い場合、静止画像Ｉｃが選択候補となる。そのため、静止画像Ｉｃよりも評価の低い静止画像Ｉａが選択候補となることを防ぐことができる。

なお、以上の実施形態では、特徴量の値が閾値に満たない場合に追加で復号および解析するフレームは１枚であったが、予め決められた複数枚のフレームを追加復号および解析して、評価するように構成しても良い。

また以上の実施形態において画像処理装置１００は、出力対象の候補として静止画像を種々の目的で選択してもよい。例えば、画像処理装置１００が、静止画像をテンプレートに自動的に配置することで電子アルバムを作成し、出力装置に出力しても良い。例えば画像処理装置１００が、出力装置としての表示装置または印刷装置に電子アルバムのデータを出力し、表示または印刷を行わせても良い。その際に、画像処理装置１００が、テンプレートへ配置されて電子アルバムとして表示または印刷される静止画像を動画像から自動的に選択するために、以上の実施形態が用いられてもよい。その場合、例えば動画像から自動的に選択された多くの静止画像が、元から静止画像として撮影された画像とともに、テンプレートへの配置候補となる。そして、画像の画質、構図等により、配置候補の画像からテンプレートへ配置される画像がさらに絞り込まれ、その絞り込まれた画像を、画像処理装置１００がテンプレートに配置してもよい。

また例えば、テンプレートにおけるスロット（静止画像が配置される領域）の数や、電子アルバムのページ数に応じて、Ｓ４０６において選択される静止画像（フレーム）の数が異なっていても良い。例えば、スロットの数や電子アルバムのページ数が多い場合、テンプレートへ配置される静止画像が多くなるため、配置候補の静止画像も多い方が望ましい。よって、例えば電子アルバムの複数ページにおけるスロットの合計数が閾値より多い場合、Ｓ４０６において、該合計数が該閾値以下の場合に比べて多くの静止画像が選択されてもよい。

また図４に示した処理では、まず動画からＩフレームが抽出されるが、追加で解析されるフレームは、ＰフレームまたはＢフレームとなる。ＰフレームまたはＢフレームの場合、フレーム間予測により符号化されているため、Ｉフレームに比較して画質が落ちることが多い。仮に静止画像解析部２０４の解析において、フレーム間予測による画質低下が解析に反映されていない場合、追加で解析されたＰフレームまたはＢフレームについて、スコアが落ちるよう、評価スコアが調整されてもよい。

また、以上の実施形態では現在着目している静止画像Ｉｃの評価スコアＳｃと追加で復号された静止画像Ｉａの評価スコアＳａを比較して、評価が良い方の静止画像が選択される。しかしこれに限らず、上記の比較をせずに、静止画像Ｉｃと静止画像Ｉａの両方が出力対象の候補として、図３（ｂ）に示すテーブルに追加されてもよい。

さらに以上の実施形態では、追加で解析を行うか否かを判断するための処理（Ｓ５０４、図６）と、追加で解析が行われた場合に、出力対象の候補である候補フレームを選択する処理（Ｓ５０９〜Ｓ５１１）が共通の特徴量に基づいて実行されていた。つまり、上記２つの処理のいずれにも、目瞑り特徴量とボケ・ブレ特徴量が考慮されていた。しかしこれに限らず、個別の特徴量により上記２つの処理が実行されてもよい。例えば、出力対象の候補である候補フレームを選択する処理（Ｓ５０９〜Ｓ５１１）では、目瞑り特徴量とボケ・ブレ特徴量とは異なる特徴量が解析された結果のみを用いて得られた評価により、候補フレームが選択されてもよい。目瞑り特徴量とボケ・ブレ特徴量とは異なる特徴量としては、例えば画像における人物の顔の大きさ、顔の位置、顔の数等の種々の特徴量を用いることができる。

また、追加で解析を行うか否かを判断するための処理のために、Ｓ５０３で算出された静止画像Ｉｃの評価スコアＳｃが、出力対象の候補である候補フレームを選択する処理（Ｓ５０９）でも用いられた。しかしこれに限らず、出力対象の候補である候補フレームを選択する処理（Ｓ５０９）では、Ｓ５０３とは別の評価基準により改めて静止画像Ｉｃの評価が行われても良い。ただし、図５に示したように、Ｓ５０３において算出された評価スコアＳｃをＳ５０９でも用いることで、処理を簡略化することができる。

さらに、図６に示した処理では、静止画像Ｉｃが所定の特徴量に関する所定の条件を満たすか否かに応じて、追加画像決定部２０６が追加で解析されるフレームを決定するか否かが変更されていた。しかしこれに限らず、追加画像決定部２０６が、静止画像Ｉｃが所定の特徴量に関する所定の条件を満たすか否かに関わらず、追加で解析されるフレームを決定してもよい。その上で、そのフレームが静止画像解析部２０４により解析されるか否かが、上記所定の条件が満たされるか否かで変更されてもよい。

＜実施形態２＞
実施形態１では、追加で復号および解析を行うフレームのフレーム番号を特定するためのオフセット値は、特徴量の種類（図６では「目瞑り特徴量」と「ボケ・ブレ特徴量」）によらず一定（図６では「３」）であった。ところが、特徴量の値が所定の閾値を超えており、出力対象の静止画像として好ましくないフレームについて、その特徴量が閾値を下回るまでに要する時間（フレーム数）は必ずしも一定ではない。例えば、被写体の人物が瞬きにより目を瞑っていた状態から目が開いた状態に戻るまでの時間と、オートフォーカスによりピントが合っていない状態（ボケ・ブレ特徴量）からピントが合った状態になるまでの時間は必ずしも同じではない。そこで実施形態２においては、複数種類の特徴量のうちの、所定の閾値を越えた特徴量の種類に応じて、オフセットの値を異ならせる処理について説明する。なお、実施形態２において、追加解析画像のフレーム番号を特定するためのオフセットを決定するオフセット決定処理以外の処理は、実施形態１と同様である。

図７は実施形態２におけるオフセット決定処理の一例を示すフローチャートである。実施形態２では、図５のＳ５０４において、図７のフローチャートが示す処理が実行される。

追加画像決定部２０６は、現在着目している静止画像Ｉｃの目瞑り特徴量Ｆｂｃが上述の閾値Ｔｂを超えているか否かを判断する（Ｓ７０１）。Ｓ７０１の判断の結果、目瞑り特徴量Ｆｂｃが上述の閾値Ｔｂを超えている場合には、追加画像決定部２０６は、オフセットを７に設定する（Ｓ７０２）。次に追加画像決定部２０６は、静止画像Ｉｃのボケ・ブレ特徴量Ｆｓｃが上述の閾値Ｔｓを超えているか否かを判断し（Ｓ７０３）、ボケ・ブレ特徴量Ｆｓｃが閾値Ｔｓを越えていなければ図７の処理を終了する。

一方、Ｓ７０３において、ボケ・ブレ特徴量Ｆｓｃが上述の閾値Ｔｓを超えていると判断された場合には、現在のオフセットが３よりも小さいかどうかを判断する（Ｓ７０４）。Ｓ７０４でオフセットが３よりも小さいと判断された場合は、追加画像決定部２０６は、オフセットを３に設定する（Ｓ７０５）。Ｓ７０４において３よりも大きいと判断されば、追加画像決定部２０６はオフセットの更新は行わずに図７の処理を終了する。即ち、静止画像Ｉｃにおいて被写体の人物の目瞑りの程度が大きく、Ｓ７０２においてオフセットが７に設定された場合、そのオフセットが更新されずに図７の処理が終了する。

図７に示す処理は、例えば目瞑りが解消されるのに必要な時間（即ち人物が瞬きの際に目を開ける時間）の方が、ボケやブレが解消されるのに必要な時間より長いと考えられる場合の処理である。即ち、静止画像Ｉｃにボケやブレが発生した場合に比べて、目瞑りが発生した場合に、静止画像Ｉｃからのフレーム間隔がより広いフレームが追加の解析対象として特定される。そのため、例えば追加の解析対象として特定されたフレームと、静止画像Ｉｃとのフレーム間隔（時間）が短いため目瞑りが解消されていないという可能性を低減することができる。

なお、図７では目瞑り特徴量と、ボケ・ブレ特徴量のみを判定したが、特徴量の種類はこれらに限定されない。例えば、目瞑り特徴量、ボケ・ブレ特徴量に加えて判定を行う必要がある特徴量があってもよい。そして、その特徴量が閾値以上の場合に、目瞑り特徴量やボケ・ブレ特徴量が閾値以上の場合とは異なる所定の値がオフセットとして設定されるとする。この場合、図７における「処理終了」の前に、Ｓ７０３〜Ｓ７０５に相当する処理が追加される。なお、Ｓ７０４、Ｓ７０５に相当する処理では、オフセット値として「３」ではなく、上記の所定の値が用いられる。以上のように処理が追加されることで、判定対象の特徴量として種々の特徴量が追加された場合でも、図７の処理により設定される最終的なオフセット値としては、閾値以上の特徴量に対応するオフセット値のうちの最大の値が設定される。

図８は、実施形態２において画像処理装置に記憶されるテーブルの一例を示す図であり、該テーブルは、選択候補の静止画像一覧を示す。図８に示すテーブルは、図３（ｂ）で示したテーブルと同様の内容を示し、例えばＣＰＵ１０２によりＲＡＭ１０４に記憶される。

図８に示すテーブルにおいて、各行は動画像から復号された１枚の静止画像を表している。テーブル中の１つの静止画像データにおいて、左の列は該動画像において対応するフレームのフレーム番号、右の列は静止画像の評価スコアである。

実施形態２において、図３（ａ）の１行目に記憶されているフレーム番号１に対応する静止画像は、Ｓ７０１の判断においてボケ・ブレ特徴量ＦｂｃはＴｂ（例えば０．６）よりも低いため、オフセットは０のままである。一方、Ｓ７０３の判断において目瞑り特徴量ＦｓｃはＴｓ（例えば０．５）よりも高いために、Ｓ７０４の判断が行われる。このときオフセット値は０であるために、Ｓ７０４の判断の結果Ｓ７０５に処理が進み、Ｓ７０５においてオフセットが３に設定される。その結果、Ｓ５０５の判断でオフセットが０より大きいため、フレーム番号の１にオフセットの３を加えたフレーム番号が４番のフレームがＳ５０６において追加で復号され、静止画像Ｉａが生成・保存される。それから、Ｓ５０７で静止画像Ｉａの特徴量が抽出され、Ｓ５０８で評価スコアＳａが算出される。ここで、Ｓａが０．８６であったものとする。すると、Ｓ５０９の比較の結果、評価スコアＳｃ（０．６６）より評価スコアＳａ（０．８６）の方が高いため、図８が示すテーブルに、フレーム番号４とその評価値０．８６が記憶される。

同様に、図３（ａ）の３行目に記憶されているフレーム番号６１に対応する静止画像は、Ｓ７０１の判断において目瞑り特徴量ＦｂｃがＴｂ（０．６）を超えているため、Ｓ７０２でオフセットが７に設定される。その後Ｓ７０３の判断においてブレ・ボケ特徴量ＦｓｃはＴｓ（０．５）よりも低いため、オフセットは７のままである。その結果、Ｓ５０５の判断の際にはオフセットが０より大きいため、Ｓ５０６では、フレーム番号の６１にオフセットの７を加えたフレーム番号が６８番のフレームが追加で復号され、静止画像Ｉａが生成・保存される。そして、Ｓ５０７で静止画像Ｉａの特徴量が抽出され、Ｓ５０８で評価スコアＳａが算出される。ここで、評価スコアＳａが０．９７であったものとする。次に、Ｓ５０９で評価スコアＳａと評価スコアＳｃが比較される。該比較の結果、評価スコアＳａの方が評価スコアＳｃより高いため、Ｓ５１０において静止画像Ｉａが図８に示すテーブルに追加される。その結果、出力対象の候補として選択される静止画像の枚数が２枚であるとすると、Ｓ４０６では、図８に示すテーブルにおいて上位の評価スコアの２枚の静止画像であるフレーム番号４と６８の静止画像が選択される。

以上の実施形態によれば、動画内のフレームの所定の特徴量が静止画像データとしての水準を満たしていない場合に、該特徴量の種類に応じたフレーム数（時間）だけ間隔を開けた時間的に後のフレームが追加で解析される。そのため、特徴量の種類により、その特徴量に関する要因（目瞑り、ボケ・ブレ等）が解消されるのに要する時間が異なる場合、適切なフレーム間隔をあけて、追加解析の対象であるフレームを特定することができる。

なお、以上の実施形態では、あるフレームについて、所定の水準を満たしていない（閾値以上の）すべての特徴量に対応するオフセットのうち、最大のオフセットだけ該フレームからフレーム間隔をあけた１枚のフレームのみが追加で復号、解析された。しかし、所定の水準を満たしていない（閾値以上の）すべての特徴量のそれぞれに対応するオフセットだけ離れた、複数のフレームを追加で復号して解析するようにしてもよい。例えば図７においてＳ７０１と、Ｓ７０３で共にＹｅｓと判定される状況において、静止画像Ｉｃからオフセット３、オフセット７だけフレーム間隔をあけた時間的に後の２枚のフレームが追加で解析されてもよい。

また以上の実施形態では、特徴量の値が閾値に満たない場合には、追加で復号および解析されるフレームまでのオフセットを特徴量の種類に応じて決定した。しかしこれに限らず、追加で復号および解析されるフレームの枚数、またはオフセットとフレームの枚数の両方が、特徴量の種類に応じて決定されるように構成しても良い。また、以上の実施形態では現在着目している静止画像Ｉｃの評価スコアＳｃと追加で復号された静止画像Ｉａの評価スコアＳａを比較して、良い方を選択するようになっているが、比較をせずに必ずＩａを選択するように構成しても良い。

＜実施形態３＞
実施形態１では、特定のフレームの特徴量の値が所定の閾値を超えている場合には、動画像において一定のフレーム間隔をあけた時間的に後のフレームが必ず追加で復号・解析された。ところが、該一定のフレーム間隔をあけたフレームにおいて、必ず該特徴量の値が閾値を下回るとは限らない。例えば、あるフレームにおいて被写体の人物が目を瞑っている場合に、それが瞬きであれば、少し後のフレームにおいて目を開いている可能性は高い。しかし、該人物が意図的に目を瞑っている場合にはその限りではない。その場合、追加の復号および解析が無駄な処理となってしまう恐れがある。そこで実施形態３においては、特定のフレームの特徴量の値が所定の閾値を超えている場合には、既に復号済みの次のフレームにおいて該特徴量の値が閾値を下回っているかを事前に確認する例について説明する。なお、実施形態３において、追加で解析する画像のオフセット決定処理以外の処理は実施形態１と同様である。

図９は、実施形態３におけるオフセット決定処理の一例を示すフローチャートである。

追加画像決定部２０６は、図３（ａ）が示す、復号された静止画像（Ｉフレーム）の一覧において、現在着目している静止画像Ｉｃの目瞑り特徴量ＦｂｃがＴｂ（例えば０．６）を超えているか否かを判断する（Ｓ９０１）。該判断の結果、目瞑り特徴量ＦｂｃがＴｂを越えていない場合には、Ｓ９０５に処理が移る。Ｓ９０１の判断の結果、目瞑り特徴量ＦｂｃがＴｂを越えている場合には、追加画像決定部２０６は、図４のＳ４０２において復号済みの、静止画像Ｉｃの次の復号済み静止画像ＩｎをＲＡＭ１０４に読み込む（Ｓ９０２）。Ｓ４０２において動画像復号部２０２は、動画像において３０フレーム毎にＩフレームを復号していた。そのため、Ｓ９０２では、該動画像において静止画像Ｉｃから３０フレームの間隔をあけた時間的に後のＩフレームが、復号済み静止画像Ｉｎとして読み込まれる。

次に追加画像決定部２０６は、静止画像Ｉｎの目瞑り特徴量Ｆｂｎを抽出し（Ｓ９０３）、目瞑り特徴量Ｆｂｎが閾値Ｔｂを超えているか否かを判断する（Ｓ９０４）。目瞑り特徴量Ｆｂｎが閾値Ｔｂを超えていない場合には、追加画像決定部２０６は、オフセットを３に設定し（Ｓ９０９）、処理を終了する。Ｓ９０４の判断の結果、目瞑り特徴量ＦｂｎがＴｂを超えている場合には、追加画像決定部２０６は、現在着目の静止画像Ｉｃのボケ・ブレ特徴量ＦｓｃがＴｓ（例えば０．５）を超えているか否かを判断する（Ｓ９０５）。Ｓ９０５の判断の結果、ボケ・ブレ特徴量ＦｓｃがＴｓを超えていなければ、追加画像決定部２０６は、図９に示す処理を終了する。Ｓ９０５の判断の結果、ボケ・ブレ特徴量ＦｓｃがＴｓを超えている場合には、追加画像決定部２０６は、上記の復号済み静止画像ＩｎをＲＡＭ１０４に読み込む（Ｓ９０６）。そして、追加画像決定部２０６は、静止画像Ｉｎのボケ・ブレ特徴量Ｆｓｎを抽出する（Ｓ９０７）。そして、追加画像決定部２０６は、ボケ・ブレ特徴量ＦｓｎがＴｓを超えているか否かを判断し（Ｓ９０８）、ボケ・ブレ特徴量ＦｓｎがＴｓを超えていない場合には、オフセットを３に設定し（Ｓ９０９）、図９に示す処理を終了する。Ｓ９０８の判断の結果、ボケ・ブレ特徴量ＦｓｎがＴｓを超えている場合には、追加画像決定部２０６は、図９に示す処理を終了する。

即ち、図９における処理によれば、現在着目の静止画像Ｉｃに目瞑りが発生している場合（Ｓ９０１でＹｅｓ）、Ｓ９０４において、復号済みの次の静止画像Ｉｎにおいても目瞑りが発生しているか判定される。そして、復号済みの次の静止画像Ｉｎにおいても目瞑りが発生している場合（Ｓ９０４でＹｅｓ）、Ｓ９０５においてＮｏと判定されれば、オフセットが３に設定されず、０のままである。即ち、図５のＳ５０５でＮｏと判定されるため、動画像において静止画像Ｉｃと静止画像Ｉｎの２つのフレームの間では、追加でフレームの解析は行われない。例えば、動画像の被写体の人物が意図的に目を瞑っており、該動画像における静止画像Ｉｃと静止画像Ｉｎの間の全フレームにおいても目を瞑っている場合がある。図９に示す処理によれば、静止画像Ｉｃと静止画像Ｉｎの間のフレームが追加で解析されることはないため、目瞑りが解消されないにもかかわらず無駄に追加でフレームの解析してしまうことを防ぐことができる。

同様に、図９における処理によれば、現在着目の静止画像Ｉｃにボケ・ブレが発生している場合（Ｓ９０５でＹｅｓ）、Ｓ９０８において、復号済みの次の静止画像Ｉｎにおいてもボケ・ブレが発生しているか判定される。そして、復号済みの次の静止画像Ｉｎにおいてもボケ・ブレが発生している場合（Ｓ９０８でＹｅｓ）、オフセットが３に設定されず、０のままである。即ち、図５のＳ５０５でＮｏと判定されるため、追加でフレームの解析は行われない。例えば、動画像撮影時の撮影条件の設定ミス等により、該動画像における静止画像Ｉｃと静止画像Ｉｎの間の全フレームにおいてもボケ・ブレが発生している場合がある。図９に示す処理によれば、静止画像Ｉｃと静止画像Ｉｎの間のフレームが追加で解析されることはないため、ボケ・ブレが解消されないにもかかわらず無駄に追加でフレームの解析してしまうことを防ぐことができる。

＜実施形態４＞
実施形態１では、動画像内の特定のフレームの特徴量の値が所定の閾値を超えている場合には、該動画像において一定のフレーム間隔をあけた時間的に後のフレームが必ず追加で復号および解析されていた。ところが、該特徴量の値が良くなるまでに必要なオフセット量（時間）が必ず一定とは限らず、該特徴量の値が良くなるまでには一般的に十分なオフセット量（時間）よりも多くオフセットが必要な場合もあり得る。そこで実施形態４においては、予め決められたオフセット後のフレームにおいても特徴量の値が閾値を超えている場合には、特徴量の値が閾値を下回るまで繰り返しオフセットを加える例について説明する。実施形態４において、追加で解析する静止画像を特定するオフセットを決定するオフセット決定処理以外の処理は実施形態１と同様である。

図１０は、実施形態４におけるオフセット決定処理の一例を示すフローチャートである。

追加画像決定部２０６は、図３（ａ）のテーブルが示す、復号された静止画像の一覧に含まれる現在着目している静止画像Ｉｃの目瞑り特徴量Ｆｂｃが、Ｔｂ（例えば０．６）を超えているか否かを判断する（Ｓ１００１）。Ｓ１００１の判断の結果、目瞑り特徴量ＦｂｃがＴｂを越えていない場合には、追加画像決定部２０６は、静止画像Ｉｃのボケ・ブレ特徴量ＦｓｃがＴｓ（例えば０．５）を超えているか否かを判断する（Ｓ１００２）。ボケ・ブレ特徴量ＦｓｃがＴｓを越えていなければ、追加画像決定部２０６は、図１０に示す処理を終了する。Ｓ１００１またはＳ１００２のいずれかの判断において特徴量が閾値を越えると判断された場合（静止画像Ｉｃにおいて目瞑りまたはボケ・ブレが発生している場合）には、追加画像決定部２０６は、現在のオフセットに３を加える（Ｓ１００３）。そして、追加画像決定部２０６は、現在着目の静止画像Ｉｃに対応するフレーム番号にオフセットを加えたフレーム番号のフレームを追加で復号する（Ｓ１００４）。そして、追加で復号することによって生成された静止画像Ｉａが、追加評価の候補となる。そして追加画像決定部２０６は、静止画像Ｉａの目瞑り特徴量Ｆｂａを抽出し（Ｓ１００５）、目瞑り特徴量ＦｂａがＴｂを超えているか否かを判断する（Ｓ１００６）。Ｓ１００６の判断の結果、目瞑り特徴量Ｆｂａが閾値Ｔｂを超えていない場合には、追加画像決定部２０６は、静止画像Ｉａのボケ・ブレ特徴量Ｆｓａを抽出する（Ｓ１００７）。そして追加画像決定部２０６は、ボケ・ブレ特徴量ＦｓａがＴｓ（例えば０．５）を超えているか否かを判断し（Ｓ１００８）、ボケ・ブレ特徴量ＦｓａがＴｓを超えていなければ図１０に示す処理を終了する。Ｓ１００６またはＳ１００８の判断において特徴量が閾値を超えている場合には、Ｓ１００３の処理が戻る。そして、現在の追加評価の候補である静止画像Ｉａよりも３フレーム後のフレームが新たな追加評価の候補となる。

図１０に示した処理によれば、現在着目の静止画像Ｉｃの目瞑り特徴量、ボケ・ブレ特徴量のいずれかが閾値を越える場合（Ｓ１００１、Ｓ１００２のいずれかでＹｅｓ）、Ｓ１００３の処理が実行される。そして、目瞑り特徴量とボケ・ブレ特徴量がいずれも閾値を越えないフレームが追加評価の候補として特定されるまで（Ｓ１００６、Ｓ１００８のいずれでもＮｏ）、追加評価の候補のフレームが特定される。よって、目瞑りの程度やボケ・ブレの程度が低い、良好な静止画像を追加評価の候補として確実に特定することができる。

なお、Ｓ１００３で増加されるオフセット値に制限を設けてもよい。そして、その制限までオフセットを増加させたとしても、目瞑り特徴量とボケ・ブレ特徴量がいずれも閾値を越えないフレームが特定されない場合、追加画像決定部２０６は、オフセットを０として、図１０の処理を終了してもよい。例えば、オフセット値が３０となると、Ｓ４０２で復号済みの次のフレームとなるため、オフセット値の制限として、「３０未満」という制限が設けられても良い。

なお、以上の実施形態では動画像におけるＩフレームのみを復号するものとしたが、Ｉフレームであるか否かに関わらず、一定時間毎にフレームを復号するようにしても良い。また、当初復号の際には静止画像を縮小して保存し、最終的に選択された静止画像のみ最後に元の大きさの静止画像を再度復号するように構成しても良い。また図４では、図４に示した処理が実行されるたびに、動画像のフレームが復号され、解析される例について説明したが、これに限らない。例えばすべてのフレーム、もしくはＩフレームのみが図４のＳ４０２に示す処理が実行される前に事前に復号されている場合、候補フレームの決定処理では、事前に復号したフレームについては復号処理が行われなくてもよい。この場合、事前に復号したフレームについては解析のみが行われるよう構成しても良い。また、以上の実施形態では目瞑り特徴量とボケ・ブレ特徴量について記載したが、特徴量の種類と数をこれに限定するものではない。

さらに、以上の実施形態では、動画像から複数のフレーム（例えば複数のＩフレーム）が復号される例について説明した。しかしこれに限らず、例えばユーザが指定した１枚のフレームについて、他のフレームを追加で解析する必要があるか判定され、追加で解析されたフレームと元のフレームから、出力対象の候補の候補フレームが選択されてもよい。

＜その他の実施形態＞
なお、本実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。

また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。

１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ

Claims (14)

1. 動画像から出力対象の候補のフレームを選択するためのプログラムであって、
   前記動画像に含まれているフレームを解析する解析手段と、
   前記解析手段による解析の結果に基づいて、前記出力対象の候補としての候補フレームを選択する選択手段と、
   としてコンピュータを機能させ、
   前記動画像に含まれているフレームのうち、フレーム間予測を用いずに符号化されるフレームである第１のフレームが所定の特徴量に関する所定の条件を満たす場合、前記解析手段は、前記動画像に含まれ且つ前記フレーム間予測を用いて符号化されるフレームである第２のフレームを解析し、前記選択手段は、前記第１のフレームの前記解析手段による解析の結果と、前記第２のフレームの前記解析手段による解析の結果とに基づき、前記第１のフレームと前記第２のフレームから前記候補フレームを選択し、
   前記第１のフレームが前記所定の条件を満たさない場合、前記解析手段は、前記第２のフレームを解析せず、前記選択手段は、前記第１のフレームを前記候補フレームとして選択することを特徴とするプログラム。
2. 前記動画像において、複数の前記第１のフレームを特定する特定手段をさらに前記コンピュータに実行させ、
   前記解析手段は、前記特定手段により特定された複数の第１のフレームのそれぞれを解析し、さらに、前記複数の第１のフレームのうちの前記所定の条件を満たす一部の第１のフレームに対して前記第２のフレームを解析し、
   前記選択手段は、前記一部の第１のフレームと前記第２のフレームから、前記候補フレームを選択することを特徴とする請求項１に記載のプログラム。
3. 前記複数の前記第１のフレームのうちの前記所定の条件を満たさない一部の第１のフレームと、前記選択手段により選択された前記候補フレームとから、前記解析手段による解析の結果に基づいて出力対象のフレームを選択し、前記選択された出力対象のフレームを出力する出力手段として前記コンピュータをさらに機能させるための請求項２に記載のプログラム。
4. 前記出力手段は、前記出力対象のフレームに対応する静止画像がテンプレートに配置されたアルバムを表示装置に出力し、前記アルバムを前記表示装置に表示させることを特徴とする請求項３に記載のプログラム。
5. 前記出力手段は、前記出力対象のフレームに対応する静止画像がテンプレートに配置されたアルバムを印刷装置に出力し、前記アルバムを前記印刷装置に印刷させることを特徴とする請求項３に記載のプログラム。
6. 前記解析手段は、
   前記特定手段により特定された２つの前記第１のフレームの両方が前記所定の条件を満たす場合、前記動画像において前記２つの前記第１のフレームの間に対応するフレームを追加で解析せず、
   前記２つの前記第１のフレームのうち、前記動画像において先のフレームのみが前記所定の条件を満たす場合、前記動画像において前記２つの前記第１のフレームの間において前記第２のフレームを解析することを特徴とする請求項２乃至５のいずれか１項に記載のプログラム。
7. 前記動画像に含まれているフレームが前記所定の条件を満たすか判断する判断手段として前記コンピュータを機能させ、
   前記解析手段は、前記判断手段により前記第１のフレームが前記所定の条件を満たすと判断された場合、前記第２のフレームを解析し、前記判断手段により前記第１のフレームが前記所定の条件を満たさないと判断された場合、前記第２のフレームを解析しないことを特徴とする請求項１乃至６のいずれか１項に記載のプログラム。
8. 前記判断手段は、前記第１のフレームの前記解析手段による解析の結果に基づいて、前記第１のフレームが前記所定の特徴量に関する前記所定の条件を満たすか判断することを特徴とする請求項７に記載のプログラム。
9. 前記判断手段は、前記第１のフレームの前記所定の特徴量としての複数種類の特徴量のそれぞれについて所定の条件を満たすか判断し、
   前記判断手段により前記複数種類の特徴量のいずれかが前記所定の条件を満たすと判断された場合に、前記所定の条件を満たした特徴量の種類に応じて異なるフレームが、前記第２のフレームとして決定されることを特徴とする請求項７または８に記載のプログラム。
10. 前記判断手段は、前記第２のフレームが前記解析手段により解析された結果に基づいて、前記第２のフレームが前記所定の条件を満たすか判断し、
    前記判断手段により前記第２のフレームが前記所定の条件を満たすと判断されない場合、新たな第２のフレームが決定され、
    前記選択手段は、前記第１のフレームと、前記決定された複数の第２のフレームのうちの前記判断手段により前記所定の条件を満たすと判断された第２のフレームとから、前記候補フレームを選択することを特徴とする請求項７または８に記載のプログラム。
11. 前記第１のフレームが前記所定の条件を満たさない場合、前記第２のフレームは決定されないことを特徴とする請求項１乃至１０のいずれか１項に記載のプログラム。
12. 前記所定の特徴量は、フレームに含まれている人物の目瞑りに関する特徴量または前記フレームにおけるボケまたはブレに関する特徴量であることを特徴とする請求項１乃至１１のいずれか１項に記載のプログラム。
13. 動画像から出力対象の候補のフレームを選択する画像処理装置であって、
    前記動画像に含まれているフレームを解析する解析手段と、
    前記解析手段による解析の結果に基づいて、前記出力対象の候補としての候補フレームを選択する選択手段と、
    を有し、
    前記動画像に含まれているフレームのうち、フレーム間予測を用いずに符号化されるフレームである第１のフレームが所定の特徴量に関する所定の条件を満たす場合、前記解析手段は、前記動画像に含まれ且つ前記フレーム間予測を用いて符号化されるフレームである第２のフレームを解析し、前記選択手段は、前記第１のフレームの前記解析手段による解析の結果と、前記第２のフレームの前記解析手段による解析の結果とに基づき、前記第１のフレームと前記第２のフレームから前記候補フレームを選択し、
    前記第１のフレームが前記所定の条件を満たさない場合、前記解析手段は、前記第２のフレームを解析せず、前記選択手段は、前記第１のフレームを前記候補フレームとして選択することを特徴とする画像処理装置。
14. 動画像から出力対象の候補のフレームを選択する画像処理方法であって、
    前記動画像に含まれているフレームのうち、フレーム間予測を用いずに符号化されるフレームである第１のフレームを解析する第１の解析工程と、
    前記第１のフレームが所定の特徴量に関する所定の条件を満たす場合、前記動画像に含まれ且つ前記フレーム間予測を用いて符号化されるフレームである第２のフレームを解析し、前記第１のフレームが前記所定の条件を満たさない場合、前記第２のフレームを解析しない第２の解析工程と、
    前記第１のフレームが所定の特徴量に関する所定の条件を満たす場合、前記第１のフレームの前記第１の解析工程における解析の結果と、前記第２のフレームの前記第２の解析工程における解析の結果とに基づき、前記第１のフレームと前記第２のフレームから出力対象の候補として候補フレームを選択し、前記第１のフレームが前記所定の条件を満たさない場合、前記第１のフレームを前記候補フレームとして選択する選択工程と、
    を有することを特徴とする画像処理方法。

Images