JP5389724B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、動画像データから静止画像データを抽出してレイアウトデータを得るための画像処理装置、画像処理方法およびプログラムに関し、詳しくは、選択されたテンプレートに応じて、動画像データから静止画像データを抽出する抽出条件を決定し、動画像データの解析結果に基づいて抽出条件に合致する静止画像データを抽出してレイアウトデータを生成する画像処理装置、画像処理方法およびプログラムに関するものである。

近年、デジタルスチルカメラの性能向上に伴い、高解像度の動画像が撮影可能な機種が発売されている。このため、動画像からパノラマサイズを含む静止画像を切り出してプリントしたい、またはフォトブックを作製したいという要望が出てきている。これに対し、動画像から適切な静止画像を抽出してレイアウトを行うことが種々提案されている。

例えば、特許文献１には、動画から抽出した動画構成画像に含まれるオブジェクトの移動方向に基づいて、鑑賞者に違和感のない構図となるように、動画構成画像を自動的にレイアウト又はトリミングして出力できる画像出力装置が開示されている。

また、特許文献２には、動画を再生表示中に、静止画化によって生成する静止画のレイアウトの中心画像とする動画像を選択すると、中心画像の前後に撮影された画像（ピックアップ画像）が縮小され、所定のレイアウトに配置された静止画像が生成されることで、動画等の連続撮影画像からユーザが注目したり共感したりした画像を抽出して静止画を得るカメラが開示されている。

特開２００６−２７７７２９号公報 特開２００７−１９４８２９号公報

しかしながら、特許文献１のように、動画像を解析して動画像の構成要素を基に静止画像を抽出する装置、また、特許文献２のように、ユーザにより選択された静止画像の前後に撮影された画像をピックアップすることで複数の静止画像を得るカメラでは、必ずしも所望のレイアウトに適した静止画像を得ることができず、ユーザの希望するプリントまたはフォトブックが得られない場合があるという問題があった。

また、従来は特許文献１および２のように、複数の動画像および静止画像を基に、テンプレートを用いたプリント、またはフォトブックを作製することは考慮されておらず、さらに、動画像が長い場合には動画像から抽出した静止画像の候補が多すぎて、ユーザが選択する手間が増大するという問題もあった。
他にも、動画像から静止画像を抽出するときに、動画像と同じアスペクト比の静止画像を抽出するのか、動画像とアスペクト比の異なるパノラマサイズの静止画像を抽出するのかを判断することができないという問題もあった。

本発明の目的は、動画像から静止画像を抽出する抽出条件をテンプレートに応じて決定し、抽出した静止画像をテンプレートに基づいてレイアウトすることで、最適な静止画像が合成されたレイアウトデータを生成する画像処理装置、画像処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明は、動画像データから静止画像データを抽出してレイアウトデータを得るための画像処理装置であって、少なくとも前記動画像データを含む画像データが入力される画像データ入力部と、前記レイアウトデータに適用するテンプレートおよび前記動画像データを選択する素材選択部と、選択された前記テンプレートの合成エリア間の関係に応じて、前記動画像データから前記静止画像データを抽出する抽出条件を決定する抽出条件決定部と、前記動画像データを解析する動画像データ解析部と、前記解析結果に基づいて、前記動画像データから前記抽出条件に合致する前記静止画像データを抽出する静止画像データ抽出部と、抽出された前記静止画像データを、前記テンプレートの対応する合成エリアに配置して前記レイアウトデータを生成するレイアウト合成部とを有することを特徴とする画像処理装置を提供する。

また、前記合成エリア間の関係は、大きさの比率、距離、配置順序、重なり順、またはアスペクト比であることが好ましい。
さらに、前記抽出条件は、前記動画像データから抽出する前記静止画像データの枚数、被写体との距離、および抽出対象となる時間の範囲のうち１以上であることが好ましい。
また、前記合成エリア間の関係がアスペクト比であり、第１の合成エリアのアスペクト比が、他の合成エリアよりも横長であるパノラマ画像の合成エリアであるとき、前記静止画像データ抽出部は、前記動画データからパノラマ画像の静止画像データを抽出し、前記レイアウト合成部は、前記抽出された静止画像データを前記第１の合成エリアに配置するものであることが好ましい。

また、前記抽出条件が前記被写体との距離であり、前記抽出条件決定部は、ズームまたは前記被写体との距離の変化を抽出するものであることが好ましい。
また、前記テンプレートの隣接する複数の合成エリアが前記素材選択部で選択されたとき、前記レイアウト合成部は、前記抽出された静止画像データを、動きのある被写体を所定の時間間隔で並べた連続写真としてレイアウトするものであることが好ましい。

また、上記課題を解決するために、本発明は、上記のいずれかに記載の画像処理装置と、レイアウトデータを印刷する印刷装置とを有するプリント作製システムを提供する。

また、上記課題を解決するために、本発明は、上記のいずれかに記載の画像処理装置と、レイアウトデータを印刷する印刷装置と、印刷された用紙を製本する製本装置とを有するフォトブック作製システムを提供する。

また、上記課題を解決するために、本発明は、動画像データから静止画像データを抽出してレイアウトデータを得るための画像処理方法であって、少なくとも前記動画像データを含む画像データが入力される画像データ入力ステップと、前記レイアウトデータに適用するテンプレートおよび前記動画像データを選択する素材選択ステップと、選択された前記テンプレートの合成エリア間の関係に応じて、前記動画像データから前記静止画像データを抽出する抽出条件を決定する抽出条件決定ステップと、前記動画像データを解析する動画像データ解析ステップと、前記解析結果に基づいて、前記動画像データから前記抽出条件に合致する前記静止画像データを抽出する静止画像データ抽出ステップと、抽出された前記静止画像データを、前記テンプレートの対応する合成エリアに配置して前記レイアウトデータを生成するレイアウト合成ステップとを有することを特徴とする画像処理方法を提供する。

さらに、上記課題を解決するために、本発明は、上記に記載の画像処理方法の各ステップを手順としてコンピュータに実行させるための画像処理プログラムを提供する。

本発明によれば、テンプレートに基づいて動画像から静止画像を抽出する条件を決定することで、ユーザが多数の候補画像から静止画像を選択する手間がかからず、アスペクト比の異なる静止画像であっても容易に抽出してレイアウトデータを生成し、テンプレートに基づいたプリントまたはフォトブックを作製することができる。

本発明に係る画像処理方法を実施する、本発明に係る画像処理装置の構成の一例を示すブロック図である。 本発明に係る画像処理方法の処理の流れの一例を示すフローチャートである。 テンプレートによる静止画像抽出の一例を示す説明図である。 テンプレートによる静止画像抽出の他の一例を示す説明図である。 テンプレート上の一部の合成エリアを指定した静止画像抽出の一例を示す説明図である。 テンプレートによる時系列の静止画像抽出の一例を示す説明図である。 テンプレートによるズーム前後の静止画像抽出の一例を示す説明図である。 テンプレートによるアスペクト比の異なる静止画像抽出の一例を示す説明図である。 シャッフルプリントの一例を示す説明図である。 シャッフルプリントのテンプレートの一例を示す説明図である。 テンプレートの合成エリアにおける静止画像選択の一例を示す説明図である。 テンプレートの合成エリアにおける静止画像選択の他の一例を示す説明図である。 （Ａ）〜（Ｄ）は、自動的に配置された静止画像間に、さらに静止画像を追加する場合の一例を示す説明図である。

本発明に係る画像処理方法を実施する本発明に係る画像処理装置を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。
図１に示す画像処理装置１０は、画像データ入力部１２、表示部１４、操作部１６、画像記録部１８、素材選択部２０、抽出条件決定部２２、および画像処理部２４によって構成され、バス３２で接続されている。また、画像処理部２４は、動画像データ解析部２６、静止画像データ抽出部２８、およびレイアウト合成部３０によって構成される。なお、本実施形態では一例として、フォトブックを作製する場合について説明する。

画像データ入力部１２は、外部インタフェースを持ちフォトブックに用いるための動画像データおよび静止画像データが入力される。画像データには特に限定はなく、ユーザがデジタルスチルカメラまたはデジタルビデオカメラで撮影した動画像データおよび静止画像データ、ならびにネットワーク上からダウンロードした動画像／静止画像データなど、種々の画像データが入力される。外部インタフェースは、ＵＳＢ（Universal Serial Bus）、メモリーカードＲ／Ｗ（reader/writer）、光学ディスク、有線および無線ＬＡＮ（Local Area Network）などであればよい。画像データ入力部１２に入力された画像データは、素材画像データとして出力される。なお、以下の説明では素材画像データとして動画像データを用いる場合について説明する。

表示部１４は、画像処理アプリケーションの編集画面、ならびにフォトブックの注文などを行う操作画面などが表示される。ユーザは表示部１４を見ながら、操作部１６を用いて、画面上で画像処理アプリケーションの操作を行う。

操作部１６は、画像処理装置１０上にて実行される画像処理アプリケーションにおいて、ユーザが操作を行うためのものである。操作部１６の具体的な態様には特に限定はなく、キーボード、マウス、タッチパネルなど、公知の各種の操作機器を用いればよい。

画像記録部１８は、入力された素材画像データ（動画像／静止画像データ）、抽出された静止画像データ、および画像処理アプリケーションによってテンプレートに静止画像が配置されたレイアウトデータなどを記録する。画像記録部１８は、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体でもよい。

素材選択部２０は、ユーザの操作部１６の操作情報に従って、複数のテンプレートまたはテンプレートの１以上の合成エリアから、レイアウトデータに適用するものを選択する。また、同様にユーザの操作部１６の操作情報に従って、選択されたテンプレートまたは合成エリアに適用する１以上の動画像データも選択する。つまり、レイアウトデータの基になる素材を選択する。また、ユーザの操作によることなく、予め設定されたお勧めデータにより、テンプレートまたはテンプレートの１以上の合成エリア、ならびに動画像データが選択されるようにしてもよい。なお、テンプレートの選択では、テンプレートそのものが選択される場合のほか、選択されたテンプレート上の全合成エリアが選択されるようにしてもよい。

抽出条件決定部２２は、素材選択部２０で選択されたテンプレートの合成エリア間の関係に応じて、動画像データから静止画像データを抽出する抽出条件を決定する。合成エリア間の関係は、例えば、大きさの比率、距離、配置順序、重なり順、アスペクト比等が挙げられ、抽出条件は、動画像データから抽出する静止画像データの枚数、被写体との距離、被写体の大きさ、被写体の登場頻度、および抽出対象となる時間の範囲等が挙げられる。

ここで、合成エリア間の関係のうち、大きさの比率および距離について説明する。例えば、テンプレートに同じ大きさの合成エリアが４つある場合には、大きさの比率が等しいので動画像データを時間で均等に４分割し、それぞれの部分から静止画像データを抽出して時系列に配置する。また、大きさの比率が異なる合成エリアが複数ある場合には、最も注目されるべき画像、例えば、被写体の笑顔が写っている画像を最も大きい合成エリアに配置し、その他の画像を残りの合成エリアに配置することもできる。なお、合成エリアの大きさに応じてテンプレート内での配置位置を決定してもよいし、最も大きい合成エリアへ配置する画像は時系列順でなくてもよい。

また、合成エリア間の距離が大きい場合には、配置する画像の時間間隔も所定の時間よりも大きくする。つまり、合成エリア間の距離を基に、抽出される画像間の時間間隔を決定する。これは言い換えると、離れた合成エリア間に撮影の時間間隔が狭い画像を並べて配置しないようにする。なお、合成エリアが重なっている場合には、合成エリア間の間隔はゼロであるので、連写画像やズームの前後の画像等の、時間間隔が近い画像が配置可能となる。

動画像データ解析部２６は、入力された動画像データのうち素材選択部２０で選択された、テンプレートまたはテンプレートの１以上の合成エリアに適用する動画像データを解析する。

静止画像データ抽出部２８は、動画像データ解析部２６の解析結果に基づいて、抽出条件決定部２２で決定された抽出条件に合致する動画像データのフレームを、静止画像データとして抽出する。例えば、合成エリアの大きさの比率に合わせて、フレームに写っている被写体の大きさを選択して抽出したり、被写体として写っている頻度の高い人物や物が、合成エリアの並びの近いところに配置されるように抽出する。また、合成エリアが重なっている場合には、重なって見えなくなる部分に、主要被写体が写っていないフレームを抽出する。

レイアウト合成部３０は、静止画像データ抽出部２８で抽出された静止画像データを、テンプレートの対応する合成エリアに配置して合成し、レイアウトデータを生成する。また、画像データ入力部１２から入力された静止画像データが合成エリアに対応するように選択された場合には、当該静止画像データをテンプレートの対応する合成エリアに配置して合成し、レイアウトデータを生成する。

次に、本発明に係る画像処理方法を実現する、本発明に係る画像処理装置の動作を説明する。以下、テンプレートの種類ごとに実施例を示す。

（実施例１）
図２は、本発明に係る画像処理方法の処理の流れの一例を示すフローチャートである。
まず、ユーザにより画像データ入力部１２から、フォトブックの素材となる動画像データが入力される（ステップＳ１０）。入力された動画像データ（素材画像データ）は、一旦画像記録部１８に記録される。

次に、ユーザの操作によって、素材選択部２０により使用するテンプレート４２（図３参照）が選択される（ステップＳ１２）。
実施例１のテンプレートとしては、図３に示すような、動画像データ４０から同じ大きさの複数枚（例えば４枚）の静止画像を、テンプレート４２を用いて抽出する場合が挙げられる。

図３に示すような画像処理アプリケーションの編集画面では、候補動画像データ群が画像記録部１８から呼び出されて画面左側に表示され、フォトブックのテンプレート４２が画面中央に表示されている。ユーザの操作によって、候補動画像データ群から所望の動画像データである、ステップＳ１０で入力され記録された動画像データ４０が、テンプレート４２にドラッグ＆ドロップされ、素材選択部２０により選択される（ステップＳ１４）。

抽出条件決定部２２では、テンプレート４２の合成エリア（静止画像表示エリア）が、同じ大きさの４枚の静止画像の合成エリアであることから、該合成エリア間の関係に応じて、動画像データ４０を撮影時間に応じて均等に４分割し、主要被写体検出、音声解析等のパラメータが決定され、最適な部分を抽出する抽出条件が決定される。続いて、動画像データ４０は動画像データ解析部２６で解析される。静止画像データ抽出部２８により、動画像データ４０の解析結果に基づいて、分割されたそれぞれの動画像データにおける、抽出条件に合致するフレームがそれぞれ静止画像データとして抽出される（ステップＳ１６）。

ここで、抽出条件に合致するフレームは、ある一定の時間範囲、つまり複数のフレームとなる場合があるが、その場合にさらに１つのフレームを静止画像データとして抽出する方法としては、例えば、抽出条件に合致する複数のフレームから被写体（オブジェクト）を抽出し、被写体の時系列に並んだ複数のフレームにおける位置の変化から被写体の加速度を算出し、被写体の加速度が予め定められた基準加速度より大きい被写体を含むフレーム（さらに複数ある場合には最も加速度が大きいフレーム）を静止画像データとして抽出すればよい。

他にも、予め登録された主要被写体の、正面を向いた顔、笑顔、全身等が検出されたフレームを抽出してもよいし、画像解析により被写体の速度および加速度を算出してカメラの動きの特徴によってフレームを抽出してもよいし、ズームアップが完了したフレームを抽出するようにしてもよい。さらに、音声解析を行って被写体または撮影者の声を検出したフレームを抽出するようにしてもよい。

抽出された静止画像データとテンプレート４２は、レイアウト合成部３０で合成され、レイアウトデータが生成されて画像記録部１８に記録される。つまり、フォトブックデータが生成、記録される（ステップＳ１８）。

なお、抽出条件としては他にも、動画像データ４０の解析結果から、主要被写体の変化、カメラの動きなどのイベントごとに分割し、各イベントの撮影時間の中心部分を静止画像データとして抽出してもよい。

（実施例２）
実施例２は、選択されるテンプレートが異なることを除き実施例１と同様であるので、図２に示すフローチャートに従って、テンプレートの選択以降について説明する。

ユーザの操作によって、素材選択部２０により使用するテンプレート４４（図４参照）が選択される（ステップＳ１２）。
実施例２のテンプレートとしては、図４に示すような、動画像データ４０から１枚の大きな静止画像と、複数枚（４枚）の小さな静止画像を、テンプレート４４を用いて抽出する場合が挙げられる。

図４に示すような画像処理アプリケーションの編集画面では、候補動画像データ群が画像記録部１８から呼び出されて画面左側に表示され、フォトブックのテンプレート４４が画面中央に表示されている。ユーザの操作によって、候補動画像データ群から所望の動画像データである、ステップＳ１０で入力され記録された動画像データ４０が、テンプレート４４にドラッグ＆ドロップされ、素材選択部２０により選択される（ステップＳ１４）。

抽出条件決定部２２では、テンプレート４４の合成エリア間の関係が、１枚の大きな静止画像と、複数枚（４枚）の小さな静止画像の合成エリアであることから、動画像データ４０をまず撮影時間の半分で２分割し、前半を大きな静止画像の合成エリアに対応させ、後半をさらに４分割して小さな静止画像の合成エリアに対応させる。
例えば、３０秒の動画像データの場合には、開始から１５秒までの範囲を大きな静止画像の合成エリアに対応させ、１６秒から３０秒までの範囲をさらに４分割して小さな静止画像の各合成エリアに対応させることができる。そして、それぞれの合成エリアに応じて、実施例１と同様に主要被写体検出、音声解析等のパラメータが決定され、最適な部分を抽出する抽出条件が決定される。
続いて、動画像データ４０は動画像データ解析部２６で解析される。静止画像データ抽出部２８により、動画像データ４０の解析結果に基づいて、分割されたそれぞれの動画像データにおける、抽出条件に合致するフレームがそれぞれ静止画像データとして抽出される（ステップＳ１６）。

抽出された静止画像データとテンプレート４４は、レイアウト合成部３０で合成され、レイアウトデータが生成されて画像記録部１８に記録される。つまり、フォトブックデータが生成、記録される（ステップＳ１８）。

（実施例３）
実施例３は、選択されるテンプレートおよび合成エリアが異なることを除き実施例１と同様であるので、図２に示すフローチャートに従って、テンプレートの選択以降について説明する。

ユーザの操作によって、素材選択部２０により使用する合成エリア４６（テンプレートの一部分、図５参照）が選択される（ステップＳ１２）。
実施例３のテンプレートとしては、図５に示すような、動画像データ４０から複数枚（４枚）の小さな静止画像を、合成エリア４６を用いて抽出する場合が挙げられる。

図５に示すような画像処理アプリケーションの編集画面では、候補動画像データ群が画像記録部１８から呼び出されて画面左側に表示され、フォトブックのテンプレートが画面中央に表示されている。ユーザの操作によって、候補動画像データ群から所望の動画像データである、ステップＳ１０で入力され記録された動画像データ４０が、合成エリア４６の４つの合成エリアのいずれかにドラッグ＆ドロップされ、素材選択部２０により選択される（ステップＳ１４）。

抽出条件決定部２２では、テンプレートの合成エリア４６が、複数枚（４枚）の小さな静止画像の合成エリアであることから、該合成エリア間の関係に応じて、動画像データ４０を４分割してそれぞれの静止画像の合成エリアに対応させる。それぞれの合成エリアに応じて、実施例１と同様に主要被写体検出、音声解析等のパラメータが決定され、最適な部分を抽出する抽出条件が決定される。
続いて、動画像データ４０は動画像データ解析部２６で解析される。静止画像データ抽出部２８により、動画像データ４０の解析結果に基づいて、分割されたそれぞれの動画像データにおける、抽出条件に合致するフレームがそれぞれ静止画像データとして抽出される（ステップＳ１６）。

抽出された静止画像データと合成エリア４６を含むテンプレートは、レイアウト合成部３０で合成され、レイアウトデータが生成されて画像記録部１８に記録される。つまり、フォトブックデータが生成、記録される（ステップＳ１８）。

なお、合成エリア４６内の各合成エリアは隣接していることから、動画像データから関連する静止画像データ群を抽出してもよい。例えば、１０秒の動画像データの中で、子供など動きのある被写体が最初のうちは動いていなかったが、６秒から１０秒の間で走り出した場合、６秒から１０秒の動きのある動画像データから所定の時間間隔（例えば１秒）で静止画像データを抽出して並べて、連続写真のように配置することもできる。また、被写体の動きだけでなく、色味や構図を基に静止画像データを抽出してもよい。

（実施例４）
実施例４は、選択されるテンプレートが異なることを除き実施例１と同様であるので、図２に示すフローチャートに従って、テンプレートの選択以降について説明する。

ユーザの操作によって、素材選択部２０により使用するテンプレート４８（図６参照）が選択される（ステップＳ１２）。
実施例４のテンプレートとしては、図６に示すような、動画像データ４０から複数枚（７枚）の時系列が設定された静止画像を、テンプレート４８を用いて抽出する場合が挙げられる。

図６に示すような画像処理アプリケーションの編集画面では、候補動画像データ群が画像記録部１８から呼び出されて画面左側に表示され、フォトブックのテンプレート４８が画面中央に表示されている。ユーザの操作によって、候補動画像データ群から所望の動画像データである、ステップＳ１０で入力され記録された動画像データ４０が、テンプレート４８にドラッグ＆ドロップされ、素材選択部２０により選択される（ステップＳ１４）。

抽出条件決定部２２では、テンプレート４８が、複数枚（７枚）の静止画像の合成エリア（図６中、時系列順に１〜７）であることから、該合成エリア間の関係に応じて、動画像データ４０を７分割して、時系列が設定されたそれぞれの静止画像の合成エリアに対応させる。それぞれの合成エリアに応じて、実施例１と同様に主要被写体検出、音声解析等のパラメータが決定され、最適な部分を抽出する抽出条件が決定される。なお、テンプレート４８中の時系列は、ユーザが指定してもよいし、テンプレート４８に事前に登録されていてもよい。
続いて、動画像データ４０は動画像データ解析部２６で解析される。静止画像データ抽出部２８により、動画像データ４０の解析結果に基づいて、分割されたそれぞれの動画像データにおける、抽出条件に合致するフレームがそれぞれ静止画像データとして抽出される（ステップＳ１６）。

抽出された静止画像データとテンプレート４８は、テンプレート４８に設定された時系列順序に対応して配置されてレイアウト合成部３０で合成され、レイアウトデータが生成されて画像記録部１８に記録される。つまり、フォトブックデータが生成、記録される（ステップＳ１８）。

（実施例５）
実施例５は、選択されるテンプレートが異なることを除き実施例１と同様であるので、図２に示すフローチャートに従って、テンプレートの選択以降について説明する。

ユーザの操作によって、素材選択部２０により使用するテンプレート５０（図７参照）が選択される（ステップＳ１２）。
実施例５のテンプレートは、図７に示すような２つの静止画像の合成エリアが重なった状態のものであり、動画像データ４０のズーム前後の静止画像を、ズーム前の静止画像の上にズーム後の静止画像が重なるようにレイアウトするテンプレート５０を用いて抽出する場合である。

図７に示すような画像処理アプリケーションの編集画面では、候補動画像データ群が画像記録部１８から呼び出されて画面左側に表示され、フォトブックのテンプレート５０が画面中央に表示されている。ユーザの操作によって、候補動画像データ群から所望の動画像データである、ステップＳ１０で入力され記録された動画像データ４０が、テンプレート５０にドラッグ＆ドロップされ、素材選択部２０により選択される（ステップＳ１４）。

抽出条件決定部２２では、テンプレート５０が２つの静止画像の合成エリアが重なった状態のものであることから、該合成エリア間の関係に応じて、動画像データ４０内のズーム前後の静止画像を、ズーム前の静止画像を背面側の合成エリアに、ズーム後の静止画像を前面側の合成エリアに対応させる。また、ズーム検出のパラメータが決定され、最適な部分を抽出する抽出条件が決定される。
続いて、動画像データ４０は動画像データ解析部２６で解析される。静止画像データ抽出部２８により、動画像データ４０の解析結果に基づいて、動画像データ４０における、抽出条件に合致するフレームがそれぞれ静止画像データとして抽出される（ステップＳ１６）。

抽出された静止画像データとテンプレート５０は、レイアウト合成部３０で合成され、レイアウトデータが生成されて画像記録部１８に記録される。つまり、フォトブックデータが生成、記録される（ステップＳ１８）。

なお、ズーム前後の静止画像の他に、被写体との距離を基に静止画像を抽出するようにしてもよい。例えば、被写体との距離が遠い静止画像を背面に配置し、被写体との距離が近い静止画像を前面に配置するようにレイアウトしてもよい。また、図７のテンプレート５０では２画像であるが、３画像以上が重なり合うようなテンプレートであってもよい。

（実施例６）
実施例６は、選択されるテンプレートが異なることを除き実施例１と同様であるので、図２に示すフローチャートに従って、テンプレートの選択以降について説明する。

ユーザの操作によって、素材選択部２０により使用するテンプレートの合成エリア５２、５４（図８参照）が選択される（ステップＳ１２）。
実施例６のテンプレートは、図８に示すように、アスペクト比の異なるパノラマサイズの合成エリア５２と、通常サイズの合成エリア５４とから構成されるものであり、動画像データ４０の中からパノラマサイズの画像と通常サイズの画像を、テンプレートの合成エリア５２、５４を用いて抽出する場合である。

図８に示すような画像処理アプリケーションの編集画面では、候補動画像データ群が画像記録部１８から呼び出されて画面左側に表示され、フォトブックのテンプレートが画面中央に表示されている。ユーザの操作によって、候補動画像データ群から所望の動画像データである、ステップＳ１０で入力され記録された動画像データ４０が、テンプレートの合成エリア５２、５４にドラッグ＆ドロップされ、素材選択部２０により選択される（ステップＳ１４）。

抽出条件決定部２２では、合成エリア５２と合成エリア５４とのアスペクト比が異なり、合成エリア５２のアスペクト比が合成エリア５４のアスペクト比よりも横長であることから、合成エリア５２はパノラマ画像の合成エリアと判断される。合成エリア５２は、パノラマ画像の合成エリアであることから、動画像データ４０内の水平方向の動き（パン）がある部分を対応させる。また、パン検出のパラメータが決定され、最適な部分を抽出する抽出条件が決定される。合成エリア５４は通常画像であるので、例えば実施例１と同様に時間で分割して抽出条件が決定される。
続いて、動画像データ４０は動画像データ解析部２６で解析される。静止画像データ抽出部２８により、動画像データ４０の解析結果に基づいて、動画像データ４０における、抽出条件に合致するフレームがそれぞれ静止画像データとして抽出される（ステップＳ１６）。

ここで、パノラマ画像は、動画像データ４０が動画像データ解析部２６で解析されて、水平方向の動きがある部分からパノラマ画像として合成可能なフレームが複数選択され、選択されたそれぞれのフレームを合成して１つのパノラマ画像（静止画像）を得る。また、画像解析の他、モーションセンサ（加速度センサ）等の、カメラの動きを検知するセンサのデータが動画像データ４０に含まれていれば、それらのデータに基づいてパノラマ画像を生成してもよい。

抽出された静止画像データと合成エリア５２、５４を含むテンプレートはレイアウト合成部３０で合成され、レイアウトデータが生成されて画像記録部１８に記録される。つまり、フォトブックデータが生成、記録される（ステップＳ１８）。

（実施例７）
実施例７は、選択されるテンプレートが異なること、フォトブックではなくシャッフルプリント用のレイアウトデータを作製することを除き実施例１と同様であるので、図２に示すフローチャートに従って、テンプレートの選択以降について説明する。

実施例７は、図９に示すような、多数の小さな画像が集合して１枚の大きな静止画像を構成する、いわゆるシャッフルプリントを作製する場合である。
ユーザの操作によって、素材選択部２０により使用するテンプレート５６（図１０参照）が選択される（ステップＳ１２）。
実施例７のテンプレートは、図１０に示すように、シャッフルプリントのテンプレート５６であり、動画像データ４０の中から様々な静止画像をランダムに抽出してレイアウトするものである。

図１０に示すような画像処理アプリケーションの編集画面では、候補動画像データ群が画像記録部１８から呼び出されて画面左側に表示され、シャッフルプリントのテンプレートが画面中央に表示されている。ユーザの操作によって、候補動画像データ群から所望の動画像データである、ステップＳ１０で入力され記録された動画像データ４０が、テンプレート５６にドラッグ＆ドロップされ、素材選択部２０により選択される（ステップＳ１４）。

抽出条件決定部２２では、テンプレート５６の合成エリア間の関係からシャッフルプリントであると判断して、例えば主となる被写体を決定し、動画像データ４０内のその被写体を含む部分を抽出候補とする。また、主となる被写体検出のパラメータが決定され、最適な部分を抽出する抽出条件が決定される。
続いて、動画像データ４０は動画像データ解析部２６で解析される。静止画像データ抽出部２８により、動画像データ４０の解析結果に基づいて、動画像データ４０における、抽出条件に合致するフレームがそれぞれ静止画像データとして抽出される（ステップＳ１６）。
ここで、主となる被写体を含むそれぞれの静止画像は、各合成エリアにランダムに対応させるが、比較的大きな合成エリアには、笑顔、正面などを対応させてもよい。

抽出された静止画像データとテンプレート５６は、レイアウト合成部３０で合成され、レイアウトデータが生成されて画像記録部１８に記録される。つまり、プリントデータが生成、記録される（ステップＳ１８）。

上記の各実施例において、生成されたレイアウトデータは、図示しない印刷装置で印刷されることでプリントが得られ、さらに、図示しない製本装置によって製本されることで、フォトブックが得られる。
また、上記の各実施例において、テンプレートの合成エリアに自動的に配置された静止画像が、ユーザの好みに合わない場合もある。このような場合には、動画像データを基にした静止画像データであれば、図１１に示すように、スライドバー５８を用いて動画像データ４０から抽出する静止画像データを任意に変更可能な構成としてもよい。
さらに、図１２に示すように、例えば、３０秒の動画から撮影時間を基に均等に３枚の静止画像６０ａ〜６０ｃが配置された場合、それぞれの静止画像の変更範囲を、静止画像６０ａは０〜１０秒、静止画像６０ｂは１１〜２０秒、静止画像６０ｃは２１秒〜３０秒というようにしてもよい。

また、ユーザが、自動的に配置された静止画像間に、さらに静止画像を追加したい場合もある。例えば、図１３（Ａ）に示すように、自動的に配置され、時系列に並べられた２枚の静止画像が配置されている合成エリア６４，６６間のイベントを強調したい場合には、選択枠６２ａで合成エリア６４，６６を囲む。
続いて、図１３（Ｂ）に示すように、ユーザによって、操作部１６を介して合成エリア６８を追加する操作がされる。このとき、図１３（Ａ）で選択された選択枠６２ａは、合成エリア６４，６６，６８を含む選択枠６２ｂの状態となる。

次に、図１３（Ｃ）に示すように、ユーザにより合成エリア６８を選択する操作がされ、選択枠７０が表示される。ここで、再度、動画像データ４０からの静止画像データの抽出を行うと、図１３（Ｄ）に示すように、時系列的に合成エリア６４，６６に配置されている静止画像の間に存在するフレームから、合成エリア６８の静止画像データが抽出され配置される。つまり、元の合成エリア６４，６６の時系列に並べられた２枚の静止画像間の合成エリア６８に１枚静止画像が追加されて、この間のイベントを強調することができる。
このように、テンプレートを修正することで、動画像データからの静止画像データの抽出条件を設定するようにしてもよい。

上述のとおり、本発明に係る画像処理装置および画像処理方法によれば、テンプレートに基づいて動画像から静止画像を抽出する条件を決定することで、ユーザが多数の候補画像から静止画像を選択する手間がかからず、容易にテンプレートに基づいたプリントまたはフォトブックを作製することができる。また、パノラマ画像等のアスペクト比の異なる静止画像を含むフォトブック等であっても、パノラマ画像を容易に作製することができ、ユーザの好みに合わせたプリントまたはフォトブックを容易に作製することができる。

また、従来は動画像データから単純に分割して静止画像データを抽出しようとしても、何秒間隔で何枚の静止画像を抽出するべきかの判断が難しかったが、実施例１のようにテンプレートを指定するだけで、テンプレートに応じて必要枚数を抽出することができる。
さらに、実施例２〜７のようにテンプレートに様々な合成エリアを設けて属性をセットすることで、従来は非常に手間と時間がかかっていた、それぞれのテンプレートに適切な静止画像を抽出する作業を容易に行うことができる。

なお、上記の各実施例では動画像データが１つの場合を説明したが、画像処理アプリケーションの編集画面の動画像データの表示欄には複数の動画像データを表示することができ、テンプレートの各部分にそれぞれ異なる動画データから静止画像を抽出してもよいのはもちろんである。
また、テンプレートのレイアウトは、予め準備されたものでもよいし、ユーザが好みに応じて個々の合成エリアの位置、大きさ等を調整してもよい。
さらに、上述の実施例１〜６の説明ではフォトブックの画像処理アプリケーションの編集画面について説明を行ったが、１枚の台紙からなるテンプレートプリントでもよい。
また、テンプレートの合成エリアが多数ある場合、例えば１０箇所以上あり、素材となる動画像データが短い場合には、十分な枚数の静止画像を抽出することができなければ、抽出可能な枚数だけ抽出してもよい。

なお、本発明においては、上述した画像処理方法の各工程をコンピュータに実行させるための画像処理プログラムとして構成しても良いし、また、コンピュータを、画像処理方法の各工程を実施する各手段として、または、上述した画像処理装置を構成する各手段として機能させる画像処理プログラムとして構成しても良い。
また、本発明を、上述した画像処理プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。

以上、本発明の画像処理装置、画像処理方法およびプログラムについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

１０ 画像処理装置
１２ 画像データ入力部
１４ 表示部
１６ 操作部
１８ 画像記録部
２０ 素材選択部
２２ 抽出条件決定部
２４ 画像処理部
２６ 動画像データ解析部
２８ 静止画像データ抽出部
３０ レイアウト合成部
４０ 動画像データ
４２，４４，４８，５０，５６ テンプレート
４６，５２，５４，６４，６６，６８ 合成エリア
５８ スライドバー
６０ａ〜６０ｃ 静止画像
６２ａ，６２ｂ，７０ 選択枠

Claims (10)

1. 動画像データから静止画像データを抽出してレイアウトデータを得るための画像処理装置であって、
   少なくとも前記動画像データを含む画像データが入力される画像データ入力部と、
   前記レイアウトデータに適用するテンプレートおよび前記動画像データを選択する素材選択部と、
   選択された前記テンプレートの合成エリア間の関係に応じて、前記動画像データから前記静止画像データを抽出する抽出条件を決定する抽出条件決定部と、
   前記動画像データを解析する動画像データ解析部と、
   前記解析結果に基づいて、前記動画像データから前記抽出条件に合致する前記静止画像データを抽出する静止画像データ抽出部と、
   抽出された前記静止画像データを、前記テンプレートの対応する合成エリアに配置して前記レイアウトデータを生成するレイアウト合成部とを有することを特徴とする画像処理装置。
2. 前記合成エリア間の関係は、大きさの比率、距離、配置順序、重なり順、またはアスペクト比であることを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出条件は、前記動画像データから抽出する前記静止画像データの枚数、被写体との距離、および抽出対象となる時間の範囲のうち１以上であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合成エリア間の関係がアスペクト比であり、第１の合成エリアのアスペクト比が、他の合成エリアよりも横長であるパノラマ画像の合成エリアであるとき、前記静止画像データ抽出部は、前記動画データからパノラマ画像の静止画像データを抽出し、前記レイアウト合成部は、前記抽出された静止画像データを前記第１の合成エリアに配置するものであることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記抽出条件が前記被写体との距離であり、前記抽出条件決定部は、ズームまたは前記被写体との距離の変化を抽出するものであることを特徴とする請求項３に記載の画像処理装置。
6. 前記テンプレートの隣接する複数の合成エリアが前記素材選択部で選択されたとき、前記レイアウト合成部は、前記抽出された静止画像データを、動きのある被写体を所定の時間間隔で並べた連続写真としてレイアウトするものであることを特徴とする請求項１に記載の画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置と、
   レイアウトデータを印刷する印刷装置とを有するプリント作製システム。
8. 請求項１〜６のいずれかに記載の画像処理装置と、
   レイアウトデータを印刷する印刷装置と、
   印刷された用紙を製本する製本装置とを有するフォトブック作製システム。
9. 動画像データから静止画像データを抽出してレイアウトデータを得るための画像処理方法であって、
   少なくとも前記動画像データを含む画像データが入力される画像データ入力ステップと、
   前記レイアウトデータに適用するテンプレートおよび前記動画像データを選択する素材選択ステップと、
   選択された前記テンプレートの合成エリア間の関係に応じて、前記動画像データから前記静止画像データを抽出する抽出条件を決定する抽出条件決定ステップと、
   前記動画像データを解析する動画像データ解析ステップと、
   前記解析結果に基づいて、前記動画像データから前記抽出条件に合致する前記静止画像データを抽出する静止画像データ抽出ステップと、
   抽出された前記静止画像データを、前記テンプレートの対応する合成エリアに配置して前記レイアウトデータを生成するレイアウト合成ステップとを有することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法の各ステップを手順としてコンピュータに実行させるためのプログラム。