JP5686673B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、複数の画像のレイアウトを行う画像処理装置、画像処理方法およびプログラムに関し、詳しくは、静止画像と動画像が混在するデータから、静止画像と動画像の関連性に応じて動画像から静止画像（以下、フレーム画像という）を抽出し、静止画像とフレーム画像をレイアウトする画像処理装置、画像処理方法およびプログラムに関するものである。

近年、デジタルスチルカメラの性能向上に伴い、高解像度の動画像が撮影可能な機種が発売されている。このため、静止画像だけでなく、動画像から切り出したフレーム画像をプリントしたい、またはフォトブックに活用したいという要望が出てきている。これに対し、静止画像とフレーム画像とを、閲覧性の良い配置および一覧表示を行うことが種々提案されている。

例えば、特許文献１には、静止画像または動画像の画像データから静止画像を抽出して特徴量を取得し、当該特徴量に基づいて表示領域の配置位置を決定して、静止画像を縮小した表示用画像を表示領域に一覧表示する画像表示装置が開示されている。また、動画像の画像データに複数の内容が含まれている場合に、動画像の画像データをイベント単位またはセグメント単位に分割して、ノイズのない部分から当該動画像を代表する静止画像を抽出し、当該静止画像同士が近傍に配置されるようにすることも開示されている。

特許文献２には、記憶媒体に格納される動画像ファイルの各々から所定枚数のフレーム画像に相当するフレーム画像情報を抽出し、その抽出されるフレーム画像情報に対応するインデックス画像と、記憶媒体から読み出された静止画像ファイルに対応するインデックス画像とが、所定の条件に従った順序で配列されるように、インデックス画像の配置順序を決定し、画像一覧を出力することが開示されている。

特許文献３には、動画像ファイルから抽出されるインデックス画像と、静止画像ファイルから抽出されるインデックス画像とが混在する画像一覧を印刷出力する場合、インデックス画像の大きさがサイズ情報の基準特徴量と一致するように補正され、インデックス画像の色が色情報の基準特徴量と一致するように補正されて印刷出力され、動画像ファイルと静止画像ファイルとから生成されたインデックス画像間で視覚的な統一感が確保されている画像一覧を出力することが開示されている。

特開２００９−１１８０６０号公報 特開２００９−２４６８８７号公報 特開２００９−２４６８９７号公報

しかしながら、特許文献１のように、動画像から静止画像を抽出するときにノイズのない部分を抽出するために、動画像の開始時刻から予め指定した時刻の静止画像を抽出する、あるいは、動画像の画像データ内のノイズを解析して静止画像を抽出するとした場合には、動画像から抽出される静止画像は、当該動画像を代表する静止画像ではあるが、必ずしも静止画像としてプリントしたい画像、あるいは、フォトブックの素材として使用する画像とはならないという問題があった。

また、特許文献２および３のように、動画像から静止画像を抽出した後に配置条件を決定したり、画像の補正を行って統一感を確保する場合、必ずしもプリントに最適な画像が抽出されて配置されるとは限らず、また、画像の補正を行わなくとも統一感のある画像が動画像中にあったとしても活用されないという問題があった。さらに、単なる画像の一覧表示では、プリント、フォトブック、および電子アルバム等としては単調でつまらないという問題もあった。

本発明の目的は、動画像と静止画像をグループに分類し解析して求められた関連性に応じてレイアウトすることで、より魅力的な画像の配置データを生成する画像処理装置、画像処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明は、複数の画像のレイアウトを行う画像処理装置であって、
動画像および静止画像のデータが入力される画像データ入力部と、
前記動画像および前記静止画像を、所定の条件でグループに分類する画像グルーピング部と、
前記グループごとに、分類された前記動画像および前記静止画像を解析し、前記動画像と前記静止画像とを解析して得られた解析情報、および前記動画像と前記静止画像の関連性を表す関連性情報を求める画像解析部と、
前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、各々の前記動画像からフレーム画像を抽出する枚数を決定し、決定した枚数の前記フレーム画像を抽出するフレーム画像抽出部と、
前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、前記静止画像および前記フレーム画像のレイアウトを決定するレイアウト決定部と、
前記グループごとに、前記レイアウトに従って前記静止画像および前記フレーム画像を配置する画像配置部と、を有することを特徴とする画像処理装置を提供する。

また、前記所定の条件は、撮影時間、撮影位置、および被写体のうちの少なくとも１つであることが好ましい。
さらに、前記関連性情報は、前記動画像の前記解析情報と前記静止画像の前記解析情報とを比較した情報であることが好ましい。
また、前記関連性情報は、前記解析情報であることが好ましい。

さらに、前記解析情報は、被写体の顔認識、被写体の人数、被写体の大きさ、被写体の位置、被写体の向き、被写体の顔の向き、被写体の表情認識、動き検出、撮影時間、撮影位置、構図、消失点、色味、画像全体の明るさ、画像全体の鮮やかさ、同一人物の判定、カメラの移動量、撮影条件、画像の解像度、画像のアスペクト比、および撮影モードのうちの少なくとも１つの項目を含むことが好ましい。
また、前記関連性情報は、さらに、前記動画像と前記静止画像のそれぞれの前記解析情報に重み付けを行って算出した代表値を含み、該代表値を比較することで前記フレーム画像と前記静止画像との関連性の有無を判定するものであることが好ましい。

また、前記画像解析部は、前記グループごとに配置可能な最大画像数である基準枚数から、同一グループ内の前記静止画像の枚数を引いた枚数を、前記フレーム画像を抽出することが可能な最大抽出枚数とすることが好ましい。
さらに、前記レイアウト決定部は、前記静止画像の周りに前記フレーム画像を時系列に並べるレイアウトに決定することが好ましい。

また、前記レイアウト決定部は、前記解析情報のうちの少なくとも２つの項目に基づいて、前記静止画像および前記フレーム画像のレイアウトを決定することが好ましい。
さらに、前記レイアウト決定部は、奥行きのある前記静止画像または前記フレーム画像の周りに、消失点または画像の方向性に基づいて、他の前記静止画像または前記フレーム画像を並べるレイアウトに決定することが好ましい。
また、前記フレーム画像抽出部は、前記解析情報の被写体の顔の向きおよび前記関連性情報に基づいて、顔の向きの変化がわかる前記フレーム画像を複数枚抽出し、
前記レイアウト決定部は、抽出した顔の向きの変化がわかる複数枚の前記フレーム画像を一定方向に並べるレイアウトに決定することが好ましい。

また、前記レイアウト決定部は、前記解析情報の被写体の位置および前記関連性情報に基づいて、前記静止画像または前記フレーム画像に含まれた主要被写体が隠れないように、該主要被写体を含む前記静止画像または前記フレーム画像に他の前記静止画像および前記フレーム画像を重ね合わせるレイアウトに決定することが好ましい。
さらに、前記レイアウト決定部は、前記主要被写体の顔方向の一定スペースに、他の前記静止画像および前記フレーム画像を配置しないレイアウトに決定することが好ましい。

また、前記フレーム画像抽出部は、前記解析情報および前記関連性情報に基づいて、動きを表現するための前記フレーム画像を複数枚抽出し、
前記レイアウト決定部は、抽出した複数枚の前記フレーム画像を時系列に並べて動きを表現するレイアウトに決定することが好ましい。
また、前記フレーム画像抽出部は、複数枚の前記フレーム画像を抽出し、抽出した複数枚の前記フレーム画像内のうちの基準となるフレーム画像と、該基準となるフレーム画像に類似するフレーム画像とを合成したフレーム画像を生成することが好ましい。

また、前記画像解析部は、前記静止画像に撮影されている人物の顔と、成長過程を代表する画像から予め登録されている人物の顔とを比較することで前記解析情報の同一人物の判定を行うことが好ましい。
また、前記レイアウトは、さらに背景テンプレートを含み、
前記レイアウト決定部は、主要画像となる前記静止画像または前記フレーム画像の色情報を基にして、前記背景テンプレートを決定することが好ましい。
また、前記レイアウト決定部は、ユーザにより所定のページの再構成指示が入力されたとき、該所定のページ内のレイアウトを前記再構成指示に従って再構成することが好ましい。

さらに、前記動画像および前記静止画像のデータ、前記フレーム画像のデータ、前記レイアウトのデータ、ならびに前記配置のデータを記録する記録部と、
前記配置の結果を表示する表示部と、を有することが好ましい。
さらに、前記グループは複数のグループであり、前記フレーム画像の抽出時に前記複数のグループの抽出結果が同時に前記表示部に表示されることが好ましい。

また、前記フレーム画像抽出部は、前記動画像の解像度が所定の解像度よりも低く、かつ、前記グループ内の前記静止画像および前記フレーム画像の合計枚数が所定の枚数よりも少ない場合、前記動画像から抽出する前記フレーム画像の枚数を増やして、１画像の表示サイズが所定の大きさ以上にならないように調整することが好ましい。

また、前記フレーム画像抽出部は、前記動画像に撮影された人物のサイズが所定のサイズよりも小さい場合、前記動画像から抽出する前記フレーム画像の枚数を減らして、前記人物の表示サイズが所定の大きさ以上になるように調整することが好ましい。

また、前記フレーム画像抽出部は、前記レイアウトに必要なアスペクト比の動画像から抽出する前記フレーム画像の枚数を増やし、それ以外の動画像から抽出する前記フレーム画像の枚数を減らすことが好ましい。

また、前記フレーム画像抽出部は、前記動画像から抽出する、該動画像の表示画面の一部の領域を決定し、決定した領域を前記フレーム画像として抽出することが好ましい。

また、前記フレーム画像抽出部は、前記動画像の再生時間、前記動画像の撮影内容、および、前記関連性情報のうちの少なくとも１つに応じて、前記動画像から抽出する前記フレーム画像の枚数を決定することが好ましい。

また、前記フレーム画像抽出部は、前記グループ内の静止画像およびフレーム画像の合計枚数が、前記グループで配置可能な最大画像数である基準枚数を超えた場合、前記解析情報に基づいて、抽出した前記フレーム画像の中から前記基準枚数を超えない範囲でお勧めの画像を抽出することが好ましい。

また、前記フレーム画像抽出部は、前記グループ内の静止画像およびフレーム画像の合計枚数が、前記グループで配置可能な最大画像数である基準枚数を超えた場合、該合計枚数が基準枚数を超えたグループを２以上のグループに分割することが好ましい。

また、前記フレーム画像抽出部は、ユーザにより、前記グループで配置可能な最大画像数である基準枚数に応じて選択された枚数の前記フレーム画像を前記動画像から抽出することが好ましい。

また、前記フレーム画像抽出部は、ユーザにより選択された枚数の前記フレーム画像を前記動画像から抽出し、前記グループ内の静止画像およびフレーム画像の合計枚数が、前記グループで配置可能な最大画像数である基準枚数を超えた場合、該合計枚数が基準枚数を超えたグループを２以上のグループに分割することが好ましい。

また、前記フレーム画像抽出部は、ユーザにより指定されたページ数に応じて、前記フレーム画像を抽出する枚数を決定することが好ましい。

また、上記課題を解決するために、本発明は、上記のいずれかに記載の画像処理装置と、
前記配置のデータを印刷する印刷装置とを有するプリント作製システムを提供する。

さらに、上記課題を解決するために、本発明は、上記のいずれかに記載の画像処理装置と、
前記配置のデータを印刷する印刷装置と、
印刷された用紙を製本する製本装置とを有するフォトブック作製システムを提供する。

また、上記課題を解決するために、本発明は、複数の画像のレイアウトを行う画像処理方法であって、
画像データ入力部が、動画像および静止画像のデータを入力する画像データ入力ステップと、
画像グルーピング部が、前記動画像および前記静止画像を、所定の条件でグループに分類する画像グルーピングステップと、
画像解析部が、前記グループごとに、分類された前記動画像および前記静止画像を解析し、前記動画像と前記静止画像とを解析して得られた解析情報、および前記動画像と前記静止画像の関連性を表す関連性情報を求める画像解析ステップと、
フレーム画像抽出部が、前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、各々の前記動画像からフレーム画像を抽出する枚数を決定し、決定した枚数の前記フレーム画像を抽出するフレーム画像抽出ステップと、
レイアウト決定部が、前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、前記静止画像および前記フレーム画像のレイアウトを決定するレイアウト決定ステップと、
画像配置部が、前記グループごとに、前記レイアウトに従って前記静止画像および前記フレーム画像を配置する画像配置ステップと、を有することを特徴とする画像処理方法を提供する。

さらに、上記課題を解決するために、本発明は、上記に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。

本発明によれば、動画像と静止画像のデータが混在する場合でも、ユーザが使用したいフレーム画像を動画像から選択する手間がかからず、動画像と静止画像との関連性を基に、静止画像と最適なフレーム画像が配置された配置データを生成し、当該配置データに基づいたプリント、フォトブック、または電子アルバムを作製することができる。

（ａ）〜（ｃ）は、本発明に係るグループ分けおよびフレーム画像抽出の概念を説明する説明図である。 本発明に係る画像処理方法を実施する、本発明に係る画像処理装置の構成の一例を示すブロック図である。 本発明に係る画像処理方法の処理の流れの一例を示すフローチャートである。 （ａ）は、グループ分けを行った状態の一例を示す説明図であり、（ｂ）は、（ａ）に対してフレーム画像抽出を行った状態の一例を示す説明図である。 同じ場面、同じ被写体における効果的なレイアウトの一例を示す説明図である。 グループ内での静止画像と動画像の関連性の一例を示す説明図である。 動画像からフレーム画像を抽出した状態の一例を示す説明図である。 静止画像と動画像が混在し、かつ、静止画像と動画像との間の関連性が高い場合のレイアウトの一例を示す説明図である。 静止画像と動画像が混在し、かつ、静止画像と動画像との間の関連性が高い場合のレイアウトの他の一例を示す説明図である。 （ａ），（ｂ）は、それぞれ、静止画像と動画像が混在し、かつ、静止画像と動画像との間の関連性が低い場合のレイアウトの一例を示す説明図である。 （ａ）〜（ｃ）は、１ページ内に動画像から抽出したフレーム画像のみを配置するレイアウトの一例を示す説明図である。 （ａ）は、グループ分け前の状態の一例を示す説明図であり、（ｂ）は、グループ分け後の状態の一例を示す説明図であり、（ｃ）は、一旦画像が配置された状態の一例を示す説明図であり、（ｄ）は、再構成指示が入力されたページについて、再構成するためのテンプレートを例示する状態の一例を示す説明図である。 各イベントに分類された動画像および静止画像からお勧め画像を抽出する一例を示す説明図である。 （ａ）は、類似シーンごとに分類され、お勧め画像が判定されて抽出される一例を示す説明図であり、（ｂ）は、指定した人物ごとに分類が行われ、お勧め画像が判定されて抽出される一例を示す説明図である。 顔および消失点検出前のレイアウトの一例を示す説明図である。 顔および消失点を用いてレイアウトを行った一例を示す説明図である。 （ａ），（ｂ）は、それぞれ、顔の向きの変化がわかるようなフレーム画像を抽出し、一定方向に並べるようにレイアウトが行われた一例を示す説明図である。 主要被写体を隠さないように他の画像を重ね合わせてレイアウトが行われた一例を示す説明図である。 被写体の顔方向の一定スペースに他の画像が配置されないレイアウトが行われた一例を示す説明図である。 （ａ）は、目的の人物の顔は認識できているが、視線がカメラ方向を向いていない場合の一例を示す説明図であり、（ｂ）は、視線がカメラ方向を向き、表情が笑顔である場合の一例を示す説明図である。 動画像から自動的にお勧めのフレーム画像を抽出する一例を示す説明図である。 シャッフルプリントのレイアウトの一例を示す説明図である。 複数のベストショット画像を時系列に並べることで動きを表現するようなレイアウトの一例を示す説明図である。 複数のフレーム画像から１枚の高精細なフレーム画像が生成される一例を示す説明図である。 大量の画像群からある人物の画像を抽出する一例を示す説明図である。 画像の登録分類処理の一例を示す説明図である。 画像の登録分類処理の他の一例を示す説明図である。 フォトブックのレイアウトの一例を示す説明図である。 フォトブックのレイアウトの他の一例を示す説明図である。 フォトブックの余白部分に文字が合成されている一例を示す説明図である。 フォトブックの空領域および顔以外の領域に文字が合成されている一例を示す説明図である。 選択画像の色情報を基にして背景テンプレートが選択される一例を示す説明図である。 １ページに４枚の画像を配置するテンプレートの構成の一例を示す説明図である。 画像の合計枚数が基準枚数を超えたグループを２以上のグループに分割する様子の一例を示す説明図である。 画像をグループに分類した結果と、基準枚数を表すライン（境界線）を表示した画面の一例を示す説明図である。 第１〜第５のグループに分類された画像群の一例を示す説明図である。 基準枚数のみを考慮して、動画像からフレーム画像を抽出した様子の一例を示す説明図である。 （ａ）および（ｂ）は、ユーザにより指定されたフォトブックのページ数に応じて、フレーム画像の枚数を増やした様子、および、同図（ａ）に示す画像群を分割して７ページにした様子の一例を示す説明図である。 １枚のフレーム画像をページの中央に拡大して配置したレイアウトの一例を示す説明図である。 フレーム画像の枚数を４枚に増やして１画像の表示サイズを縮小した様子の一例を示す説明図である。 （ａ）〜（ｃ）は、それぞれ、「子供」と「うさぎ」が撮影された動画像、顔が動く前および顔が動いた後の「子供」の顔の所定の領域をフレーム画像として抽出する様子の一例を示す説明図である。 （ａ）は、「子供」と「うさぎ」が撮影された静止画像、（ｂ）は、同一グループの「子供」と「うさぎ」が撮影された動画像から、それぞれ「子供」および「うさぎ」を含む所定の領域をフレーム画像として抽出する様子の一例を示す説明図である。

本発明に係る画像処理方法を実施する本発明に係る画像処理装置を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。

始めに、図１を用いて本発明に係る動画像および静止画像を分類し動画像からフレーム画像を抽出する方法の概要を説明する。
図１は、本発明に係るグループ分けおよびフレーム画像抽出の概念を説明する説明図である。まず、図１（ａ）に示すように、動画像と静止画像が混在した画像データが入力されると、図１（ｂ）に示すように、動画像および静止画像について撮影時間を基に、つまり、イベントごとに分類してグループ分けを行う。次に、各グループごとに動画像および静止画像を分析し、動画像と静止画像とを解析して得られた解析情報、および、動画像と静止画像の関連性の情報を求める。続いて、解析情報および関連性情報の少なくとも一方に基づいて、各々の動画像から抽出するフレーム画像の枚数を決定し、決定した枚数のフレーム画像を抽出する。例えば、図１（ｃ）に示す例では、第１グループに分類された動画像からはフレーム画像が３枚抽出され、第２グループに分類された動画像からはフレーム画像が２枚抽出されている。このように、解析情報および関連性情報の少なくとも一方に基づいてフレーム画像を抽出することで、適切なフレーム画像が抽出される。

図２は、本発明に係る画像処理方法を実施する本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。
図２に示す画像処理装置１０は、画像データ入力部１２、画像表示部１４、操作部１６、画像記録部１８、画像グルーピング部１９、画像処理部２０、レイアウト決定部２６、および画像配置部２８によって構成され、バス３０で接続されている。また、画像処理部２０は、画像解析部２２、およびフレーム画像抽出部２４によって構成される。なお、本実施形態では一例として、フォトブックを作製する場合について説明する。

画像データ入力部１２は、外部インタフェースを持ちフォトブックに用いるための動画像および静止画像のデータ（動画像／静止画像データ）が入力される。画像データには特に限定はなく、ユーザがデジタルスチルカメラまたはデジタルビデオカメラで撮影した動画像／静止画像データ、ならびにネットワーク上からダウンロードした動画像／静止画像データなど、種々の画像データが入力される。外部インタフェースは、ＵＳＢ（Universal Serial Bus）、メモリーカードＲ／Ｗ（reader/writer）、光学ディスク、および有線／無線ＬＡＮ（Local Area Network）などであればよい。画像データ入力部１２に入力された画像データは、素材画像データ（動画像／静止画像データ）として出力される。

画像表示部１４は、画像処理装置１０上で動作する画像処理アプリケーションの編集画面、配置が完了したデータ（例えば、フォトブック等の配置イメージ画像等）、およびユーザによって各種操作が行われる操作画面などが表示される。

操作部１６は、画像処理装置１０の各種操作をユーザが行うためのものである。操作部１６の具体的な態様には特に限定はなく、キーボード、マウス、タッチパネルなど、公知の各種の操作機器を用いればよい。

画像記録部１８は、入力された素材画像データ（動画像／静止画像データ）、フレーム画像データ、静止画像およびフレーム画像のレイアウトデータ、ならびに配置されたイメージである配置データなどを記録する。画像記録部１８は、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体でもよい。

画像グルーピング部１９は、入力された素材画像データ（動画像／静止画像データ）を、所定の条件（イベント）に従ってグループに分類する。所定の条件には、例えば、撮影時間、ＧＰＳ（Global Positioning System）等による撮影位置、被写体の向き、および被写体の移動などが挙げられる。分類結果は分類情報として各素材画像データに付加してもよいし、画像記録部１８に別途テーブルを用意して管理してもよい。

画像解析部２２は、静止画像解析部２２ａと動画像解析部２２ｂとから構成される。また、画像解析部２２は、各グループについて動画像および静止画像がそれぞれ含まれているかどうか、つまり、動画像および静止画像が混在しているかどうか解析する。

静止画像解析部２２ａは、画像グルーピング部１９で分類されたグループごとに、静止画像データを解析し、動画像から抽出することが可能なフレーム画像の最大枚数（以下、最大抽出枚数という）、静止画像を解析して得られる解析情報、および動画像と静止画像との関連性に関する情報（以下、関連性情報という）を求める。ここで、最大抽出枚数は、例えば、同一グループ内の画像の基準枚数を予め定め、当該基準枚数から静止画像の枚数を引いた枚数とすることができる。

ここで、グループ内の画像の基準枚数とは、グループごとに配置可能な画像の最大数（最大画像数）である。例えば、グループごとにフォトブックの１ページを割り当てる場合、基準枚数は、フォトブックの１ページに配置可能な最大画像数となる。

例えば、ページ内のあらかじめ設定された所定の位置に画像を配置するレイアウトのテンプレート（あらかじめ決定されたレイアウト候補）を使用する場合、基準枚数は、そのテンプレートで利用可能（配置可能）な最大画像枚数となる。例えば、図３３に示すテンプレートの場合、４枚の画像を配置することができるため、基準枚数は４枚となる。テンプレートを使用する場合には、使用するテンプレートに応じて基準枚数が変化する。

一方、あらかじめ準備されたテンプレートではなく、ページ内の任意の位置に画像を配置する場合（フリーレイアウト）、画像処理装置１０では、画像の見やすさを考慮して、あらかじめ１ページに配置可能な最大画像数が設定されている。従って、フリーレイアウトの場合、基準枚数は、画像処理装置１０であらかじめ設定されている「１ページに配置可能な最大画像数」となる。

また、解析情報としては、例えば、被写体の顔認識結果、顔の向き、被写体の人数、被写体の大きさ、被写体の位置、被写体の向き、被写体の表情認識、撮影時間、撮影位置、構図、消失点、色味、画像全体の明るさ、画像全体の鮮やかさ、同一人物の判定、撮影条件、画像の解像度、画像のアスペクト比、および撮影モードのうちの少なくとも１つの項目を用いることができる。

さらに、関連性情報は、動画像と静止画像の解析情報を比較した情報、上記の解析情報に重み付けを行って、例えば、上限値が１００、下限値が０となるような代表値を算出することができる。また、解析情報をそのまま関連性情報として用いてもよい。なお、構図としては、人物、建物、空が写っている、風景写真である等のようなものが挙げられ、撮影モードとしては、通常撮影モード、パノラマ撮影モード、接写モード、および人物撮影モードなどが挙げられる。

動画像解析部２２ｂは、静止画像解析部２２ａと同様に、画像グルーピング部１９で分類されたグループごとに動画像データを解析して解析情報、および関連性情報を求める。解析情報としては、さらに、動き検出、およびカメラの移動量（パン、チルト）も用いることができる。

フレーム画像抽出部２４は、グループごとに、画像解析部２２で求められた動画像および静止画像のそれぞれの、解析情報および関連性情報の少なくとも一方に応じて、画像解析部２２で求められた最大抽出枚数を超えない範囲で、各々の動画像からフレーム画像を抽出する枚数を決定し、決定した枚数のフレーム画像を抽出する。例えば、撮影時間に基づいてフレーム画像を抽出する場合、第１表のようなテーブルを用意しておき、当該テーブルを基に抽出枚数を決定して、動画像からフレーム画像を抽出する。抽出されたフレーム画像のデータ（フレーム画像データ）は、画像記録部１８に記憶される。

また、「顔の向き」などを用いる場合には、テーブルの代わりに顔の向きの変化量を固定値として保持しておいてもよい。例えば、ある位置から顔の向きが１５度以上変化した場合にフレーム画像を抽出することができる。さらに、撮影モードに基づいてフレーム画像を抽出する場合、静止画像が接写で撮影された画像であれば、接写に近いフレーム画像を動画像から抽出することができる。

フレーム画像抽出部２４は、基準枚数を考慮せずに、動画像の解析情報の撮影時間（再生時間）、動画像の解析情報の撮影内容、および、関連性情報のうちの少なくとも１つに応じて、動画像からフレーム画像を抽出してもよい。

グループ内の静止画像およびフレーム画像の合計枚数が基準枚数を超えた場合、静止画像（抽出したフレーム画像を含む）の解析情報に基づいて、抽出したフレーム画像の中から基準枚数を超えない範囲でお勧めのフレーム画像（フレーム画像抽出部２４が好ましい画像と判断したフレーム画像）を抽出する。この場合、例えば、人物の顔が大きく撮影されている画像を高得点とする等、各々のフレーム画像を得点化し、高得点のフレーム画像を、基準枚数を超えない範囲で使用するようにしてもよい。

もしくは、合計枚数が基準枚数を超えたグループを２以上のグループに分割してもよい。図３４に示すように、グループごとに、動画像からフレーム画像を抽出した結果、第１〜第３グループにおいて、静止画像およびフレーム画像の合計枚数が基準枚数である４枚を超えたとする。なお、図３４では、フレーム画像に番号を付して示している。第１のグループの合計枚数は８枚、第２のグループの合計枚数は５枚、第３のグループの合計枚数は６枚である。この場合、第１〜第３グループ内の、５枚目以降の静止画像およびフレーム画像をそれぞれ別のグループに分割する。

また、ユーザが、基準枚数を考慮して、各々の動画像から抽出するフレーム画像の枚数を選択可能としてもよい。図３５に示すように、グループに分類した結果と、基準枚数を表すライン（境界線）を画面上に表示する。例えば、第３のグループは、１つの動画像だけを含むため、最大で４枚のフレーム画像を抽出することが可能である。従って、ユーザは、１〜４枚の範囲でフレーム画像の抽出枚数を選択することができる。

もしくは、ユーザが、基準枚数を考慮せずに、フレーム画像の抽出枚数として５枚以上を選択可能とし、グループ内の静止画像およびフレーム画像の合計枚数が基準枚数を超える場合、そのグループを２以上のグループに分割してもよい。

また、フレーム画像抽出部２４は、ユーザにより指定されたページ数に応じて、各々の動画像から抽出するフレーム画像の枚数を決定してもよい。

例えば、図３６に示すように、第１〜第５のグループに分類された画像群に対して、ユーザが７ページのフォトブックを作成する指定をしたとする。同様に、基準枚数は４枚であるとする。この場合、単純に基準枚数のみを考慮すると、図３７に示すように、第１のグループの動画像から１枚のフレーム画像、第２のグループの動画像から２枚のフレーム画像を抽出するため、フォトブックのページ数は５ページになる。

そこで、ユーザにより指定されたページ数に基づいて、各々の動画像から抽出するフレーム画像の枚数を増やし、図３８（ａ）に示すように、例えば、第１のグループの動画像から２枚のフレーム画像、第２のグループの動画像から５枚のフレーム画像を抽出する。そして、同図（ｂ）に示すように、基準枚数に応じて、第１のグループを、２枚のフレーム画像を含むグループと、３枚の静止画像を含むグループとに分割し、第２のグループを、２枚の静止画像および２枚のフレーム画像を含むグループと、３枚のフレーム画像を含むグループとに分割する。これにより、フォトブックのページ数は、ユーザにより指定された７ページになる。

なお、各々の動画像から抽出するフレーム画像の枚数や、基準枚数を超えたグループをどのように分割するかは任意であるが、これらは、ユーザにより指定されたページ数および基準枚数に応じて、許容される範囲内で適宜決定すればよい。

レイアウト決定部２６は、グループごとに解析情報および／または関連性情報に基づいて、フレーム画像および静止画像のレイアウトを決定しレイアウトデータを生成して出力する。例えば、フォトブックを作製する場合においては、各グループごとに１ページを割り当て、当該ページ内について解析情報および／または関連性情報に基づいてレイアウトが決定される。レイアウトデータは、画像記録部１８に記憶される。

画像配置部２８は、レイアウトデータに基づいて、画像記録部１８からフレーム画像データおよび静止画像データを読み込んで配置し、配置データを生成し出力する。配置データは、画像記録部１８に記憶される。

次に、本発明に係る画像処理方法を実現する、本発明に係る画像処理装置１０の動作を説明する。

図３は、本発明に係る画像処理方法の処理の流れの一例を示すフローチャートである。
まず、画像データ入力部１２から、素材となる動画像および静止画像のデータ（動画像／静止画像データ）が入力される（ステップＳ１０）。入力された動画像／静止画像データは素材画像データとして、一旦画像記録部１８に記録される。

素材画像データ（動画像／静止画像データ）は、画像グルーピング部１９によって、画像記録部１８から読み込まれ、所定の条件（イベント）に従ってグループに分類される（ステップＳ１２）。
例えば、図４（ａ）に示すように、撮影日時によってグループ分けされる場合、第１グループには、２月１１日の１０：００〜１２：００の間に撮影された動画像１本と静止画像６枚、第２グループには、同日の１２：００〜１５：００の間に撮影された静止画像２枚と動画像１本、第３グループには、同日の１５：００〜１７：００の間に撮影された動画像１本、第４グループには、同日の１７：００〜２４：００の間に撮影された静止画像２枚、第５グループには、翌日に撮影された静止画像３枚が、それぞれ分類される。

次に、各グループに分類された動画像／静止画像データは、グループごとに、画像解析部２２で動画像と静止画像が混在しているかどうか解析され判定される（ステップＳ１４）。混在している場合（ステップＳ１４で“混在”）、動画像のみの場合（ステップＳ１４で“動画像のみ”）、および静止画像のみの場合（ステップＳ１４で“静止画像のみ”）のそれぞれに応じて、対応した処理が行われる。
ここで、図４（ａ）の例では、第１および第２グループは動画像と静止画像が混在し（ステップＳ１４で“混在”）、第３グループは動画像のみであり（ステップＳ１４で“動画像のみ”）、第４および第５グループは静止画像のみであり（ステップＳ１４で“静止画像のみ”）、それぞれ分岐して対応した処理が行われる。

動画像と静止画像が混在している場合（ステップＳ１４で“混在”）、静止画像解析部２２ａにより、当該グループに含まれる静止画像データが解析されて静止画像の解析情報が求められ、動画像から抽出可能なフレーム画像の最大枚数が算出される。

次に、動画像解析部２２ｂにより、当該グループに含まれる動画像データが解析され、動画像の解析情報が求められる。また、静止画像解析部２２ａおよび／または動画像解析部２２ｂでは、互いの解析情報を比較することで関連性情報が求められる。さらに、解析情報に重み付けを行って、それぞれの関連性情報の代表値が算出される。
続いて、フレーム画像抽出部２４により、フレーム画像の最大抽出枚数を超えない範囲で、解析情報および関連性情報の少なくとも一方に基づき、各々の動画像からフレーム画像を抽出する枚数が決定され、決定された枚数のフレーム画像が抽出される。なお、同一のグループ（イベント）に含まれる静止画像と動画像とは同じ場面を撮影している可能性が高く、フレーム画像は静止画像となるべく被写体の向き、場面、および構図等が異なるものを抽出することが好ましい。

例えば、図４（ｂ）の例では、前提条件として１グループの最大画像枚数が８枚の場合に、第１グループの６枚の静止画像の静止画像データが解析され、まず、フレーム画像の最大抽出枚数は２枚と算出される。また、静止画像６枚中に被写体の正面を撮影した画像がない場合には、被写体の正面を撮影した画像がないという解析情報と、被写体の正面画像が不足しているという関連性情報が得られる。

続いて、被写体の正面画像が不足しているという関連性情報から、被写体の正面画像が写っているフレーム画像が、フレーム画像の最大抽出枚数である２枚を上限に、動画像の長さに応じて抽出される（ステップＳ１６）。つまり、動画像が長ければフレーム画像は最大抽出枚数と同数抽出されるが、図４（ｂ）の第２グループの動画像のように、動画像が短い場合には最大抽出枚数以内で、解析情報および関連性情報（例えば、シーン数、動き検出数等）に応じて３枚のみ抽出され、静止画像と合わせて５枚のみとなる場合もある。なお、抽出されたフレーム画像は、動画像の解析情報および関連性情報を引き継いでも良い。

ここで、抽出されるフレーム画像は、例えば、図５に示すように、同じ場面（構図）、同じ被写体であっても、顔の向きや体の向きが微妙に異なるフレーム画像を並べて、動きを表現できるような画像を抽出するようにしてもよい。このように、動きを表現することができれば効果的なレイアウトとなる。

また、他の例としては、図６の第２グループに示すように、静止画像４０にＡさんが撮影されており、かつ、動画像４２中にＡさんが撮影されている場合に、静止画像４０とは異なるＡさんのフレーム画像を動画像４２中から優先的に抽出することもできる。ここで、Ａさん（つまり、人物）の代わりに、ＧＰＳ等の位置情報を利用して撮影位置（撮影場所）を考慮したフレーム画像を抽出してもよい。また、静止画像４０と構図や色味が重ならないような場面をフレーム画像として抽出してもよい。

また、画像の解像度を考慮して、フレーム画像を抽出してもよい。
例えば、図６の第３グループのように、グループ内に含まれる１つの動画像から１枚のフレーム画像だけを抽出すると、図３９に示すように、１枚のフレーム画像をページの中央に拡大して配置したレイアウトになる。この場合、高解像度の動画像から抽出したフレーム画像であれば問題はないが、携帯電話のカメラ機能等により撮影した低解像度の動画像から抽出したフレーム画像の場合には、プリント時の画質が悪くなる。そこで、動画像の解像度が所定の解像度よりも低く、かつ、グループ内の静止画像およびフレーム画像の合計枚数が所定の枚数よりも少ない場合には、プリント時の画質を考慮して、動画像から抽出するフレーム画像の枚数を増やして、１画像の表示サイズが所定の大きさ以上にならないように調整することが望ましい。例えば、図４０に示すように、フレーム画像の枚数を４枚に増やすと、１画像の表示サイズが縮小され、プリント時の画質が向上される。

また、被写体の人数および大きさを考慮して、フレーム画像を抽出してもよい。
例えば、動画像に多くの人物が撮影されている場合や、少人数でも動画像に撮影された人物のサイズが小さい場合に、動画像から抽出するフレーム画像の枚数が多くなると、１画像当たりの表示サイズが小さくなるため、人物の判別が難しくなる。そこで、動画像に撮影された人物のサイズが所定のサイズよりも小さい場合には、人物の判別のしやすさを考慮して、動画像から抽出するフレーム画像の枚数を減らして、人物の表示サイズが所定の大きさ以上になるように調整することが望ましい。

また、画像のアスペクト比を考慮して、フレーム画像を抽出してもよい。
動画像のアスペクト比は、例えば、カメラの持ち方（縦、横）や撮影モード（フルハイビジョン：１９２０×１０８０、ＶＧＡ：６４０×４８０、等）によって変わる。そこで、例えば、フォトブックや電子アルバムの作成条件に応じて、画像のレイアウトに必要なアスペクト比の動画像から抽出するフレーム画像を増やし、それ以外の動画像から抽出するフレーム画像を減らすことが望ましい。例えば、縦長のフレーム画像を多く必要とする場合は、縦長の動画像から抽出するフレーム画像の枚数を増やし、横長の動画像から抽出するフレーム画像の枚数を減らす。

また、動画像の表示画面の全部の領域をフレーム画像として抽出するのではなく、各々の動画像から抽出する、動画像の表示画面の一部の領域を決定し、決定した領域をフレーム画像として抽出してもよい。

例えば、図４１（ａ）に示すように、動画像に「子供」と「うさぎ」が撮影されているが、「子供」の顔の動きが特に大きい場合（顔の向きが大きく変化する場合）には、「子供」の顔を含む所定の領域を動画像から抽出する領域として決定し、同図（ｂ）に点線で囲んで示すように、顔が動く前の「子供」の顔の所定の領域をフレーム画像１として抽出し、同図（ｃ）に点線で囲んで示すように、時間の経過に伴って顔が動いた後の「子供」の顔の所定の領域をフレーム画像２として抽出してもよい。

また、例えば、図４２（ａ）に示すように、同一グループの静止画像に「子供」と「うさぎ」が撮影され、同様に、同一グループの動画像にも「子供」と「うさぎ」が撮影されている場合には、「子供」と「うさぎ」それぞれの顔を含む所定の領域を動画像から抽出する領域として決定し、同図（ｂ）に点線で囲んで示すように、「子供」を含む所定の領域と、「うさぎ」を含む所定の領域をフレーム画像として抽出してもよい。

グループ内の動画像からのフレーム画像の抽出が終了すると、動画像およびフレーム画像の関連性情報の代表値と、静止画像の関連性情報の代表値とが比較される（ステップＳ１８）。レイアウト決定部２６は、動画像およびフレーム画像の関連性情報と、静止画像の関連性情報との関連性が高い場合（例えば、互いの代表値の差が±１０未満）には（ステップＳ１８で“関連有り”）、関連性を考慮したレイアウトを決定してレイアウトデータが出力される。レイアウトデータは画像記録部１８に記録されるとともに、画像配置部２８に入力され、フレーム画像および静止画像と合成されて配置データが生成され出力される（ステップＳ２０）。出力された配置データは画像記録部１８に記録される。

例えば、図７に示す一例の第２グループでは、静止画像４４とフレーム画像４６，４８，５０の関連性情報が比較され、静止画像４４とフレーム画像４６，４８，５０の関連性が高い場合には、図８に示すように、大きな静止画像４４の下側に、フレーム画像４６，４８，５０を並べて配置するレイアウトとすることができる。
また、他のレイアウト例としては、図９に示すレイアウト５４のように、静止画像５６の周りに、時系列６０に従ってフレーム画像５８を並べるレイアウトとしてもよい。

ステップＳ１８で、動画像およびフレーム画像の関連性情報と、静止画像の関連性情報との関連性が低い場合（例えば、互いの代表値の差が±１０以上）には（ステップＳ１８で“関連無し”）、図１０（ａ）に示すような、関連性情報を考慮せずに静止画像４４とフレーム画像４６，４８，５０を単純に配置するようなレイアウト６２、または、図１０（ｂ）に示すような、静止画像４４を１ページに配置するレイアウト６４、およびフレーム画像４６，４８，５０を１ページに配置するレイアウト６６として、レイアウトデータが出力される。
レイアウトデータは画像記録部１８に記録されるとともに、画像配置部２８に入力され、フレーム画像および静止画像と合成されて配置データが生成され出力される（ステップＳ２２）。出力された配置データは画像記録部１８に記録される。

ステップＳ１４で“動画像のみ”であると判定された場合、動画像解析部２２ｂにより動画像データの解析が行われ、解析情報が求められる。フレーム画像抽出部２４により、予め設定された１グループの最大画像枚数を超えない範囲で、解析情報に基づいて最適フレーム画像が抽出される（ステップＳ２４）。

例えば、図４（ａ）の第３グループは動画像が１本のみであり、動画像解析部２２ｂにより動画像データの解析が行われ、解析情報が求められる。ここで、例えば、ユーザにより１つのシーンにつき１枚フレーム画像が抽出されるように指示が入力された場合、第３グループの動画像には構図により分割することのできるシーンが６つあったとすると、それぞれのシーンにつき１枚ずつフレーム画像が抽出される。つまり、図４（ｂ）に示すように、６枚のフレーム画像が抽出される。

抽出されたフレーム画像は、レイアウト決定部２６により、例えば、一定の時間間隔で抽出された場合には、図１１（ａ）に示すように、フレーム画像７０が均等に配置されているレイアウト６８とされ、レイアウトデータが出力される。また、動画像中にズームされた部分がある場合には、図１１（ｂ）に示すように、フレーム画像７４をズーム前後で重なるようなレイアウト７２としてもよい。さらに、子供などの連続する被写体をフレーム画像として抽出した場合には、フレーム画像７８が一定方向に並んだレイアウト７６としてもよい。
レイアウトデータはステップＳ１８で“関連無し”と判定された場合と同様に、画像記録部１８に記録されるとともに、画像配置部２８に入力され、フレーム画像と合成されて配置データが生成され出力される（ステップＳ２２）。出力された配置データは画像記録部１８に記録される。

ステップＳ１４で“静止画像のみ”であると判定された場合、静止画像解析部２２ａにより静止画像データの解析が行われ、解析情報が求められる。レイアウト決定部２６では、静止画像の解析情報に基づいて、静止画像用のレイアウトデータが生成され出力される。レイアウトデータは画像記録部１８に記録されるとともに、画像配置部２８に入力され、静止画像と合成されて配置データが生成され出力される（ステップＳ２６）。出力された配置データは画像記録部１８に記録される。

次に、一旦生成された配置データについて、ユーザの指示により再構成を行う場合について図１２を用いて説明する。
本発明に係る画像処理方法にて生成されたフォトブック等の配置データについて、ユーザが一部のページの再構成を行いたい場合がある。例えば、図１２（ａ）に示す画像データ群が図１２（ｂ）に示す各グループに分類され、本発明に係る画像処理方法にて図１２（ｃ）に示すフォトブックの配置データが生成された場合を考える。ここで、ユーザは第２ページ８０について、もう少し動画像から抽出されたフレーム画像が欲しいと感じた場合、操作部１６の操作により第２ページ８０の再構成指示を出す。つまり、操作部１６から再構成指示が出力される。

再構成指示は、レイアウト決定部２６に入力され、例えば、図１２（ｄ）に示すように、複数のレイアウト候補（テンプレート８２，８４）が画像表示部１４に表示されてユーザによりレイアウトが選択され、当該レイアウトに適合するフレーム画像の再抽出指示が出力される。
再抽出指示はフレーム画像抽出部２４に入力され、選択された新たなレイアウトに適合するフレーム画像が抽出され、画像記録部１８に記録されると共に、画像配置部２８に入力され、再構成ページ（第２ページ８０）について配置データが生成され出力される。出力された配置データは画像記録部１８に記録される。

ここで、再構成ページはユーザのテンプレートの選択による再構成だけでなく、動画像から抽出されるフレーム画像数がユーザにより指示され、フレーム画像数に応じて自動的にテンプレートが選択されるようにしてもよい。

上記の画像処理装置１０によって生成された配置データは、図示しない印刷装置で印刷されることでプリントが得られ、さらに、図示しない製本装置によって製本されることで、フォトブックが得られる。

次に、本発明に係る画像処理方法を用いた実施例について説明する。

（実施例１）
図１３および図１４は、イベント（グループ）ごとにお勧め画像を抽出する場合の実施例である。
まず、図１３に示すように、動画像および静止画像が各イベント（イベントＡ，イベントＢ，イベントＣ）に分類される。このとき、動画像からは解析情報および／または関連性情報に基づきフレーム画像が抽出される。

次に、分類された各イベントに含まれる画像の中から、例えば、解析情報である、イベント内の撮影数、被写体の人数、被写体の大きさ、画像全体の明るさ、および画像全体の鮮やかさを基に、お勧め画像の抽出が行われる。
お勧め画像の抽出の一例としては、図１４（ａ）に示すように、人物が撮影された類似シーンごとに分類が行われ、人物の顔の位置（画像の中心部よりであるか）、および顔の大きさ（画像中でのバランス等）からお勧め画像が判定され、抽出される。

また、図１４（ｂ）に示すように、指定した人物ごとに分類が行われ、人物の顔の位置、顔の大きさ、笑顔などの表情、および明るさ（輝度）からお勧め画像が判定され、抽出されてもよい。
抽出されたお勧め画像（フレーム画像または静止画像）は、解析情報および／または他の抽出されたお勧め画像との関連性に応じて、つまり、それぞれの解析情報および／または関連性情報を基にして、レイアウトされ配置される。

（実施例２）
図１５〜図１９は、顔および消失点検出を利用して、レイアウトを行う場合の実施例である。
例えば、図１５に示すように、各グループに分類された画像から、静止画像がフォトブックの見開き中央に配置され、フレーム画像がその周囲に配置されてレイアウトされる。ところが、図１５に示すレイアウトでは、画像内容が考慮されておらず、すなわち、それぞれの画像の顔の向き９０、および消失点９２の位置は統一がとれておらず、バランスが悪いレイアウトとなってしまっている。

ここで、静止画像およびフレーム画像の解析情報のうち、被写体の顔の向きおよび消失点および関連性情報を用いてレイアウトを行うと、図１６に示すように、中央に奥行きのある画像がレイアウトされ、周囲には、各画像の消失点９２および顔の向き９０を基に、画像の方向性９４を考慮したレイアウトが行われる。当該レイアウトの結果、各画像がバランスよく配置される。

また、他の例では、図１７（ａ）および（ｂ）に示すように、動画像から顔が検出され、解析情報の顔の向きおよび関連性情報を用いて、顔の向きの変化がわかるようなフレーム画像を抽出し、一定方向に並べるようにレイアウトが行われる。当該レイアウトの結果、被写体の顔の向きが変化していくイメージで画像が配置される。

さらに、他の例では、図１８に示すように、グループにおける主要被写体１００が検出され、解析情報の主要被写体の位置および関連性情報を用いて、主要被写体１００を隠さないように他の画像を重ね合わせてレイアウトが行われる。当該レイアウトの結果、主要被写体１００が隠れず効果的に画像が重ね合わせられ配置される。
また、図１９に示すように、解析情報の顔の向きおよび関連性情報を用いて、被写体の顔方向１０３の一定スペース１０２には他の画像が配置されないレイアウトが行われてもよい。当該レイアウトの結果、被写体の顔のすぐ前に画像が配置されず、圧迫感を与えない配置が行われる。

（実施例３）
動画像からフレーム画像を抽出する場合の具体例を図２０〜図２４に示す。図２０〜図２４は、動画像からベストショットなフレーム画像を抽出する場合の実施例である。なお、フレーム画像の抽出後は、特に明記しない限り上記の実施例１，２と同様にレイアウトされ、フレーム画像が配置される。

例えば、図２０（ａ）に示すように、目的の人物の顔１０４，１０６は認識できているが、視線がカメラ方向を向いていない場合、ベストショットとはいえない。そこで、動画像が解析され、図２０（ｂ）に示すように、視線がカメラ方向を向き、表情が笑顔である顔１０８，１１０が撮影されているフレーム画像が、ベストショット画像として抽出される。

さらに、具体例としては、図２１に示すように、動画像から自動的にお勧めなフレーム画像を抽出（つまり、ベストショット画像を抽出）したり、図２２に示すように、動画像から抽出された複数のベストショット画像がランダムに配置されたシャッフルプリントのレイアウトとしたり、図２３に示すように、複数のベストショット画像を時系列に並べることで動きを表現するようなレイアウトとすることが挙げられる。

また、例えば、図２４に示すように、複数のフレーム画像（時間Ａ，Ｂ，Ｃにそれぞれ撮影されたもの）が抽出され、基準となるフレーム画像（時間Ａ）との類似判定が行われて画像合成されることで、複数のフレーム画像から１枚の高精細なフレーム画像が生成されるようにしてもよい。

（実施例４）
図２５〜図２７は、同一人物における時系列の変化があった場合の分類（グループ分け）の実施例である。
例えば、図２５に示すように、大量の画像群からある人物の赤ちゃんの頃から子供時代を経て、大人になるまでの画像を抽出したい場合がある。しかし、現状の顔認識技術では、顔の変化が大きい幼少期の判定や、幼少期と成人後の画像間での判定は難しく、例えば、赤ちゃんの頃の顔を登録しても、幼少期以降の画像を同一人物と認識することは難しい。そのため、図２６に示すように、デジタルスチルカメラ１１２から静止画像データ１１６をパーソナルコンピュータ（以下、ＰＣという）１１４に取り込み、画像処理アプリケーションでグループ分類処理を行った場合、編集画面１１８に、登録されている人物の顔と一致するものがない旨のメッセージ１１９が表示される。

取り込んだ静止画像データ１１６に撮影されている人物が、登録されている人物と同一人物でありながらメッセージ１１９が表示された場合には、静止画像データ１１６に撮影されている人物を新たに登録し、認識判定処理の再構築が行われる。つまり、図２７に示すように、ある人物の顔が追加登録されると、しばらくは誤判定や、さらなる追加登録の必要はなくなり、成長過程のその時々で静止画像データ１２０を数枚登録すればよい。また、成人後などのように顔の特徴が大きく変わらない場合にも追加登録の必要はない。
このように、同一人物における時系列の変化があった場合でも、成長過程を代表する画像数枚から顔が登録されていれば、誤判定することなくグループ分けが行われる。

（実施例５）
図２８，図２９は、静止画像およびフレーム画像に対して顔認識処理が行われ、自動的にフォトブックのレイアウトおよび画像配置が行われる場合の実施例である。なお、画像の抽出処理は、例えば、上記の実施例３と同様に動画像から抽出されたフレーム画像、および静止画像からベストショットが抽出される。

図２８に示すように、例えば、祖父母へのプレゼントのためのフォトブックを作製しようとする場合、孫が写った画像を中心としたレイアウトが行われる。また、家族で楽しむためのフォトブックであれば、図２９に示すように、家族（父、母、子）や風景が写った画像が均等になるようにレイアウトが行われる。さらに、友人と旅行に行った時の画像を使用したフォトブックでは、自分用には自分が写っている画像がメインとなるようにレイアウトが行われ、友人へのプレゼント用には友人が写っている画像がメインとなるようにレイアウトが行われる。

（実施例６）
図３０，図３１は、主要被写体、空、および地面の領域抽出を利用して、文字合成エリアが決定される場合の実施例である。なお、画像の抽出処理は、例えば、上記の実施例３と同様に動画像から抽出されたフレーム画像、および静止画像からベストショットが抽出される。

図３０は、フォトブックの余白部分、つまり画像がレイアウトされていない部分に文字が合成されている場合を示す。これに対し、図３１に示すフォトブックの左ページでは、配置された画像中から空領域１２２が抽出され、空領域１２２に文字が合成されている。また、同じく右ページでは、配置された画像中から被写体の顔領域１２４が抽出され、顔領域１２４に文字がかからないように文字が合成されている。
このように、空および地面領域、あるいは顔以外の領域に文字領域がレイアウトされることで、より魅力的なフォトブックを作製することができる。

（実施例７）
図３２は、選択画像（主要画像）の色情報を基にして背景テンプレートが選択される場合の実施例である。なお、画像の抽出処理は、例えば、上記の実施例３と同様に動画像から抽出されたフレーム画像、および静止画像からベストショットが抽出される。

図３２は、フォトブックの余白部分１２８に色（背景色，背景テンプレート）が設定されている場合を示す。フォトブックの余白部分に色が設定される場合、まず、当該ページ内において主要画像１２６が抽出される。ここで、主要画像とは中心に配置されている画像であったり、表示サイズが大きい画像のことである。

次に、主要画像１２６の解析が行われ、どのような系統の色が最も多く使用されているかが抽出される。図３２の例では、主要画像１２６は背景として青空の部分が多く写っていることから、例えば“青”が抽出される。抽出された色（“青”）を基に、背景色（背景画像）が決定される。例えば、“青”が抽出された場合には、余白部分１２８と主要画像中の青空との境界があいまいとならないように、主要画像中の“青”よりも淡い水色が背景色に設定される。つまり、背景テンプレートとして水色の背景色が設定される。

なお、上記の例では、背景を単色としたが、これに限られず予め用意された背景画像や、配置される画像を加工した画像を背景画像として用いてもよい。
このように、ページに応じて背景色（背景画像）が設定されることで、フォトブックのそれぞれのページのイメージの統一感が得られ、より魅力的なフォトブックとなる。

上述のとおり、本発明に係る画像処理装置および画像処理方法によれば、動画像と静止画像のデータが混在するデータ群（ファイル群）を素材とする場合でも、ユーザが使用したいフレーム画像を動画像から選択する手間がかからず、解析情報および静止画像との関連性を基に、静止画像と最適なフレーム画像が配置された配置データを生成することができる。また、当該配置データに基づいたプリント、フォトブック、または電子アルバムを作製することができる。

なお、プリントの出力は、本発明を適用してプリントされるものであれば何ら制限はなく、例えば、銀塩写真方式やインクジェット方式など、その出力形式は問わない。また、プリントされる商材としては、いわゆる写真一枚のプリントだけでなく、各種カードやカレンダー、マグカップ、Ｔシャツなども含まれる。

なお、上記の実施形態では動画像から抽出されるフレーム画像は、動画像と同一の解像度およびアスペクト比を前提としたが、動画像の複数のフレーム画像を合成してパノラマ画像を生成してレイアウトし、配置データを生成してもよい。

なお、本発明においては、上述した画像処理方法の各工程をコンピュータに実行させるための画像処理プログラムとして構成しても良いし、また、コンピュータを、画像処理方法の各工程を実施する各手段として、または、上述した画像処理装置を構成する各手段として機能させる画像処理プログラムとして構成しても良い。
また、本発明を、上述した画像処理プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。

以上、本発明の画像処理装置および画像処理方法について詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

１０ 画像処理装置
１２ 画像データ入力部
１４ 画像表示部
１６ 操作部
１８ 画像記録部
１９ 画像グルーピング部
２０ 画像処理部
２２ 画像解析部
２２ａ 静止画像解析部
２２ｂ 動画像解析部
２４ フレーム画像抽出部
２６ レイアウト決定部
２８ 画像配置部
３０ バス
４４，５６ 静止画像
４６，４８，５０，５８，７０，７４，７８ フレーム画像
５２，５４，６２，６４，６６，６８，７２，７６ レイアウト
６０ 時系列
８０ 第２ページ
８２，８４ テンプレート
９０ 顔の向き
９２ 消失点
９４ 画像の方向性
１００ 主要被写体
１０２ 一定スペース
１０３ 顔方向
１０４，１０６，１０８，１１０ 顔
１１２ デジタルスチルカメラ
１１４ パーソナルコンピュータ
１１６，１２０ 静止画像データ
１１８ 編集画面
１１９ メッセージ
１２２ 空領域
１２４ 顔領域
１２６ 主要画像
１２８ 余白部分

Claims (34)

1. 複数の画像のレイアウトを行う画像処理装置であって、
   動画像および静止画像のデータが入力される画像データ入力部と、
   前記動画像および前記静止画像を、所定の条件でグループに分類する画像グルーピング部と、
   前記グループごとに、分類された前記動画像および前記静止画像を解析し、前記動画像と前記静止画像とを解析して得られた解析情報、および前記動画像と前記静止画像の関連性を表す関連性情報を求める画像解析部と、
   前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、各々の前記動画像からフレーム画像を抽出する枚数を決定し、決定した枚数の前記フレーム画像を抽出するフレーム画像抽出部と、
   前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、前記静止画像および前記フレーム画像のレイアウトを決定するレイアウト決定部と、
   前記グループごとに、前記レイアウトに従って前記静止画像および前記フレーム画像を配置する画像配置部と、を有することを特徴とする画像処理装置。
2. 前記所定の条件は、撮影時間、撮影位置、および被写体のうちの少なくとも１つであることを特徴とする請求項１に記載の画像処理装置。
3. 前記関連性情報は、前記動画像の前記解析情報と前記静止画像の前記解析情報とを比較した情報であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記関連性情報は、前記解析情報であることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記解析情報は、被写体の顔認識、被写体の人数、被写体の大きさ、被写体の位置、被写体の向き、被写体の顔の向き、被写体の表情認識、動き検出、撮影時間、撮影位置、構図、消失点、色味、画像全体の明るさ、画像全体の鮮やかさ、同一人物の判定、カメラの移動量、撮影条件、画像の解像度、画像のアスペクト比、および撮影モードのうちの少なくとも１つの項目を含むことを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 前記関連性情報は、さらに、前記動画像と前記静止画像のそれぞれの前記解析情報に重み付けを行って算出した代表値を含み、該代表値を比較することで前記フレーム画像と前記静止画像との関連性の有無を判定するものであることを特徴とする請求項３または４に記載の画像処理装置。
7. 前記画像解析部は、前記グループごとに配置可能な最大画像数である基準枚数から、同一グループ内の前記静止画像の枚数を引いた枚数を、前記フレーム画像を抽出することが可能な最大抽出枚数とすることを特徴とする請求項１〜６のいずれかに記載の画像処理装置。
8. 前記レイアウト決定部は、前記静止画像の周りに前記フレーム画像を時系列に並べるレイアウトに決定することを特徴とする請求項１〜７のいずれかに記載の画像処理装置。
9. 前記レイアウト決定部は、前記解析情報のうちの少なくとも２つの項目に基づいて、前記静止画像および前記フレーム画像のレイアウトを決定することを特徴とする請求項５に記載の画像処理装置。
10. 前記レイアウト決定部は、奥行きのある前記静止画像または前記フレーム画像の周りに、消失点または画像の方向性に基づいて、他の前記静止画像または前記フレーム画像を並べるレイアウトに決定することを特徴とする請求項１〜９のいずれかに記載の画像処理装置。
11. 前記フレーム画像抽出部は、前記解析情報の被写体の顔の向きおよび前記関連性情報に基づいて、顔の向きの変化がわかる前記フレーム画像を複数枚抽出し、
    前記レイアウト決定部は、抽出した顔の向きの変化がわかる複数枚の前記フレーム画像を一定方向に並べるレイアウトに決定することを特徴とする請求項５に記載の画像処理装置。
12. 前記レイアウト決定部は、前記解析情報の被写体の位置および前記関連性情報に基づいて、前記静止画像または前記フレーム画像に含まれた主要被写体が隠れないように、該主要被写体を含む前記静止画像または前記フレーム画像に他の前記静止画像および前記フレーム画像を重ね合わせるレイアウトに決定することを特徴とする請求項５に記載の画像処理装置。
13. 前記レイアウト決定部は、前記主要被写体の顔方向の一定スペースに、他の前記静止画像および前記フレーム画像を配置しないレイアウトに決定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記フレーム画像抽出部は、前記解析情報および前記関連性情報に基づいて、動きを表現するための前記フレーム画像を複数枚抽出し、
    前記レイアウト決定部は、抽出した複数枚の前記フレーム画像を時系列に並べて動きを表現するレイアウトに決定することを特徴とする請求項１〜９のいずれかに記載の画像処理装置。
15. 前記フレーム画像抽出部は、複数枚の前記フレーム画像を抽出し、抽出した複数枚の前記フレーム画像内のうちの基準となるフレーム画像と、該基準となるフレーム画像に類似するフレーム画像とを合成したフレーム画像を生成することを特徴とする請求項１〜１４のいずれかに記載の画像処理装置。
16. 前記画像解析部は、前記静止画像に撮影されている人物の顔と、成長過程を代表する画像から予め登録されている人物の顔とを比較することで前記解析情報の同一人物の判定を行うことを特徴とする請求項５に記載の画像処理装置。
17. 前記レイアウトは、さらに背景テンプレートを含み、
    前記レイアウト決定部は、主要画像となる前記静止画像または前記フレーム画像の色情報を基にして、前記背景テンプレートを決定することを特徴とする請求項１〜１６のいずれかに記載の画像処理装置。
18. 前記レイアウト決定部は、ユーザにより所定のページの再構成指示が入力されたとき、該所定のページ内のレイアウトを前記再構成指示に従って再構成することを特徴とする請求項１〜１７のいずれかに記載の画像処理装置。
19. さらに、前記動画像および前記静止画像のデータ、前記フレーム画像のデータ、前記レイアウトのデータ、ならびに前記配置のデータを記録する記録部と、
    前記配置の結果を表示する表示部と、を有することを特徴とする請求項１〜１８のいずれかに記載の画像処理装置。
20. 前記グループは複数のグループであり、前記フレーム画像の抽出時に前記複数のグループの抽出結果が同時に前記表示部に表示されることを特徴とする請求項１９に記載の画像処理装置。
21. 前記フレーム画像抽出部は、前記動画像の解像度が所定の解像度よりも低く、かつ、前記グループ内の前記静止画像および前記フレーム画像の合計枚数が所定の枚数よりも少ない場合、前記動画像から抽出する前記フレーム画像の枚数を増やして、１画像の表示サイズが所定の大きさ以上にならないように調整することを特徴とする請求項１〜２０のいずれかに記載の画像処理装置。
22. 前記フレーム画像抽出部は、前記動画像に撮影された人物のサイズが所定のサイズよりも小さい場合、前記動画像から抽出する前記フレーム画像の枚数を減らして、前記人物の表示サイズが所定の大きさ以上になるように調整することを特徴とする請求項１〜２０のいずれかに記載の画像処理装置。
23. 前記フレーム画像抽出部は、前記レイアウトに必要なアスペクト比の動画像から抽出する前記フレーム画像の枚数を増やし、それ以外の動画像から抽出する前記フレーム画像の枚数を減らすことを特徴とする請求項１〜２０のいずれかに記載の画像処理装置。
24. 前記フレーム画像抽出部は、前記動画像から抽出する、該動画像の表示画面の一部の領域を決定し、決定した領域を前記フレーム画像として抽出することを特徴とする請求項１〜２０のいずれかに記載の画像処理装置。
25. 前記フレーム画像抽出部は、前記動画像の再生時間、前記動画像の撮影内容、および、前記関連性情報のうちの少なくとも１つに応じて、前記動画像から抽出する前記フレーム画像の枚数を決定することを特徴とする請求項１〜２０のいずれかに記載の画像処理装置。
26. 前記フレーム画像抽出部は、前記グループ内の静止画像およびフレーム画像の合計枚数が、前記グループで配置可能な最大画像数である基準枚数を超えた場合、前記解析情報に基づいて、抽出した前記フレーム画像の中から前記基準枚数を超えない範囲でお勧めの画像を抽出することを特徴とする請求項２５に記載の画像処理装置。
27. 前記フレーム画像抽出部は、前記グループ内の静止画像およびフレーム画像の合計枚数が、前記グループで配置可能な最大画像数である基準枚数を超えた場合、該合計枚数が基準枚数を超えたグループを２以上のグループに分割することを特徴とする請求項２５に記載の画像処理装置。
28. 前記フレーム画像抽出部は、ユーザにより、前記グループで配置可能な最大画像数である基準枚数に応じて選択された枚数の前記フレーム画像を前記動画像から抽出することを特徴とする請求項１〜２０のいずれかに記載の画像処理装置。
29. 前記フレーム画像抽出部は、ユーザにより選択された枚数の前記フレーム画像を前記動画像から抽出し、前記グループ内の静止画像およびフレーム画像の合計枚数が、前記グループで配置可能な最大画像数である基準枚数を超えた場合、該合計枚数が基準枚数を超えたグループを２以上のグループに分割することを特徴とする請求項１〜２０のいずれかに記載の画像処理装置。
30. 前記フレーム画像抽出部は、ユーザにより指定されたページ数に応じて、前記フレーム画像を抽出する枚数を決定することを特徴とする請求項１〜２０のいずれかに記載の画像処理装置。
31. 請求項１〜３０のいずれかに記載の画像処理装置と、
    前記配置のデータを印刷する印刷装置とを有するプリント作製システム。
32. 請求項１〜３０のいずれかに記載の画像処理装置と、
    前記配置のデータを印刷する印刷装置と、
    印刷された用紙を製本する製本装置とを有するフォトブック作製システム。
33. 複数の画像のレイアウトを行う画像処理方法であって、
    画像データ入力部が、動画像および静止画像のデータを入力する画像データ入力ステップと、
    画像グルーピング部が、前記動画像および前記静止画像を、所定の条件でグループに分類する画像グルーピングステップと、
    画像解析部が、前記グループごとに、分類された前記動画像および前記静止画像を解析し、前記動画像と前記静止画像とを解析して得られた解析情報、および前記動画像と前記静止画像の関連性を表す関連性情報を求める画像解析ステップと、
    フレーム画像抽出部が、前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、各々の前記動画像からフレーム画像を抽出する枚数を決定し、決定した枚数の前記フレーム画像を抽出するフレーム画像抽出ステップと、
    レイアウト決定部が、前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、前記静止画像および前記フレーム画像のレイアウトを決定するレイアウト決定ステップと、
    画像配置部が、前記グループごとに、前記レイアウトに従って前記静止画像および前記フレーム画像を配置する画像配置ステップと、を有することを特徴とする画像処理方法。
34. 請求項３３に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images