JP4504322B2 - 画像抽出装置、画像抽出方法、及び画像抽出プログラム - Google Patents

Description

本発明は、画像抽出装置、画像抽出方法、及び画像抽出プログラムに関する。特に、本発明は、複数の動画構成画像を含む動画から静止画として出力するための動画構成画像を抽出する画像抽出装置、画像抽出方法、及び画像抽出プログラムに関する。

従来、ビデオカメラの画角の設定、ズーム等のユーザによるボタン操作から、撮像された動画構成画像の状態が推定されている。そして、推定された動画構成画像の状態に基づいて、動画構成画像をダイジェスト表示する際の優先度を、自動的に決定する方法が提案されている。
特開平６−１６５００９号公報

しかしながら、当該ダイジェストに表示される動画構成画像の優先度は、実際に撮像された被写体の状態にかかわらず決定される。したがって、撮像された動画構成画像の中で、ユーザが真に鑑賞を欲する動画構成画像を適切に出力することが難しいという問題があった。

そこで本発明は、上記課題を解決することができる画像抽出装置、画像抽出方法、及び画像抽出プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出装置であって、時系列に並んだ候補画像からオブジェクトを抽出するオブジェクト抽出部と、オブジェクト抽出部が抽出したオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出するオブジェクト加速度算出部と、オブジェクト加速度算出部が算出した加速度が予め定められた基準加速度より大きいオブジェクトを含む候補画像を代表画像として抽出する代表画像抽出部とを備える。また、候補画像は、動画に含まれる動画構成画像であり、動画に含まれる連続する複数の動画構成画像における位置の変化に基づいて、オブジェクト加速度算出部が算出した、オブジェクト抽出部が動画構成画像から抽出したオブジェクトの背景に対する加速度が、予め定められた基準加速度より大きいタイミングを特定するタイミング特定部を更に備え、代表画像抽出部は、タイミング特定部が特定したタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像として抽出してもよい。

また、タイミング特定部は、オブジェクト加速度算出部が算出した加速度が最も大きいタイミングを特定し、代表画像抽出部は、タイミング特定部が特定した、オブジェクトの加速度が最も大きいタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像として抽出してもよい。そして、代表画像抽出部は、タイミング特定部が特定した、オブジェクトの加速度が最も大きいタイミングに撮像された動画構成画像を代表画像として抽出してもよい。更に、オブジェクト抽出部は、動画から複数のオブジェクトを抽出し、オブジェクト加速度算出部は、オブジェクト抽出部が抽出した複数のオブジェクトのそれぞれの加速度を算出し、タイミング特定部は、オブジェクト抽出部が抽出した複数のオブジェクトのそれぞれについて、オブジェクト加速度算出部が算出した加速度が予め定められた基準速度より大きいタイミングを特定し、代表画像抽出部は、オブジェクト抽出部が抽出した複数のオブジェクトのそれぞれについて、タイミング特定部が特定したタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像としてそれぞれ抽出してもよい。

更に、タイミング特定部は、オブジェクト抽出部が抽出した複数のオブジェクトのうちで、動画構成画像における面積が最も大きいオブジェクトの加速度が最も大きいタイミングを特定し、代表画像抽出部は、タイミング特定部が特定した、面積が最も大きいオブジェクトの加速度が最も大きいタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像としてそれぞれ抽出してもよい。そして、画像配置位置と当該画像配置位置に配置されるべき代表画像に含まれるオブジェクトの加速度の範囲を示す加速度範囲情報とが予め定められた出力領域のテンプレートを格納しているテンプレート格納部を更に備え、代表画像抽出部は、候補画像に含まれるオブジェクトの加速度が、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている加速度範囲情報が示すオブジェクトの加速度の範囲内の加速度である候補画像を代表画像として抽出してもよい。

また、第一の代表画像が配置されるべき第一の代表画像配置位置、および第二の代表画像が配置されるべき第二の代表画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部とを更に備え、代表画像抽出部は、第一の代表画像配置位置に配置されるべき第一の代表画像を抽出する第一代表画像抽出部と、第一代表画像抽出部が抽出した第一の代表画像に含まれるオブジェクトの加速度に応じて、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれるオブジェクトの加速度を決定する加速度決定部と、加速度決定部が決定したオブジェクトの加速度に基づいて、第二の代表画像を抽出する第二代表画像抽出部とを有してもよい。更に、テンプレート格納部は、第二の代表画像配置位置と、第一の代表画像に含まれるオブジェクトの加速度に対して相対的に定められるオブジェクトの加速度である相対的加速度とが予め定められた出力領域のテンプレートを格納し、加速度決定部は、第一代表画像抽出部が抽出した第一の代表画像に含まれるオブジェクトの加速度、およびテンプレート格納部が格納しているオブジェクトの相対的加速度に基づいて、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれるオブジェクトの加速度を決定してもよい。

また、本発明の第２の形態においては、複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出方法であって、時系列に並んだ候補画像からオブジェクトを抽出するオブジェクト抽出段階と、オブジェクト抽出段階が抽出したオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出するオブジェクト加速度算出段階と、オブジェクト加速度算出段階が算出した加速度が予め定められた基準加速度より大きいオブジェクトを含む候補画像を代表画像として抽出する代表画像抽出段階とを備える。

また、本発明の第３の形態においては、複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出装置用の画像抽出プログラムであって、画像抽出装置を、時系列に並んだ候補画像からオブジェクトを抽出するオブジェクト抽出部、オブジェクト抽出部が抽出したオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出するオブジェクト加速度算出部、オブジェクト加速度算出部が算出した加速度が予め定められた基準加速度より大きいオブジェクトを含む候補画像を代表画像として抽出する代表画像抽出部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、撮像された動画の中から、ユーザが鑑賞を欲する決定的瞬間等の動画構成画像を自動的に抽出できる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係るアルバム作成装置１００の利用環境の一例を示す。アルバム作成装置１００及びフォトスタンド１１０は、本発明に係る画像抽出装置の一例である。アルバム作成装置１００は、複数の候補画像をネットワーク１８０を介して受け取る。なお、候補画像は、静止画または動画に含まれる動画構成画像であってよい。また、動画構成画像は、フレーム画像、フィールド画像、およびその他の動画を構成する様々な形式の画像のいずれであってもよい。そして、アルバム作成装置１００は、複数の候補画像から代表画像として出力するための候補画像を抽出してアルバムを作成する。

具体的には、アルバム作成装置１００は、動画からオブジェクトを抽出して、背景に対するオブジェクトの加速度を算出する。そして、オブジェクトの加速度が予め定められた値より大きいタイミングを中心として、複数の動画構成画像を代表画像として抽出する。ここで、代表画像とは、アルバムの表紙を飾る画像、アルバムのページの中央に大きく配置される画像、及びアルバムの一ページ全体の背景に用いる画像等のアルバムの材料になる動画構成画像をいう。また、代表画像は、フォトスタンド１１０等の表示装置の中央に大きく表示される画像、表示装置に強調されて表示される画像等であってもよい。

例えば、アルバム作成装置１００は、抽出された複数の動画構成画像のうち、加速度が最も大きいオブジェクトが含まれる動画構成画像を、代表画像として抽出する。また、加速度が最も大きいオブジェクトが含まれる動画構成画像を中心として、複数の動画構成画像を代表画像として抽出してもよい。

アルバム作成装置１００が代表画像を抽出した後は、代表画像をレイアウトしてアルバムを作成する。また、複数の代表画像をレイアウトすることによって、アルバムを作成してもよい。更に、代表画像をアルバムの代表的な画像とし、代表画像以外の画像を付属的な画像としてアルバムを作成してもよい。

例えば、ユーザがサッカーの試合を撮像した場合であって、選手がシュートした瞬間を撮像していた場合を考える。係る場合には、シュートされた瞬間のボールの加速度が最も大きい。従って、アルバム作成装置１００は、シュートされた瞬間のボールが撮像されている動画構成画像を代表画像として抽出してアルバムを作成する。また、シュートされた瞬間のボールが撮像された動画構成画像を中心として、所定の時間範囲内に撮像された複数の動画構成画像を、代表画像として抽出してアルバムを作成してもよい。

また、他の例としては、フォトスタンド１１０等の表示装置に、他の動画構成画像よりも長い時間表示する。更に、代表画像を含む、複数の動画構成画像を同一画面に表示する場合には、代表画像をフォトスタンド１１０等の表示装置の中央に大きく表示したり、代表画像を点滅等させて強調して表示してもよい。

本実施形態に係るアルバム作成装置１００は、複数の候補画像の中から、ユーザが鑑賞を欲する決定的瞬間等の代表画像を抽出することを目的とする。

図２は、本実施形態に係るアルバム作成装置１００の機能構成の一例を示す。アルバム作成装置１００は、画像格納部１０、オブジェクト抽出部２０、オブジェクト加速度算出部３０、タイミング特定部４０、代表画像抽出部５０、代表画像格納部６０、及び出力部７０を備える。画像格納部１０は、代表画像として出力するための候補画像として、静止画または動画を格納する。静止画は、例えば、連写画像であってよい。また、動画は、複数の動画構成画像から構成されていてよい。また、画像格納部１０は、候補画像に当該候補画像の内容を示す情報である合成情報を付帯させて格納してもよい。例えば、画像格納部１０は、合成情報として、候補画像に含まれるオブジェクトの加速度に関する情報を当該候補画像に対応づけて、候補画像とともに格納してもよい。オブジェクト抽出部２０は、画像格納部１０より複数の候補画像を受け取り、時系列に並んだ候補画像からオブジェクトを抽出する。候補画像が動画である場合には、オブジェクト抽出部２０は、画像格納部１０より動画構成画像を受け取り、動画構成画像からオブジェクトを抽出する。例えば、オブジェクト抽出部２０は、輪郭抽出処理、色分布分析処理等の画像処理により動画を構成する動画構成画像からオブジェクトを抽出する。

オブジェクト加速度算出部３０は、オブジェクト抽出部２０が抽出したオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出する。例えば、候補画像が静止画である場合には、所定のタイミングで静止画を撮像する場合に、当該タイミングを含む予め定められた時間範囲内で、複数の予備画像を取得してよい。そして、画像格納部１０は、静止画に対応づけて、当該静止画が撮像された場合における、複数の予備画像を格納してよい。オブジェクト加速度算出部３０は、オブジェクト抽出部２０が抽出したオブジェクトが含まれる静止画、および当該静止画に対応づけて画像格納部１０が格納している複数の予備画像における当該オブジェクトの位置の変化に基づいて、撮像されたタイミングにおける当該オブジェクトの加速度を算出する。

また、オブジェクト加速度算出部３０は、候補画像が動画を構成する動画構成画像である場合には、オブジェクト抽出部２０において抽出されたオブジェクトと、画像格納部１０に格納されている動画構成画像とを受け取る。そして、オブジェクト加速度算出部３０は、抽出されたオブジェクトの、連続する複数の動画構成画像における位置の変化に基づいて、オブジェクト抽出部２０において抽出されたオブジェクトの背景に対する加速度を算出する。そして、オブジェクト加速度算出部３０は、算出されたオブジェクトの加速度を、タイミング特定部４０へ供給する。タイミング特定部４０は、オブジェクト加速度算出部３０が算出した加速度が予め定められた基準加速度より大きいタイミングを特定する。なお、基準加速度は、撮像された動画構成画像に含まれるオブジェクトの状況に応じて、異なる値を設定してよい。例えば、ユーザが野球を撮像している場合には、ボールがバットに当たった瞬間の動画構成画像を抽出できるように、基準加速度を設定する。また、ユーザが運動会を撮像している場合には、例えば、リレー競争で選手がスタートする瞬間の動画構成画像を抽出できるように、基準加速度を設定してもよい。

代表画像抽出部５０は、オブジェクト加速度算出部３０が算出した加速度が予め定められた基準加速度より大きいオブジェクトを含む候補画像を代表画像として抽出する。具体的には、候補画像が動画構成画像である場合には、タイミング特定部４０において特定されたタイミングに対応する動画構成画像を、代表画像としてよい。また、代表画像抽出部５０は、画像格納部１０から動画構成画像を受け取り、タイミング特定部４０において特定されたタイミングを中心とする、予め定められた時間範囲内に含まれる動画構成画像を、代表画像として抽出する。なお、代表画像抽出部５０は、時間範囲を、加速度が増加し始めた時、若しくは減少し始めた時、又は、加速度が増加し終わった時、若しくは減少し終わった時に基づいて設定してよい。例えば、オブジェクトの加速度が増加し始めた時から、加速度の増加が終わり、続いて加速度の減少が始まった後に、加速度の減少が終了するまでの時間範囲を、代表画像を抽出する時間範囲と設定してよい。

代表画像抽出部５０により抽出された代表画像は、代表画像格納部６０に格納される。そして、代表画像格納部６０は、格納された代表画像を出力部７０へ供給する。出力部７０は、代表画像格納部６０から受け取った代表画像、及び画像格納部１０から受け取った動画構成画像を出力する。例えば、出力部７０は、代表画像をレイアウトしたアルバムを印刷する印刷装置である。また、出力部７０は、代表画像をフォトスタンド１１０等に表示する表示装置であってもよい。更には、出力部７０は、代表画像をレイアウトしたアルバムをＤＶＤ等の記録媒体に記録してもよい。

本実施形態に係るアルバム作成装置１００によれば、動画の動画構成画像に含まれるオブジェクトの加速度が、予め定められた基準加速度より大きい加速度を示すタイミングを中心として、自動的に代表画像を抽出できる。これにより、ユーザが真に鑑賞を欲する、決定的瞬間等の代表画像を抽出できる。

図３は、オブジェクト加速度算出部３０が加速度を算出する方法の一例を示す。オブジェクト加速度算出部３０は、オブジェクト抽出部２０が抽出したオブジェクトの、連続する複数の動画構成画像を、ずらし量を変化させながら重ね合わせてマッチングする。そして、オブジェクト加速度算出部３０は、所定のずらし量毎に、動画構成画像同士の一致度を算出する。ここで、ずらし量とは、動画構成画像同士が重なり合っている量を示す。そして、ずらし量はユーザ等が自由に設定してよい。また、一致度とは、動画構成画像が重なり合っている面積において、動画構成画像に対して背景及びオブジェクトがマッチングしている部分の面積比を示す。

例えば、オブジェクト加速度算出部３０は、動画構成画像２１０の端部から動画構成画像２２０の長手方向にずらしながら、重ね合わせてマッチングする。そして、オブジェクト加速度算出部３０は、グラフ２３０において、一致度が最大であるピーク２４０を、動画構成画像２１０と動画構成画像２２０との背景が一致している点と判断する。これは、動画構成画像に対して背景が占める面積の比は、通常最大であり、背景が一致した場合には、動画構成画像同士の一致度も最大としてよいからである。

また、オブジェクト加速度算出部３０は、一致度が最大となるピーク２４０を除く、他のピークを、動画構成画像２１０と動画構成画像２２０に含まれるオブジェクトが一致している点を示すピークと判断する。動画構成画像に含まれるオブジェクトの動画構成画像に対する面積比は、背景の動画構成画像に対する面積比より、通常は小さい値を示すので、一致度が最大となるピークを除いた、その他のピークを、オブジェクトが一致している点を示すピークと判断する。従って、一致度が最大となるピーク２４０を除いたピーク２４２とピーク２４４が、オブジェクトが一致している点を示すピークである。そして、サッカー選手２１２よりもボール２１４の背景に対する面積比の方が小さいので、オブジェクト加速度算出部３０は、グラフ２３０から、ピーク２４２に対応する点において動画構成画像２１０と動画構成画像２２０に含まれるボール２１４が一致している点であると判断する。

そして、オブジェクト加速度算出部３０が判断した、背景が一致している点に対応するピーク２４０と、ボール２１４が一致している点に対応するピーク２４２の差を、ボール２１４の背景に対する移動量２３６とする。これにより、フレーム周期、及びオブジェクト加速度算出部３０において算出されたボール２１４の背景に対する移動量２３６に基づいて、ボール２１４の移動速度を算出できる。なお、動画構成画像をずらしながらマッチングする方向は、上記説明の場合に限られない。オブジェクト加速度算出部３０は、例えば、動画構成画像の縦方向または横方向に沿って、所定のずらし量毎に動画構成画像をずらしてマッチングしてもよい。また、オブジェクト加速度算出部３０は、縦方向及び横方向の双方において、所定のずらし量を同時に各々変化させて、動画構成画像をずらしてマッチングしてもよい。

また、他の例においては、オブジェクト加速度算出部３０は、抽出された動画構成画像に連続する複数の動画構成画像を重ね合わせて、マッチングしてよい。オブジェクト加速度算出部３０は、マッチングによりマッチングしなかった領域を、移動しているオブジェクトとして抽出してよい。そして、オブジェクト加速度算出部３０は、抽出されたオブジェクトについて、フレーム周期とオブジェクトの移動距離とに基づいて、オブジェクトの移動速度を算出してもよい。そして、各動画構成画像について、各オブジェクトの移動速度が算出された後に、オブジェクト加速度算出部３０は、算出された移動速度を微分することにより、動画構成画像に含まれる各オブジェクトの加速度を算出する。そして、オブジェクト加速度算出部３０において算出された各オブジェクトの加速度は、タイミング特定部４０へ供給される。タイミング特定部４０は、オブジェクト加速度算出部３０において算出された加速度が、予め定められた基準加速度より大きいタイミングを特定する。

図４は、代表画像抽出部５０が代表画像を抽出する方法の一例を示す。代表画像抽出部５０は、タイミング特定部４０が特定したタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像として抽出する。例えば、タイミング特定部４０において特定されたタイミングが、動画構成画像４２０に対応するタイミングであった場合を考える。

係る場合には、代表画像抽出部５０は、特定されたタイミングに対応する動画構成画像４２０を中心として、動画構成画像４１０から動画構成画像４３０を代表画像として抽出する。また、代表画像抽出部５０は、オブジェクトの加速度が最も大きいタイミングを中心とする、予め定められた時間範囲内に含まれる動画構成画像を代表画像として抽出してもよい。

例えば、動画構成画像４２０に含まれるボールの加速度が、各動画構成画像の中で最も大きい加速度を示していた場合を考える。係る場合には、代表画像抽出部５０は、タイミング特定部４０が特定した、オブジェクトの加速度が最も大きいタイミングに撮像された動画構成画像を、代表画像として抽出する。例えば、動画構成画像４２０に含まれるボールの加速度が、各動画構成画像の中で最も大きい加速度を示していた場合には、動画構成画像４２０を代表画像として抽出してもよい。更に、代表画像抽出部５０は、動画構成画像４２０を中心として、予め定められた時間範囲内に含まれる複数の動画構成画像、例えば、動画構成画像４１０から動画構成画像４３０を代表画像として抽出してもよい。

本実施形態に係るアルバム作成装置１００によれば、動画の動画構成画像に含まれるオブジェクトの加速度が、最も大きい加速度を示すタイミングを中心として、自動的に代表画像を抽出することもできる。これにより、動画構成画像に含まれるオブジェクトの動きの変化が急であるような、決定的瞬間等の代表画像を確実に抽出でき、ユーザの要求に的確に応えることができる。

図５は、代表画像抽出部５０が代表画像を抽出する方法の一例を示す。まず、オブジェクト抽出部２０が、動画に含まれる複数のオブジェクトをそれぞれ抽出する。続いて、オブジェクト加速度算出部３０は、抽出された複数のオブジェクトのそれぞれについて、加速度を算出する。そして、タイミング特定部４０は、抽出されたオブジェクトのそれぞれについて、各オブジェクトの加速度が予め定められた基準より大きいタイミングを特定する。

例えば、オブジェクト抽出部２０により、動画から人物５０２、猫５０４、及び犬５０６が抽出される。そして、オブジェクト加速度算出部３０は、動画の各動画構成画像における人物５０２、猫５０４、及び犬５０６のそれぞれについて加速度を算出する。更に、タイミング特定部４０は、抽出された人物５０２、抽出された猫５０４、及び抽出された犬５０６のそれぞれの加速度が、予め定められた基準より大きいタイミングを特定する。そして、オブジェクト抽出部２０において抽出された複数のオブジェクトのそれぞれについて、代表画像抽出部５０は、タイミング特定部４０において特定されたタイミングを中心とする、予め定められた時間範囲内に含まれる動画構成画像を代表画像としてそれぞれ抽出する。

例えば、人物５０２の加速度に基づいて、タイミング特定部４０において特定されたタイミングが、動画構成画像５１０に対応するタイミングであった場合を考える。係る場合には、代表画像抽出部５０は、動画構成画像５１０を中心として、所定の時間範囲内に含まれる複数の動画構成画像を、人物５０２の代表画像として抽出する。また、代表画像抽出部５０は、人物５０２の代表画像として、動画構成画像５１０だけを抽出してもよい。

また、例えば、猫５０４の加速度に基づいて、タイミング特定部４０において特定されたタイミングが、動画構成画像５３０に対応するタイミングであった場合を考える。係る場合には、代表画像抽出部５０は、動画構成画像５３０を中心として、所定の時間範囲内に含まれる複数の動画構成画像を、猫５０４の代表画像として抽出する。また、代表画像抽出部５０は、猫５０４の代表画像として、動画構成画像５３０だけを抽出してもよい。

更には、アルバム作成装置１００によって自動的に抽出された代表画像の中から、ユーザが鑑賞を欲する代表画像を、ユーザ自身が選択してもよい。そして、ユーザが選択した代表画像を、表示装置等の出力部７０に代表画像以外の画像よりも長時間表示したり、拡大等の処理により強調して表示してもよい。

本実施形態に係るアルバム作成装置１００によれば、動画に含まれる複数のオブジェクトのそれぞれについて代表画像を自動的に抽出できる。これにより、ユーザ自身が鑑賞を欲する代表画像を、抽出された代表画像から容易に選択することができる。

また、タイミング特定部４０は、動画構成画像に含まれるオブジェクトの中で、面積が最も大きいオブジェクトの加速度が最も大きいタイミングを特定する。そして、代表画像抽出部５０は、タイミング特定部４０において特定されたタイミングを中心とする、予め定められた時間範囲内に含まれる動画構成画像を代表画像として抽出してもよい。

例えば、動画構成画像５１０から動画構成画像５４０の中で、面積が最も大きいオブジェクトは人物５０２である。従って、タイミング特定部４０は、人物５０２の加速度が最も大きいタイミングを特定する。そして、人物５０２の加速度が最も大きいタイミングが、例えば、動画構成画像５１０に対応するタイミングであった場合には、動画構成画像５１０を中心として、所定の時間範囲内に含まれる複数の動画構成画像を代表画像としてそれぞれ抽出する。

本実施形態に係るアルバム作成装置１００によれば、動画に含まれる複数のオブジェクトのうち、面積が最も大きいオブジェクトの代表画像を自動的に抽出できる。これにより、ユーザが鑑賞を欲する代表画像以外の画像よりも、ユーザが鑑賞を望む代表画像を適切に抽出できる。

図６は、本発明の他の実施形態に係るアルバム作成装置１００の機能構成の一例を示す。アルバム作成装置１００は、テンプレート格納部６５および加速度決定部８０を備える。また、代表画像抽出部５０は、第一代表画像抽出部５２および第二代表画像抽出部５４を有する。なお、本実施形態に係るアルバム作成装置１００は、図１から図５の上記説明で説明したアルバム作成装置１００の構成および、機能の一部または全部を更に備えてよい。

画像格納部１０は、複数の候補画像を格納している。候補画像は、静止画および動画のいずれであってもよい。そして、画像格納部１０は、動画を格納する場合には、動画を構成する複数の動画構成画像を格納してもよい。画像格納部１０は、オブジェクト抽出部２０、オブジェクト加速度算出部３０、および代表画像抽出部５０に各部材の制御に基づいて、各部材に候補画像を供給する。なお、画像格納部１０が格納している候補画像にはそれぞれ、候補画像の内容を示す情報である合成情報が対応づけられていてよい。例えば、合成情報は、候補画像に含まれるオブジェクトの加速度に関する情報であってよい。テンプレート格納部６５は、画像を配置する画像配置位置と当該画像配置位置に配置されるべき代表画像を識別する情報である合成情報とが予め定められた出力領域のテンプレートを格納している。アルバムページのテンプレートは、テンプレート格納部６５が格納するテンプレートの一例である。そして、アルバムページは、表紙、見開きページ、および見開きページの一ページ等であってよい。ここで、合成情報は、代表画像に含まれるオブジェクトの加速度の範囲を示す加速度範囲情報およびオブジェクトの加速度を示す情報であってよい。また、テンプレート格納部６５は、第一の代表画像が配置されるべき第一の代表画像配置位置、および第二の代表画像が配置されるべき第二の代表画像配置位置が予め定められた出力領域のテンプレートを格納する。更に、テンプレート格納部６５は、第二の代表画像配置位置と、第一の代表画像に含まれるオブジェクトの加速度に対して相対的に定められるオブジェクトの加速度である相対的加速度とが予め定められた出力領域のテンプレートを格納していてもよい。テンプレート格納部６５は、第一代表画像抽出部５２の制御に基づいて、テンプレートに含まれる画像配置位置に対応付けられた合成情報を、第一代表画像抽出部５２に供給する。また、テンプレート格納部６５は、出力部７０の制御に基づいて、アルバムのテンプレートを出力部７０に供給する。

なお、第一の代表画像の例としては、主画像が挙げられる。主画像とは、閲覧者に対してアルバム等のページにおいて最も強く印象づけることが意図されている画像をいう。例えば主画像とは、アルバム等における主人公が含まれている画像であってよい。また、主画像は、ページに配置された複数の画像のうち、最も強調された画像であってよい。具体的には、主画像とは、他の画像に比べてサイズが大きい画像、他の画像に比べて前面に配置される画像、最も中央寄りに配置される画像であってよい。他にも主画像とは、周囲を枠で強調された画像、被写体にエフェクト等の視覚効果が施された画像等であってもよい。また、本実施形態でいう第二の代表画像とは従画像であってよい。ここで、従画像とは、アルバム等における主人公を除く被写体が含まれる画像であってよい。また、従画像とは、主画像よりも小さく、中央より外に配置される画像であってよい。

代表画像抽出部５０は、候補画像に含まれるオブジェクトの、オブジェクト加速度算出部３０が算出した加速度と、テンプレート格納部６５が格納しているテンプレートが含む画像配置位置に対応づけられている加速度範囲情報が示すオブジェクトの加速度の範囲内の加速度とを比較して、画像配置位置に配置すべき候補画像を代表画像として抽出してよい。すなわち、代表画像抽出部５０は、候補画像に含まれるオブジェクトの加速度が、画像配置位置に対応づけられている加速度範囲情報が示す加速度の範囲内の加速度である場合に、当該候補画像を代表画像として抽出する。代表画像抽出部５０は、抽出した代表画像を出力部７０に供給する。

代表画像抽出部５０が有する第一代表画像抽出部５２は、第一の代表画像配置位置に配置されるべき第一の代表画像を抽出する。具体的には、第一代表画像抽出部５２は、第一代表画像配置位置に対応づけられている合成情報と一致する合成情報が対応づけられている候補画像を第一の代表画像として抽出してよい。また、第一代表画像抽出部５２は、オブジェクト加速度算出部３０から受け取った、候補画像に含まれるオブジェクトの加速度が、画像配置位置に対応づけられている加速度範囲情報が示す加速度の範囲内の加速度である場合に、当該候補画像を第一の代表画像として抽出してもよい。第一代表画像抽出部５２は、抽出した第一の代表画像に含まれるオブジェクトの加速度に関する情報を、加速度決定部８０に供給する。また、第一代表画像抽出部５２は、抽出した第一の代表画像を、出力部７０に供給する。

加速度決定部８０は、第一代表画像抽出部５２から受け取った、第一の代表画像に含まれるオブジェクトの加速度に関する情報に応じて、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれるオブジェクトの加速度を決定する。また、加速度決定部８０は、第一代表画像抽出部５２が抽出した第一の代表画像に含まれるオブジェクトの加速度、およびテンプレート格納部６５が格納しているオブジェクトの相対的加速度に基づいて、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれるオブジェクトの加速度を決定してもよい。加速度決定部８０は、決定した第二の代表画像に含まれるオブジェクトの加速度に関する情報を、第二代表画像抽出部５４に供給する。

第二代表画像抽出部５４は、加速度決定部８０から受け取った加速度に関する情報に基づいて、第二の代表画像を抽出する。例えば、第二代表画像抽出部５４は、加速度決定部８０から受け取った加速度に関する情報が示す加速度よりも、大きい加速度を有するオブジェクトを含む候補画像を、第二の代表画像として抽出する。また、第二代表画像抽出部５４は、加速度決定部８０から受け取った加速度に関する情報が示す加速度よりも、小さい加速度を有するオブジェクトを含む候補画像を、第二の代表画像として抽出してよい。また、第二代表画像抽出部５４は、加速度決定部８０から受け取った加速度に関する情報が示す加速度と、同一の加速度を有するオブジェクトを含む候補画像を、第二の代表画像として抽出してもよい。更には、第二代表画像抽出部５４は、加速度決定部８０から受け取った加速度に関する情報が示す加速度の向きと、同一、または反対の加速度の向きを有するオブジェクトを含む候補画像を、第二の代表画像として抽出してもよい。第二代表画像抽出部５４は、抽出した第二の代表画像を出力部７０に供給する。

出力部７０は、第一代表画像抽出部５２から受け取った第一の代表画像および第二代表画像抽出部５４から受け取った第二の代表画像を、テンプレート格納部６５から受け取ったテンプレートに含まれる第一の代表画像配置位置および第二の代表画像配置位置にそれぞれレイアウトする。そして、出力部７０は、レイアウトした画像をアルバム印刷装置等から出力してアルバムを作成する。また、出力部７０は、モニタ等にレイアウトした画像を表示してもよく、また、出力部７０は、ＤＶＤ等の記録媒体にレイアウトした画像を記録させてもよい。

本実施形態に係るアルバム作成装置１００によれば、アルバム等のテンプレートに含まれる画像を配置する画像配置枠に、当該画像配置枠に配置される画像に含まれるべきオブジェクトの加速度を示す情報を予め対応づけており、当該情報が示すオブジェクトの加速度と一致する加速度を有するオブジェクトが含まれる候補画像を代表画像として自動的に抽出できるので、アルバム等のテンプレートに画像を配置する場合において、多数の画像の中からユーザ自身が所望する画像を選択する手間および時間を省くことができる。

図７は、本実施形態に係るテンプレート格納部６５が格納しているテンプレート１２００の一例を示す。テンプレート格納部６５は、画像配置位置と当該画像配置位置に配置されるべき画像の合成情報とが予め定められた出力領域のテンプレートを格納している。なお、画像配置位置には画像を配置すべき画像配置枠が対応づけられていてよく、一つの出力領域に複数の画像配置位置が含まれていてよい。また、画像配置位置に対応づけられている画像配置枠は略円形、略多角形、および画像に含まれるオブジェクトの形状等の形状であってよい。なお、合成情報は、画像に含まれるオブジェクト名、人物名、当該人物の配役（アルバムの種類に応じた、当該アルバムにおける主人公である旨の情報等）、主人公の画像内での位置を示す情報、画像に含まれる人物の誕生日、画像を撮像したときの合焦距離、撮像日時、および撮像場所等の撮像情報、および画像が有する方向成分等、画像配置位置に配置されるべき画像の特徴を示す情報であってよい。

例えば、テンプレート１２００には画像配置枠１２１０および画像配置枠１２２０が含まれている。そして、画像配置枠１２１０には合成情報１２１２が対応づけられており、画像配置枠１２２０には合成情報１２２２が対応づけられている。係る場合において、代表画像抽出部５０は、例えば、画像配置枠１２２０に対応づけられている合成情報１２２２を抽出して、合成情報１２２２と一致する情報を有する候補画像を抽出する。例えば、合成情報１２２２に所定のオブジェクトの加速度に関する情報が対応づけられていた場合には、代表画像抽出部５０は、当該オブジェクトの加速度に関する情報と一致する情報を有する候補画像を、画像格納部１０が格納する候補画像の中から代表画像として抽出する。そして、画像出力部７０は、代表画像抽出部５０が抽出した代表画像を、画像配置枠１２２０にレイアウトして出力する。

図８は、本実施形態に係る加速度決定部８０の処理の一例を示す。例えば、テンプレート８００が有する第一の画像配置枠８０２に、画像配置枠８０２に配置されるべき代表画像に含まれるオブジェクトの加速度の範囲を示す、加速度範囲情報が対応づけられている場合を考える。係る場合において、第一代表画像抽出部５２は、テンプレート格納部６５から画像配置枠８０２に対応づけられている加速度に関する情報を受け取る。そして、第一代表画像抽出部５２は、オブジェクト加速度算出部３０が算出した候補画像に含まれるオブジェクトの加速度が、画像配置枠８０２に対応づけられている加速度範囲情報が示す加速度の範囲に含まれるか否かを判断する。そして、第一代表画像抽出部５２は、候補画像に含まれるオブジェクトの加速度が、加速度範囲情報が示す加速度の範囲に含まれると判断した場合に、当該候補画像を第一の代表画像として抽出する。そして、出力部７０は、第一代表画像抽出部５２から当該第一の代表画像を受け取って、画像配置枠８０２にレイアウトして出力する。

また、第一代表画像抽出部５２は、当該第一の代表画像に含まれるオブジェクトの加速度に関する情報を加速度決定部８０に供給する。加速度決定部８０は、受け取った加速度に関する情報に基づいて、画像配置枠８０４および画像配置枠８０６に配置すべき代表画像に含まれるオブジェクトの加速度を決定する。例えば、加速度決定部８０は、画像配置枠８０２に配置した第一の代表画像に含まれるオブジェクトが示す加速度に対して、相対的に定められるオブジェクトの加速度である相対的加速度を、画像配置枠８０４および画像配置枠８０６に対応づける。具体的には、加速度決定部８０は、画像配置枠８０２に配置した第一の代表画像に含まれるオブジェクトが示す加速度以上の加速度を、画像配置枠８０４および画像配置枠８０６に対応付ける。また、加速度決定部８０は、画像配置枠８０２に配置した第一の代表画像に含まれるオブジェクトが示す加速度よりも小さい加速度を、画像配置枠８０４および画像配置枠８０６に対応づけてもよい。

加速度決定部８０が第一の画像配置枠を除く他の画像配置枠に対応づけた、第二の代表画像に含まれるオブジェクトの加速度に関する情報に基づいて、第二代表画像抽出部５４は、画像配置枠８０４および画像配置枠８０６に配置されるべき代表画像をそれぞれ抽出する。そして、出力部７０が第二代表画像抽出部５４が抽出した第二の代表画像を、画像配置枠８０４および画像配置枠８０６に配置して出力する。

図９は、本実施形態に係る加速度決定部８０の処理の一例を示す。例えば、テンプレート９００が有する第一の画像配置枠９０２に、画像配置枠９０２に配置されるべき代表画像に含まれるオブジェクトの加速度の範囲を示す、加速度範囲情報が対応づけられている場合を考える。係る場合において、第一代表画像抽出部５２は、テンプレート格納部６５から画像配置枠９０２に対応づけられている加速度に関する情報を受け取る。そして、第一代表画像抽出部５２は、オブジェクト加速度算出部３０が算出した候補画像に含まれるオブジェクトの加速度が、画像配置枠９０２に対応づけられている加速度範囲情報が示す加速度の範囲に含まれるか否かを判断する。そして、第一代表画像抽出部５２は、候補画像に含まれるオブジェクトの加速度が、加速度範囲情報が示す加速度の範囲に含まれると判断した場合に、当該候補画像を第一の代表画像として抽出する。そして、出力部７０は、第一代表画像抽出部５２から当該第一の代表画像を受け取って、画像配置枠９０２にレイアウトして出力する。

また、第一代表画像抽出部５２は、当該第一の代表画像に含まれるオブジェクトの加速度に関する情報を加速度決定部８０に供給する。加速度決定部８０は、受け取った加速度に関する情報に基づいて、画像配置枠９０４および画像配置枠９０６に配置すべき代表画像に含まれるオブジェクトの加速度を決定する。例えば、加速度決定部８０は、画像配置枠９０２に配置した第一の代表画像に含まれるオブジェクトが示す加速度に対して、画像配置枠９０４および画像配置枠９０６には代表画像に含まれるオブジェクトの加速度がゼロである旨を示す情報を対応づけてよい。

そして、加速度決定部８０が第一の画像配置枠９０２を除く他の画像配置枠に対応づけた、第二の代表画像に含まれるオブジェクトの加速度がゼロである旨を示す情報に基づいて、第二代表画像抽出部５４は、画像配置枠９０４および画像配置枠９０６に配置されるべき代表画像をそれぞれ抽出する。そして、出力部７０が第二代表画像抽出部５４が抽出した第二の代表画像を、画像配置枠９０４および画像配置枠９０６に配置して出力する。

図１０は、本実施形態に係るアルバム作成装置１００のハードウェア構成の一例を示す。本実施形態に係るアルバム作成装置１００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワーク１８０を介して他の装置と通信する。ハードディスクドライブ１５４０は、アルバム作成装置１００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、アルバム作成装置１００が起動時に実行するブート・プログラム、及びアルバム作成装置１００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０と、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供されるアルバム作成プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。アルバム作成プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してアルバム作成装置１００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。アルバム作成装置１００にインストールされて実行されるアルバム作成プログラムは、ＣＰＵ１５０５等に働きかけて、アルバム作成装置１００を、図１から図９にかけて説明した画像格納部１０、オブジェクト抽出部２０、オブジェクト加速度算出部３０、タイミング特定部４０、代表画像抽出部５０、代表画像格納部６０、出力部７０、テンプレート格納部６５、加速度決定部８０、第一代表画像抽出部５２、および第二代表画像抽出部５４として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

アルバム作成装置１００の利用環境を示す図である。 アルバム作成装置１００の機能構成を示すブロック図である。 オブジェクト加速度算出部３０が加速度を算出する方法を示す。 代表画像抽出部５０が代表画像を抽出する方法を示す。 代表画像抽出部５０が代表画像を抽出する方法を示す。 アルバム作成装置１００の機能構成を示すブロック図である。 テンプレート格納部６５が格納しているテンプレートを示す図である。 加速度決定部８０の処理を示す図である。 加速度決定部８０の処理を示す図である。 アルバム作成装置１００のハードウェア構成を示すブロック図である。

符号の説明

１０ 画像格納部
２０ オブジェクト抽出部
３０ オブジェクト加速度算出部
４０ タイミング特定部
５０ 代表画像抽出部
５２ 第一代表画像抽出部
５４ 第二代表画像抽出部
６０ 代表画像格納部
６５ テンプレート格納部
７０ 出力部
８０ 加速度決定部
１００ アルバム作成装置
１１０ フォトスタンド
１８０ ネットワーク
２１０、２２０ 動画構成画像
２１２ サッカー選手
２１４ ボール
２１６ 背景
２３０ グラフ
２４０、２４２、２４４ ピーク
２３６ 移動量
４１０、４２０、４３０ 動画構成画像
５０２ 人物
５０４ 猫
５０６ 犬
５１０、５２０、５３０、５４０ 動画構成画像
８００、９００ テンプレート
８０２、８０４、８０６ 画像配置枠
９０２、９０４、９０６ 画像配置枠
１２００ テンプレート
１２１０、１２２０ 画像配置枠
１２１２、１２２２ 合成情報
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (11)

1. 複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出装置であって、
   時系列に並んだ候補画像からオブジェクトを抽出するオブジェクト抽出部と、
   前記オブジェクト抽出部が抽出したオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出するオブジェクト加速度算出部と、
   画像配置位置と当該画像配置位置に配置されるべき代表画像に含まれるオブジェクトの加速度の範囲を示す加速度範囲情報とが予め定められた出力領域のテンプレートを格納しているテンプレート格納部と、
   候補画像に含まれるオブジェクトの加速度が、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている加速度範囲情報が示すオブジェクトの加速度の範囲内の加速度である候補画像を代表画像として抽出する代表画像抽出部と
   を備える画像抽出装置。
2. 複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出装置であって、
   時系列に並んだ候補画像からオブジェクトを抽出するオブジェクト抽出部と、
   前記オブジェクト抽出部が抽出したオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出するオブジェクト加速度算出部と、
   前記オブジェクト加速度算出部が算出した加速度が予め定められた基準加速度より大きいオブジェクトを含む候補画像を代表画像として抽出する代表画像抽出部と、
   第一の代表画像が配置されるべき第一の代表画像配置位置、および第二の代表画像が配置されるべき第二の代表画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部と、
   を備え、
   前記代表画像抽出部は、
   前記第一の代表画像配置位置に配置されるべき第一の代表画像を抽出する第一代表画像抽出部と、
   前記第一代表画像抽出部が抽出した第一の代表画像に含まれるオブジェクトの加速度に応じて、前記第二の代表画像配置位置に配置されるべき第二の代表画像に含まれるオブジェクトの加速度を決定する加速度決定部と、
   前記加速度決定部が決定したオブジェクトの加速度に基づいて、第二の代表画像を抽出する第二代表画像抽出部と
   を有する画像抽出装置。
3. 前記テンプレート格納部は、前記第二の代表画像配置位置と、前記第一の代表画像に含まれるオブジェクトの加速度に対して相対的に定められるオブジェクトの加速度である相対的加速度とが予め定められた出力領域のテンプレートを格納し、
   前記加速度決定部は、前記第一代表画像抽出部が抽出した第一の代表画像に含まれるオブジェクトの加速度、および前記テンプレート格納部が格納しているオブジェクトの相対的加速度に基づいて、前記第二の代表画像配置位置に配置されるべき第二の代表画像に含まれるオブジェクトの加速度を決定する
   請求項２に記載の画像抽出装置。
4. 動画に含まれる動画構成画像である複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出装置であって、
   時系列に並んだ候補画像からオブジェクトを抽出するオブジェクト抽出部と、
   前記オブジェクト抽出部が抽出したオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出するオブジェクト加速度算出部と、
   動画に含まれる連続する複数の動画構成画像における位置の変化に基づいて、前記オブジェクト加速度算出部が算出した、前記オブジェクト抽出部が動画構成画像から抽出したオブジェクトの背景に対する加速度が、予め定められた基準加速度より大きいタイミングを特定するタイミング特定部と、
   前記タイミング特定部が特定したタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像として抽出する代表画像抽出部と、
   を備え、
   前記オブジェクト抽出部は、動画から複数のオブジェクトを抽出し、
   前記オブジェクト加速度算出部は、前記オブジェクト抽出部が抽出した複数のオブジェクトのそれぞれの加速度を算出し、
   前記タイミング特定部は、前記オブジェクト抽出部が抽出した複数のオブジェクトのそれぞれについて、前記オブジェクト加速度算出部が算出した加速度が予め定められた基準速度より大きいタイミングを特定し、
   前記代表画像抽出部は、前記オブジェクト抽出部が抽出した複数のオブジェクトのそれぞれについて、前記タイミング特定部が特定したタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像としてそれぞれ抽出する
   画像抽出装置。
5. 前記タイミング特定部は、前記オブジェクト抽出部が抽出した複数のオブジェクトのうちで、動画構成画像における面積が最も大きいオブジェクトの加速度が最も大きいタイミングを特定し、
   前記代表画像抽出部は、前記タイミング特定部が特定した、面積が最も大きいオブジェクトの加速度が最も大きいタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像としてそれぞれ抽出する
   請求項４に記載の画像抽出装置。
6. 複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出方法であって、
   時系列に並んだ候補画像からオブジェクトを抽出するオブジェクト抽出段階と、
   前記オブジェクト抽出段階で抽出されたオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出するオブジェクト加速度算出段階と、
   候補画像に含まれるオブジェクトの加速度が、画像配置位置と当該画像配置位置に配置されるべき代表画像に含まれるオブジェクトの加速度の範囲を示す加速度範囲情報とが予め定められた出力領域のテンプレートを格納しているテンプレート格納部に格納されたテンプレートが含む画像配置位置に対応づけられている加速度範囲情報が示すオブジェクトの加速度の範囲内の加速度である候補画像を代表画像として抽出する代表画像抽出段階と
   を備える画像抽出方法。
7. 複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出方法であって、
   時系列に並んだ候補画像からオブジェクトを抽出するオブジェクト抽出段階と、
   前記オブジェクト抽出段階で抽出されたオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出するオブジェクト加速度算出段階と、
   前記オブジェクト加速度算出段階で算出された加速度が予め定められた基準加速度より大きいオブジェクトを含む候補画像を代表画像として抽出する代表画像抽出段階と、
   を備え、
   前記代表画像抽出段階は、
   第一の代表画像が配置されるべき第一の代表画像配置位置、および第二の代表画像が配置されるべき第二の代表画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部に格納されたテンプレートに基づく前記第一の代表画像配置位置に配置されるべき第一の代表画像を抽出する第一代表画像抽出段階と、
   前記第一代表画像抽出段階で抽出された第一の代表画像に含まれるオブジェクトの加速度に応じて、前記第二の代表画像配置位置に配置されるべき第二の代表画像に含まれるオブジェクトの加速度を決定する加速度決定段階と、
   前記加速度決定段階で決定されたオブジェクトの加速度に基づいて、第二の代表画像を抽出する第二代表画像抽出段階と
   を含む画像抽出方法。
8. 前記テンプレート格納部は、前記第二の代表画像配置位置と、前記第一の代表画像に含まれるオブジェクトの加速度に対して相対的に定められるオブジェクトの加速度である相対的加速度とが予め定められた出力領域のテンプレートを格納し、
   前記加速度決定段階では、前記第一代表画像抽出段階で抽出された第一の代表画像に含まれるオブジェクトの加速度、および前記テンプレート格納部が格納しているオブジェクトの相対的加速度に基づいて、前記第二の代表画像配置位置に配置されるべき第二の代表画像に含まれるオブジェクトの加速度を決定する
   請求項７に記載の画像抽出方法。
9. 動画に含まれる動画構成画像である複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出方法であって、
   時系列に並んだ候補画像からオブジェクトを抽出するオブジェクト抽出段階と、
   前記オブジェクト抽出段階で抽出されたオブジェクトの、時系列に並んだ複数の候補画像における位置の変化に基づいて、複数の候補画像のそれぞれにおけるオブジェクトの背景に対する加速度を算出するオブジェクト加速度算出段階と、
   動画に含まれる連続する複数の動画構成画像における位置の変化に基づいて、前記オブジェクト加速度算出段階で算出された、前記オブジェクト抽出段階で動画構成画像から抽出されたオブジェクトの背景に対する加速度が、予め定められた基準加速度より大きいタイミングを特定するタイミング特定段階と、
   前記タイミング特定段階で特定されたタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像として抽出する代表画像抽出段階と、
   を備え、
   前記オブジェクト抽出段階では、動画から複数のオブジェクトを抽出し、
   前記オブジェクト加速度算出段階では、前記オブジェクト抽出段階で抽出された複数のオブジェクトのそれぞれの加速度を算出し、
   前記タイミング特定段階では、前記オブジェクト抽出段階で抽出された複数のオブジェクトのそれぞれについて、前記オブジェクト加速度算出段階で算出された加速度が予め定められた基準速度より大きいタイミングを特定し、
   前記代表画像抽出段階では、前記オブジェクト抽出段階で抽出された複数のオブジェクトのそれぞれについて、前記タイミング特定段階で特定されたタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像としてそれぞれ抽出する
   画像抽出方法。
10. 前記タイミング特定段階では、前記オブジェクト抽出段階で抽出された複数のオブジェクトのうちで、動画構成画像における面積が最も大きいオブジェクトの加速度が最も大きいタイミングを特定し、
    前記代表画像抽出段階では、前記タイミング特定段階で特定された、面積が最も大きいオブジェクトの加速度が最も大きいタイミングを中心とする予め定められた時間範囲内に含まれる動画構成画像を代表画像としてそれぞれ抽出する
    請求項９に記載の画像抽出方法。
11. 請求項６から請求項１０のいずれか1つに記載の画像抽出方法が備える各段階をコンピュータに実行させるための画像抽出プログラム。

Images