JP4781844B2

JP4781844B2 - 画像出力装置、画像出力方法、および画像出力プログラム

Info

Publication number: JP4781844B2
Application number: JP2006049323A
Authority: JP
Inventors: 文人竹本; 章依田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-03-01
Filing date: 2006-02-24
Publication date: 2011-09-28
Anticipated expiration: 2026-02-24
Also published as: JP2006277729A

Description

本発明は、画像出力装置、画像出力方法、および画像出力プログラム、並びに画像トリミング装置、画像トリミング方法、および画像トリミングプログラムに関する。特に、本発明は、動画から動画構成画像を抽出してレイアウトする画像出力装置、画像出力方法、および画像出力プログラム、並びに画像トリミング装置、画像トリミング方法、および画像トリミングプログラムに関する。

撮影状況の変化および被写体の動きの変化等に基づいて、撮像された動画から、特徴的なフレーム画像を抽出して、動画の代表画像として記録する技術が提案されている（例えば、特許文献１参照）。また、撮像された動画から鑑賞者が注目する被写体を自動的に抽出して、当該被写体を画像処理により、鑑賞者が見やすい大きさに拡大して表示する技術が提案されている(例えば、特許文献２参照)。
特開２０００−１８７４７７号公報特開２００４−１７８３６８号公報

しかしながら、動画から抽出したフレーム画像を用いてアルバムを作成する場合に、鑑賞者にとって見栄えが良いレイアウトにする場合には、抽出された全フレーム画像を確認してレイアウトする必要がある。また、動画からフレーム画像が抽出されて、フレーム画像が自動的にレイアウトされた場合には、鑑賞者が違和感を覚えるレイアウトになる場合があるという問題があった。

そこで本発明は、上記課題を解決することができる画像出力装置、画像出力方法、および画像出力プログラム、並びに画像トリミング装置、画像トリミング方法、および画像トリミングプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、画像を出力する画像出力装置であって、複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出部と、動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する移動方向特定部と、移動方向特定部が特定したオブジェクトの移動方向に基づいて、動画構成画像抽出部が抽出した動画構成画像を出力領域内にレイアウトする画像レイアウト部と、画像レイアウト部によって出力領域内にレイアウトされた動画構成画像を出力する画像出力部とを備える。

また、画像レイアウト部は、移動方向特定部が特定したオブジェクトの移動方向が、出力領域の中心方向を向くように、動画構成画像抽出部が抽出した動画構成画像をレイアウトしてもよい。また、動画構成画像抽出部は、動画から連続する複数の動画構成画像を抽出し、画像レイアウト部は、動画構成画像抽出部が抽出した複数の動画構成画像を、移動方向特定部が特定した移動方向に沿って時系列にレイアウトしてもよい。

更に、動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの動画における移動速度を、動画構成画像抽出部が抽出した動画構成画像に連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて算出する移動速度算出部と、動画構成画像抽出部が抽出した動画構成画像から、移動速度算出部が算出した移動速度が予め定められた基準速度より大きい移動速度のオブジェクトを含む部分画像をトリミングするトリミング部とをさらに備え、画像レイアウト部は、移動方向特定部が特定したオブジェクトの移動方向に基づいて、トリミング部がトリミングした部分画像を出力領域内にレイアウトしてもよい。

また、トリミング部は、動画構成画像抽出部が抽出した動画構成画像から、移動速度算出部が算出した移動速度が最も大きいオブジェクトを含む部分画像をトリミングしてもよい。そして、トリミング部は、動画構成画像抽出部が抽出した動画構成画像から、移動速度算出部が算出した移動速度が予め定められた基準速度より大きい移動速度のオブジェクトのうち、動画構成画像における面積が最も大きいオブジェクトを含む部分画像をトリミングしてもよい。更に画像出力部は、画像レイアウト部にレイアウトされた動画構成画像を表示する表示部を有し、画像レイアウト部は、移動方向特定部が特定したオブジェクトの移動方向に基づいて、表示部の表示画面の出力領域内に動画構成画像をレイアウトしてもよい。

また、画像出力部は、画像レイアウト部にレイアウトされた動画構成画像を印刷する印刷部を有し、画像レイアウト部は、移動方向特定部が特定したオブジェクトの移動方向に基づいて、印刷部の印刷媒体の出力領域内に動画構成画像をレイアウトしてもよい。

また、画像配置位置と当該画像配置位置に配置されるべき動画構成画像に含まれるオブジェクトの移動方向とが予め定められた出力領域のテンプレートを格納しているテンプレート格納部と、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの移動方向と、移動方向特定部が特定したオブジェクトの移動方向とが一致する動画構成画像を動画構成画像抽出部が抽出した動画構成画像から選択する画像選択部とを更に備え、画像レイアウト部は、画像選択部が選択した動画構成画像をテンプレートの画像配置位置にレイアウトしてもよい。

更に、画像選択部は、移動方向特定部が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、移動方向特定部が特定した方向とは反対の方向に存在する動画構成画像内の領域の面積より大きい動画構成画像を連続する複数の動画構成画像から選択してもよい。また、移動方向特定部が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、移動方向特定部が特定したオブジェクトの移動方向とは反対の方向に存在する動画構成画像内の領域の面積よりも大きくなるように、画像選択部が選択した動画構成画像に含まれるオブジェクトをトリミングしてトリミング画像を生成するトリミング画像生成部を更に備え、画像レイアウト部は、トリミング画像生成部が生成したトリミング画像をテンプレートの画像配置位置にレイアウトしてもよい。

また、移動方向特定部が特定したオブジェクトの移動方向と、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの移動方向とが一致する動画構成画像が存在しない場合に、移動方向特定部が特定したオブジェクトの移動方向とテンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられているオブジェクトの移動方向とが一致するように、動画構成画像に対して幾何学的な変換を施した画像を生成する変換画像生成部を更に備え、画像レイアウト部は、変換画像生成部が生成した画像を画像配置位置にレイアウトしてもよい。そして、変換画像生成部が生成した画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を更に備え、画像レイアウト部は、トリミング部がトリミングした画像を画像配置位置にレイアウトしてよい。

更に、移動方向特定部が特定したオブジェクトの移動方向と、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている移動方向とが一致する動画構成画像が存在しない場合に、移動方向特定部が特定したオブジェクトの移動方向とテンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられている移動方向とが一致するように、動画構成画像を動画構成画像の面の水平方向に沿って回転させる画像回転処理部を更に備え、画像レイアウト部は、画像回転処理部が回転させた動画構成画像をテンプレートの画像配置位置にレイアウトしてもよい。そして、画像回転処理部が回転させた動画構成画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を更に備え、画像レイアウト部は、トリミング部がトリミングした画像を画像配置位置にレイアウトしてもよい。

また、動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの動画における移動速度を、動画構成画像抽出部が抽出した動画構成画像に連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて算出する移動速度算出部と、画像選択部は、移動速度算出部が算出したオブジェクトの移動速度がより大きい場合に、移動方向特定部が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積がより大きい動画構成画像を選択してもよい。そして、移動速度算出部が算出したオブジェクトの移動速度がより大きい場合に、移動方向特定部が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、移動方向特定部が特定したオブジェクトの移動方向とは反対の方向に存在する動画構成画像内の領域の面積よりも大きくなるように、画像選択部が選択した動画構成画像に含まれるオブジェクトをトリミングしてトリミング画像を生成するトリミング画像生成部を更に備え、画像レイアウト部は、トリミング画像生成部が生成したトリミング画像をテンプレートの画像配置位置にレイアウトしてもよい。

そして、第一の動画構成画像が配置されるべき第一の画像配置位置、および第二の動画構成画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部と、第一の画像配置位置に配置されるべき第一の動画構成画像を選択する第一画像選択部と、第一画像選択部が選択した第一の動画構成画像に含まれるオブジェクトの移動方向に応じて、第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定する移動方向決定部と、移動方向決定部が決定した移動方向のオブジェクトを含む第二の動画構成画像を選択する第二画像選択部とをさらに備え、画像レイアウト部は、第一画像選択部が選択した第一の動画構成画像を第一の画像配置位置にレイアウトし、第二画像選択部が選択した第二の動画構成画像を第二の画像配置位置にレイアウトしてもよい。

更に、テンプレート格納部は、第二の画像配置位置と、第一の動画構成画像に含まれるオブジェクトの移動方向に対する相対的なオブジェクトの移動方向とが予め定められた出力領域のテンプレートを格納し、移動方向決定部は、第一画像選択部が選択した第一の動画構成画像に含まれるオブジェクトの移動方向、およびテンプレート格納部が格納しているオブジェクトの相対的な移動方向に基づいて、第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定してもよい。

また、本発明の第２の形態においては、画像を出力する画像出力方法であって、複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出段階と、動画構成画像抽出段階において抽出された動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する移動方向特定段階と、移動方向特定段階において特定されたオブジェクトの移動方向に基づいて、動画構成画像抽出段階において抽出された動画構成画像を出力領域内にレイアウトする画像レイアウト段階と、画像レイアウト段階によって出力領域内にレイアウトされた動画構成画像を出力する画像出力段階とを備える。

また、本発明の第３の形態においては、画像を出力する画像出力装置用の画像出力プログラムであって、画像出力装置を、複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出部と、動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する移動方向特定部と、移動方向特定部が特定したオブジェクトの移動方向に基づいて、動画構成画像抽出部が抽出した動画構成画像を出力領域内にレイアウトする画像レイアウト部と、画像レイアウト部によって出力領域内にレイアウトされた動画構成画像を出力する画像出力部として機能させる。

また、本発明の第４の形態においては、画像から部分画像をトリミングする画像トリミング装置であって、複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出部と、動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの動画における移動速度を、動画構成画像抽出部が抽出した動画構成画像に連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて算出する移動速度算出部と、動画構成画像抽出部が抽出した動画構成画像から、移動速度算出部が算出した移動速度が予め定められた基準速度より大きい移動速度のオブジェクトを含む部分画像をトリミングするトリミング部とを備える。

また、トリミング部がトリミングした部分画像を出力領域内にレイアウトする画像レイアウト部と、画像レイアウト部によって出力領域内にレイアウトされた部分画像を出力する画像出力部とを備えてもよい。

また、本発明の第５の形態においては、画像から部分画像をトリミングする画像トリミング方法であって、複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出段階と、動画構成画像抽出段階が抽出した動画構成画像に含まれるオブジェクトの動画における移動速度を、動画構成画像抽出段階が抽出した動画構成画像に連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて算出する移動速度算出段階と、動画構成画像抽出段階において抽出された動画構成画像から、移動速度算出段階において算出された移動速度が最も大きいオブジェクトを含む部分画像をトリミングするトリミング段階とを備える。

また、本発明の第６の形態においては、画像をトリミングする画像トリミング装置用の画像トリミングプログラムであって、画像トリミング装置を、複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出部と、動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの動画における移動速度を、動画構成画像抽出部が抽出した動画構成画像に連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて算出する移動速度算出部と、動画構成画像抽出部が抽出した動画構成画像から、移動速度算出部が算出した移動速度が最も大きいオブジェクトを含む部分画像をトリミングするトリミング部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、動画から抽出した動画構成画像に含まれるオブジェクトの移動方向に基づいて、鑑賞者に違和感のない構図となるように、動画構成画像を自動的にレイアウト又はトリミングして出力できる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る画像出力装置１０の概念図を示す。なお、画像出力装置１０は、本発明に係る画像トリミング装置の一例である。画像出力装置１０は、撮像装置１１０が撮像した動画から動画構成画像を抽出して、動画構成画像に含まれるオブジェクトの移動方向に基づいて、出力領域内にレイアウトする。ここで、出力領域とは、動画構成画像を表示する表示領域、又は、動画構成画像を印刷する印刷領域のことをいう。そして、画像出力装置１０は、出力領域内にレイアウトされた動画構成画像を出力する。なお、動画構成画像は、フレーム画像、フィールド画像、およびその他の動画を構成する様々な形式の画像のいずれであってもよい。

例えば、画像出力装置１０は、パーソナルコンピュータのモニターの表示領域に、動画構成画像をレイアウトして、表示してよい。また、画像出力装置１０は、携帯電話およびＰＤＡ等の携帯情報端末等であってもよい。また、画像出力装置１０は、動画構成画像を印刷物の印刷領域内にレイアウトして、プリンター等により印刷してもよい。更に、画像出力装置１０は、ネットワーク１２０を介して動画構成画像を受信して、受信した動画構成画像をテレビ受像機およびフォトスタンド等に表示する表示装置であってもよい。

ネットワーク１２０は、例えば、インターネットであってよく、ＬＡＮ等であってもよい。なお、画像出力装置１０は、撮像した動画の動画構成画像を、ネットワーク１２０を介して送受信するだけではなく、例えば、撮像装置１１０に設けた磁気記録媒体および半導体記録媒体等を用いた記憶装置を介して、動画構成画像を画像出力装置１０に入力してもよい。更には、無線通信および光通信等により、動画構成画像を画像出力装置１０に入力してもよい。

本実施形態に係る画像出力装置１０は、撮像された動画から抽出された動画構成画像を、動画構成画像に含まれるオブジェクトの移動方向に基づいて、鑑賞者に違和感のない構図となるように自動的にレイアウトすることを目的とする。

図２は、本実施形態に係る画像出力装置１０の機能構成の一例を示す。画像出力装置１０は、画像格納部２０、動画構成画像抽出部３０、移動方向特定部４０、画像レイアウト部５０、移動速度算出部６０、トリミング部７０、および画像出力部８０を備える。画像出力部８０は、表示部９０と印刷部１００とを有する。画像格納部２０は、撮像された動画を格納する。画像格納部２０は、撮像された動画を動画構成画像抽出部３０へ供給する。動画構成画像抽出部３０は、画像格納部２０から動画を受け取る。そして、動画構成画像抽出部３０は、動画構成画像を有する動画から動画構成画像を抽出する。

動画構成画像抽出部３０は、抽出した動画構成画像を、移動方向特定部４０および移動速度算出部６０へ供給する。移動方向特定部４０は、動画構成画像抽出部３０から動画構成画像を受け取る。移動方向特定部４０は、抽出された動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する。移動方向の特定は、例えば、ブロックマッチング法および勾配法等を用いてよい。移動方向特定部４０は、特定したオブジェクトの移動方向を、画像レイアウト部５０へ供給する。

移動速度算出部６０は、動画構成画像抽出部３０から動画構成画像を受け取る。移動速度算出部６０は、抽出された動画構成画像に含まれるオブジェクトの動画における移動速度を、動画構成画像抽出部３０が抽出した動画構成画像に連続する複数の動画構成画像におけるオブジェクトの位置の変化とフレーム周期とに基づいて算出する。移動速度算出部６０は、算出されたオブジェクトの移動速度を、トリミング部７０へ供給する。

トリミング部７０は、移動速度算出部６０から算出されたオブジェクトの移動速度を受け取る。そして、トリミング部７０は、算出された移動速度が、予め定められた基準速度より大きい移動速度を有するオブジェクトを含む部分画像をトリミングする。なお、基準速度は、撮像者等が自由に設定してよい。トリミング部７０は、トリミングされた部分画像を画像レイアウト部５０へ供給する。

画像レイアウト部５０は、移動方向特定部４０から、移動方向特定部４０において特定されたオブジェクトの移動方向を受け取る。また、画像レイアウト部５０は、トリミング部７０においてトリミングされた部分画像を受け取ってもよい。画像レイアウト部５０は、移動方向特定部４０において特定されたオブジェクトの移動方向に基づいて、抽出された動画構成画像を出力領域内にレイアウトする。画像レイアウト部５０は、レイアウトされた動画構成画像を画像出力部８０へ供給する。

画像出力部８０は、画像レイアウト部５０からレイアウトされた動画構成画像を受け取る。そして、画像出力部８０は、出力領域内にレイアウトされた動画構成画像を出力する。また、表示部９０は、レイアウトされた動画構成画像を表示する。更に、印刷部１００は、出力領域内にレイアウトされた動画構成画像を印刷する。

本実施形態に係る画像出力装置１０によれば、動画から動画構成画像を抽出して、動画構成画像に含まれるオブジェクトの移動方向に基づいて動画構成画像を自動的にレイアウトすることができる。これにより、鑑賞者に特別な操作を必要とせずに、鑑賞者とって見栄えがよく、動画構成画像の構図に違和感を覚えないレイアウトの動画構成画像を出力できる。

図３は、移動速度算出部６０における移動速度算出方法の一例を示す。移動速度算出部６０は、動画構成画像抽出部３０が抽出した動画構成画像に連続する複数の動画構成画像を、ずらし量を変化させながら重ね合わせてマッチングする。そして、移動速度算出部６０は、所定のずらし量毎に、動画構成画像同士の一致度を算出する。ここで、ずらし量とは、動画構成画像同士が重なり合っている量を示す。そして、ずらし量は鑑賞者等が自由に設定してよい。また、一致度とは、動画構成画像が重なり合っている面積において、動画構成画像に対して背景およびオブジェクトがマッチングしている部分の面積比を示す。

そして、移動速度算出部６０は、動画構成画像２１０の端部から動画構成画像２２０の長手方向にずらしながら、重ね合わせてマッチングする。そして、移動速度算出部６０は、グラフ２３０において、一致度が最大であるピーク２３４を、動画構成画像２１０と動画構成画像２２０との背景が一致している点と判断する。これは、動画構成画像に対して背景が占める面積の比は、通常最大であり、背景が一致した場合には、動画構成画像同士の一致度も最大としてよいからである。

また、移動速度算出部６０は、一致度が最大となるピークを除く、他のピークを、動画構成画像２１０と動画構成画像２２０に含まれるオブジェクトが一致している点を示すピークと判断する。動画構成画像に含まれるオブジェクトの動画構成画像に対する面積比は、背景の動画構成画像に対する面積比より、通常は小さい値を示すので、一致度が最大となるピークを除いた、その他のピークを、オブジェクトが一致している点を示すピークと判断する。

そして、移動速度算出部６０が判断した、背景が一致している点の位置とオブジェクトが一致している点の位置の差を、オブジェクトの背景に対する移動量２３６とする。これにより、フレーム周期および算出されたオブジェクトの背景に対する移動量２３６に基づいて、オブジェクトの移動速度を算出できる。

なお、動画構成画像をずらしながらマッチングする方向は、上記説明の場合に限られない。移動速度算出部６０は、例えば、動画構成画像の縦方向又は横方向に沿って、所定のずらし量毎に動画構成画像をずらしてマッチングしてもよい。また、移動速度算出部６０は、縦方向および横方向の双方の所定のずらし量を同時に各々変化させて、動画構成画像をずらしてマッチングしてもよい。

また、他の例においては、移動速度算出部６０は、抽出された動画構成画像に連続する複数の動画構成画像を重ね合わせて、マッチングしてよい。移動速度算出部６０は、マッチングによりマッチングしなかった領域を、移動しているオブジェクトとして抽出してよい。そして、移動速度算出部６０は、抽出されたオブジェクトについて、フレーム周期とオブジェクトの移動距離とに基づいて、オブジェクトの移動速度を算出してもよい。

図４は、本実施形態に係る出力領域における画像のレイアウトの一例を示す。画像レイアウト部５０は、移動方向特定部４０が特定したオブジェクトの移動方向が、出力領域の中心方向を向くように、動画構成画像を出力領域内にレイアウトする。例えば、画像レイアウト部５０は、動画構成画像３１０および動画構成画像３２０に含まれる人物の移動方向がアルバム３００の見開きページの中心に向くように、動画構成画像をレイアウトしてよい。

図５は、本実施形態に係る出力領域における画像のレイアウトの一例を示す。画像レイアウト部５０は、動画構成画像４１０および動画構成画像４２０に含まれているオブジェクトの移動方向が紙面４００の中心を向くように、動画構成画像をレイアウトしてもよい。

図６は、本実施形態に係る出力領域における画像のレイアウトの一例を示す。画像レイアウト部５０は、動画構成画像５１０、動画構成画像５２０、動画構成画像５３０および動画構成画像５４０に含まれているオブジェクトの移動方向が、アルバム５００のページの中心に向くように、動画構成画像をレイアウトしてもよい。

図７は、本実施形態に係る出力領域における画像のレイアウトの一例を示す。画像レイアウト部５０は、動画構成画像６１０および動画構成画像６２０に含まれるオブジェクトの移動方向が、アルバム６００の次頁に向くように、動画構成画像をレイアウトしてもよい。

図８は、本実施形態に係る出力領域における画像のレイアウトの一例を示す。画像レイアウト部５０は、動画構成画像抽出部３０が抽出した複数の動画構成画像を、オブジェクトの移動方向に沿って時系列にレイアウトしてよい。例えば、抽出された動画構成画像７１０から動画構成画像７４０の順番に、撮像された時間がより後の時間になる場合には、出力領域７００に、動画構成画像７１０、動画構成画像７２０、動画構成画像７３０、および動画構成画像７４０の順にレイアウトしてもよい。また、動画構成画像をアルバムなどにレイアウトする場合には、アルバムの次頁に向くように、動画構成画像をレイアウトしてもよい。

図９は、本実施形態に係るトリミング部７０におけるトリミングの方法および画像レイアウト部５０における画像のレイアウトの一例を示す。トリミング部７０は、動画構成画像抽出部３０が抽出した動画構成画像から、移動速度算出部６０が算出した移動速度が最も大きいオブジェクトを含む部分画像をトリミングしてよい。例えば、動画構成画像８００において、移動速度算出部６０が算出した移動速度が最も大きいオブジェクトが、被写体８２０である場合には、トリミング部７０は、被写体８２０を含む部分画像８１０をトリミングしてよい。

また、トリミング部７０は、抽出された動画構成画像から、算出された移動速度が、予め定められた基準速度より大きい移動速度を有するオブジェクトのうち、動画構成画像における面積が最も大きいオブジェクトを含む部分画像をトリミングしてもよい。例えば、動画構成画像８０２において、移動速度が予め定められた基準速度より大きい移動速度を有するオブジェクトが、被写体８２０と被写体８４０であった場合には、トリミング部７０は、動画構成画像８０２における、面積が最も大きい被写体８２０を含む部分画像８１２をトリミングしてよい。

そして、トリミング部７０は、トリミングされた部分画像を画像レイアウト部５０へ供給する。画像レイアウト部５０は、トリミングされた部分画像を受け取る。そして、画像レイアウト部５０は、画像レイアウト部５０から受け取ったトリミングされた部分画像を、部分画像に含まれているオブジェクトの移動方向に基づいて、出力領域内にレイアウトしてよい。例えば、画像レイアウト部５０は、出力領域８５０に、部分画像８１０ａから部分画像８１６ａを、部分画像に含まれるオブジェクトの移動方向に基づいてレイアウトしてよい。

本実施形態に係る画像出力装置１０によれば、動画構成画像に含まれるオブジェクトの移動方向に基づいて、抽出された動画構成画像をレイアウトできる。また、動画構成画像から、動画構成画像に含まれるオブジェクトの移動速度に基づいて、動画構成画像から部分画像をトリミングして、レイアウトできる。これにより、鑑賞者に特別な操作を必要とせずに、鑑賞者が違和感を覚えることのない構図になるように、自動的に動画構成画像および部分画像をレイアウトした画像を出力することができる。

図１０は、本発明の他の実施形態に係る画像出力装置１０の機能構成の一例を示す。画像出力装置１０は、テンプレート格納部２５、動画構成画像抽出部３０、画像選択部３２、第一画像選択部３４、第二画像選択部３６、移動方向決定部４５、画像回転処理部７２、変換画像生成部７４、およびトリミング画像生成部７６を備える。なお、本実施形態に係る画像出力装置１０は、図１から図９での上記説明で説明した画像出力装置１０の構成、および機能の一部または全部を更に備えてよい。

テンプレート格納部２５は、動画構成画像を配置する位置である画像配置位置と当該画像配置位置に配置されるべき動画構成画像に含まれるオブジェクトの移動方向とが予め定められた出力領域のテンプレートを格納している。テンプレート格納部２５が格納しているテンプレートには、少なくとも一つの画像配置位置が定められていてよく、画像配置位置には動画構成画像を配置する枠である画像配置枠が対応づけられていてよい。また、テンプレート格納部２５は、第一の動画構成画像が配置されるべき第一の画像配置位置、および第二の動画構成画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納してもよい。そして、テンプレート格納部２５は、第二の画像配置位置と、第一の動画構成画像に含まれるオブジェクトの移動方向に対する相対的なオブジェクトの移動方向とが予め定められた出力領域のテンプレートを格納していてもよい。

ここで、テンプレート格納部２５が格納しているテンプレートに含まれる画像配置位置には、合成情報が対応づけられていてよい。合成情報は、画像配置位置に配置されるべき動画構成画像の特徴を示す情報であってよい。例えば、合成情報は、動画構成画像に含まれるオブジェクトの名前、動画構成画像に含まれるオブジェクトの移動速度、および動画構成画像が含む主要なオブジェクトの動画構成画像内における位置等であってよく、動画構成画像に含まれるオブジェクトの移動方向は合成情報の一例である。テンプレート格納部２５は、テンプレートが含む画像配置位置に対応づけられている合成情報を、画像選択部３２の制御に基づいて、画像選択部３２に供給する。また、テンプレート格納部２５は、画像レイアウト部５０の制御に基づいて、テンプレートを画像レイアウト部５０に供給する。

動画構成画像抽出部３０は、画像格納部２０から受け取った動画から動画構成画像を抽出する。また、動画構成画像抽出部３０は、抽出した動画構成画像に合成情報を対応づけて、画像格納部２０に格納させてもよい。動画構成画像抽出部３０は、画像選択部３２の制御に基づいて、動画構成画像を画像選択部３２に供給する。移動方向特定部４０は、動画構成画像に含まれるオブジェクトの動画構成画像における移動方向を特定して、特定したオブジェクトの移動方向を動画構成画像に対応づけて画像格納部２０に格納する。移動方向特定部４０は、特定したオブジェクトの移動方向を動画構成画像に対応づけて、動画構成画像抽出部３０を介して画像格納部２０に格納してもよい。移動方向特定部４０は、特定したオブジェクトの移動方向を画像選択部３２に供給する。また、移動速度算出部６０は、算出したオブジェクトの移動速度を画像選択部３２に供給する。

画像選択部３２は、テンプレート格納部２５が格納しているテンプレートが含む画像配置位置に対応づけられている合成情報と一致する合成情報が対応づけられている動画構成画像を、動画構成画像抽出部３０が抽出した動画構成画像から選択する。具体的には、画像選択部３２は、テンプレート格納部２５から、テンプレートが含む画像配置位置に対応づけられている合成情報を受け取る。より具体的には、画像選択部３２は、テンプレート格納部２５から、合成情報に含まれるオブジェクトの移動方向を受け取る。そして、画像選択部３２は、テンプレート格納部２５から受け取ったオブジェクトの移動方向と移動方向特定部４０が特定したオブジェクトの移動方向とが一致する動画構成画像を動画構成画像抽出部３０が抽出した動画構成画像の中から選択する。また、画像選択部３２は、移動方向特定部４０が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、移動方向特定部４０が特定した移動方向とは反対の方向に存在する動画構成画像内の領域の面積より大きい動画構成画像を、連続する複数の動画構成画像から選択してもよい。また、画像選択部３２は、移動速度算出部６０が算出したオブジェクトの移動速度がより大きい場合に、移動方向特定部４０が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積がより大きい動画構成画像を選択してもよい。

更に、画像選択部３２は、第一画像選択部３４および第二画像選択部３６を有していてよい。第一画像選択部３４は、第一の画像配置位置に配置されるべき第一の動画構成画像を選択する。第一の動画構成画像の一例としては主画像が挙げられる。主画像とは、閲覧者に対してアルバム等のページにおいて最も強く印象づけることが意図されている動画構成画像をいう。例えば主画像とは、アルバム等における主人公が含まれている動画構成画像であってよい。また、主画像は、ページに配置された複数の動画構成画像のうち、最も強調された動画構成画像であってよい。具体的には、主画像とは、他の動画構成画像に比べて前面に配置される動画構成画像および最も中央寄りに配置される動画構成画像であってよい。他にも主画像とは、周囲を枠で強調された動画構成画像、被写体にエフェクト等の視覚効果が施された動画構成画像等であってもよい。また、本実施形態でいう第二の動画構成画像とは従画像であってよい。ここで、従画像とは、アルバム等における主人公を除く被写体が含まれる動画構成画像であってよい。また、従画像とは、主画像よりも小さく、アルバム等のページの中央より外に配置される動画構成画像であってよい。そして、第二画像選択部３６は、後述する移動方向決定部４５が決定した移動方向に移動するオブジェクトを含む第二の動画構成画像を選択する。具体的には、第二画像選択部３６は、移動方向決定部４５が決定した移動方向に移動するオブジェクトを含む動画構成画像を、動画構成画像抽出部３０が抽出した動画構成画像から選択する。画像選択部３２、第一画像選択部３４、および第二画像選択部３６は選択した動画構成画像をトリミング画像生成部７６、画像回転処理部７２、または変換画像生成部７４に供給する。

移動方向決定部４５は、第一画像選択部３４が選択した第一の動画構成画像に含まれるオブジェクトの移動方向に応じて、第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定する。具体的には、移動方向特定部４０は、第一画像選択部３４が選択した第一の動画構成画像に含まれるオブジェクトの移動方向、およびテンプレート格納部２５が格納しているテンプレートの画像配置位置の合成情報に含まれるオブジェクトの相対的な移動方向に基づいて、第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定する。例えば、第一の動画構成画像に含まれるオブジェクトの移動方向と同一方向に移動するオブジェクトが含まれる動画構成画像を第二の画像配置位置に配置することを目的として、移動方向決定部４５は、第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を、第一の動画構成画像に含まれるオブジェクトの移動方向と同一方向に決定してよい。また、移動方向決定部４５は、第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を、第一の動画構成画像に含まれるオブジェクトの移動方向とは異なる方向に決定してもよい。更に、移動方向決定部４５は、テンプレートが複数の画像配置位置を含む場合には、各画像配置位置のそれぞれについて独立に移動方向を決定してもよい。移動方向決定部４５は、決定した移動方向を第二画像選択部３６に供給する。

トリミング画像生成部７６は、移動方向特定部４０が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、移動方向特定部４０が特定したオブジェクトの移動方向とは反対の方向に存在する動画構成画像内の領域の面積よりも大きくなるように、画像選択部３２から受け取った動画構成画像に含まれるオブジェクトをトリミングしてトリミング画像を生成する。また、トリミング画像生成部７６は、移動速度算出部６０が算出したオブジェクトの移動速度がより大きい場合に、移動方向特定部４０が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、移動方向特定部４０が特定した移動方向とは反対の方向に存在する動画構成画像内の領域の面積よりも大きくなるように、動画構成画像に含まれるオブジェクトをトリミングしてトリミング画像を生成してもよい。トリミング画像生成部７６は、生成したトリミング画像を画像レイアウト部５０に供給する。

画像回転処理部７２は、移動方向特定部４０が特定したオブジェクトの移動方向と、テンプレート格納部２５が格納しているテンプレートが含む画像配置位置に対応づけられている移動方向とが一致する動画構成画像が存在しないと画像選択部３２が判断した場合に、画像選択部３２からオブジェクトの移動方向、および動画構成画像抽出部３０が抽出した動画構成画像を画像選択部３２から受け取る。そして、画像回転処理部７２は、画像選択部３２から受け取った移動方向とテンプレート格納部２５が格納しているテンプレートの画像配置位置に対応づけられている移動方向とが一致するように、受け取った動画構成画像を当該動画構成画像の面の水平方向に沿って回転させる。画像回転処理部７２は、回転した動画構成画像をトリミング部７０に供給する。

変換画像生成部７４は、移動方向特定部４０が特定したオブジェクトの移動方向と、テンプレート格納部２５が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの移動方向とが一致する動画構成画像が存在しないと画像選択部３２が判断した場合に、当該オブジェクトの移動方向および動画構成画像抽出部３０が抽出した動画構成画像を、画像選択部３２から受け取る。そして、変換画像生成部７４は、画像選択部３２から受け取ったオブジェクトの移動方向とテンプレート格納部２５が格納しているテンプレートの画像配置位置に対応づけられているオブジェクトの移動方向とが一致するように、動画構成画像に対して幾何学的な変換を施した画像を生成する。例えば、変換画像生成部７４は受け取った動画構成画像を平行四辺形等に変換して、テンプレートの画像配置位置に対応づけられているオブジェクトの移動方向と移動方向特定部４０が特定したオブジェクトの移動方向とを一致させてよい。変換画像生成部７４は、動画構成画像を変換した画像をトリミング部７０に供給する。

トリミング部７０は、変換画像生成部７４および画像回転処理部７２から受け取った画像を、画像配置位置の画像配置枠の形状にトリミングする。トリミング部７０は、トリミングした画像を画像レイアウト部５０に供給する。画像レイアウト部５０は、テンプレート格納部２５からテンプレートを受け取る。そして、画像レイアウト部５０は、トリミング画像生成部７６から受け取ったトリミング画像、およびトリミング部７０から受け取ったトリミングされた画像を、テンプレートの画像配置位置にレイアウトする。また、画像レイアウト部５０は、変換画像生成部７４が生成した画像をトリミング部７０を介して受け取り、テンプレートの画像配置位置にレイアウトしてもよい。

また、画像レイアウト部５０は、第一画像選択部３４が選択した第一の動画構成画像を第一の画像配置位置にレイアウトする。続いて、画像レイアウト部５０は、第一の画像配置位置に第一の動画構成画像をレイアウトした場合に、第一の動画構成画像に含まれるオブジェクトの移動方向を移動方向決定部４５に供給する。移動方向決定部４５は、画像レイアウト部５０から受け取った第一の動画構成画像に含まれるオブジェクトの移動方向に応じて、第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定してよい。そして、画像レイアウト部５０は、第二画像選択部３６が選択した第二の動画構成画像を第二の画像配置位置にレイアウトする。画像レイアウト部５０は、レイアウトされた動画構成画像を画像出力部８０に供給する。画像出力部８０は、レイアウトされた動画構成画像を印刷部１００において紙媒体に印刷して、アルバムとして出力してよい。また、画像出力部８０は、ＤＶＤ等の記録媒体にレイアウトされた動画構成画像を記録してもよい。

本実施形態に係る画像出力装置１０によれば、テンプレートに含まれる画像配置位置には予め合成情報が対応づけられているので、合成情報と一致する動画構成画像を自動的に選択して、選択された動画構成画像を画像配置位置にレイアウトできる。これにより、ユーザが多数の動画構成画像から画像配置位置に適した動画構成画像を選択してレイアウトする時間および手間を省くことができる。

図１１は、本実施形態に係るテンプレート格納部２５が格納しているテンプレート１１００の一例を示す。テンプレート格納部２５は、画像配置位置と当該画像配置位置に配置されるべき動画構成画像の合成情報とが予め定められた出力領域のテンプレートを格納している。なお、画像配置位置には動画構成画像を配置すべき画像配置枠が対応づけられていてよく、一つの出力領域に複数の画像配置位置が含まれていてよい。また、画像配置位置に対応づけられている画像配置枠は略円形、略多角形、および動画構成画像に含まれるオブジェクトの形状等の形状であってよい。更に、テンプレート格納部２５は、第一の動画構成画像が配置されるべき第一の画像配置位置、および第二の動画構成画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納していてよく、また、第二の画像配置位置と、第一の動画構成画像に含まれるオブジェクトの移動方向に対する相対的なオブジェクトの移動方向とが予め定められた出力領域のテンプレートを格納していてもよい。

ここで、合成情報は、動画構成画像に含まれるオブジェクト名、人物名、当該人物の配役（アルバムの種類に応じた、当該アルバムにおける主人公である旨の情報等）、主人公の動画構成画像内での位置を示す情報、オブジェクトの移動方向、オブジェクトの移動速度、オブジェクトの加速度、動画構成画像に含まれる人物の誕生日、動画構成画像を撮像したときの撮像日時、および撮像場所等の撮像情報等の、画像配置位置に配置されるべき動画構成画像の特徴を示す情報であってよい。また、テンプレートは、アルバムのページのテンプレートであってよい。そして、アルバムのページは、表紙、見開きページ、および見開きページの一ページ等であってよい。

例えば、テンプレート１１００には画像配置枠１１１０および画像配置枠１１２０が含まれている。そして、画像配置枠１１１０には合成情報１１１２が対応づけられており、画像配置枠１１２０には合成情報１１２２が対応づけられている。係る場合において、画像選択部３２は、例えば、画像配置枠１１２０に対応づけられている合成情報１１２２を抽出して、合成情報１１２２と一致する情報に対応づけられている動画構成画像を、動画構成画像抽出部３０が抽出した動画構成画像から選択する。例えば、合成情報１１２２にオブジェクトの移動方向に関する情報が対応づけられていた場合には、画像選択部３２は、当該移動方向に関する情報と一致する情報が対応づけられている動画構成画像を、動画構成画像抽出部３０が抽出した動画構成画像から選択する。そして、画像選択部３２が選択した動画構成画像を、画像レイアウト部５０が画像配置枠１１２０にレイアウトする。

図１２は、本実施形態に係る画像選択部３２およびトリミング画像生成部７６の処理の一例を示す。画像選択部３２は、移動方向特定部４０が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、移動方向特定部４０が特定した移動方向とは反対の方向に存在する動画構成画像内の領域の面積よりも大きい動画構成画像を選択する。なお、画像選択部３２は、移動方向を特定したオブジェクトが含まれる動画構成画像に連続する複数の動画構成画像から、オブジェクトの移動方向に存在する動画構成画像内の領域の面積が大きい動画構成画像を選択してよい。例えば、人物１２０６が含まれる動画構成画像１２００および人物１２１６が含まれる動画構成画像１２１０を考える。係る場合において、人物１２０６の移動方向は矢印１２０４で示す方向であり、人物１２１６の移動方向は矢印１２１４である旨が、移動方向特定部４０において特定される。

係る場合において、画像選択部３２は、人物の移動方向の領域の面積が、人物の移動方向とは反対の方向の領域の面積よりも大きい動画構成画像を選択する。すなわち、動画構成画像１２００において人物１２０６の移動方向の領域１２０２の面積は、人物１２０６の移動方向とは反対の方向の領域の面積よりも小さい。一方、動画構成画像１２１０において人物１２１６の移動方向の領域１２１２の面積は、人物１２１６の移動方向とは反対の方向の領域の動画構成面積よりも大きい。したがって、係る場合においては、画像選択部３２は動画構成画像１２１０を選択して、画像レイアウト部５０に供給する。

また、トリミング画像生成部７６は、移動方向特定部４０が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、移動方向特定部４０が特定したオブジェクトの移動方向とは反対の方向に存在する領域の面積よりも大きくなるように、画像選択部３２から受け取った動画構成画像に含まれるオブジェクトをトリミングしてよい。例えば、トリミング画像生成部７６が画像選択部３２から受け取った動画構成画像が、動画構成画像１２００であった場合を考える。係る場合において、動画構成画像１２００に含まれる人物１２０６の移動方向は矢印１２０４の方向であり、当該移動方向に存在する動画構成画像１２００内の領域の面積は、当該移動方向とは反対の方向に存在する動画構成画像１２００内の領域の面積よりも小さい。したがって、係る場合においては、トリミング画像生成部７６は、人物１２０６の移動方向の動画構成画像１２００内の領域の面積が当該移動方向の反対の動画構成画像１２００内の領域の面積よりも大きくなるように人物１２０６をトリミングする。例えば、動画構成画像１２１０に示す配置となるように人物１２０６をトリミングしてよい。

更に、トリミング画像生成部７６は、移動速度算出部６０が算出したオブジェクトの移動速度がより大きい場合に、移動方向特定部４０が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、移動方向特定部４０が特定した移動方向とは反対の方向に存在する動画構成画像内の領域の面積よりも大きくなるように、動画構成画像に含まれるオブジェクトをトリミングしてトリミング画像を生成してもよい。例えば、動画構成画像１２００に含まれる人物１２０６の移動速度が、動画構成画像１２１０に含まれる人物１２１６の移動速度よりも大きい場合には、トリミング画像生成部７６は、人物１２０６の矢印１２０４で示す移動方向に存在する動画構成画像１２００内の領域１２０２の面積が、人物１２０６の矢印１２０４で示す移動方向とは反対方向に存在する動画構成画像１２００内の領域の面積よりも大きくなるように、人物１２０６をトリミングしてよい。

本実施形態に係る画像出力装置１０によれば、画像選択部３２において、オブジェクトの移動方向に存在する動画構成画像内の領域の面積がオブジェクトの移動方向とは反対に存在する動画構成画像内の領域の面積よりも大きい動画構成画像を自動的に選択できる。また、画像選択部３２が係る動画構成画像を選択できなかった場合においては、トリミング画像生成部７６がオブジェクトの移動方向に存在する動画構成画像内の領域の面積がオブジェクトの移動方向とは反対に存在する動画構成画像内の領域の面積よりも大きい動画構成画像を自動的に生成できる。これにより、オブジェクトの移動方向には広い空間を配置できるので、鑑賞者は、違和感を抱くことなく当該動画構成画像がレイアウトされたアルバム等を観賞できる。

図１３は、本実施形態に係る画像回転処理部７２およびトリミング部７０の処理の一例を示す。テンプレート１３５０に含まれる画像配置位置に対応する画像配置枠１３５４に配置されるべき動画構成画像の合成情報として、動画構成画像に含まれる人物の移動方向が対応づけられている場合を考える。すなわち、方向１３５２に、人物の移動方向が向いている動画構成画像が配置されるように、画像配置枠１３５４に人物の移動方向に関する合成情報が対応づけられている場合を考える。

ここで動画構成画像抽出部３０が、方向１３０２に移動している人物が含まれる動画構成画像１３００しか抽出できなかった場合には、画像回転処理部７２は、テンプレート１３５０の画像配置枠１３５４に対応づけられている移動方向を示す情報、すなわち方向１３５２と動画構成画像１３００に含まれる人物の移動方向１３０２とが一致するように、動画構成画像１３００を動画構成画像１３００の面の水平方向に沿って回転させる。続いて、トリミング部７０は、画像回転処理部７２が回転した動画構成画像１３１０から、画像配置枠１３５４の形状の画像１３１４をトリミングする。そしてトリミング部７０は、トリミングした画像１３１４を画像レイアウト部５０に供給して、画像レイアウト部５０は、画像１３１４を画像配置枠１３５４にレイアウトする。

本実施形態に係る画像出力装置１０によれば、テンプレートが含む画像配置位置に対応づけられている合成情報と一致する動画構成画像がない場合においても、自動的に動画構成画像を回転させて合成情報と一致させることができる。これにより、ユーザが合成情報と一致する動画構成画像を含む動画を撮像し直したり、ユーザが手作業で合成情報と一致する動画構成画像となるように動画構成画像に対して画像処理をすることがなくなるので、作業の手間を大幅に軽減できる。

図１４は、本実施形態に係る変換画像生成部７４およびトリミング部７０の処理の一例を示す。テンプレート１４５０に含まれる画像配置位置に対応する画像配置枠１４５４に配置されるべき動画構成画像の合成情報として、オブジェクトの移動方向が対応づけられている場合を考える。すなわち、画像配置枠１４５４に合成情報として方向１４５２が対応づけられている場合を考える。

ここで動画構成画像抽出部３０が、移動方向１４０２を有する人物が含まれる動画構成画像１４００しか抽出できなかった場合を考える。係る場合において、変換画像生成部７４は、テンプレート１４５０の画像配置枠１４５４に対応づけられている方向１４５２と動画構成画像１４００に含まれる人物の移動方向１４０２とが一致するように、動画構成画像１４００に対して幾何学的な変換を施した画像１４１０を生成する。すなわち、変換画像生成部７４は、移動方向１４０２が方向１４１２と一致するように、動画構成画像１４００に対して幾何学的な変換を施す。幾何学的な変換は、例えば、アフィン変換であってよい。そして、トリミング部７０は、変換画像生成部７４が変形した画像１４１０を、画像配置枠１４５４の形状にトリミングする。続いて、トリミング部７０がトリミングした画像１４１４を、画像レイアウト部５０が画像配置枠１４５４にレイアウトする。

本実施形態に係る画像出力装置１０によれば、テンプレートの画像配置位置に対応づけられている合成情報と一致する動画構成画像が存在しない場合に、動画構成画像に対して幾何学的な変換を施した画像を生成して画像配置位置にレイアウトできるので、画像配置位置に配置すべき動画構成画像の合成情報に対応する動画構成画像を動画構成画像抽出部３０が抽出できなかった場合でも、ユーザが改めて所望の動画構成画像を取得するために動画の撮像および画像の作成をすることなく、自動的にテンプレートの画像配置位置に予め対応づけられている合成情報と一致する情報を有する画像をレイアウトできる。

図１５は、本実施形態に係る移動方向決定部４５の処理の一例を示す。まず、テンプレート格納部２５は、動画構成画像が配置されるべき少なくとも一つの画像配置位置が予め定められた出力領域のテンプレートを格納している。具体的には、テンプレート格納部２５は、第一の動画構成画像が配置されるべき第一の画像配置位置、および第二の動画構成画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納していてよい。そして、第一画像選択部３４は、第一の画像配置位置に配置されるべき第一の動画構成画像を選択する。続いて、移動方向決定部４５は、第一画像選択部３４が選択した第一の動画構成画像に含まれるオブジェクトの移動方向に応じて、第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定する。また、移動方向決定部４５は、第一画像選択部３４が選択した第一の動画構成画像に含まれるオブジェクトの移動方向、およびテンプレート格納部２５が格納しているオブジェクトの相対的な移動方向に基づいて、第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定してもよい。

例えば、テンプレート１８００において、画像配置位置１８０２に第一画像選択部３４が選択した動画構成画像がレイアウトされ、当該動画構成画像に含まれるオブジェクトの移動方向が方向１８１０である場合を考える。係る場合において、移動方向決定部４５は、方向１８１０とは反対方向を向く動画構成画像が画像配置位置１８０４等に配置されるように、画像配置位置１８０４等に方向１８１２等を対応づけてよい。また、テンプレート１８５０において、画像配置位置１８５２に第一画像選択部３４が選択した動画構成画像がレイアウトされ、当該動画構成画像に含まれるオブジェクトの移動方向が方向１８６０である場合を考える。係る場合において、移動方向決定部４５は、方向１８６０と同一方向を向く動画構成画像が画像配置位置１８５４等に配置されるように、画像配置位置１８５４等に方向１８６２等を対応づけてよい。なお、移動方向決定部４５は、テンプレートに複数の画像配置位置が含まれる場合には、画像配置位置ごとに異なる移動方向をそれぞれ対応づけてもよい。そして、第二画像選択部３６は、移動方向決定部４５が決定した移動方向に移動するオブジェクトを含む第二の動画構成画像を動画構成画像抽出部３０が抽出した動画構成画像の中から選択する。そして、画像レイアウト部５０は、第二画像選択部３６が選択した動画構成画像を、画像配置位置にそれぞれレイアウトする。

本実施形態に係る画像出力装置１０によれば、第一の画像配置枠に配置された動画構成画像に含まれるオブジェクトの移動方向に応じて、第二の画像配置枠に配置すべき動画構成画像に含まれるオブジェクトの移動方向を決定できるので、ユーザ自身が第二の動画構成画像を選択することなく、自動的に適切な動画構成画像がレイアウトされた画像を出力できる。

図１６は、本実施形態に係る画像出力装置１０のハードウェア構成の一例を示す。本実施形態に係る画像出力装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワーク１２０を介して他の装置と通信する。ハードディスクドライブ１５４０は、画像出力装置１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像出力装置１０が起動時に実行するブート・プログラム、画像出力装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像出力プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像出力プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像出力装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。

画像出力装置１０にインストールされて実行される画像出力プログラムは、ＣＰＵ１５０５等に働きかけて、画像出力装置１０を、図１から図１５にかけて説明した画像格納部２０、テンプレート格納部２５、動画構成画像抽出部３０、画像選択部３２、第一画像選択部３４、第二画像選択部３６、移動方向特定部４０、移動方向決定部４５、画像レイアウト部５０、移動速度算出部６０、トリミング部７０、画像回転処理部７２、変換画像生成部７４、トリミング画像生成部７６、画像出力部８０、表示部９０、および印刷部１００として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

画像出力装置１０の概念図である。画像出力装置１０の機能構成を示すブロック図である。移動速度算出部６０における移動速度算出方法を示す図である。画像レイアウト部５０における画像のレイアウトを示す図である。画像レイアウト部５０における画像のレイアウトを示す図である。画像レイアウト部５０における画像のレイアウトを示す図である。画像レイアウト部５０における画像のレイアウトを示す図である。画像レイアウト部５０における画像のレイアウトを示す図である。トリミング部７０および画像レイアウト部５０の処理を示す図である。画像出力装置１０の機能構成を示すブロック図である。テンプレート１１００を示す図である。画像選択部３２およびトリミング画像生成部７６の処理を示す図である。画像回転処理部７２およびトリミング部７０の処理を示す図である。変換画像生成部７４およびトリミング部７０の処理を示す図である。移動方向決定部４５の処理を示す図である。画像出力装置１０のハードウェア構成を示すブロック図である。

符号の説明

１０画像出力装置
２０画像格納部
２５テンプレート格納部
３０動画構成画像抽出部
３２画像選択部
３４第一画像選択部
３６第二画像選択部
４０移動方向特定部
４５移動方向決定部
５０画像レイアウト部
６０移動速度算出部
７０トリミング部
７２画像回転処理部
７４変換画像生成部
７６トリミング画像生成部
８０画像出力部
９０表示部
１００印刷部
１１０撮像装置
１２０ネットワーク
２１０、２２０、３１０、３２０動画構成画像
２１２被写体
２１４背景
２３０グラフ
２３２、２３４ピーク
２３６背景に対する移動量
３００、５００、６００アルバム
４００紙面
４１０、４２０動画構成画像
５１０、５２０、５３０、５４０動画構成画像
６１０、６２０動画構成画像
７００、８５０出力領域
７１０、７２０、７３０、７４０動画構成画像
８００、８０２、８０４、８０６動画構成画像
８１０、８１２部分画像
８２０、８４０被写体
１１００テンプレート
１１１０、１１２０、１３５４、１４５４画像配置枠
１１１２、１１２２合成情報
１２００、１２１０、１３００、１３１０動画構成画像
１２０２、１２１２領域
１２０４、１２１４矢印
１２０６、１２１６人物
１３０２、１３１２移動方向
１３１４、１４１０、１４１４画像
１３５０、１４５０テンプレート
１３５２、１４１２、１４５２方向
１４００動画構成画像
１４０２移動方向
１５０５ＣＰＵ
１５１０ＲＯＭ
１５２０ＲＡＭ
１５３０通信インターフェイス
１５４０ハードディスクドライブ
１５５０フレキシブルディスク・ドライブ
１５６０ＣＤ−ＲＯＭドライブ
１５７０入出力チップ
１５７５グラフィック・コントローラ
１５８０表示装置
１５８２ホスト・コントローラ
１５８４入出力コントローラ
１５９０フレキシブルディスク
１５９５ＣＤ−ＲＯＭ
１８００、１８５０テンプレート
１８０２、１８５２、１８０４、１８０６画像配置位置
１８１０、１８６０、１８１２、１８１４方向
１８０８、１８５４、１８５６、１８５８画像配置位置
１８１６、１８６２、１８６４、１８６６方向

Claims

複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出部と、
前記動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する移動方向特定部と、
画像配置位置と当該画像配置位置に配置されるべき動画構成画像に含まれるオブジェクトの移動方向とが予め定められた出力領域のテンプレートを格納しているテンプレート格納部と、
前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの移動方向と、前記移動方向特定部が特定したオブジェクトの移動方向とが一致する動画構成画像を前記動画構成画像抽出部が抽出した動画構成画像から選択する画像選択部と、
前記画像選択部が選択した動画構成画像をテンプレートの画像配置位置にレイアウトする画像レイアウト部と
を備える画像出力装置。
前記画像選択部は、前記移動方向特定部が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、前記移動方向特定部が特定した方向とは反対の方向に存在する動画構成画像内の領域の面積より大きい動画構成画像を連続する複数の動画構成画像から選択する
請求項１に記載の画像出力装置。
前記移動方向特定部が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、前記移動方向特定部が特定したオブジェクトの移動方向とは反対の方向に存在する動画構成画像内の領域の面積よりも大きくなるように、前記画像選択部が選択した動画構成画像に含まれるオブジェクトをトリミングしてトリミング画像を生成するトリミング画像生成部を更に備え、
前記画像レイアウト部は、前記トリミング画像生成部が生成したトリミング画像をテンプレートの画像配置位置にレイアウトする
請求項１または２に記載の画像出力装置。
前記移動方向特定部が特定したオブジェクトの移動方向と、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの移動方向とが一致する動画構成画像が存在しない場合に、前記移動方向特定部が特定したオブジェクトの移動方向と前記テンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられているオブジェクトの移動方向とが一致するように、動画構成画像に対して幾何学的な変換を施した画像を生成する変換画像生成部を更に備え、
前記画像レイアウト部は、前記変換画像生成部が生成した画像を画像配置位置にレイアウトする
請求項１から請求項３のいずれか1つに記載の画像出力装置。
前記変換画像生成部が生成した画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を更に備え、
前記画像レイアウト部は、前記トリミング部がトリミングした画像を画像配置位置にレイアウトする
請求項４に記載の画像出力装置。
前記移動方向特定部が特定したオブジェクトの移動方向と、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている移動方向とが一致する動画構成画像が存在しない場合に、前記移動方向特定部が特定したオブジェクトの移動方向と前記テンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられている移動方向とが一致するように、動画構成画像を動画構成画像の面の水平方向に沿って回転させる画像回転処理部を更に備え、
前記画像レイアウト部は、前記画像回転処理部が回転させた動画構成画像をテンプレートの画像配置位置にレイアウトする
請求項１から請求項５のいずれか1つに記載の画像出力装置。
前記画像回転処理部が回転させた動画構成画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を更に備え、
前記画像レイアウト部は、前記トリミング部がトリミングした画像を画像配置位置にレイアウトする
請求項６に記載の画像出力装置。
前記動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの動画における移動速度を、前記動画構成画像抽出部が抽出した動画構成画像に連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて算出する移動速度算出部と、
前記画像選択部は、前記移動速度算出部が算出したオブジェクトの移動速度がより大きい場合に、前記移動方向特定部が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積がより大きい動画構成画像を選択する
請求項１から請求項７のいずれか1つに記載の画像出力装置。
前記移動速度算出部が算出したオブジェクトの移動速度がより大きい場合に、前記移動方向特定部が特定したオブジェクトの移動方向に存在する動画構成画像内の領域の面積が、前記移動方向特定部が特定したオブジェクトの移動方向とは反対の方向に存在する動画構成画像内の領域の面積よりも大きくなるように、前記画像選択部が選択した動画構成画像に含まれるオブジェクトをトリミングしてトリミング画像を生成するトリミング画像生成部を更に備え、
前記画像レイアウト部は、前記トリミング画像生成部が生成したトリミング画像をテンプレートの画像配置位置にレイアウトする
請求項８に記載の画像出力装置。
複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出部と、
前記動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する移動方向特定部と、
第一の動画構成画像が配置されるべき第一の画像配置位置、および第二の動画構成画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部と、
前記第一の画像配置位置に配置されるべき第一の動画構成画像を選択する第一画像選択部と、
前記第一画像選択部が選択した第一の動画構成画像に含まれるオブジェクトの移動方向に応じて、前記第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定する移動方向決定部と、
前記移動方向決定部が決定した移動方向のオブジェクトを含む第二の動画構成画像を選択する第二画像選択部と、
前記第一画像選択部が選択した第一の動画構成画像を前記第一の画像配置位置にレイアウトし、前記第二画像選択部が選択した第二の動画構成画像を前記第二の画像配置位置にレイアウトする画像レイアウト部と
を備える画像出力装置。
前記テンプレート格納部は、前記第二の画像配置位置と、前記第一の動画構成画像に含まれるオブジェクトの移動方向に対する相対的なオブジェクトの移動方向とが予め定められた出力領域のテンプレートを格納し、
前記移動方向決定部は、前記第一画像選択部が選択した第一の動画構成画像に含まれるオブジェクトの移動方向、および前記テンプレート格納部が格納しているオブジェクトの相対的な移動方向に基づいて、前記第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定する
請求項１０に記載の画像出力装置。
前記画像レイアウト部は、前記移動方向特定部が特定したオブジェクトの移動方向が、出力領域の中心方向を向くように、前記動画構成画像抽出部が抽出した動画構成画像をレイアウトする
請求項１から請求項１１のいずれか1つに記載の画像出力装置。
前記動画構成画像抽出部は、動画から連続する複数の動画構成画像を抽出し、
前記画像レイアウト部は、前記動画構成画像抽出部が抽出した複数の動画構成画像を、前記移動方向特定部が特定した移動方向に沿って時系列にレイアウトする
請求項１から請求項１２のいずれか１つに記載の画像出力装置。
前記動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの動画における移動速度を、前記動画構成画像抽出部が抽出した動画構成画像に連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて算出する移動速度算出部と、
前記動画構成画像抽出部が抽出した動画構成画像から、前記移動速度算出部が算出した移動速度が予め定められた基準速度より大きい移動速度のオブジェクトを含む部分画像をトリミングするトリミング部と
をさらに備え、
前記画像レイアウト部は、前記移動方向特定部が特定したオブジェクトの移動方向に基づいて、前記トリミング部がトリミングした部分画像を出力領域内にレイアウトする
請求項１から請求項１３のいずれか１つに記載の画像出力装置。
前記トリミング部は、前記動画構成画像抽出部が抽出した動画構成画像から、前記移動速度算出部が算出した移動速度が最も大きいオブジェクトを含む部分画像をトリミングする
請求項１４に記載の画像出力装置。
前記トリミング部は、前記動画構成画像抽出部が抽出した動画構成画像から、前記移動速度算出部が算出した移動速度が予め定められた基準速度より大きい移動速度のオブジェクトのうち、動画構成画像における面積が最も大きいオブジェクトを含む部分画像をトリミングする
請求項１４に記載の画像出力装置。
前記画像レイアウト部によって出力領域内にレイアウトされた動画構成画像を出力する画像出力部をさらに備える
請求項１から請求項１６のいずれか１つに記載の画像出力装置。
前記画像出力部は、前記画像レイアウト部にレイアウトされた動画構成画像を表示する表示部を有し、
前記画像レイアウト部は、前記移動方向特定部が特定したオブジェクトの移動方向に基づいて、前記表示部の表示画面の出力領域内に動画構成画像をレイアウトする
請求項１７に記載の画像出力装置。
前記画像出力部は、前記画像レイアウト部にレイアウトされた動画構成画像を印刷する印刷部を有し、
前記画像レイアウト部は、前記移動方向特定部が特定したオブジェクトの移動方向に基づいて、前記印刷部の印刷媒体の出力領域内に動画構成画像をレイアウトする
請求項１７または請求項１８に記載の画像出力装置。
ＲＡＭに読み出されたプログラムをＣＰＵが実行することにより、前記ＣＰＵを有するコンピュータが、画像を出力する画像出力方法であって、
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出段階と、
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記動画構成画像抽出段階において抽出された動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する移動方向特定段階と、
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、画像配置位置と当該画像配置位置に配置されるべき動画構成画像に含まれるオブジェクトの移動方向とが予め定められた出力領域のテンプレートが含む画像配置位置に対応づけられているオブジェクトの移動方向と、前記移動方向特定段階において特定されたオブジェクトの移動方向とが一致する動画構成画像を前記動画構成画像抽出段階において抽出された動画構成画像から選択する画像選択段階と
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記画像選択段階において選択された動画構成画像をテンプレートの画像配置位置にレイアウトする画像レイアウト段階と
を備える画像出力方法。
画像を出力する画像出力装置用の画像出力プログラムであって、前記画像出力装置を、
複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出部と、
前記動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する移動方向特定部と、
画像配置位置と当該画像配置位置に配置されるべき動画構成画像に含まれるオブジェクトの移動方向とが予め定められた出力領域のテンプレートを格納しているテンプレート格納部と、
前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの移動方向と、前記移動方向特定部が特定したオブジェクトの移動方向とが一致する動画構成画像を前記動画構成画像抽出部が抽出した動画構成画像から選択する画像選択部と、
前記画像選択部が選択した動画構成画像をテンプレートの画像配置位置にレイアウトする画像レイアウト部
として機能させる画像出力プログラム。
ＲＡＭに読み出されたプログラムをＣＰＵが実行することにより、前記ＣＰＵを有するコンピュータが、画像を出力する画像出力方法であって、
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出段階と、
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記動画構成画像抽出段階において抽出された動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する移動方向特定段階と、
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、第一の動画構成画像が配置されるべき第一の画像配置位置、および第二の動画構成画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートに含まれる前記第一の画像配置位置に配置されるべき第一の動画構成画像を選択する第一画像選択段階と、
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記第一画像選択段階において選択された第一の動画構成画像に含まれるオブジェクトの移動方向に応じて、前記第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定する移動方向決定段階と、
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記移動方向決定段階において決定された移動方向のオブジェクトを含む第二の動画構成画像を選択する第二画像選択段階と、
前記ＣＰＵが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記第一画像選択段階において選択された第一の動画構成画像を前記第一の画像配置位置にレイアウトし、前記第二画像選択段階において選択された第二の動画構成画像を前記第二の画像配置位置にレイアウトする画像レイアウト段階と
を備える画像出力方法。
画像を出力する画像出力装置用の画像出力プログラムであって、前記画像出力装置を、
複数の動画構成画像を有する動画から動画構成画像を抽出する動画構成画像抽出部と、
前記動画構成画像抽出部が抽出した動画構成画像に含まれるオブジェクトの、動画における移動方向を、連続する複数の動画構成画像におけるオブジェクトの位置の変化に基づいて特定する移動方向特定部と、
第一の動画構成画像が配置されるべき第一の画像配置位置、および第二の動画構成画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部と、
前記第一の画像配置位置に配置されるべき第一の動画構成画像を選択する第一画像選択部と、
前記第一画像選択部が選択した第一の動画構成画像に含まれるオブジェクトの移動方向に応じて、前記第二の画像配置位置に配置されるべき第二の動画構成画像に含まれるオブジェクトの移動方向を決定する移動方向決定部と、
前記移動方向決定部が決定した移動方向のオブジェクトを含む第二の動画構成画像を選択する第二画像選択部と、
前記第一画像選択部が選択した第一の動画構成画像を前記第一の画像配置位置にレイアウトし、前記第二画像選択部が選択した第二の動画構成画像を前記第二の画像配置位置にレイアウトする画像レイアウト部
として機能させる画像出力プログラム。