JP6765978B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関し、より詳細には、フォトコンテンツを作成する情報処理装置、情報処理方法、及びプログラムに関する。

従来、フォトアルバムを作成するソフトウェア（以降、フォトアルバム作成アプリケーションという）がある。このフォトアルバム作成アプリケーションでは、ユーザによりアルバムに掲載したい写真を含むフォルダ、又は複数の写真が選択されると、それらの写真を解析した上で、フォトアルバムに掲載する写真を決定し、自動でレイアウト処理を施す。このような、ユーザにより選択された複数の写真からフォトアルバムを自動で生成する機能は自動レイアウト機能と呼ばれており、ユーザがアルバムを一からすべて手動で作成する必要がないため、多くのアルバム作成ソフトで採用されている。

また、ユーザは、このフォトアルバム作成アプリケーションの自動レイアウト機能により作成されたフォトアルバムで、満足のいかない部分があると、個別に編集することができる。例えば、フォトアルバムのある写真スロットに設定された写真を異なる写真に変更したい場合、ユーザは、対象の写真スロットを選択した上で、写真を手動で入れ替える作業を行う。そして、その手動で写真を入れ替える際に、従来のフォトアルバム作成アプリケーションでは、ユーザが事前に選択した写真の中からおすすめの写真を候補画像として提示してくれるものがある（例えば、特許文献１）。この特許文献１では、フォトアルバムを作成するにあたり、ユーザが指定する画像をグループに分け、そのグループとフォトアルバムのページを対応付けており、画像スロットの画像を入れ替える際、そのページに対応するグループから候補画像を表示している。

特開２０１３−３３４５３号公報

しかしながら、特許文献１では、ユーザが事前に選択した画像の中から画像スロットの画像を入れ替えており、ユーザが事前に選択した画像以外の任意の画像をアルバムに設定することに関しては言及されていない。また、任意の画像を画像スロットに入れ替えると、アルバムに適さない解像度の小さい画像も選択されてしまうことがある。

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、フォトコンテンツの作成後に、事前に選択した画像以外の画像をフォトコンテンツに選択できるようにすることである。

上記目的を達成するために、本発明の情報処理装置は、フォトコンテンツを作成する情報処理装置であって、ユーザにより事前に選択された画像群から画像スロットに適合しない画像を除外する除外手段と、前記除外手段により除外されずに残った画像を、前記フォトコンテンツの対応する画像スロットに自動でレイアウトする自動レイアウト処理を実行する自動レイアウト手段と、前記自動レイアウト手段によりレイアウトされた画像から入替対象として選択された画像と入れ替える新規画像を取得する画像取得手段と、前記自動レイアウト処理が実行された後に、前記除外手段により除外されずに残った画像から前記新規画像が取得された場合、前記入替対象として選択された画像の画像スロットに適合するか否かの判定は実行されず、前記自動レイアウト処理が実行された後に、前記ユーザにより事前に選択された画像以外の画像から前記新規画像が取得された場合、前記入替対象として選択された画像の画像スロットに適合するか否かを判定する画像判定手段とを備えることを特徴とする。

本発明により、フォトコンテンツの作成後に、事前に選択した画像以外の画像をフォトアルバムに選択することができる。

フォトアルバム作成／注文システムの構成を示す図である。 ＰＣのハードウェア構成を示す図である。 ＰＣのソフトウェアのモジュール構成を示す図である。 フォトアルバムを作成／編集する画面の例である。 フォトアルバム作成アプリケーションの機能ブロック図である。 自動レイアウトの処理の流れを示すフローチャートである。 画像解析情報を示す図である。 サブシーンに分割する処理を示す図である。 各々のシーンにおける、画像特徴量の平均値と標準偏差値を示す図である。 画像得点化部における得点化に関する処理を説明する図である。 シーン画像群からレイアウトする画像を選択する処理を説明する図である。 画像のレイアウトに用いるテンプレート群を示す図である。 写真の入れ替えに関する例を示した図である。 写真の入れ替えに関する例を示した図である。 写真に入れ替えに関する例を示した図である。 写真の入れ替えに関する例を示した図である。 他の写真に入れ替えることができない例を示した図である。 写真を入れ替える処理の流れを示したフローチャートである。 フォトアルバム作成アプリケーションの処理の流れを示したフローチャートである。 カメラで撮影した写真を、写真スロットに設定する場合を例示したものである。 画像読み取り装置で読み取られた画像を、写真スロットに設定する場合を例示したものである。

以下、添付の図面を参照して、本発明の好適な実施の形態に関して、詳細に説明する。なお、以下の実施の形態は、特許請求の範囲に係る本発明を限定するものでなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

図１は、フォトアルバム作成／注文システムの構成を示す図である。フォトアルバム作成／注文システムは、情報処理装置１及び２がインターネット等の所定のネットワークで接続されることで構成される。情報処理装置１及び２は、例えば、一般的なパーソナルコンピュータ又はサーバ（以下、ＰＣと略す場合がある）等で構成される。また、ＰＣ１及び２には、ＯＳ（Operating System）として、Ｗｉｎｄｏｗｓ８（登録商標）又はＷｉｎｄｏｗｓ Ｓｅｒｖｅｒ ２０１２（登録商標）と同等のＯＳがインストールされている。

ＰＣ１は、主にユーザ（例えば、顧客等）の自宅に設置され、その自宅に構築された一般家庭用のホームネットワーク（図１に示される、Ｅｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク４）に接続される。ＰＣ１は、フォトアルバム作成アプリケーション８０とＷｅｂブラウザアプリケーション１４３を備える。

フォトアルバム作成アプリケーション８０は、フォトアルバムを作成するためのアプリケーションであり、例えば、Ｗｉｎｄｏｗｓ用の実行可能形式のファイル（即ち、拡張子が「.exe」で示されるファイル）で構成される。Ｗｅｂブラウザアプリケーション１４３は、ＷＷＷ（World Wide Web）を利用する際に用いられるブラウザである。

ＰＣ２は、社内（図１では、ＡＢＣ社の社内）に設置され、その社内に構築されたオフィスネットワーク（図１に示される、Ｅｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク８）に接続される。ＰＣ２は、Ｗｅｂサーバの機能を備えるＷｅｂサーバ９を含み、インターネットを介してＡＢＣ社のＷｅｂサイト（即ち、ショッピングサイト１１）を提供している。ショッピングサイト１１は、ＡＢＣ社がユーザ向けにサービスを提供しているショッピングサイトであり、ユーザはショッピングサイト１１を利用してフォトアルバムを注文することができる。

図２は、ＰＣ１のハードウェア構成を示す図である。ＰＣ１は、ＲＡＭ２０１、ＨＤＤ２０２、ＫＢＤ２０３、ＣＰＵ２０４、ＬＣＤ２０５、ＮＢ２０６を備える。ＲＡＭ（Random Access Memory）２０１は、ＣＰＵ２０４のメインメモリであり、ワークエリア等として機能する。ＨＤＤ（Hard Disk Drive）２０２は、各種データ等を記憶する記憶装置（内部記憶手段）である。なお、各種データ等は、可搬性ＣＤ−ＲＯＭ又は内部据付のＲＯＭ等に記憶することもできる。ＫＢＤ（keyboard）２０３は、各種設定を入力するための入力装置である。

ＣＰＵ（Central Processing Unit）２０４は、ＰＣ１全体を制御する中央演算装置であり、ＯＳやアプリケーションプログラム等の各種プログラムを実行する。具体的には、ＣＰＵ２０４は、ＨＤＤ２０２に記憶されたフォトアルバム作成アプリケーション８０、Ｗｅｂブラウザアプリケーション１４３、図３に示す各モジュール（ソフトウェア）を必要に応じてＲＡＭ２０１に読み出して実行する。また、これにより、ＣＰＵ２０４は、フォトアルバム作成アプリケーション８０、Ｗｅｂブラウザアプリケーション１４３、図３に示す各モジュール（ソフトウェア）の機能を実現する。

ＬＣＤ（Liquid Crystal Display）２０５は、表示用のディスプレイ装置（表示部）である。ＮＢ（Network Board）２０６は、ネットワークに接続するための拡張ボードである。なお、ＰＣ１において、ＰＣ１の各部２０１から２０６は、バス２０７で相互に接続される。

図３は、ＰＣ１のソフトウェアのモジュール構成を示す図である。即ち、ＰＣ１は、図３に示すように、モジュール３０１から３０９を含む。モジュール３０１は、アプリケーションモジュールであり、例えば、フォトアルバム作成アプリケーション８０、Ｗｅｂブラウザアプリケーション１４３等を含んで構成される。

モジュール３０２は、ＡＰＩ／ＤＤＩインタフェースであり、Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｉｎｇ Ｉｎｔｅｒｆａｃｅ（ＡＰＩ）及びＤｅｖｉｃｅ Ｄｒｉｖｅｒ Ｉｎｔｅｒｆａｃｅ（ＤＤＩ）を含んで構成される。モジュール３０３は、デバイスドライバとしてのモジュールであり、ＯＳに標準で同梱されている標準ドライバ３０４及びＩｎｄｅｐｅｎｄｅｎｔＨａｒｄｗａｒｅＶｅｎｄｏｒ（ＩＨＶ）から提供されるＩＨＶ製ドライバ３０５を含んで構成される。

モジュール３０６は、ネットワークのプラグアンドプレイを制御するＰｎＰ−Ｘ制御モジュールである。なお、ＰｎＰ−Ｘとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてＷｉｎｄｏｗｓ８ ＯＳに標準搭載されている機能である「Ｐｌｕｇ ａｎｄ Ｐｌａｙ Ｅｘｔｅｎｓｉｏｎｓ」の略称である。

モジュール３０７は、ネットワーク上のデバイス検索の仕組みを提供するＷＳＤ（Web Service ｏｎ Devices）を制御するＷＳＤ制御モジュールである。モジュール３０８は、ＩＰ Ｎｅｔｗｏｒｋを制御するＩＰ Ｎｅｔｗｏｒｋ制御モジュールである。モジュール３０９は、Ｅｔｈｅｒｎｅｔを制御するＥｔｈｅｒｎｅｔ制御モジュールである。

図４は、フォトアルバム作成アプリケーション８０でフォトアルバムを作成／編集する画面の例である。図４において、表示領域４０１はフォトアルバム作成アプリケーション８０の表示領域、表示領域４０２はフォトアルバムの各ページのサムネイル表示領域、表示領域４０３はフォトアルバムの表示領域である。

また、図４において、ユーザが、表示領域４０２において、所望のサムネイルを選択すると、その選択されたサムネイル（即ち、該当するページ）が選択状態４０４になる。図４では、３〜４ページが選択状態４０４である例を示しており、ユーザにより３〜４ページが選択されると、３〜４ページの写真のレイアウト結果（つまり、フォトアルバムの見開きページ）が表示領域４０３に表示される。ユーザは、表示領域４０３上で編集操作を行うことができる。

写真スロット４０５は、本発明の画像スロットに対応し、写真を割り当てるためのスロットである。テキストボックス４０６は、テキストを入力するための領域である。ボタン４０７は、作成／編集したフォトアルバムをカートに入れるためのボタンである。ユーザがボタン４０７を選択すると、作成／編集したフォトアルバムがインターネット経由でショッピングカートにアップロードされる。なお、本実施形態では、スロット４０５に写真がレイアウトされたレイアウト結果として図４のような画面が表示される。

図５は、フォトアルバム作成アプリケーションの機能ブロック図である。なお、図５において、図５（ａ）はフォトアルバム作成アプリケーション８０全体の機能ブロック図として、また、図５（ｂ）はフォトアルバム作成アプリケーション８０を構成する自動レイアウト処理部９００の機能ブロック図として示される。

先ず、図５（ａ）のフォトアルバム作成アプリケーション８０全体の機能ブロック図について説明する。アルバムデータ生成部８００は、ユーザにより選択された画像（写真）に従って、フォトアルバムをデータとして生成する。アルバムデータ生成部８００は、ユーザにより選択された画像がフォトアルバムを生成する上で適切な画像であるか否かを判定する画像判定部８１１と、ユーザにより選択された画像を所定のテンプレートにレイアウトするレイアウト処理部８１２を有する。なお、レイアウト処理部８１２には、自動で画像をレイアウトする自動レイアウト処理部９００がある。

デバイス制御部８２０は、前述の図３に示すモジュールと一部、連携することで、各種インタフェースを介して接続される、メモリ、又はハードディスク装置等の外部記憶装置、画像読み取り装置等との間で、データの入出力等の通信を制御する。例えば、デバイス制御部８２０は、画像読み取り装置における読み取り設定等を調整するように制御する。ネットワーク制御部８３０は、デバイス制御部８２０と同様に前述の図３に示すモジュールと一部、連携することで、ネットワークに接続された他の機器との通信制御処理を実行する。

カメラ制御部８４０は、ＰＣ１に内蔵又は接続されているカメラを制御し、撮影モードを調整した上で撮影処理等を実行する。記憶制御部８５０は、ＰＣ１のＨＤＤ２０２に各種データを記憶するように制御する（例えば、外部記憶装置に記憶された画像データを複製して、記憶するように制御する）。表示制御部８６０は、ＰＣ１のディスプレイ装置における表示制御を行う。

次に、図５（ｂ）のフォトアルバム作成アプリケーション８０の自動レイアウト処理部９００の機能ブロック図について説明する。図５（ｂ）において、アルバム作成条件指定部９０１は、後述のＵＩ操作に応じたアルバム作成条件を自動レイアウト処理部９００に指定する。画像取得部９０２は、アルバム作成条件指定部９０１から指定された画像群を、例えば、ＨＤＤ２０２等から取得する。画像変換部９０３は、以降の処理に用いられる画像データを所望の画素数や色情報に変換する。なお、本実施形態において、画像変換部９０３は、短辺画素の画素数とｓＲＧＢの色情報の解析画像に変換する。

画像解析部９０４は、解析画像から後述の画像特徴量の取得、顔検出、表情認識、個人認識等を実行する。また、画像解析部９０４は、ＨＤＤ２０２から取得した画像に付随するデータ、例えば、Ｅｘｉｆ等の情報から撮影日時を取得する。画像分類部９０５は、画像群に対して撮影日時情報や枚数、検出した顔情報を用いて後述のシーン分割、シーン分類を実行する。なお、シーンとは、例えば、旅行や日常、結婚式等の撮影シーンのことである。

主人公情報入力部９０６は、アルバム作成条件指定部９０１から指定された主人公のＩＤ（識別情報）を画像得点化部９０７に入力する。画像得点化部９０７は、取得された各画像に対して、レイアウトに適した画像が高得点になるように得点付けを実行する。なお、画像得点化部９０７は、得点付けを実行する上で、画像解析部９０４からの情報、画像分類部９０５からの情報を用いる。また、画像得点化部９０７は、主人公情報入力部９０６から入力された主人公ＩＤが含まれる画像に関して、その画像の得点を加点できる構成となっている。

見開き数入力部９０８は、アルバム作成条件指定部９０１から指定されたアルバムの見開き数を見開き割当部９０９に入力する。見開き割当部９０９は、画像群を分割して各見開きに割り当てる。見開き割当部９０９は、見開き数入力部９０８より入力された見開き数に応じて画像群を分割し、各見開きに画像群の一部を割り当てる。画像選択部９１０は、見開き割当部９０９により各見開きに割り当てられた画像群の一部から、画像得点化部９０７で得点付けした得点を参考にして、アルバムへの掲載を予定する画像を選択する。例えば、画像選択部９１０は、得点の高い画像を優先的に選択する。テンプレート入力部９１１は、アルバム作成条件指定部９０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部９１２に入力する。画像レイアウト部９１２は、画像選択部９１０により選択された画像に適したテンプレートをテンプレート入力部９１１から入力された複数のテンプレートから選択し、画像のレイアウトを決定する。

画像補正条件入力部９１３は、アルバム作成条件指定部９０１により指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部９１４に入力する。画像補正部９１４は、画像補正条件入力部９１３より入力された画像補正条件がＯＮである場合、画像変換部９０３から入力された画像に対して、例えば、覆い焼き補正、赤目補正、コントラスト補正等の画像補正を実行する。また、画像補正部９１４は、画像補正条件入力部９１３より入力された画像補正条件がＯＦＦである場合、画像変換部９０３から入力された画像に対して、画像補正を実行しない。なお、画像変換部９０３から画像補正部９１４に入力される画像の画素数は、画像レイアウト部９１２で決定されたレイアウトのサイズに合わせて変更される構成となっている。レイアウト情報出力部９１５は、画像レイアウト部９１２により決定された画像レイアウトに従って、ディスプレイに表示するためのレイアウト情報を出力する。レイアウト情報は、例えば、選択したテンプレートに、選択した画像をレイアウトしたビットマップデータ等のアルバムを作成するために必要なデータを含む。

図６は、フォトアルバム作成アプリケーション８０の自動レイアウト処理部９００における自動レイアウトの処理の流れを示すフローチャートである。なお、図６に示すフローチャートは、例えば、ＣＰＵ２０４がＨＤＤ２０２に格納されたプログラムをＲＡＭ２０１に読み出して実行することにより実現される。

なお、ユーザは、図６の処理を開始する前にアルバムに配置したい画像データ群を選択する。そして、フォトアルバム作成アプリケーション８０は、選択された画像データ群の中で、図６にて後述する自動レイアウトに適した画像データを特定する。具体的には、画像データ群の中で、条件１に対応する画像データは自動レイアウトに適さない画像データとして除外される。なお、条件１に対応する画像データは、フォーマットが非対応の画像データ、サイズが既定のサイズよりも大きい画像データ、サイズが既定のサイズよりも小さい画像データ、アスペクト比が所定の比率に適合しない画像データである。また、画像データ群の中で、条件１には対応しないが条件２に対応する画像データも自動レイアウトに適さない画像データとして除外される。なお、条件２に対応する画像データとは、Ｅｘｉｆ等の情報を含まない画像データである。フォトアルバム作成アプリケーション８０は、図６の処理を開始する前に選択された画像データ群から条件１に対応する画像データと条件２に対応する画像データを除外し、残った画像データを使って、以降の図６の処理を実行する。つまり、上述した処理が実行されない場合、自動レイアウトに適さない画像データについても解析処理等が実行されるため、効率の良い自動レイアウト処理を実行できないおそれがあった。本実施形態は、更なる目的として、効率の良い自動レイアウト処理を実行することを目的とする。

画像変換部９０３は、アルバム作成条件指定部９０１で指定されたＨＤＤ２０２の画像群の各画像を、所望の画素数と色情報の解析画像に変換する（Ｓ０１）。なお、本実施形態では、前述のように、短辺画素とｓＲＧＢの色情報の解析画像に変換する。

画像解析部９０４は、画像変換部９０３により変換された解析画像から画像特徴量を取得する（Ｓ０２）。また、画像解析部９０４は、前述のように、ＨＤＤ２０２から取得した各画像データに付随する、例えば、Ｅｘｉｆ等の情報から撮影日時を取得する。なお、画像特徴量としては、例えば、ピントを挙げることができ、また、ピントが合っているか否かに関しては、画像中のエッジの平均傾きを算出することで判別することができる。ここで、エッジの検出に関して一般的にソーベルフィルタを用いることが知られており、画像中のエッジの平均傾きは、ソーベルフィルタでエッジを検出して、エッジの始点と終点の輝度差を始点と終点の距離で割ることで、算出することができる。そして、画像中のエッジの平均傾きが大きい画像は、画像中のエッジの平均傾きが小さい画像よりもピントが合っているものと考えることができる。さらに、画像中のエッジの平均傾きに対して異なる値の複数の閾値を設定し、どの閾値以上かを判別することでピント量を判別することができる。本実施形態では、異なる２つの閾値を設定し、○△×の３段階でピント量を判別する。なお、アルバムに採用したいピントの傾きを○、許容できるピントの傾きを△、許容できない傾きを×とする。

画像解析部９０４は、画像特徴量の一つとして、画像変換部９０３により変換された解析画像から顔検出を実行する（Ｓ０３）。顔の検出に関して、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔ等が挙げられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔を検出し、画像として抽出すると共に、検出した顔位置の左上座標値と右下座標値を取得する。このように、顔位置の左上座標値と右下座標値を取得するため、顔の位置と顔のサイズを知ることができる。なお、Ａｄａｂｏｏｓｔにより作成した強識別器では、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを、顔の代わりに検出することもできる。即ち、顔以外のオブジェクトも検出することができる。

画像解析部９０４は、画像変換部９０３により変換された解析画像から個人認識を実行する（Ｓ０４）。具体的には、画像解析部９０４は、ステップＳ０３で抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像を比較することで、その類似性を評価する。そして、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像のうち、その類似性が閾値以上であって、かつ最も類似性が高い代表顔画像から、個人を認識する。なお、類似性が閾値未満の場合は、ステップＳ０３で抽出した顔画像を新規の個人ＩＤに関連付けて、顔辞書データベースに登録する。また、ステップＳ０４における個人認識に関する処理は、ステップＳ０３で抽出された顔の数に応じて実行される。

ステップＳ０２からＳ０４で取得した画像解析情報は、図７に示すように、各画像を識別する画像ＩＤ毎に区別して記憶される。詳細には、ステップＳ０２で取得した撮影日時に関する情報とピント量の判別結果、ステップＳ０３で検出した顔の数と、その検出した顔の位置情報を保存する。なお、顔の位置情報は、ステップＳ０４で取得した個人ＩＤ毎に区別して記憶される。

自動レイアウト処理部９００は、アルバム作成条件指定部９０１で指定されたＨＤＤ２０２の画像群の全画像に対して、ステップＳ０１からＳ０４の処理が終了したか否かを判定する（Ｓ０５）。自動レイアウト処理部９００は、ステップＳ０１からＳ０４の処理が終了していない場合（Ｓ０５ Ｎｏ）、ステップＳ０１に処理を返し、ステップＳ０１からＳ０４の処理が終了している場合（Ｓ０５ Ｙｅｓ）、ステップＳ０６に処理を移行する。

ステップＳ０６において、画像分類部９０５は、シーン分割を実行する（Ｓ０６）。画像分類部９０５は、ステップＳ０２で取得した撮影日時情報を用いることで、画像群を複数のシーンに分割する。例えば、画像間に撮影していない日が存在する場合、画像分類部９０５は、その画像と画像の間でシーンが変更されたものとして、分割処理を実行する。また、撮影日が連続する場合には、画像分類部９０５は、例えば、次のように分割処理を実行する。画像分類部９０５は、画像間における時間差が１６時間以上空いている場合、その画像と画像の間でシーンが変更されたものとして、分割処理を実行する。画像間における時間差が１６時間未満の場合、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満であれば、各日の最初の撮影から最後の撮影までの画像を同一のシーンとして分割する。連続する各日の最初の撮影から最後の撮影までの時間差が４時間以上の場合、連続する各日の撮影枚数が５０枚未満なら、各日の画像群を１つのシーンとして分割する。５０枚以上なら分割しない。図８（ａ）は、上記説明したシーン分割方法により分割した結果を示している。

画像分類部９０５は、シーン分割を実行すると、次に、シーン分類を実行する（Ｓ０７）。以下、シーン（即ち、場面）として、旅行、日常、セレモニーに分類する例で、シーン分類に関する処理を説明する。なお、シーン分類に関する処理は、図９のシーン分類テーブルを用いて実行される。ここで、シーン分類テーブルについて説明する。フォトアルバム作成アプリケーション８０の作成者は、フォトアルバム作成アプリケーション８０を作成する事前に又はその過程で、旅行、日常、セレモニーと判定される画像をシーン画像群として収集する。そして、フォトアルバム作成アプリケーション８０の作成者は、その収集した各シーン画像群について、画像特徴量を取得する。また、ここで、取得する画像特徴量とは、例えば、撮影期間、撮影枚数、撮影人数等である。撮影期間はそのシーン画像群の最初の画像の撮影日時から最後の画像の撮影日時までの時間差として、撮影枚数はシーン画像群の撮影枚数として、また、撮影人数は１画像あたりに撮影された顔の数（即ち、人数）として定義される。

フォトアルバム作成アプリケーション８０の作成者は、さらに、各々のシーン画像群に対して、撮影期間の平均値と標準偏差値、撮影枚数の平均値と標準偏差値、１画像あたりの撮影人数の平均値と標準偏差を算出する。その算出結果を用いて図９のシーン分類テーブルが作成される。図９は、各々のシーンにおける、撮影期間の平均値と標準偏差値、撮影枚数の平均値と標準偏差値、１画像あたりの撮影人数の平均値と標準偏差値を示している。フォトアルバム作成アプリケーション８０の作成者は、これらの算出した値（シーン分類テーブル）をフォトアルバム作成アプリケーション８０のプログラムに予め組み込んでおく。

その状態で、ステップＳ０１からＳ０６までの処理が実行されると、フォトアルバム作成アプリケーション８０は、分割した各シーン画像群に対して、撮影期間、撮影枚数、撮影人数の平均値を画像特徴量として算出する。フォトアルバム作成アプリケーション８０は、分割した各シーン画像群の撮影期間、撮影枚数、撮影人数の画像特徴量に関して、図９の平均値及び標準偏差値（即ち、予め算出した平均値及び標準偏差値）を用いることで、以下に示す得点化を実行する。
得点＝５０−｜１０×（平均値−画像特徴量）／標準偏差値｜ （数式１）
平均得点＝（撮影期間の得点＋撮影枚数の得点＋人数の得点）
／特徴量項目数 （数式２）

上記（数式１）及び（数式２）より、分割された各シーン画像群に関して、旅行、日常、セレモニー毎の平均得点が算出される。そして、その分割されたシーン画像群に関して、旅行、日常、セレモニーのうち、平均得点が最も高いシーンを、適合するシーンとして分類する。例えば、図８（ａ）において、分割されたシーン画像群（５）の画像特徴量に関して、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であるものとする。この場合、旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は−２９．９２と計算され、分割されたシーン画像群（５）は、シーンとして旅行に分類される。また、分類されたシーン画像群は、識別が可能なようにシーンＩＤにより管理される。なお、平均得点が同じになる場合は、優先度の高いシーンに分類する。ここで、本実施形態では、優先度は日常＞セレモニー＞旅行の順であり、日常の優先度を最も高くしている。

自動レイアウト処理部９００は、ステップＳ０６で分割したシーン画像群の全てに対して、ステップＳ０７においてシーンの分類が終了したか否かを判定する（Ｓ０８）。自動レイアウト処理部９００は、シーンの分類が終了していないと判定した場合（Ｓ０８ Ｎｏ）、ステップＳ０７に処理を返し、シーンの分類が終了していると判定した場合（Ｓ０８ Ｙｅｓ）、ステップＳ０９に処理を移行する。

ステップＳ０９において、画像得点化部９０７は、主人公の設定に関する処理を実行する（Ｓ０９）。画像得点化部９０７は、ステップＳ０４における個人認識の結果及びステップＳ０６におけるシーン分割の結果から、画像群に登場する各個人の登場回数、各シーンに登場する各個人の登場回数、各個人が登場するシーンの数等をカウントし、主人公を設定する。なお、主人公の設定には、自動設定と手動設定の２種類の設定がある。

自動設定では、アルバム作成条件指定部９０１で指定された画像群に複数のシーンがある場合には複数のシーンに登場する個人を主人公に設定し、画像群が単一シーンである場合には単一シーンにおいて登場回数が最も多い個人を主人公に設定する。また、手動設定では、ユーザにより主人公設定アイコンが指定されていることを前提とし、画像得点化部９０７は、主人公情報入力部９０６から入力された主人公の設定（即ち、個人ＩＤ）に基づいて、画像からその個人を特定し、主人公に設定する。この場合、自動設定は、無効にされる。

画像得点化部９０７は、主人公を設定すると（Ｓ０９）、得点化に関する処理を実行する（Ｓ１０）。なお、得点化とは画像毎に評価した得点を付することであり、得点とは、後述するように、画像選択部９１０が画像の選択時に参照する値のことである。画像得点化部９０７は、得点化として、画像毎に、メインスロット用の得点とサブスロット用の得点を付する。また、ここで、図１２を用いて、メインスロットとスロットについて、簡単に触れておく。

図１２は、画像のレイアウトに用いるテンプレート群を示している。テンプレート群は複数のテンプレート１６０１により構成され、テンプレート１６０１には、メインスロット１６０２と、サブスロット１６０３、１６０４がある。図１２に示すように、メインスロット１６０２は、テンプレート１６０１においてメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１６０３及び１６０４よりもサイズが大きいという特徴を有する。

次に、図１０を用いて、画像得点化部９０７における得点化に関する具体的な処理を説明する。図１０（ａ）は、旅行、日常、セレモニーの各シーンにおける、アルバムに採用する画像の特徴をメインスロットとサブスロットに分けて纏めた表である。フォトアルバム作成アプリケーション８０の作成者は、図１０（ａ）に示す、旅行、日常、セレモニーの各シーンにおけるメインスロットの画像特徴とサブスロットの画像特徴の各々に適合する、複数の画像を予め収集する。そして、フォトアルバム作成アプリケーション８０の作成者は、収集した画像の各々に関して、顔の数、顔の位置、顔のサイズ等の画像特徴を集計する。フォトアルバム作成アプリケーション８０の作成者は、さらに、各々のスロットにおける、顔の数、顔の位置、顔のサイズ等の画像特徴の平均値と標準偏差値を算出し、アルバム作成アプリケーションのプログラムに記憶しておく。

その状態で、ステップＳ０１からＳ０９までの処理が実行されると（即ち、ステップＳ０９の主人公の設定処理が完了すると）、フォトアルバム作成アプリケーション８０は、画像得点化部９０７により得点化に関する処理を実行する（Ｓ１０）。なお、この得点化に関する処理の実行時において、処理対象とする画像に関して、既に、シーンが分類され、さらに主人公が設定されているものとする。画像得点化部９０７は、得点化の処理対象とする画像のシーンに対応する、予め算出した平均値と標準偏差値、及び得点化の処理対象とする画像における主人公の顔の数、顔位置、顔サイズ等の各特徴量に関して、以下の数式を用いて得点と平均得点を算出する。
得点＝５０−｜１０×（平均値−画像特徴量）／標準偏差｜ （数式３）
平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）
／特徴量項目数 （数式４）

図１０（ｂ）は、得点化の処理対象とする各画像に関して、（数式３）及び（数式４）により得点を算出した結果を、その一例として示すものであり、図１０（ｂ）に示すように、画像ＩＤに関連付けて、メインスロットとサブスロットに得点が付される。例えば、図１０（ｂ）が旅行シーンの得点の算出結果とすると、画像ＩＤ２の画像がメインスロットに適した画像として特定される。なお、アルバムに用いる画像は、ピントが合っている画像の方が好ましいことから、図７に示す画像解析情報において、ピントの特徴量が○で示される画像ＩＤの画像に対しては得点を別途、加算してもよい。

自動レイアウト処理部９００は、アルバム作成条件指定部９０１で指定されたＨＤＤ２０２の画像群の全画像に対して、ステップＳ１０の処理が終了したか否かを判定する（Ｓ１１）。自動レイアウト処理部９００は、ステップＳ１０の処理が終了していない場合（Ｓ１１ Ｎｏ）、ステップＳ１０に処理を返し、ステップＳ１０の処理が終了している場合（Ｓ１１ Ｙｅｓ）、ステップＳ１２に処理を移行する。

ステップＳ１２において、見開き割当部９０９は、画像分類部９０５によりシーン分割された分割数と、見開き数入力部９０８から入力された見開き数が同じであるか否かを判定する。自動レイアウト処理部９００は、見開き割当部９０９により、分割数と見開き数が同じであると判定された場合（Ｓ１２ Ｙｅｓ）、ステップＳ１６に処理を移行させる。具体的には、図８（ａ）において、分割されたシーン画像群の数は８つであり、この場合、見開き数入力部９０８に入力された見開き数が８つであれば、自動レイアウト処理部９００は、ステップＳ１６に処理を移行させる。また、自動レイアウト処理部９００は、見開き割当部９０９により、分割数と見開き数が同じでないと判定された場合（Ｓ１２ Ｎｏ）、ステップＳ１３に処理を移行させる。

ステップＳ１３において、見開き割当部９０９は、画像分類部９０５によりシーン分割された分割数が見開き数入力部９０８から入力された見開き数より少ないか否かを判定する（Ｓ１３）。自動レイアウト処理部９００は、見開き割当部９０９により、分割数が見開き数より少ないと判定すると（Ｓ１３ Ｙｅｓ）、ステップＳ１４に処理を移行させる。具体的には、図８（ａ）において、分割されたシーン画像群の数は８つであり、この場合、見開き数入力部９０８に入力された見開き数が１０であれば、自動レイアウト処理部９００は、ステップＳ１４に処理を移行させる。また、自動レイアウト処理部９００は、見開き割当部９０９により、分割数が見開き数より多いと判定すると（Ｓ１３ Ｎｏ）、ステップＳ１５に処理を移行させる。

見開き割当部９０９は、分割数が見開き数より少ないと判定すると（Ｓ１３ Ｙｅｓ）、画像分類部９０５によりシーン分割されたシーン画像群に関して、さらに、サブシーンに分割する（Ｓ１４）。即ち、見開き割当部９０９は、シーン分割数＜見開き数の場合に、シーン分割数と見開き数が同じになるように、画像分類部９０５により分割されたシーン画像群に対して、細分割処理を施す。

ここで、ステップＳ１４における、サブシーンに分割する処理を、図８を用いて例示する。なお、図８（ａ）に示されるように、Ｓ０６の処理結果であるシーン分割数は８つであり、また、見開き数入力部９０８から入力された見開き数は１０であるものとする。図８（ｂ）は、図８（ａ）をサブシーンに分割した結果であり、破線矢印の箇所（図８（ｂ）の（２）と（３）、（６）と（７））でサブシーンに分割したことで、シーンの分割数を１０に調整している。

以下、サブシーンに分割する場合の分割の基準を示す。見開き割当部９０９は、先ず、図８（ａ）の分割されたシーン画像群のうち、シーン画像群を構成する画像枚数が多い分割箇所を探す。ここでは、分割数を８から１０に増やし、見開き数と同じ数に調整するために、見開き割当部９０９は、画像枚数が多いシーン画像群を順に２つ選択する。図８（ａ）に示す例では、見開き割当部９０９は、画像枚数の多い順に、シーン画像群（５）、次に、画像枚数が同数であるシーン画像群（１）と（２）を選択対象とする。

また、見開き割当部９０９は、シーン画像群を選択する上で、シーン画像群の画像枚数が同じである場合、シーン画像群を構成する最初の画像の撮影日時から最後の画像の撮影日時までの時間差がより大きいシーン画像群を、分割対象として選択する。即ち、図８（ａ）に示す例では、画像枚数が同数であるシーン画像群（１）と（２）に対して、シーン画像群を構成する最初の画像の撮影日時から最後の画像の撮影日時までの時間差がより大きいシーン画像群（２）を分割対象として選択する。

そして、見開き割当部９０９は、選択したシーン画像群（５）及び（２）に関して、細分割処理を実行する。ここで、シーン画像群（５）は、３日にかけて撮影された画像群であり、図８（ａ）に示すように画像枚数が３箇所に分布している。この場合、見開き割当部９０９は、撮影日が変わる箇所であって、さらに分割後の枚数差が小さくなるように分割処理を実行する。即ち、図８（ｂ）の破線矢印の箇所（（６）と（７）の間、シーン画像群（５）の中の２日目と３日目の間）で分割処理を実行する。また、シーン画像群（２）は、２日にかけて撮影された画像群であることから、撮影日が変わる箇所で分割するという前提に従って、見開き割当部９０９により図８（ｂ）の破線矢印の箇所（（２）と（３）の間）で分割される。なお、図８では撮影日が変わる箇所で分割する例を示したが、分割対象として選択されたシーン画像群を構成する画像のすべてが１日で撮影されていた場合には、シーン画像群を構成する画像のうち、撮影日時の時間差が最大となる箇所で、分割処理が実行される。

また、見開き割当部９０９は、分割数が見開き数以上であると判定すると（Ｓ１３ Ｎｏ）、画像分類部９０５によりシーン分割されたシーン画像群に関して、シーンの統合処理を実行する（Ｓ１５）。ここで、ステップＳ１５における、シーンの統合処理を、同様に図８を用いて例示する。前述のように、図８（ａ）において、Ｓ０６の処理結果であるシーン分割数は８つであり、また、ここでは、見開き数入力部９０８から入力された見開き数は６であるものとする。この場合、例えば、図８（ｃ）の破線の箇所に示されるように、シーン分割されたシーン画像群のうち、２箇所を統合する。

以下、シーンを統合する基準を示す。なお、ここでは、分割数を８から６に調整するため、図８（ａ）において、画像枚数の少ないシーン分割されたシーン画像群を２箇所、決定する。図８（ａ）において、シーン画像群のうち、画像枚数の少ない方から、シーン画像群（８）、（３）、（７）であり、シーン画像群（３）と（７）は、同じ画像枚数である。この場合、シーン画像群（８）は、最も画像枚数の少ないシーン画像群であることから、優先的に統合対象として決定され、また、シーン画像群（７）は、シーン画像群（８）に隣接することから、シーン画像群（８）と統合される。そのため、見開き割当部９０９は、２箇所目のシーン画像群として、シーン画像群（３）を統合対象として決定する。

次に、具体的なシーン画像群の統合処理について、シーン画像群（３）、シーン画像群（８）の順に説明する。シーン画像群（３）に関して、その前後のシーン画像群（２）と（４）との時間差を比較すると、シーン画像群（４）との時間差の方が小さいことから、この場合、シーン画像群（４）と統合処理を実行する。また、シーン画像群（８）に関して、画像群のうち、時間的に最後に位置するシーン画像群であることから、シーン画像群（７）と統合処理を実行する。

見開き割当部９０９は、シーンの分割数と見開き数が同じ数（Ｓ１２）、又は同じ数に調整されると（Ｓ１４、Ｓ１５）、見開き割当に関する処理を実行する（Ｓ１６）。なお、見開き割当に関する処理に関して、時間的に最初に位置するシーン画像群から、見開きに順に割り当てられる。

画像選択部９１０は、見開きに割り当てられたシーン画像群から、見開きにレイアウトする画像を選択する（Ｓ１７）。図１１は、見開きに割り当てられたシーン画像群からレイアウトする画像を４枚選択する例を示す図である。図１１（ａ）は、撮影日時に従って、見開きに割り当てられたシーン画像群の画像を示した図である。換言すると、見開きに割り当てられたシーン画像群の画像として、時間的に最初に撮像された画像から最後に撮像された画像までの時間差（分割撮影期間）を示している。

図１１（ｂ）は、見開きに割り当てられたシーン画像群から、見開きにレイアウトする１枚目の画像を選択する方法を説明する図である。前述の図１２で例示したように、テンプレートには、１つのメインスロットがあり、画像選択部９１０は、１枚目の画像として、メインスロット用の画像を選択する。画像選択部９１０は、図１１（ｂ）に示す分割撮影期間にある画像のうち、ステップＳ１０で得点化したメインスロット用の得点が最も高い画像を選択する。

画像選択部９１０は、２枚目の画像として、サブスロット用の画像を選択する。なお、サブスロット用の画像を選択するに際して、分割撮影期間の一時期に集中しないように、分割撮影期間を細分化する。以下、図１１（ｃ）−（ｆ）を用いて説明する。先ず、図１１（ｃ）に示すように、分割撮影期間を２分割する。次に、図１１（ｄ）に示すように、１枚目の画像が選択されていない分割撮影期間（図中、実線）から２枚目の画像を選択する。なお、２枚目の画像を選択するに際して、実線の分割撮影期間に対応する画像のうち、サブスロット用の得点が最も高い画像を選択する。

画像選択部９１０は、２枚目の画像を選択すると、さらに、図１１（ｅ）に示されるように、図１１（ｄ）に示す各分割撮影期間を２分割する。そして、画像選択部９１０は、図１１（ｆ）に示すように、１枚目と２枚目の画像が選択されていない実線の分割撮影期間に対応する画像のうち、サブスロット用の得点が最も高い画像を３枚目の画像として選択する。

また、補足として、細分化した分割撮影期間に選択対象とする画像が存在しない場合の画像の選択例（ここでは、４枚目の画像の選択例）を、図１１（ｇ）−（ｉ）を用いて説明する。上述の画像の選択規則に従うと、図１１（ｆ）までで３枚目の画像を選択した後、図１１（ｇ）の斜線に示される、画像が選択されていない分割撮影期間にある画像が、選択されて然るべきである。しかしながら、図１１（ｇ）の斜線に示される分割撮影期間に、画像が存在しないケースも考えられる。そこで、画像選択部９１０は、図１１（ｈ）に示すように、各分割撮影期間をさらに２分割する。次に、図１１（ｉ）に示すように、１〜３枚目が選択されていない実線の分割撮影期間に対応する画像のうち、サブスロット用の得点が最も高い画像を４枚目として選択する。

画像レイアウト部９１２は、画像選択部９１０により画像が選択されると、画像のレイアウトを決定する（Ｓ１８）。図１２は、画像レイアウト部９１２におけるレイアウト処理を説明する図である。なお、図１２では、テンプレート入力部９１１により、ある見開きに対して、指定のテンプレート情報に従って、テンプレート（１−１）〜（４−４）が入力された例を用いて説明する。また、入力されたテンプレート（１−１）〜（４−４）のスロット数は、３つとしている。さらに、図中、下部において、画像選択部９１０において選択された３枚の画像に関して、その向きが縦方向、又は横方向にあるかを撮影日時に対応させて示している。

図１２に示す例では、画像１６０５がメインスロット用の画像であり、画像１６０６と画像１６０７がサブスロット用の画像である。なお、本実施形態では、テンプレートの左上に撮影日時のより古い画像、右下に撮影日時のより新しい画像がレイアウトされるようにする。前述のように、画像１６０５は、メインスロット用の画像であり、また撮影日時が時間的に最後の画像（即ち、最も新しい画像）であることから、図１２の（３−１）〜（３−４）がテンプレートの候補として選択される。また、サブスロット用の画像に関して、撮影日時の古い画像が画像１６０６（即ち、縦画像）で、撮影日時の新しい画像が画像１６０７（即ち、横画像）であるため、テンプレート（３−２）がレイアウトする画像に最も適したテンプレートとして選択される。

このように、画像レイアウト部９１２は、画像選択部９１０により選択された画像を、そのテンプレートのどのスロットにレイアウトするかを情報として決定する。なお、図１２では、スロット数が３つの場合を例示したが、スロット数が４つの場合も、同様に、スロット数が４つのテンプレートセットを用意して、スロットと画像の適合性を判定した上で、どのテンプレートにどの画像をレイアウトするかを決定すればよい。

画像補正部９１４は、画像補正条件入力部９１３から入力された画像補正条件がＯＮである場合、画像変換部９０３から入力された画像に対して画像補正を実行する（Ｓ１９）。画像補正部９１４は、画像補正として、例えば、覆い焼き補正、赤目補正、コントラスト補正等を自動で実行する。なお、画像補正部９１４は、短辺画素の画素数が１９００画素で、ｓＲＧＢの色空間に変換した画像に対して、画像補正を実行する。また、画像補正部９１４は、画像補正条件入力部９１３から入力された画像補正条件がＯＦＦである場合、画像変換部９０３から入力された画像に対して画像補正を実行しない。

レイアウト情報出力部９１５は、レイアウト情報を作成する（Ｓ２０）。具体的には、フォトアルバム作成アプリケーション８０は、ステップＳ１９で画像補正がされた場合にその補正された画像を、ステップＳ１８で決定されたテンプレートの対応する各スロットにレイアウトし、ビットマップデータを生成する。このビットマップデータ等を含むレイアウト情報がＳ２０において作成される。なお、レイアウト情報出力部９１５は、写真スロットのサイズ情報に合わせて、レイアウトする画像を変倍してレイアウトする。レイアウト情報に含まれるデータの別の形態として、ビットマップデータの代わりに各スロットと画像データの関連付けを示すデータがレイアウト情報に含まれても良い。自動レイアウト処理部９００は、ステップＳ１７〜ステップＳ２０の処理が全ての見開きに対して終了したか否かを判定する（Ｓ２１）。自動レイアウト処理部９００は、ステップＳ１７〜ステップＳ２０の処理が全ての見開きに対して終了していないと判定した場合（Ｓ２１ Ｎｏ）、ステップＳ１７に処理を返し、終了していると判定した場合（Ｓ２１ Ｙｅｓ）、自動レイアウト処理を終了する。

以上、フォトアルバム作成アプリケーション８０における自動レイアウトの処理に関して説明したが、以降、図１３から図２１を用いて、自動レイアウトにより写真スロットに設定された写真を、別の写真に入れ替える処理に関して説明する。

図１３は、自動レイアウト処理により写真スロットにレイアウトされた写真を、ユーザにより事前に選択された写真のうちの１つの写真に入れ替える例を示した図である。フォトアルバム作成アプリケーション８０において、図１３（ａ）の状態から、ユーザが写真を入れ替えたい写真スロットＡ１を選択すると、図１３（ｂ）の状態になる。即ち、フォトアルバム作成アプリケーション８０は、ユーザにより選択された写真スロットＡ１の枠を太く表示したり、色を変えて表示したり、強調して表示することで、写真スロットＡ１が選択されたことを示す。また、フォトアルバム作成アプリケーション８０は、図１３（ｂ）に示すように、同時に、写真スロットＡ１で編集可能な処理を表示する。ここでは、図１３（ｂ）に示すように、編集可能な処理として、「写真の入れ替え１３０１」、「写真の編集１３０２」、「自動写真補正１３０３」、「赤目補正１３０４」の処理を実行するためのボタンを写真スロットＡ１付近に表示する。

ユーザが、「写真の入れ替え１３０１」を選択すると、対象の写真スロット（ここでは、写真スロットＡ１）の写真を手動で入れ替えることができる。また、ユーザが、「写真の編集１３０２」を選択すると、写真のトリミングや回転等を行うことができる。その他において、ユーザが、「自動写真補正１３０３」を選択すると、写真の内容に応じて自動的に補正を行うことができ、また、「赤目補正１３０４」を選択すると、人物の赤目を補正することができる。

ここでは、ユーザが、写真を入れ替えることを目的として、「写真の入れ替え１３０１」を選択した場合を説明する。フォトアルバム作成アプリケーション８０は、ユーザにより「写真の入れ替え１３０１」が選択されると、図１３（ｃ）に示すように、おすすめの写真ダイアログ１３０５を表示する。なお、図１３の写真スロットＡ１の画像ａ１を入れ替え対象として選択された画像（または入れ替え対象画像）と呼ぶ。フォトアルバム作成アプリケーション８０は、おすすめの写真ダイアログ１３０５において、対象の写真スロットＡ１に適したおすすめ写真を表示する。ここでは、おすすめの写真としてＲ１〜Ｒ４を表示している。ここで、おすすめの写真の表示方法について説明する。フォトアルバム作成アプリケーション８０は、図６の自動レイアウト処理が実行される前にユーザにより選択された写真の中から、アルバムに適さない画像（例えば、解像度の低すぎる画像等）を除外する。そして、除外されなかった写真について上述した図６の処理が実行される。その後、フォトアルバム作成アプリケーション８０は、おすすめの写真を表示するために、編集対象となっている見開きに対応づけられている画像群（つまり、図８の（１）〜（８）のいずれか）の中からスロットに配置されていない画像を特定する。そして特定された画像の中で得点の高い画像がおすすめの写真として表示される。なお、選択されたスロットがメインスロットであればメインスロット用に算出された得点を基準におすすめの写真が選択され、選択されたスロットがサブスロットであればサブスロット用に算出された得点を基準におすすめの写真が選択される。ユーザは、おすすめの写真ダイアログ１３０５の中に写真スロットＡ１の写真ａ１と入れ替えたい写真があれば、その入れ替えたい写真を選択することで、写真スロットＡ１の写真ａ１と入れ替えることができる。このおすすめの写真ダイアログ１３０５には、アルバムを作成する事前にユーザにより選択された写真であって、かつ、自動レイアウト処理部９００により写真スロットＡ１に相応しい写真が提示される。即ち、おすすめの写真ダイアログ１３０５では、解像度の低い写真等、レイアウトに適さない画像は提示されない。

但し、おすすめの写真ダイアログ１３０５を表示しても、なお、おすすめの写真ダイアログ１３０５に表示された写真の中に、ユーザの選択したい写真がない場合がある。その場合、ユーザは、「他の写真」ボタン１３０６を選択することで、図１３（ｄ）に示すように、おすすめ写真ダイアログ１３０５に表示された写真とは異なる写真（即ち、写真Ｌ１〜Ｌ１８の１８枚の写真）を表示させることができる。なお、図１３（ｄ）の中に、おすすめの写真であるＲ１〜Ｒ４が含まれていても良い。

この図１３（ｄ）に示す写真に関して、アルバムを作成する事前にユーザが選択した写真の中から、自動レイアウト処理部９００によりアルバムに適さない画像（例えば、解像度の低すぎる画像等）が除外されている。ユーザは、これらの写真Ｌ１〜Ｌ１８の中から所望の写真を１枚選択することにより、写真スロットＡ１にその選択した写真を設定することができる。

なお、図１３（ｄ）において、ユーザが「Ｂａｃｋ」ボタン１３０７を選択すると、フォトアルバム作成アプリケーション８０は、写真入れ替えに関する処理をキャンセルし、図１３（ａ）の画面に戻す。また、フォトアルバム作成アプリケーション８０は、ユーザにより「Ａｄｄ Ｐｈｏｔｏ」ボタン１３０８が選択されると、ユーザが事前に選択した写真以外の、任意の写真を選択できるように処理を移行させる。任意の写真を選択する処理は、図１５を用いて後述する。

図１４は、図１３（ｄ）で表示されている写真Ｌ１８を仮選択した例を示した図である。なお、ここで、仮選択とは、写真の入れ替えを確定するまでの未確定の段階の選択のことである。フォトアルバム作成アプリケーション８０は、図１４（ａ）においてユーザにより写真Ｌ１８が仮選択されると、図１４（ｂ）に示すように、写真Ｌ１８を拡大表示する。ユーザは、この拡大表示された写真Ｌ１８を確認して、写真スロットＡ１に写真を入れ替えるか否かを決定する。ここで、ユーザが「Ｃａｎｃｅｌ」ボタン１４０１を選択すると、フォトアルバム作成アプリケーション８０は、写真入れ替えに関する処理をキャンセルし、図１４（ａ）の画面に戻す。また、ユーザが「ＯＫ」ボタン１４０２を選択すると、写真スロットＡ１の写真ａ１を写真Ｌ１８に入れ替える。

なお、図１４（ｂ）では、拡大表示した写真Ｌ１８を強調して表示させ、その写真Ｌ１８の背面に表示される写真Ｌ１〜Ｌ１８を目立たないようにするため、写真Ｌ１８の表示領域以外の領域に関して、グレーのマスク１４０３を掛けている。これにより、ユーザによる写真の指定を補助している。また、図１４（ｂ）において、「＜」ボタン１４０４を選択すると写真Ｌ１７が拡大表示され、「＞」ボタン１４０５を選択すると、図１４（ｃ）に示すように、写真Ｌ１９が拡大表示される。さらに、この場合、拡大表示されている写真Ｌ１９の背面の表示も切り替わる。即ち、フォトアルバム作成アプリケーション８０は、拡大表示させた写真に連動させて、拡大表示させた写真の表示領域以外の領域に関しても、表示内容を切り替える。具体的には、グレーのマスク１４０３を掛けた背面に着目すると、図１４（ｂ）では写真Ｌ１９を表示していないが、図１４（ｃ）では写真Ｌ１９を表示するように、表示内容を切り替えている。フォトアルバム作成アプリケーション８０は、図１４（ｃ）において、ユーザにより「ＯＫ」ボタン１４０２が選択されると、写真スロットＡ１の写真ａ１を写真Ｌ１９に入れ替える（図１４（ｄ））。なお、入れ替え対象として選択された画像の代わりに配置される画像を新規画像と呼ぶ。つまり、図１４の例では、写真ａ１が入れ替え対象として選択された画像であり、写真Ｌ１９が新規画像である。

図１５は、自動レイアウト処理により写真スロットにレイアウトされた写真を、ユーザにより事前に選択された写真以外（画像以外）の写真から選択された他の写真に入れ替える例を示した図である。図１５（ａ）（即ち、前述の図１３（ｄ））において、ユーザが表示領域４０１の右上の「Ａｄｄ Ｐｈｏｔｏ」ボタン１３０８を選択すると、図１５（ｂ）に示すように、ファイルエクスプローラ１５０１が表示される。この図１５（ｂ）に示すファイルエクスプローラ１５０１は、ＯＳ標準のファイルエクスプローラでも、また、フォトアルバム作成アプリケーション８０により独自に作成されるファイルエクスプローラでもよい。

なお、図１５に示す例では、このフォトアルバム作成アプリケーション８０に対応する写真のフォーマットをＪＰＥＧのみとしているため、図１５（ｂ）のファイルエクスプローラ１５０１にはＪＰＥＧ画像だけが表示される。また、図１５（ｂ）において、ユーザにより写真Ｐ２が仮選択されると、フォトアルバム作成アプリケーション８０は、写真Ｐ２を拡大表示する（図１５（ｃ））。さらに、図１５（ｃ）において、ユーザにより「ＯＫ」ボタン１４０２が選択されると、フォトアルバム作成アプリケーション８０は、図１５（ｄ）に示すように、対象の写真スロットＡ１の写真ａ１を写真Ｐ２に入れ替える。

図１６は、自動レイアウト処理により写真スロットにレイアウトされた写真を、ドラッグ＆ドロップにより、他の写真に入れ替える例を示した図である。なお、ここでは、図１６（ｂ）の写真スロットＡ１に設定されている写真ａ１を別の写真に入れ替える例を示す。図１６（ａ）は、ファイルを表示するためのファイルエクスプローラ１５０１を示しており、ファイルエクスプローラ１５０１は一般にＯＳに付属されている。図１６（ａ）では、ファイルエクスプローラ１５０１に、ＪＰＥＧ画像としてＰ１〜Ｐ８の８枚の写真が表示されている。

次に、ユーザは、図１６（ａ）にファイルエクスプローラ１５０１において表示された写真Ｐ８を、図１６（ｂ）に示すように写真スロットＡ１にドラッグ＆ドロップする。そうすると、図１６（ｃ）に示されるように、写真スロットＡ１の写真ａ１が写真Ｐ８に入れ替わる。図１６に示すように、ユーザは、ドラッグ＆ドロップにより、ファイルエクスプローラ１５０１から任意の写真を入れ替え対象として選択することができる。フォトアルバム作成アプリケーション８０は、ユーザによりドラッグ＆ドロップの操作がなされると、ユーザが入れ替えようとしている写真がアルバムにレイアウトする上で相応しいか写真であるか否かを判定し、相応しいと判定すると写真を入れ替える。図１６に示す例では、フォトアルバム作成アプリケーション８０が、写真Ｐ８に関して、アルバムにレイアウトする上で相応しい写真と判定したことから、写真スロットＡ１の写真をＰ８に入れ替えている。次に、ユーザが入れ替えようとした写真がアルバムにレイアウトする上で、解像度が低すぎる等の理由により、相応しくないと判定される場合に関して、図１７を用いて説明する。

図１７は、自動レイアウト処理により写真スロットにレイアウトされた写真を、ドラッグ＆ドロップにより、他の写真に入れ替えることができない例を示した図である。図１７では、図１７（ａ）の状態から図１７（ｂ）の状態として示すように、写真Ｐ７をドラッグ＆ドロップすることで、写真スロットＡ１の写真ａ１を写真Ｐ７に入れ替えようとしている。しかしながら、ユーザが入れ替えようとしている写真Ｐ７は解像度が低い画像であるために、フォトアルバム作成アプリケーション８０は、図１７（ｃ）に示すようにエラー（即ち、写真スロットＡ１には写真Ｐ７を入れ替えることができないこと）を表示する。即ち、フォトアルバム作成アプリケーション８０は、ユーザによりドラッグ＆ドロップされた写真のサイズが大きすぎること、又は小さすぎることが原因で、写真を入れ替えることができないことを、エラーダイアログ１７０１で表示する。エラーダイアログ１７０１を表示する処理をエラー表示制御と呼ぶこともある。なお、この表示されたエラーダイアログ１７０１において、ユーザが「ＯＫ」ボタンを選択すると、このエラーダイアログ１７０１は閉じられて、写真スロットＡ１には、引き続き、写真ａ１が設定されたままの状態となる。また、スロットに設定可能なアスペクト比とユーザにより入替対象とされた写真のアスペクト比が異なる場合、スロットに設定可能な画像フォーマットとユーザにより入替対象とされた写真のフォーマットが異なる場合等に、エラーダイアログが表示される。

図１８は、自動でフォトアルバムにレイアウトされた写真に関して、写真を入れ替える処理をフローチャートとして示した図である。フォトアルバム作成アプリケーション８０は、ユーザにより選択されたフォトアルバムの種類を取得する（Ｓ１０１）。ここで、フォトアルバムの種類とは、例えば、フォトアルバムのサイズ、ページ数、綴じ方、紙の種類等のことである。フォトアルバム作成アプリケーション８０は、次に、ユーザにより選択された、アルバムに使用する写真を取得する（Ｓ１０２）。フォトアルバム作成アプリケーション８０は、ユーザがピクチャーフォルダに写真を保存している場合において、ユーザにより選択されたピクチャーフォルダに保存されている写真を取得する。

そして、フォトアルバム作成アプリケーション８０は、フォトアルバムの作成に関する要求を受信すると、フォトアルバムの作成を開始する（Ｓ１０３）。フォトアルバム作成アプリケーション８０は、フォトアルバムの作成を開始すると、自動レイアウト処理部９００によりステップＳ１０２で選択された写真を解析し、自動でフォトアルバムにレイアウトする。つまり、図６等を用いて説明した処理が実行される。フォトアルバム作成アプリケーション８０は、レイアウトが完了すると、編集画面を表示する（Ｓ１０４）。

ユーザは、この編集画面において、写真の入れ替え等の編集作業を行う。そして、ユーザが、ある写真スロットに設定されている写真を入れ替えようと、その写真スロットを選択すると、その選択に応じて、フォトアルバム作成アプリケーション８０は、「Ｃｈａｎｇｅ Ｐｈｏｔｏ」ボタン１３０１を表示する（Ｓ１０５）。さらに、フォトアルバム作成アプリケーション８０は、ユーザにより「Ｃｈａｎｇｅ Ｐｈｏｔｏ」ボタン１３０１が選択されると、おすすめの写真ダイアログ１３０５を表示する（Ｓ１０６）。

ユーザは、おすすめの写真ダイアログ１３０５に、選択した写真スロットにある写真と入れ替えたい写真がない場合には、「Ｏｔｈｅｒ Ｐｈｏｔｏ」ボタン１５０６を選択する。フォトアルバム作成アプリケーション８０は、その選択に応じて、ステップＳ１０２でユーザが選択した写真の一覧を表示する（Ｓ１０７）。なお、Ｓ１０７として表示される画像は、上述した図６において選択された画像データ群から条件１に対応する画像データと条件２に対応する画像データを除外し、残った画像データと、条件２に対応する画像データである。これは、条件２に対応する画像データは、Ｅｘｉｆ等の情報を含まないため自動レイアウトには適さないが、ユーザが手動で配置する場合にはレイアウト可能であるからである。一方、条件１に対応する画像データは、ユーザが手動で配置する場合であってもレイアウトできないため（つまり、アルバムに適さないため）、Ｓ１０７においても非表示である。以上の処理を実行することに、結果としてアルバムに適さない条件１に対応する画像データが選択肢から除外されるため、例えば、ユーザが誤ってアルバムに適さない条件１に対応する画像データを選択することを防止できる。また、効率の良い自動レイアウト処理を実行しつつ、ユーザにおける画像データの選択操作の操作性を向上できる。

ユーザは、ステップＳ１０７において表示された写真の一覧に、選択した写真スロットにある写真と入れ替えたい写真があるかどうかを検討し、入れ替えたい写真がない場合には、「Ａｄｄ Ｐｈｏｔｏ」ボタン１５０８を選択する。フォトアルバム作成アプリケーション８０は、その選択に応じて、ファイルエクスプローラ１５０１を表示する（Ｓ１０８）。そして、そのファイルエクスプローラ１５０１にある写真がユーザにより入れ替えたい写真として選択されると、フォトアルバム作成アプリケーション８０は、後述の図１９の処理を実行した上で、その選択された写真を対象スロットに設定する（Ｓ１０９）。即ち、フォトアルバム作成アプリケーション８０は、後述の図１９の処理で設定可能と判定すると、対象スロットにある写真を、ユーザにより選択された写真に入れ替える。

図１９は、ファイルエクスプローラ１５０１を用いて、写真を入れ替える場合のフォトアルバム作成アプリケーション８０の内部処理の流れを示したフローチャートである。フォトアルバム作成アプリケーション８０は、ユーザによりファイルエクスプローラ１５０１において写真が選択されると、その選択に応じて、その選択された写真がフォトアルバムにレイアウトする上で相応しい写真であるか否かを判定する（Ｓ２０１）。フォトアルバム作成アプリケーション８０は、例えば、解像度が低すぎる場合や、アスペクト比が写真スロットには合わない場合等には、その選択された写真に入れ替えず、表示領域４０１にエラーダイアログ１７０１を表示する（Ｓ２０２）。なお、エラーダイアログに続行ボタンを用意することも可能である。この続行ボタンが押下された場合、フォトアルバム作成アプリケーション８０は、対象の写真スロットにある写真をＳ２０１においてＮｏと判定された写真に入れ替えても良い。

他方、フォトアルバム作成アプリケーション８０は、ステップＳ２０１において選択された写真がフォトアルバムにレイアウトする上で相応しい写真であると判定すると、その選択された写真が外部メモリに保存されているか否かを判定する（Ｓ２０３）。ここで、外部メモリとは、例えば、ＵＳＢメモリ等である。但し、外部メモリは、ユーザの所望するタイミングで接続を解除することができる。そのため、フォトアルバム作成アプリケーション８０は、選択された写真が外部メモリに保存されていると判定すると（Ｓ２０３ Ｙｅｓ）、アルバム編集中に接続が解除されても問題がないように、写真をＰＣ等のローカル環境にコピーしておく（Ｓ２０４）。このようにコピー（複製）しておくことで、フォトアルバムの作成中に外部メモリの接続が解除された場合であっても、アルバムの作成や編集に影響が及ばないようにする。なお、外部メモリに記憶された写真としては、必ずしもＵＳＢメモリに記憶された写真に限定されず、ＳＮＳ等のＷｅｂサイト上にアップロードされた写真等のように、本処理を実行する端末とは異なる端末に記憶された写真も、本処理の対象とすることができる。その後、選択された写真が、外部メモリに記憶された写真ではない場合、又は、外部メモリに記憶された写真である場合であって、写真がローカル環境にコピーされると、対象の写真スロットにある写真を選択された写真に入れ替える（Ｓ２０５）。

図２０は、写真スロットに設定する対象として、ＰＣやメモリカード等に既に存在する写真ではなく、ＰＣやスマートフォン、タブレット等に内蔵又は接続されているカメラで撮影した写真を対象に設定する場合を例示したものである。表示領域４０１において、ユーザが「Ｃａｍｅｒａ」ボタン２００１を押すと、フォトアルバム作成アプリケーション８０は、カメラを撮影するためのユーザインターフェース２００２を表示する。そして、ユーザが「撮影」ボタン２００３を押すと、ユーザインターフェース２００２に表示されている画像が、写真として撮影される。

フォトアルバム作成アプリケーション８０は、撮影された写真を、拡大表示する等してユーザに提示し、ユーザがその写真を選択すると、フォトアルバム作成アプリケーション８０は、写真スロットの写真に設定する。図２０（ａ）は、縦長の写真スロットが選択された後に、「Ｃａｍｅｒａ」ボタン２００１が選択された場合のユーザインターフェースである。つまり、撮影領域として縦長の領域が表示される。一方、横長の写真スロットが選択された後に「Ｃａｍｅｒａ」ボタン２００１が選択された場合は撮影領域として横長の領域が表示される。その他、スロットの形状に合わせてカメラを縦向きまたは横向きに配置するようにメッセージが表示されても良い。一方、図２０（ｂ）は、正方形の写真スロットが選択された後に、「Ｃａｍｅｒａ」ボタン２００１が選択された場合のユーザインターフェースである。即ち、図２０（ａ）と図２０（ｂ）では撮影モードが異なり、図２０（ａ）は通常の縦長または横長の撮影モードであり、図２０（ｂ）はスクエアの撮影モードである。このように、フォトアルバム作成アプリケーション８０は、対象の写真スロットの形状に応じて、カメラの撮影モードを設定する。具体例として、フォトアルバム作成アプリケーション８０が、カメラを制御するカメラアプリケーションに撮影モードを指示することでカメラの撮影モードを設定することができる。

図２１は、写真スロットに設定する対象として、ＰＣやメモリカード等に既に存在する写真ではなく、ＰＣ、スマートフォン、タブレットに接続されたスキャナ等の画像読み取り装置で画像を読み取り、その画像を対象にする場合を例示したものである。フォトアルバム作成アプリケーション８０は、ユーザにより「Ｓｃａｎ」ボタン２１０１が選択されると、画像読取装置において画像を読み取るためのユーザインターフェース２１０２を表示する。ユーザインターフェース２１０２には、「Ｐｒｅｖｉｅｗ」ボタン２１０３、「Ｓｃａｎ」ボタン２１０４、プレビュー画像表示領域２１０５が設定される。フォトアルバム作成アプリケーション８０は、ユーザにより「Ｐｒｅｖｉｅｗ」ボタン２１０３が選択されると、画像読み取り装置にプレスキャン処理を実行させることで得られた画像をプレビュー画像表示領域２１０５にプレビュー画像として表示する。

フォトアルバム作成アプリケーション８０は、ユーザにより、プレビュー画像表示領域２１０５においてスキャン対象領域２１０６が設定され、「Ｓｃａｎ」ボタン２１０４が選択されると、スキャン対象領域２１０６に対してスキャン処理を実行する。図２１（ａ）は、スキャン対象として縦長の写真スロットが選択された後に、「Ｓｃａｎ」ボタン２１０１が選択された場合のユーザインターフェースである。また、図２１（ｂ）は、ユーザによりスキャン対象として正方形の写真スロットが選択された後に、「Ｓｃａｎ」ボタン２１０１が選択された場合のユーザインターフェースである。即ち、図２１（ａ）と図２１（ｂ）では、スキャン対象領域２１０６の矩形が異なっている。図２１（ａ）では実際にスキャンする領域は縦長の領域であり、図２１（ｂ）では正方形の領域である。このように、フォトアルバム作成アプリケーション８０は、対象の写真スロットの形状に応じて、スキャン対象領域を最適なものに合わせる。

なお、図２１では、写真スロットの形状に応じて読取設定を変更したが、読取設定の変更は必ずしも形状に限定されず、例えば、写真スロットに適した解像度や写真スロットに設定されているエフェクト機能等に応じて読取設定を変更してもよい。したがって、例えば、大きいサイズの写真スロットの場合には、印刷品位を維持するために高い解像度の写真をセットした方がよいため、画像読取装置の解像度設定を高解像にした上で、画像を読み取るようにしてもよい。

また、写真スロットには、エフェクトが掛けられているものがある。例えば、グレーのエフェクトが掛けられた写真スロットに写真をセットすると、カラーの写真もグレーのエフェクトが適用されて写真スロットに設定される。このようなエフェクト機能を有する写真スロットに対して画像を設定する場合、画像読取装置でエフェクト機能の設定を掛けた上で画像を読み取ってもよい。したがって、例えば、グレーのエフェクトが掛かる写真スロットでは、グレーモードで写真を読み取るようにしてもよい。

加えて、本実施形態では、画像として写真（即ち、静止画像）を一例に挙げて説明したが、例えば、動画撮影された動画像に含まれるフレーム画像を用いることもできる。フォトアルバム作成アプリケーション８０は、先ず、動画データから連続するフレームを抽出し、前後のフレーム間の特徴量の差を特定し、動き量を判定する。

特徴量の差の特定方法として、例えば、フォトアルバム作成アプリケーション８０は、抽出した各フレームの領域を複数の領域に分割し、その分割した複数の領域に対してＲＧＢ値に関するヒストグラムを作成する。フォトアルバム作成アプリケーション８０は、分割した複数の領域に対して、前後のフレーム間における、ＲＧＢ値に関するヒストグラムの差分を算出し、その差分が所定の閾値より大きいと判定されたヒストグラムに対応する領域の個数を計算する。

そして、フォトアルバム作成アプリケーション８０は、特徴量の差分が所定の閾値より大きいと判定されたヒストグラムに対応する領域の個数が閾値以上である場合、前後のフレーム間における特徴量の差が大きいと判定する。また、フォトアルバム作成アプリケーション８０は、特徴量の差分が所定の閾値より大きいと判定されたヒストグラムに対応する領域の個数が閾値未満である場合、前後のフレーム間における特徴量の差が小さいと判定する。

前後のフレーム間における特徴量の差が大きいと判定した場合、それらのフレームは類似していないものと見做され、フォトアルバム作成アプリケーション８０は、それらのフレームに関して、被写体の動きが多いフレーム（動き量が多いフレーム）と判定する。即ち、フォトアルバム作成アプリケーション８０は、運動量が大きい撮影対象を撮影することで得られた動画データであると判定する。また、前後のフレーム間における特徴量の差が小さいと判定した場合、それらのフレームは類似しているものと見做され、フォトアルバム作成アプリケーション８０は、それらのフレームは、被写体の動きが少ないフレーム（動き量が少ないフレーム）と判定する。即ち、フォトアルバム作成アプリケーション８０は、運動量が小さい撮影対象を撮影することで得られた動画データであると判定する。

なお、動き量の判定に関しては、フレーム間の特徴量の差分を利用する以外に、動画フォーマットで利用される動きベクトルを用いることもできる。また、上例では、フレーム間の特徴量の差分として、ＲＧＢ値の差分を算出する仕様としたが、例えば、輝度値に関する差分を算出する仕様としてもよい。このようにして、１つの動画データから抽出される複数のフレームが、時系列順に、動き量に従って、動き量が多いフレーム群と動き量が少ないフレーム群とにフレーム群として分類され、管理される。

フォトアルバム作成アプリケーション８０は、次に、動画データから抽出され、時系列順に管理されたフレーム群から、所定の間隔毎にフレームを抽出して解析対象とする。なお、動き量が多いと判定されたフレーム群と動き量が少ないと判定されたフレーム群において、解析対象として抽出するフレームの間隔は異なる。例えば、動き量が多いと判定されたフレーム群からは５フレーム間隔で解析対象のフレームを抽出し、動き量が少ないと判定されたフレーム群からは３フレーム間隔で解析対象のフレームを抽出する。

フォトアルバム作成アプリケーション８０は、所定の間隔で解析対象とするフレームを抽出すると、さらに、その抽出したフレームに対して解析処理を実行する。具体的には、フォトアルバム作成アプリケーション８０は、オブジェクト検出、サイズ特定、笑顔判定、目瞑り判定、ブレボケ判定、明るさ判定等の処理を実行する。ここで、オブジェクト検出とは、解析対象とするフレームから、人物の顔や動物、料理等のオブジェクトを検出する処理である。また、サイズ特定とは、オブジェクト検出によって検出されたオブジェクトのサイズを特定する処理である。また、笑顔判定とは、オブジェクト検出によって検出されたオブジェクトが人物の顔である場合、検出された人物の顔が笑顔であるか否かを判定する処理である。また、目瞑り判定とは、オブジェクト検出によって検出されたオブジェクトが人物の顔である場合、検出された人物の顔が目を瞑っているか否かを判定する処理である。また、ブレボケ判定とは、解析したフレームのブレやボケの多寡を判定する処理である。また、明るさ判定とは、解析したフレームの明るさ（平均輝度値）の多寡を判定する処理である。

最後に、フォトアルバム作成アプリケーション８０は、解析処理を実行すると、その解析処理の結果に応じて、解析したフレームに得点を付加する得点化処理を行う。具体的には、例えば、人物の顔や動物、料理等のオブジェクトを含むフレームの方が、これらのオブジェクトを含まないフレームより得点が高く付加されるように、得点化処理が行われる。また、例えば、大きいオブジェクトを含むフレームの方が、小さいオブジェクトを含むフレームより得点が高く付加されるように、得点化処理が実行されてもよい。なお、得点化の方法は、これに限定されない。したがって、例えば、動き量が多いフレームの方が、動き量が小さいフレームより得点が高く付加されるように、得点化処理が実行されてもよい。フォトアルバム作成アプリケーション８０は、これらの解析処理により、動画データを構成する複数フレームから、より良いフレーム（画像）を特定することができる。そして、この動画データから特定されたフレーム（画像）を、本実施形態において用いることもできる。

また、上述の実施形態では、本発明をフォトアルバムに適用した場合で説明したが、本発明は必ずしもこれに限定されない。したがって、フォトアルバム以外に、例えば、フォトブック、カレンダー等のフォトコンテンツにおいても同様に適用することができる。

加えて、上述した実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータで連動させて実行させるようにしてもよい。また、上述の処理の全てをソフトウェアで実現する必要はなく、処理の一部または全部をＡＳＩＣ等のハードウェアで実現するようにしてもよい。また、ＣＰＵも１つのＣＰＵで全ての処理を行うものに限らず、複数のＣＰＵが適宜連携をしながら処理を行うものとしてもよい。

Claims (19)

1. フォトコンテンツを作成する情報処理装置であって、
   ユーザにより事前に選択された画像群から画像スロットに適合しない画像を除外する除外手段と、
   前記除外手段により除外されずに残った画像を、前記フォトコンテンツの対応する画像スロットに自動でレイアウトする自動レイアウト処理を実行する自動レイアウト手段と、
   前記自動レイアウト手段によりレイアウトされた画像から入替対象として選択された画像と入れ替える新規画像を取得する画像取得手段と、
   前記自動レイアウト処理が実行された後に、前記除外手段により除外されずに残った画像から前記新規画像が取得された場合、前記入替対象として選択された画像の画像スロットに適合するか否かの判定は実行されず、前記自動レイアウト処理が実行された後に、前記ユーザにより事前に選択された画像以外の画像から前記新規画像が取得された場合、前記入替対象として選択された画像の画像スロットに適合するか否かを判定する画像判定手段と、
   を備えた情報処理装置。
2. 前記画像判定手段により適合すると判定されたことを条件に、前記画像取得手段により取得された前記新規画像を、前記入替対象として選択された画像の画像スロットに設定することを特徴とする請求項１に記載の情報処理装置。
3. 少なくとも前記ユーザにより事前に選択された画像以外の画像を表示部に表示させる表示制御手段を備え、
   前記ユーザは、前記表示された画像から、前記新規画像を選択することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記画像取得手段により、各種インタフェースで接続された外部記憶装置に記憶された画像から、前記新規画像が取得された場合に、
   前記画像判定手段により適合すると判定されたことを条件に、前記画像取得手段により取得した画像を複製して、内部記憶手段に記憶するように制御する記憶制御手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記画像取得手段により、Ｗｅｂサイト上にアップロードされた画像から、前記新規画像が取得された場合に、
   前記画像判定手段により適合すると判定されたことを条件に、前記画像取得手段により取得した画像を複製して、内部記憶手段に記憶するように制御する記憶制御手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記画像取得手段により、各種インタフェースで接続された画像読み取り装置により読み取られた画像から、前記新規画像が取得された場合に、
   前記画像判定手段により適合すると判定されたことを条件に、前記画像取得手段により取得した画像を複製して、内部記憶手段に記憶するように制御する記憶制御手段を備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記入替対象として選択された画像の画像スロットの形状に応じて、前記画像読み取り装置における読取設定を調整するように制御する制御手段を備えることを特徴とする請求項６に記載の情報処理装置。
8. 前記入替対象として選択された画像の画像スロットに設定されたエフェクト機能に応じて、前記画像読み取り装置における読取設定を調整するように制御する制御手段を備えることを特徴とする請求項６に記載の情報処理装置。
9. 前記画像取得手段により、各種インタフェースで接続された撮像装置により撮像された画像から、前記新規画像が取得された場合に、
   前記画像判定手段により適合すると判定されたことを条件に、前記画像取得手段により取得した画像を複製して、内部記憶手段に記憶するように制御する記憶制御手段を備えることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記入替対象として選択された画像の画像スロットの形状に応じて、前記撮像装置における撮影モードを調整するように制御する制御手段を備えることを特徴とする請求項９に記載の情報処理装置。
11. 前記画像判定手段により適合しないと判定されたことを条件に、エラーダイアログを表示部に表示させるエラー表示制御手段を更に備えることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記画像判定手段は、前記画像取得手段により取得された画像のサイズが、前記入替対象として選択された画像の画像スロットに設定可能なサイズよりも大きい、又は小さい場合に、適合しないと判定することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記画像判定手段は、前記画像取得手段により取得された画像のアスペクト比が、前記入替対象として選択された画像の画像スロットに設定可能なアスペクト比ではない場合に、適合しないと判定することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記画像判定手段は、前記画像取得手段により取得された画像の画像フォーマットが、前記入替対象として選択された画像の画像スロットに設定可能な画像フォーマットではない場合に、適合しないと判定することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記自動レイアウト手段は、前記ユーザにより事前に選択された画像が動画像である場合に、前記動画像から抽出された所定のフレームを、前記フォトコンテンツの対応する画像スロットに自動でレイアウトすることを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 前記表示制御手段は、前記新規画像の選択を補助するために、前記ユーザにより仮選択された画像を強調して前記表示部に表示させることを特徴とする請求項３に記載の情報処理装置。
17. 前記表示制御手段は、前記仮選択された画像を拡大して前記表示部に表示させ、前記表示制御手段の表示領域における、前記仮選択された画像以外の表示領域をマスクして前記表示部に表示させることを特徴とする請求項１６に記載の情報処理装置。
18. 前記表示制御手段は、前記仮選択された画像以外の表示領域において、前記仮選択された画像に連動させて、表示内容を変更することを特徴とする請求項１７に記載の情報処理装置。
19. コンピュータを、請求項１から１８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images