JP6702900B2 - 情報処理装置、表示制御方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、表示制御方法、及びプログラムに関する。特に、アイテムの表示制御を行う技術に関する。

スマートフォンやタブレット端末等のタッチパネルの操作において、ドラッグ＆ドロップによってアプリケーションアイコン等のアイテムを別ページに移動させる方法がある。この方法の場合、まずユーザは、そのアイテムを画面の左右の端にドラッグして移動させることによりページを順番にめくる。そして、所望のページが表示されたら、そのページでアイテムの画面の左右の端から離してドロップすることにより、所望のページにアイテムを再配置する（特許文献１参照）。

特開２０１６−１１５３３７号公報

特許文献１では、アイテムが複数ページに配置可能でドラッグ操作でアイテムを任意のページに再配置する場合、アイテムを所定の位置（画面の左右の端など）にドラッグしたまま置くことにより、ページを順番にめくる必要があった。この方法ではページを順番にめくるため、ページ数が多い場合に時間がかかっていた。本発明は、上記課題に鑑み、アイテムを移動する際のユーザの利便性をより高めることを目的とする。

画像をテンプレート内のスロットにレイアウトすることにより、それぞれに画像がレイアウトされた第１見開きページと前記第１見開きページとは異なる第２見開きページとを含む複数の見開きページを生成するレイアウト手段と、表示部の第１表示領域に、前記複数の見開きページのサムネイルを一覧表示する第１制御手段と、ユーザからの入力に基づき、前記第１表示領域に表示されているサムネイルのうち第１見開きページに対応するサムネイルが選択された場合に、前記第１見開きページを前記表示部の第２表示領域に表示する第２制御手段と、画像を、ユーザのドラッグ操作に応じて移動させる第３制御手段と、を備え、前記第２表示領域に表示されている前記第１見開きページ内の第１スロットに配置されている第１画像が、ユーザのドラッグ操作に応じて前記第１表示領域に一覧表示されているサムネイルのうち前記第２見開きページに対応するサムネイルに移動されることにより、前記第２制御手段は前記第２見開きページを前記第２表示領域に表示し、前記第２見開きページが前記第２表示領域に表示されている状態で、ユーザのドラッグ操作に応じて前記第１画像が前記第２表示領域の前記第２見開きページ上に移動され、且つ、前記第２見開きページ内の第２スロットに配置された第２画像上で前記ドラッグ操作がリリースされることにより、前記第３制御手段は、前記第１画像を前記第２スロットに配置し、前記第２画像を前記第１スロットに配置し、前記第２制御手段は、前記第１画像が、前記第２表示領域に表示されている見開きページを変更するためのボタン上に移動されることによっても、前記第２表示領域に表示されている見開きページを変更する。

本発明により、アイテムを任意のページに移動させる場合に、容易に所望のページを表示することができ、ユーザの利便性をより高めることができる。

情報処理装置を含むシステムの構成を示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置のソフトウェア構成を示す図である。 アルバム作成アプリケーションにより提供される画面を示す模式図である。 アルバム作成アプリケーションの自動レイアウト処理部を示す図である。 自動レイアウト処理の流れを示すフローチャートである。 自動レイアウト処理における画像解析情報を説明する図である。 自動レイアウト処理における画像群分割を説明する図である。 自動レイアウト処理におけるシーン分類を説明する図である。 自動レイアウト処理における画像得点を説明する図である。 自動レイアウト処理における画像選択を説明する図である。 自動レイアウト処理における画像レイアウトを説明する図である。 表示制御方法について説明する模式図である。 表示制御方法について説明する模式図である。 表示制御方法について説明するフローチャートである。 表示制御方法について説明する模式図である。 表示制御方法について説明する模式図である。 表示制御方法について説明する模式図である。 表示制御方法について説明する模式図である。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜実施形態１＞
図１は、フォトアルバム作成／注文のための情報処理システムの構成の一例を示す図である。図１に示すように、情報処理システムは、ユーザが使用する情報処理装置１と、フォトアルバムを作成する会社の情報処理装置２とを有し、情報処理装置１と情報処理装置２は、インターネット３を介して接続されている。情報処理装置１は、例えば、パーソナルコンピュータが挙げられる。情報処理装置２は、例えば、サーバＰＣである。情報処理装置１、情報処理装置２は、例えばＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、ＯＳと略す場合がある）として、Ｗｉｎｄｏｗｓ（登録商標）８又はＷｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ ２０１２と同等のＯＳがインストールされている。情報処理装置１、情報処理装置２は、それぞれＥｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク４及び８に接続されている。

情報処理装置１には、フォトアルバム作成のためのアプリケーション８０（以下、アルバムアプリともいう）がインストールされている。アプリは、例えば、Ｗｉｎｄｏｗｓ（登録商標）用の実行可能形式のファイル（＊．ＥＸＥ）で構成される。また、情報処理装置１には、Ｗｅｂブラウザアプリケーション１４３（以下、Ｗｅｂブラウザともいう）がインストールされている。Ｗｅｂブラウザ１４３は、ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）を利用する際に用いられるブラウザである。ネットワーク４は、情報処理装置１を使用するユーザのためのネットワークであり、例えば、一般家庭用のホームネットワークが挙げられる。

情報処理装置２は、Ｗｅｂサーバの機能を備えるＷｅｂサーバ９を含み、例えば、インターネット３を介して所定の会社（仮にＡＢＣ社とする）のＷｅｂサイトを提供する。ショッピングサイト１１は、ＡＢＣ社がユーザ向けにサービスを提供しているショッピングサイトであり、ユーザはショッピングサイト１１を利用してフォトアルバムを注文することができる。

図２は、情報処理装置１のハードウェア構成の一例を表す図である。なお、情報処理装置２も同様の構成を有するものとする。ただし、情報処理装置１と情報処理装置２は、同一の構成からなる必要はない。図２に示すように、情報処理装置は、ＣＰＵ２０４、ＲＡＭ２０１、ＲＯＭ２０３、ＨＤＤ２０２、表示部２０５、入力部２０８、通信制御部２０７を有し、それぞれがシステムバス２０６により接続されている。

ＣＰＵ（中央演算装置／プロセッサ）２０４は、システム制御部であり、情報処理装置１全体を制御する。また、ＣＰＵ２０４は、本実施形態で説明する表示制御方法をプログラムに従って実行する。

ＲＡＭ２０１は、ランダムアクセスメモリであり、ＣＰＵ２０４によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。ＲＯＭ２０３は、ＣＰＵ２０４により実行されるプログラムが記憶されている。

ＨＤＤ（ハードディスク）２０２は、画像ファイルや画像解析などの処理結果を保持するデータベースなどを記憶するための記憶媒体である。ＨＤＤ２０２は、アルバムアプリ８０、Ｗｅｂブラウザ１４３等のアプリケーションや、図３で説明する各モジュール（ソフトウェア）を記憶し、必要に応じてＲＡＭ２０１に読み出されてＣＰＵ２０４により実行される。これにより、ＣＰＵ２０４が、アプリケーション８０、Ｗｅｂブラウザ１４３等のアプリケーションや、図３に示す各モジュール（ソフトウェア）の機能を実現する。

表示部２０５は、本実施形態のＵＩ（ユーザーインターフェイス）や画像のレイアウト結果をユーザに表示する。表示部２０５は、タッチセンサー機能を備えてもよい。入力部２０８は、ユーザが各種操作をする際に用いられ、例えば、表示部２０５に表示されたＵＩ上に所定の情報を入力するのに用いられる。

通信制御部２０７は、プリンタやサーバなどの外部装置と通信するための装置である。例えば、自動レイアウトをして生成したアルバムデータは、通信制御部２０７を介して情報処理装置２に送信される。

図３は、情報処理装置１のＨＤＤ２０２に保存されているソフトウェアモジュール群の構成を示す図である。図３に示したソフトウェアモジュールはＨＤＤ２０２に保存されているソフトウェアモジュール群の一部を示したものであって、全てではない。また、ＨＤＤ２０４に保存されるソフトウェアモジュール群は、情報処理装置１に搭載されるＯＳや、情報処理装置１の使用環境などに応じて適宜変更される。

モジュール９２は、Ｅｔｈｅｒｎｅｔを制御するＥｔｈｅｒｎｅｔ制御スタックである。モジュール９１は、ＩＰ Ｎｅｔｗｏｒｋを制御するＩＰ Ｎｅｔｗｏｒｋ制御スタックである。モジュール９０は、ネットワーク上のデバイス探索の仕組みを提供するＷＳＤ（Ｗｅｂ Ｓｅｒｖｉｃｅ ｏｎ Ｄｅｖｉｃｅｓ）を制御するＷＳＤ制御スタックである。モジュール８８は、ネットワークのプラグアンドプレイを制御するＰｎＰ−Ｘ制御スタックである。尚、ＰｎＰ−Ｘとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてＷｉｎｄｏｗｓ８（登録商標）に標準搭載されている機能であるＰｌｕｇ ａｎｄ Ｐｌａｙ Ｅｘｔｅｎｓｉｏｎｓの略称である。モジュール８５は、デバイスドライバ群であり、ＯＳに標準で同梱されている標準ドライバ群８７と、ＩｎｄｅｐｅｎｄｅｎｔＨａｒｄｗａｒｅＶｅｎｄｏｒ（ＩＨＶ）から提供されるＩＨＶ製ドライバ群８６とを含んで構成される。

モジュール８４は、アプリケーション／ＤＤＩインタフェースであり、ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｉｎｇＩｎｔｅｒｆａｃｅ（ＡＰＩ）、ＤｅｖｉｃｅＤｒｉｖｅｒＩｎｔｅｒｆａｃｅ（ＤＤＩ）を含んで構成される。アプリケーション群８２は、アプリケーション８０、Ｗｅｂブラウザ１４３を含むアプリケーション群である。

図４は、フォトアルバムアプリケーションの実行によりＣＰＵ２０４によって提供される表示画面であり、フォトアルバムを編集するための編集画面の一例である。編集画面４０１は、フォトアルバムアプリケーションにより提供される。表示領域４０２は、フォトアルバムの各ページのサムネイルを一覧表示する領域である。表示領域４０３は、表示領域４０２で選択されたページとして選択ページの内容（プレビュー画像）を表示する領域であり、レイアウト画像の編集を行うことができる。

表示領域４０２において、ユーザが各ページのサムネイルの中から所望のサムネイルを選択することで、そのページが選択状態の表示４０４になる。図４では、３〜４ページの２ページ分（見開き１つ分）が選択状態であり、このページのレイアウト画像が表示領域４０３に表示される。なお見開きとは、たとえば表示においてはひとつの表示用ウィンドウに相当し、印刷においては印刷された互いに隣接する１対のページに相当する。

表示領域４０３では、フォトアルバムの編集操作が可能となる。レイアウト画像において表示されるテンプレートは、１以上のスロットを有する。図４では、３ページ目（図中左ページ）に３つのスロット４０５を有し、４ページ目（図中右ページ）に１つのスロット４０５を有する。スロット４０５は、スロットであり、各スロットには写真が割り当てられる。なお、本実施形態では、各スロット４０５には、自動で写真が割当てられている。テキストボックス４０６にはユーザにより任意のテキストが入力される。

ボタン４０７は、アプリケーションにより作成した（編集した）フォトアルバムをカートに入れるためのボタンである。このボタン４０７を押すことにより、編集したフォトアルバムがインターネット３経由で情報処理装置２のショッピングカートにアップロードされる。

（自動レイアウト処理部の構成）
図５は、アルバム作成アプリケーションの一部の機能のソフトウェアブロック図である。アルバム作成アプリケーションは様々な機能を持つが、本実施形態では、特に自動レイアウト処理部９１６により提供される自動レイアウト機能に関して説明する。自動レイアウト機能は、撮影された写真をその内容や属性に基づいて分類し、あるいは選択して写真をレイアウトし、表示部２０５に表示するアルバム画像を生成するための機能である。

本実施形態では、アルバム作成アプリケーションは、表示部２０５に表示されているアプリケーションのアイコンがユーザにより押下されることにより起動する。図５に示すように、アルバム作成アプリケーションは、アルバム作成条件指定部９０１と、自動レイアウト処理部９１６と、を含む。マウス等の入力部２０８を介したＵＩ操作に応じてアルバム作成条件を自動レイアウト処理部９１６に指定する。

画像取得部９０２は、アルバム作成指定部から指定された画像群をＨＤＤ２０２から取得する。ここでいう画像群とは、１つのアルバム作成の際にレイアウトする候補画像群を指す。例えば、アルバム作成条件指定部２０１において、ＸＸ年１月１日〜ＸＸ年１２月３１日が指定された場合は、ＸＸ年１月１日〜ＸＸ年１２月３１日に撮影された画像全てが指定された画像群に該当する。

画像変換９０３は、以降の処理に使う画像データを所望の画素数や色情報に変換する。本実施形態では、短辺画素の画素数とｓＲＧＢの色情報の解析画像に変換する。

画像解析部９０４は、解析画像から後述の特徴量取得、顔検出、表情認識、個人認識を実施する処理である。また、ＨＤＤ２０２から取得した画像に付随したデータ、例えばＥｘｉｆ情報から撮影日時の取得も画像処理部９０４で実施する。

画像分類部９０５は、画像群に対して撮影日時情報や枚数、検出した顔情報を使って後述のシーン分割、シーン分類を実施する処理である。シーンとは、旅行や日常、結婚式等の撮影シーンのことである。シーンとは、例えば、一つの撮影対象について一時期の撮影機会に撮影された画像の集まりであるということもできる。

主人公情報入力部９０６は、アルバム作成条件指定部９０１から指示された主人公のＩＤ（識別情報）を画像得点部に入力する。

画像得点部９０７は、各画像に対して得点付けをする。本実施形態では、レイアウトに適した画像が高得点になるように得点付けをする。レイアウトに適した画像が高得点になるように得点付けする際は、画像解析部９０４で得られた情報、画像分類部９０５で得られた情報を使う。画像得点部９０７は、主人公情報入力部９０６から入力された主人公ＩＤが含まれる画像の得点が高得点になるように、各画像に対して得点付けをする。

見開き割当部９０９は、画像群を分割して各見開きに割り当てる。ここでいう見開きとは、例えばアルバムを作成した際の見開きであり２ページ分に相当する。

見開き入力部９０８は、アルバム作成条件指定部９０４から指定されたアルバムの見開き数を見開き割当部９０９に入力する。

見開き割当部９０９は、入力された見開き数に応じて画像群を分割して各見開きに画像群の一部を割り当てる。例えば、見開き数が５である場合、取得した画像群を５つに分割して小画像群を生成し、各見開きに１つの画像群を割り当てる。

画像選択部９１０は、見開き割当部９０９で各見開きに割り当てられた画像群の一部から画像得点部９０７で付けた得点に基づいて画像を選択する。

テンプレート入力部９１１は、アルバム作成条件指定部９０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部９１２に入力する。

画像レイアウト部９１２は、画像のレイアウトを決定する。具体的には、テンプレート入力部９１１が入力したそれぞれのテンプレートのうち、画像選択部９１０が選択した画像に適したテンプレートを選択し、各画像のレイアウト（配置位置）を決定する。

画像補正条件入力部９１３は、アルバム作成条件指定部９０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部９１４に入力する。

画像補正部９１４は、覆い焼き補正、赤目補正、コントラスト補正をする。画像補正部９１４は画像補正条件ＯＮの場合は、画像に対して補正を実施する。画像補正条件ＯＦＦの場合は、補正を実施しない。尚、画像補正部９１４には、画像変換部９０３から入力された画像に対して補正のＯＮ／ＯＦＦを実施する。画像変化部９０３から画像補正部９１４に入力する画像の画素数は、画像レイアウト部９１２で決定したレイアウトのサイズに合わせて変えられる構成となっている。

レイアウト情報出力部９１５は、画像レイアウト部９１２が決定した画像レイアウトに従って、ディスプレイに表示する為のレイアウト情報を出力する。レイアウト情報は例えば、選択したテンプレートに選択した画像をレイアウトしたビットマップデータである。

（自動レイアウト処理のフロー）
図６は本実施形態に係るアルバム作成アプリケーションの自動レイアウト処理部９１６に関する処理フローを示すフローチャートである。図６に示すフローチャートは、例えば、ＣＰＵ２０４がＨＤＤ２０２に格納されたプログラムをＲＯＭやＲＡＭ２０１に読み出して実行することにより実現される。図６を使って、自動レイアウトの処理フローを以下説明する。

Ｓｔｅｐ０１では、画像変換部９０３で解析画像を生成する。アルバム作成条件指定部９０１で指定されたＨＤＤ２０２の画像群の各画像を所望の画素数と色情報に変換する。なお、ここで変換する画素数及び色情報は、予め決められており、保存されている。本実施形態では、短辺画素とｓＲＧＢの色情報の解析画像に変換する。

Ｓｔｅｐ０２では、画像解析部９０４で画像特徴量を取得する。ＨＤＤ２０２から取得した各画像データに付随する例えばＥｘｉｆ情報から撮影日時を取得する。また、Ｓｔｅｐ０１で生成された解析画像から特徴量を取得する。特徴量としては、例えば、ピントが挙げられる。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出して、エッジの始点と終点の輝度差を始点と終点の距離で割ればエッジの傾きを算出できる。画像中のエッジの平均傾きを算出して、平均傾き大の画像は平均傾き小の画像よりもピントが合っていると考えることが出来る。傾きに対して異なる値の複数の閾値を設定し、どの閾値以上かを判別することでピント量を出せる。本実施形態では異なる２つの閾値を設定し、○△×の３段階でピント量を判別する。アルバムに採用したいピントの傾きを○、許容できるピントの傾きを△、許容できない傾きを×として、実験を通して閾値を設定する。

Ｓｔｅｐ０３では、画像解析部９０４で顔検出を実施する。Ｓｔｅｐ０１で生成された解析画像から顔を検出する。顔の検出は、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが挙げられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔を検出する。顔画像を抽出すると共に、検出した顔位置の左上座標値と右下座標値を取得する。なお、ここでいう「画像」とはＳｔｅｐ０１で生成された画像データにより表される画像である。この２種の座標を特定することにより、人物の顔の位置と顔のサイズを特定することができる。なお、ここでは、人物の顔を検出するものとしたが、人物の顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてＡｄａｂｏｏｓｔによって強識別器を作成することができる。すなわち、顔以外のオブジェクトを検出するようにしてもよい。

Ｓｔｅｐ０４では、画像解析部９０４で個人認識をする。まずＳｔｅｐ０３で抽出した顔画像を顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似性を比較する。そして、類似性が閾値以上で最も類似性が高いＩＤを抽出した顔画像のＩＤとする。なお、類似性が閾値未満の場合は新規の顔として新規の個人ＩＤとして顔辞書データベースに抽出した顔画像を登録する。

Ｓｔｅｐ０２からＳｔｅｐ０４で取得した画像解析情報は、図７に示すように各画像を識別するＩＤ毎に区別して記憶する。Ｓｔｅｐ０２で取得した撮影日時情報とピント判別結果、Ｓｔｅｐ０３で検出した顔の数と位置情報を保存する。なお、顔の位置情報はＳｔｅｐ０４で取得した個人ＩＤ毎に区別して記憶する。画像データにおいて顔が検出されない場合は、Ｓｔｅｐ０２で取得した撮影日時情報及びピント判別結果が保存される。

Ｓｔｅｐ０５では、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像群の全画像に対してＳｔｅｐ０１からＳｔｅｐ０４が終了したか否かを判定する。終了していない場合（Ｓｔｅｐ０５でＮｏ）、Ｓｔｅｐ０１に戻る。終了している場合（Ｓｔｅｐ０５でＹｅｓ）はＳｔｅｐ０６に移行する。

Ｓｔｅｐ０６では、画像分類部２０５でシーン分割をする。シーン分割とは、取得した画像群をシーンに応じて複数のサブ画像群に分割することを指す。具体的には、Ｓｔｅｐ０２で取得済みの撮影日時情報に基づいて、画像と画像との時間差を頼りに画像群を複数に分割する。画像と画像の撮影日が連続していない場合、すなわち、画像間に撮影していない日が存在する場合は、分割する。次に、撮影日が連続する場合について説明する。本実施形態では、画像と画像の撮影時間の差が１６時間以上空いている場合は分割する。画像と画像の撮影時間の差が１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満なら分割する。本実施形態では、４時間以上の場合は、連続する各日の撮影枚数が５０枚未満なら分割し、５０枚以上であれば分割しないものとする。なお、分割の際の時間差の閾値や枚数の閾値は、これに限定されるものではない。図８（Ａ）は、上述したシーン分割方法で分割した結果を示している。

Ｓｔｅｐ０７では、画像分類部９０６でシーン分類をする。本実施形態では、各サブ画像群（各シーン）を旅行、日常、セレモニーの３つに分類する場合を例に挙げて説明するが、分類はこれに限定されるものではない。まず、旅行、日常、セレモニーのうちいずれに分類されるかを予め判定したサブ画像群を複数取得する。各画像群について、撮影の特徴量を取得する。本実施形態で取得する特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、画像群の最初の撮影から最後の撮影までの時間差である。撮影枚数は、サブ画像群に含まれる画像の数（写真の枚数）である。撮影人数は、顔が写っている画像における顔の数である。すなわち、１つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差を求める。なお、本実施形態では、１画像あたりの顔の数が、１画像あたりの人数とする。図９は、撮影期間（時間）、撮影枚数（枚）、撮影人数（人）の各平均値と標準偏差を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２で指定した画像群のＳｔｅｐ０６でシーン分割された各分割に対して、撮影期間と撮影枚数、撮影人数の平均値を算出する。そして、シーン毎に、前記各サブ画像群の撮影期間、撮影枚数、撮影人数の特徴量について、それぞれの平均値と標準偏差に基づいて、以下の式により得点化を実施する。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜ （式１）
平均得点＝（撮影期間の得点＋撮影枚数の得点＋人数の得点）／特徴量項目数 （式２）
以上によって、旅行、日常、セレモニー毎の平均得点が算出される。サブ画像群毎に最高点のシーンをそのサブ画像群のシーンとして分類する。２以上のシーンが同点の場合は、優先シーンに分類する。例えば本実施形態では、日常＞セレモニー＞旅行の順であり、日常の優先度を最も高くしている。

図８（Ａ）のシーン分割された後のサブ画像群（５）は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であった。旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は−２９．９２となり、シーンは旅行に分類される。分類したシーンは識別ができるようにシーンＩＤで管理する。

Ｓｔｅｐ０８では、Ｓｔｅｐ０６で分割された全サブ群に対してＳｔｅｐ０７のシーン分類が終了したか否かを判定する。終了していない場合（Ｓｔｅｐ０８でＮｏ）、Ｓｔｅｐ０７に戻る。終了している場合（Ｓｔｅｐ０８でＹｅｓ）、Ｓｔｅｐ０９に移行する。

Ｓｔｅｐ０９では、画像得点化部２０７で主人公設定をする。主人公設定はユーザが指定した画像群に対して実施され、自動と手動の２種類がある。自動で主人公を設定する場合、Ｓｔｅｐ０４の個人認識の結果と、Ｓｔｅｐ０６のシーン分割の結果に基づいて設定をする。Ｓｔｅｐ０４で取得した結果から、サブ画像群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤの回数、各個人ＩＤが登場するシーンの回数等を特定し、これらの情報から自動で主人公を設定する。本実施形態では、サブ画像群に複数シーンがある場合は複数のシーンに登場する個人ＩＤを主人公ＩＤと設定し、サブ画像群が単一シーンである場合は、単一シーンの登場回数が多い個人ＩＤを主人公ＩＤと設定する。主人公設定部３０４でユーザが特定のアイコンを指定している場合は、主人公情報入力部２０６を介して選択されたアイコンに対応する個人ＩＤが画像得点部２０７に伝えられる。ユーザ指定の個人ＩＤがある場合は、上述した自動設定の主人公ＩＤは無視して、ユーザ指定の個人ＩＤを主人公ＩＤと設定する。このように、主人公設定部３０４の指定に基づく設定を手動設定とする。

Ｓｔｅｐ１０では、画像得点化部２０７で得点化をする。得点化とは、後述する画像選択時に参照する値であり、画像データ毎に後述する観点で評価した得点を付ける。

図１２は、３枚の画像をレイアウトする際に用いるテンプレート群を示している。図１２の（１−１）に示すテンプレート１６０１は１枚のテンプレートであり、メインスロット１６０２と、サブスロット１６０３、サブスロット１６０４を有する。メインスロット１６０２とは、テンプレート１６０１でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１６０３とサブスロット１６０４よりもサイズが大きい。また、サブスロットとは、各テンプレートにおいて、メインスロット以外のスロットである。メインスロット用の得点とサブスロット用の得点の両方を各画像データに付ける。得点化処理では、メインスロット用の得点とサブスロット用の得点の両方を画像毎に付ける。

次に、図１０（Ａ）に画像データの得点化の基準を示す。図１０（Ａ）は旅行、日常、セレモニーのシーン毎に得点が高くなる画像の特徴を、メインスロットとサブスロットに分けてまとめた表である。なお、図１０（Ａ）に示すように、スロットの種類に応じて、得点が高くなる特徴が異なる。例えば、サブ画像群のシーン分類が旅行である場合、人物と風景が入ったひいた画像は、メインスロットとしての得点が高くなり、顔のアップや横顔の画像は、サブスロットとしての得点が高くなる。例えば、サブ画像群のシーン分類が日常である場合、顔のアップや横顔の画像は、メインスロットとしての得点が高くなり、人物と風景が入ったひいた画像は、サブスロットとしての得点が高くなる。例えば、サブ画像群のシーン分類がセレモニーである場合、２人の距離が近い画像は、メインスロットとしての得点が高くなり、大人数の画像は、サブスロットとしての得点が高くなる。このように、シーン及びスロットの種類に応じて、得点が高くなる特徴、言い換えれば、評価基準が異なる。本実施形態では、シーン及びスロットの種類に応じた得点が高くなる特徴は、アプリケーションにおいて予め設定しておき、プログラムに含むものとする。なお、得点が高くなる特徴は、上述したものに限定されるものではない。図１０（Ａ）に示す各シーンのメインスロットとサブスロットのそれぞれの特徴に基づいて、各サブ画像群に含まれる各画像データに得点を付ける。各画像における顔の数、各画像における顔の位置、各画像における顔のサイズを取得し、平均値と標準偏差を各シーン各スロット種類（メインスロットとサブスロット）に対して求めて、アルバム作成アプリケーションのプログラムに記憶しておく。ユーザが指定した画像群の各画像データが表す画像がいずれのシーンに属するか（分類されるか）は、Ｓｔｅｐ０７のシーン分類の結果から特定する。そして、注目画像のシーンに対応する予め求めた前記平均値と標準偏差、注目画像における主人公ＩＤの顔の数、顔の位置、顔サイズの各特徴量に基づいて以下の式を使って得点と平均得点を出す。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜
平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数
なお、得点化は、メインスロット用とサブスロット用の両方を実施する。またアルバムに使う画像は、図７に示すピントの特徴量が○である画像ＩＤの画像に対しては得点を加算してもよい。これにより、ピントが合っている画像の得点を高くすることができる。図１０（Ｂ）は、各画像の得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットの得点が付けられている。

Ｓｔｅｐ１１では、画像得点部２０７がユーザ指定の画像群の全画像に対してＳｔｅｐ１０の画像得点化が終了したか否かを判定する。終了していない場合（Ｓｔｅｐ１１でＮｏ）、Ｓｔｅｐ１０に戻る。終了している場合（Ｓｔｅｐ１１でＹｅｓ）、Ｓｔｅｐ１２に移行する。

Ｓｔｅｐ１２では、見開き割当部９０９が、画像分類部９０５のシーン分割により得られたシーン数（サブ画像群の数）が見開き数入力部９０８により入力される見開き数と同じか否かを判定する。同じでない場合（Ｓｔｅｐ１２でＮｏ）、Ｓｔｅｐ１３に移行する。同じ場合（Ｓｔｅｐ１２でＹｅｓ）、Ｓｔｅｐ１６に移行する。例えば、図１０（Ａ）のシーン分割数が８であり、見開き数入力部９０８の入力数が８であればＳｔｅｐ１６に移行する。

Ｓｔｅｐ１３では、見開き割当部９０９が画像分類部９０５のシーン分割により得られたシーン数が見開き数入力部９０８により入力される見開き数より少ないか否かを判定する。シーン数が見開き数より少なくない場合（Ｓｔｅｐ１３でＮｏ）、Ｓｔｅｐ１５に移行する。シーン数が見開き数より少ない場合（Ｓｔｅｐ１３でＹｅｓ）はＳｔｅｐ１４に移行する。例えば、図８（Ａ）のシーン分割数が８であり、見開き数入力部９０８の入力数が１０であれば、シーン数が見開き数より少なくないため、Ｓｔｅｐ１４に移行する。

Ｓｔｅｐ１４では、見開き割当部９０９がサブシーン分割をする。サブシーン分割とは、シーン分割数＜見開き数の場合に分割されたシーンを更に細分割することを指す。図８（Ａ）のシーン分割数８に対して指定見開き数が１０である場合を例に挙げて説明する。図８（Ｂ）では、図８（Ａ）をサブシーン分割した結果である。破線矢印の箇所でサブ画像群をさらに分割したことで、分割数を１０にしている。サブシーン分割する基準は、画像枚数および撮影日時である。図８（Ａ）の分割の中で画像枚数が多いサブ画像群を特定する。ここでは、シーン数を８から１０に２つ増やしたいため、画像枚数が多い２つのサブ画像群を特定する。多い方からサブ画像群（５）、次にサブ画像群（１）とサブ画像群（２）である。

本実施形態では、サブ画像群に含まれる枚数が同じである場合は、サブ画像群に含まれる最初の画像と最後の画像の時間差が大きい方のサブ画像群を分割する。サブ画像群（１）とサブ画像群（２）は、含まれる画像の同じ枚数だが、サブ画像群（２）の方が最初の画像から最後の画像の時間差が大きいため、サブ画像群（２）を分割対象とする。すなわち、図８（Ｂ）では、サブ画像群（５）とサブ画像群（２）をそれぞれさらに分割する。

まず、サブ画像群（２）の分割方法について説明する。サブ画像群（２）には、画像枚数の山が２つあり、この２つは撮影日が違う。この場合は、撮影日が変わる箇所（図８（Ｂ）の破線矢印の箇所）で分割する。

次に、サブ画像群（５）の分割を説明する。サブ画像群（５）には画像枚数の山が３つあり、この３つは撮影日が違う。この場合も、撮影日が変わる箇所で分割する。このとき、撮影日が変わる箇所が２箇所あるが、分割後の各画像群の枚数差が小さくなるように分割する。図１１（Ｂ）では、サブ画像群（５）では、２日目と３日目の境目で分割した方が、１日目と２日目の境目で分割するよりも分割後の各画像群の枚数差が小さくなるので、２日目と３日目の境目で分割する。すなわち、図１１（Ｂ）の破線矢印の箇所で分割する。以上により分割数を８から１０にする。ここでは撮影日の違う箇所で分割したが、画像枚数が多いサブ画像群が単一日で撮影されたものである場合は、単一日の中で時間差が最大の箇所で分割する。

Ｓｔｅｐ１５では、見開き割当部９０９がシーン統合をする。シーン統合とは、シーン数が見開き数よりも多い場合、分割されたシーン（サブ画像群）を統合する。具体的には、シーン数と見開き数が一致するように、シーン統合をする。図８（Ｃ）は、見開き数が６の場合、図８（Ａ）をシーン統合してシーン数を６とした結果である。破線の箇所を統合、言い換えれば、破線の箇所での分割をしないことで、シーン数（サブ画像群の数）を６にする。シーン統合では、画像枚数が少ないサブ画像群を特定する。ここでは、分割数を８から６に２つ減らしたいため、画像の枚数が少ないサブ画像群を特定する。

画像枚数が少ないサブ画像群は、少ない方からサブ画像群（８）、サブ画像群（３）、サブ画像群（７）である。したがって、まず、サブ画像群（８）を統合対象とする。次に、サブ画像群（３）とサブ画像群（７）は、画像の枚数は同じである。ただし、サブ画像群（７）に隣接するサブ画像群（８）が統合対象であるため、サブ画像群（３）を統合対象とする。次に、統合対象のサブ画像群を、撮影日時が前のサブ画像群に統合するか、撮影日時が後のサブ画像群に統合するかを決定する。まず、サブ画像群（３）の統合を説明する。サブ画像群（３）の前後のサブ画像群（２）とサブ画像群（４）との時間差を比較すると、サブ画像群（３）の最後の画像とサブ画像群（４）の最初の画像との撮影時間の差の方がサブ画像群（３）の最初の画像とサブ画像群（２）の最後の画像との撮影時間の差よりも小さい。したがって、サブ画像群（３）は、サブ画像群（４）に統合すると決定する。すなわち、図１１（Ｃ）の破線の箇所を統合する。次に、サブ画像群（８）の統合を説明する。サブ画像群（８）は、後のサブ画像群がない為、前のサブ画像群（７）と統合する。すなわち、図１１（Ｃ）の破線箇所で統合する。なお、本実施形態では、撮影時間の差が小さいサブ画像群同士を統合することにしたが、これに限定されるものではない。例えば、統合対象のサブ画像群を撮影枚数が少ないサブ画像群に統合するようにしてもよい。

Ｓｔｅｐ１６では、見開き割当部９０９が見開き割当をする。Ｓｔｅｐ１２〜Ｓｔｅｐ１５によって、サブ画像群の数と指定見開き数は同じになっている。本実施形態では、撮影日時が先頭のサブ画像群から見開きの先頭に割り当てる。すなわち、撮影日時順にサブ画像群をアルバムの各見開きのページに割当てる。これにより、撮影日時順にサブ画像群が並んだアルバムを作成することができる。なお、後述する通り、１つの見開きページ内では、画像は撮影日時に並んでいなくてもよい。

Ｓｔｅｐ１７では、画像選択部９１０が各サブ画像群から所定枚数の画像を選択する。図１１を用いて、ある見開きに割り当てられたサブ画像群から画像を４枚選択する場合を例に挙げて説明する。なお、ここでは、見開きとは、２ページを指し、最初の見開き及び最後の見開きは、１ページとする。図１１（Ａ）は、見開きに割り当てられたサブ画像群に含まれる最初の画像から最後の画像のまでの撮影日時の時間差、言い換えれば、サブ画像群の撮影期間を示す。図１１（Ｂ）を使って、４枚選択する際の１枚目を選択する方法を説明する。テンプレートには、１つのメインスロット１００２がある。１枚目は、メインスロット用の画像を選択する。図１１（Ｂ）に示すサブ画像群の撮影期間に撮影された全ての画像のうちＳｔｅｐ１０で付けたメインスロット用の得点が最高点の画像を選択する。そして、２枚目以降はサブスロット用の画像を選択する。本実施形態では、サブ画像群の撮影期間を細分化して画像を選択することにより、サブ画像群の撮影期間の一部に集中しないようにする。まず、図１１（Ｃ）のようにサブ画像群の撮影期間を２分割して、２つの撮影期間とする。すなわち、サブ分割撮影期間を２等分して２つの撮影期間にする（グループ分けする）。次に、図１１（Ｄ）のように１枚目が選ばれていない撮影期間（実線の区間）からサブスロット用の得点が最高点の画像を２枚目として選択する。次に、図１１（Ｅ）のように、図１１（Ｄ）の各撮影期間をそれぞれ２等分する。図１１（Ｆ）の実線区間、すなわち、１枚目と２枚目が選ばれていない２つの撮影期間に撮影された画像（２つの撮影期間に対応する画像）のうちサブスロット用の得点が最高点の画像を３枚目として選択する。次に、画像を選択する撮影期間に画像が存在せず、画像選択できない例を４枚目の選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。したがって、分割して得られた撮影期間に画像が存在しない場合がある。例えば、図１１（Ｇ）のように、まだ画像が選ばれていない撮影期間（斜線の区間）から４枚目を選択したいが、この斜線区間には画像が存在しないとする。この場合は、図１１（Ｈ）のように、画像を選択済みの各撮影期間をそれぞれ２分割する。次に、図１１（Ｉ）のように、１〜３枚目が選ばれていない実線の撮影期間に撮影された画像のうちサブスロット用の最高点の画像を４枚目として選択する。

Ｓｔｅｐ１８では、画像レイアウト部９１２が処理対象の見開きの画像レイアウトを決定する。テンプレート入力部９１１は、指定のテンプレート情報に従ってある見開きに対して図１２の（１−１）〜（４−４）を入力した場合を例に挙げて説明する。入力されたテンプレートのスロット数は３である。選択されている画像３枚の画像の向きが縦方向か横方向かを撮影日時の順に並べると図１２（Ａ）であったとする。ここでは、画像１６０５がメインスロット用として選択された画像であり、画像１６０６と画像１６０７がサブスロット用として選択された画像とする。本実施形態では、テンプレートの左上に撮影日時のより古い画像、右下に撮影日時のより新しい画像をレイアウトするものとする。画像１６０５は、撮影日時が一番新しく且つメインスロット用の画像であるため、図１２（３−１）〜（３−４）のテンプレートが候補となる。そして、サブスロット用の古い方の画像１６０６、すなわち、左上に配置したい画像が縦画像で、新しい方の画像１６０７が横画像である。したがって、（３−２）が、選択された画像に最も適したテンプレートとしてレイアウトが決まる。このようにＳｔｅｐ１８では、レイアウトに用いるテンプレートと、テンプレートのいずれのスロットにいずれの画像をレイアウトするかを識別できる情報が決定する。図１２では、スロット数が３の場合を例に挙げて説明を行ったが、Ｓｔｅｐ１７で、必要枚数が４枚となった場合には、スロット数４のテンプレートセットを用意して、それらに対して同様に、スロット状態と画像の状態の合致具合を判定する。これにより、どのテンプレートに画像をレイアウトするかを決めればよい。

Ｓｔｅｐ１９では、画像補正部９１４が画像補正をする。画像補正の条件入力部がＯＮを入力した場合は、画像補正を実施する。本実施形態では、画像補正として、覆い焼き補正、赤目補正、コントラスト補正を自動で実施する。画像補正の条件入力部がＯＦＦを入力した場合は、画像補正を実施しない。補正する画像の画素数は短辺１２００画素で、ｓＲＧＢの色空間に変換した画像に対して画像補正ＯＮ／ＯＦＦを実施する。

Ｓｔｅｐ２０では、レイアウト情報出力部９１５がレイアウト情報を作成する。Ｓｔｅｐ１８で決まった通りに各画像をレイアウトする。このとき、テンプレートが有する各スロットのサイズ情報に合わせてレイアウトする画像を変倍してレイアウトする。そして、テンプレートに画像をレイアウトしたビットマップデータを生成する。

Ｓｔｅｐ２１はＳｔｅｐ１７〜Ｓｔｅｐ２０が全ての見開きに対して終了したか否かを判定する。終了していない場合（Ｓｔｅｐ２１でＮｏ）はＳｔｅｐ１７に戻る。終了している場合（Ｓｔｅｐ２１でＹｅｓ）は自動レイアウト処理を終了する。

（フォトアルバムの編集）
次に、レイアウトされたフォトアルバムを編集する際の操作について説明する。ここでは、あるページのスロットに設定されている写真と、別のページに設定されている写真を入れ替えるという例を説明する。本実施形態においては、レイアウト後の写真（画像）を表示アイテムとみなし、ユーザ操作に基づきアイテムを移動させる場合の表示制御の例について説明する。

図１３は、情報処理装置１である端末装置（ＰＣ、スマートフォンやタブレット端末）の表示領域内に、フォトアルバムの編集画面４０１が表示されている様子を示している。表示領域４０２は、フォトアルバムの各ページのサムネイルを一覧表示する領域である。表示領域４０３は、表示領域４０２で選択されたページとして選択ページの内容（プレビュー画像）を表示する領域であり、アルバムの編集を行うことができる。表示領域４０２において、ユーザにより各ページに対応するサムネイルの中から所望のサムネイルが選択されることで、そのページが選択状態の表示４０４になり、このページのレイアウト画像が表示領域４０３に表示される。なお、図１３では、アルバムの１つの見開きは２ページ分に対応し、表示領域４０２のサムネイル一覧もアルバムの見開き単位で分かれて表示されており、表示領域４０３の表示も見開き毎に表示される。なお、図１３における表示制御は、ＣＰＵ２０４がＨＤＤ２０２に格納されたプログラムを、ＲＯＭやＲＡＭ２０１に読み出して実行することにより実現される。

図１３（１）では、サムネイルの表示領域４０２内において見開きＡ（３〜４ページ目に対応する２ページ分）のサムネイルが選択されているため、フォトアルバムのプレビューを表示する表示領域４０３には見開きＡのプレビュー画像が表示されている。見開きＡにはスロットＡ１、Ａ２があり、それぞれ写真ａ１、ａ２が配置されている。

図１３（２）は、ユーザ操作によりスロットＡ１の写真ａ１がドラッグされ保持されている様子を示す図である。写真ａ１がドラッグされ保持されている状態では、スロットＡ１から写真ａ１を抜き出し状態であるため、スロットＡ１の中はグレーで表示して何も写真が配置されていないことを示している。

図１３（３）は、ドラッグ操作により保持された写真ａ１が表示領域４０２における見開きＢに対応するサムネイルまで移動され、見開きＢのサムネイルに重ねられた状態を示している。このように、ドラッグ操作により保持されている写真が移動し、サムネイル表示領域４０２の見開きＢに対応するサムネイルに重ねられることにより、表示領域４０３の表示は見開きＢに切り替わる。見開きＢにはスロットＢ１、Ｂ２、Ｂ３があり、それぞれ写真ｂ１、ｂ２、ｂ３が配置されている。

図１３（４）は、ドラッグされ保持されている写真ａ１が、スロットＢ３上でドロップ（ドラッグのリリース）された際の図である。本例では、スロットＢ３の領域内に写真ａ１をドラッグしているポインターが入ったときに、そのスロットＢ３に写真ａ１がドロップして配置できる状態になる。

ユーザはスロットＢ３上で写真ａ１をドロップすることにより、スロットＢ３に写真ａ１が配置される。なお、本例では、元々スロットＢ３に配置されていた写真ｂ３は、見開きＡのスロットＡ１に配置される。つまり、写真ａ１と写真ｂ３とは配置領域が入れ替わる。

なお、この操作により、見開きＡと見開きＢのレイアウトが更新されるため、サムネイル表示領域４０２の見開きＡのサムネイルと見開きＢのサムネイルも更新される。なお、この例では、画像を入れ替えた後に、見開きＡに未読マーク４０８が表示されている。これは、見開きＡの内容が更新されたにもかかわらず、表示領域４０３ではまだ見開きＡを表示していないため、ユーザが更新された見開きＡの内容を表示領域４０３で確認していないためである。このようにユーザが確認していないページに未読マークを付けることにより、未読のページがある状態のまま、ユーザがアルバムを注文してしまうことを防ぐことができる。

図１４は見開きＡが未読状態のままで「カートに入れる」ボタン４０７を選択した場合の模式図である。図１４（１）は見開きＡが未読状態であるため見開きＡに未読マーク４０８が付いている。この状態で「カートに入れる」ボタン４０７を選択すると図１４（２）に示したように警告メッセージが表示される。警告メッセージは、見開きＡが未読であるため注文前にページを確認してもらう旨のメッセージを表示している。ここでは、そのメッセージに見開きＡのサムネイルを付けることにより、ユーザにどのページが未読であるかを提示している。図１４では、この警告メッセージの「ＯＫ」ボタンが選択されると、表示領域４０３の表示が見開きＡの内容に切り替わり、ユーザに見開きＡを確認してもらうことが可能となる。

このように、本実施形態では、ユーザのドラッグ操作に応じて、ＣＰＵ２０４は、アイテムである写真を、表示領域４０２に表示されている所定のページのサムネイルに移動させることにより、表示領域４０３にそのページを表示することができる。よって、ページが多い場合に、容易に所望のページを表示することができ、ユーザの利便性がより高まる。

また、本実施形態では、表示領域４０３に表示されたページにアイテムをそのままドラッグして移動させることにより、そのページにアイテムを配置させることができ、よりユーザの利便性が高まる。

（アイテムの表示制御フロー）
図１５は、図１３で説明したアイテムの表示に関する表示制御フローを示すフローチャートである。図１５に示すフローチャートは、例えば、ＣＰＵ２０４がＨＤＤ２０２に格納されたプログラムをＲＯＭやＲＡＭ２０１に読み出して実行することにより実現される。

Ｓ１０１では、ユーザからの指示に基づき、ＣＰＵ２０４はフォトアルバムの種類を選択設定する。フォトアルバムの種類とは、例えば、フォトアルバムのサイズ、ページ数、綴じ方、紙の種類などのことを指す。

Ｓ１０２では、ユーザからの指示に基づき、ＣＰＵ２０４はフォトアルバムの自動レイアウトに使用される写真群を選択設定する。例えば、ピクチャーフォルダーに写真が保存さている場合は、ユーザによりピクチャーフォルダー内から所定のフォルダが選択されることにより、ＣＰＵ２０４はそのフォルダの写真群をレイアウト対象として選択する。

Ｓ１０３でＣＰＵ２０４はフォトアルバムの作成を開始する。例えば、Ｓ１０１で選ばれたフォトアルバムの種類とＳ１０２で選ばれた写真群に応じて、ＣＰＵ２０４は、自動で写真を配置するテンプレートを選別し、そのテンプレート内のスロットに自動で写真を配置する。このステップは図６で説明した自動レイアウト処理の一連のフローを示している。なお、ここでは、自動で画像レイアウトを行う形態を説明したが、本実施形態はそれに限定されるものではなく、ユーザが手動でテンプレートや写真を選択し、フォトアルバムを作成してもよい。

Ｓ１０４では、ＣＰＵ２０４は、レイアウト後のページのサムネイル一覧を表示領域４０２に表示する。

Ｓ１０５で、ユーザにより表示領域４０２の所望のページ（仮に、見開きＡとする）に対応するサムネイルが選択されることにより、ＣＰＵ２０４は、表示領域４０３に見開きＡの２ページ目と３ページ目を表示する。ユーザはこの画面で自動レイアウト結果のレイアウト画を手動で修正することができる。

Ｓ１０６では、ユーザの入力に基づき、図１３（２）で示したとおり、ＣＰＵ２０４は見開きＡのスロットＡ１の写真ａ１をドラッグして保持し、写真ａ１を移動させる。

Ｓ１０７では、ＣＰＵ２０４は、図１３（３）で示したようにドラッグされている写真ａ１が、表示領域４０３の見開きＢに対応するサムネイルに重なったか判定する。写真ａ１が見開きＢのサムネイルに重なったと判定された場合（Ｓ１０７でＹＥＳ）はＳ１０８に進み、重なっていない場合はＳ１０９へ進む。

Ｓ１０８では、ＣＰＵ２０４は表示領域４０３に見開きＢを表示する。なお、Ｓ１０８では、すぐに表示領域４０３に見開きＢを表示するのではなく、Ｓ１０７で写真ａ１を見開きＢのサムネイルに所定時間以上重ねた場合にページの表示を切り替えるようにしてもよい。これは、図１３（３）の状態から写真ａ１をスロットＢ３にドラッグで移動させるときに、表示領域４０２の見開きＣのサムネイル上を通過してしまう場合があるためである。つまり、ＣＰＵ２０４は、所定ページのサムネイル上に所定時間（例えば、１秒間）重ねたときに初めて表示領域４０３のそのページに表示に切り替わるようにするとよい。このように、アイテムがサムネイルに所定時間重なったかを判定する判定ステップを設けることにより、所定時間未満の場合は表示領域４０３の表示が切り替わらないように制御することができる。よって、ユーザが意図せずに表示領域４０２の見開きＣのサムネイル上をドラッグして通過した場合であっても、ＣＰＵ２０４は表示領域４０３の表示を見開きＣに切り替えることがない。よって、ユーザの混乱を招くことが少なくなる。

ユーザは見開きＢのスロットＢ３に写真ａ１を配置させたい場合、見開きＢが表示領域４０３に表示された状態で、ドラッグ操作により写真ａ１を見開きＢのスロットＢ３へ動かす。ＣＰＵ２０４は、ユーザのドラッグ操作に応じて、見開きＢのスロットＢ３にドラッグされた写真ａ１を移動させる。

Ｓ１０９では、ＣＰＵ２０４は、写真ａ１がスロットＢ３に重なった状態でドラッグが解除され、写真ａ１がドロップされたか判定する。スロットＢ３にドラッグされた写真ａ１が重なった状態でドラッグが解除された場合（Ｓ１０９でＹＥＳ）はＳ１１０へ、スロットＢ３にドラッグされた写真ａ１が重なった状態でドラッグが解除されていない場合（Ｓ１０９でＮＯ）はＳ１１３へ進む。

写真ａ１がスロットＢ３に重なったかの判定基準は、写真ａ１が所定量（所定面積）だけスロットＢ３に重なったと判定してもよく、写真ａ１の所定点がスロット内の所定範囲内に入ったらスロットＢ３に重なったと判定してもよい。また、写真ａ１をドラッグしているポインタがスロットＢ３内に入ったら重ねったと判定してもよい。さらには、Ｓ１０９において、重ねられた時間が所定時間以上の場合にはＹＥＳと判定するが、重ねられた時間が所定時間未満の場合はＮＯと判定する判定基準を設けてもよい。また、スロットＢ３に対して写真ａ１が重ねられ、ドロップにより写真ａ１をスロットＢ３に配置できる状態になったことをユーザが認識可能にするため、スロットの表示を変えてもよい。例えば、そのスロットの枠を太くする、または、色を変えるなどの変化をさせるとよい。

Ｓ１１０では、ＣＰＵ２０４は、スロットＢ３に写真ａ１を配置する。そして、Ｓ１１１では、ＣＰＵは、元々写真ａ１が配置されていたスロットＡ１に、スロットＢ３に配置されていた写真ｂ３を配置する。つまり、写真ａ１と写真ｂ３とは配置領域が入れ替わる。

Ｓ１１２では、ＣＰＵ２０４は、ドラッグされている写真が、スロット以外の領域でリリースされたか否かを判定する。スロット以外の領域でリリースされたと判定された場合（Ｓ１１２でＹＥＳ）はＳ１１３に進み、スロット以外の領域でリリースされていないと判定された場合（Ｓ１１２でＮＯ）はＳ１０７へ戻る。なお、Ｓ１１２の判定基準として、写真が全くスロットに接していない状態でリリースされれば、スロット以外の領域でリリースされた（ＹＥＳ）と判定しているが、本実施形態はこれに限られない。例えば、写真の一部がスロットに接しているとしても、写真上の所定点がスロット内の所定範囲上に存在していない場合は、その状態でリリースされた写真は、スロット外でリリースされた（ＹＥＳ）と判定してもよい。

Ｓ１１３では、ＣＰＵ２０４は、写真を元のスロットに戻すキャンセル処理を開始する。例えば、写真ａ１のドラッグがスロット外で解除された場合、スロットＡ１に写真ａ１を戻すキャンセル処理を開始する。Ｓ１１３では、ＣＰＵ２０４は、表示領域４０３の表示を、元の見開きＡに切り替える。

そして、Ｓ１１４で、ＣＰＵ２０４は、スロットＡ１に写真ａ１を再配置することによりキャンセル処理が完了する。

図１６は、キャンセル処理について説明するための模式図である。図１６（１）〜（３）は、図１３（１）〜（３）と同様であるため説明を割愛する。図１６（４）は、図１６（３）の状態になった後、スロット外でドラッグ状態が解除された場合の図である。

Ｓ１１２において、配置領域であるスロット以外の領域でドラッグ状態が解除された場合、図１６（４）に示すように、ＣＰＵ２０４は、表示領域４０３の表示を元のページである見開きＡに切り替え、元々配置されていたスロットＡ１に写真ａ１を再び配置する。

なお、ここでは、キャンセル処理において、ＣＰＵ２０４は元の見開きＡに表示領域４０３の表示を切り替えたが、本発明はそれに限るものではなく、表示領域４０３は見開きＢの表示のままで、見開きＡのスロットＡ１に写真ａ１を再配置してもよい。

また、上述の例では、ＣＰＵ２０４は任意のページに写真を移動させることができるが、本実施形態はそれに限定されるものではなく、特定のページだけに移動可能なように制御してもよい。例えば、図６で説明した、自動的に写真を抽出してレイアウトし、アルバムを作成するアプリケーションを用いた場合の適用例について説明する。このアプリケーションの場合、ユーザにより指定された複数の写真（写真群）を解析することにより、シーン毎に写真データをグループ分けし、グループごとにページを割り当ててレイアウトするものがある。

例えば、写真データの解析により写真群はシーン１とシーン２に分けられた場合、ＣＰＵ２０４は、見開きＡ、Ｂ、Ｃにはシーン１の写真を割り当て、見開きＤ、Ｅにはシーン２の写真を割り当てたと想定する。このような場合、シーン１とシーン２の写真が入れ替えられると、シーン１の中にシーン２の写真が入ってしまって、時系列順に写真がレイアウトされず、アルバムのレイアウトとして不自然な仕上がりになる。よって、そのようなことを避けるため、同じシーンの中だけでページを入れ替えることができるように制御をしてもよい。

図１７は、このケースの制御について説明するための模式図である。この例では、見開きＡ、Ｂ、Ｃにはシーン１の写真がレイアウトされ、見開きＤ、Ｅはシーン２の写真がレイアウトされているとする。図１７では、スロットＡ１の写真ａ１がドラッグ操作により保持されている状態であり、この場合、見開きＤと見開きＥに対応するサムネイルがグレーアウトしている。これは写真ａ１がシーン１と判断された写真であり、シーン２の写真を割り当てている見開きＤとＥには移動できないことを示している。この場合、ユーザ操作により、ドラッグされている写真ａ１が見開きＤや見開きＥ上に重ねられても、ＣＰＵ２０４は、表示領域４０３に見開きＤや見開きＥを表示しない。

なお、図１７では、入れ替え対象外のページをグレーアウトしたが、入れ替えが可能な見開きＡ、Ｂ、Ｃを強調して表示するなど、そのページだけアイテムを移動できることがわかるように表示してもよい。さらには、ユーザ操作に応じて、表示領域４０３に見開きＤやＥに写真ａ１を配置することができるが、見開きＤやＥに写真ａ１をドロップした場合には、ＣＰＵ２０４は、異なるシーンへ配置していることを示す警告を表示してもよい。

また、図１５の制御では、表示領域４０２の各ページのサムネイルに写真を重ねたときに、表示領域４０３の表示を切り替えていたが、本実施形態のページ切り替えはそれに限るものでない。上述のページ切り替え方法に加え、図１８に示すように、前のページに表示を切り替えるボタン１１０１や、次ページに表示を切り替えるボタン１１０２により切り替える方法を用いてもよい。ＣＰＵ２０４は、ドラッグされた写真ａ１が、切り替えボタン１１０１や１１０２の領域に重ねられることにより、表示領域４０２の表示を順次切り替えられる。この切り替えボタン１１０１や１１０２は、写真ａ１のドラッグ操作だけでなく、単にタップやクリック操作等でもページ切り替えが可能である。

また、本実施形態では、表示領域４０２にすべてのページのサムネイルを表示する必要はない。例えばページが多く、全てのサムネイルが表示しきれない場合は、図１９に示すように、表示領域４０２の左の端部１２０１や右の端部１２０２にドラッグした写真を重ねることで、サムネイル表示を切り替えてもよい。図１９（１）で、ＣＰＵ２０４は、ドラッグされた写真ａ１を右端の端部１２０２に重ねることにより、図１９（２）のように表示領域４０２のサムネイル一覧の表示が切り替わる。これにより、ユーザは、例えば見開きＧのサムネイルにドラッグした写真ａ１を重ねることで、表示領域４０２の表示が見開きＧの表示に切り替わる。

また、上述の例では１つのアイテムの移動により、別のアイテムとの間でスロット入れ替えを行う例を説明したが、本実施形態はそれに限定されるものではなく、単に１つのアイテムを移動させるような制御であってもよい。例えば、図１３（３）において、ＣＰＵ２０４は、表示領域４０３の表示を見開きＢに切り替えた後、ユーザ操作に基づき、見開きＢ上の任意の位置で写真ａ１をドロップした場合、そのドロップした位置に写真ａ１を挿入してもよい。つまり、ページ上の既に設定されているスロット以外の領域でドロップした場合でも、その領域（スロット以外の領域）に写真ａ１を配置してもよい。この場合、ＣＰＵ２０４は、見開きＢに写真ａ１が追加されることにより、見開きＢを再度レイアウトするとよい。つまり、写真ａ１の挿入により、既に配置されていた写真ｂ３の表示サイズを小さくなる等のレイアウト変更を行うとよい。また、写真ａ１を見開きＢに配置された場合に、スロットＡ１は見開きＡから削除してもよい。その際には、単に見開きＡからスロットＡ１を削除するだけでなく、既に見開きＡに配置されている写真の表示サイズを大きくする等、見開きＡのレイアウト変更を行うとよい。

また、上述の例では、１つのアイテムだけを移動させる例を示したが、本実施形態はそれに限定されるものでなく、複数のスロットの写真を同時に移動させるようなものであってもよい。例えば、見開きＡのスロットＡ１の写真ａ１とスロットＡ２の写真ａ２をドラッグし、見開きＢのサムネイルに移動させることで見開きＢに表示を切り替えてもよい。そして、ＣＰＵ２０４は、見開きＢ上で写真ａ１と写真ａ２をドロップすることで見開きＢに写真ａ１と写真ａ２を配置するような制御を行ってもよい。

また、上述の例では、表示領域４０２のサムネイル表示は見開き単位で分けて一覧表示され、表示領域４０３の表示は、見開きごとに表示したが、本実施形態はそれに限定されるものではない。表示領域４０２のサムネイルは１ページずつ分けて一覧表示し、表示領域４０３には１ページずつ表示してもよい。

また、上述の例では、アイテムとして、レイアウト後の写真を移動させる例を示したが本実施形態はそれに限定されるものではない。写真以外の画像、テキストボックス、操作ボタン、アプリケーションアイコン、ショートカット、コンテンツ、スタンプ等の表示アイテムであってもよい。例えば、アプリケーションアイコンの場合、複数のページで配置が可能である場合が多い。よって、それらのページを一覧でサムネイル表示させるような表示領域を持ち、そこにアイテムを重ねることにより所望のページに表示を切り替えるような形態も実現可能である。

また、上述した実施形態では、情報処理装置１として、スマートフォンやタブレット等の端末装置の例を記載したが、その他の装置においても実現される。例えば、ＰＣや、プリンタ等の画像処理装置でもよい。

＜他の実施形態＞
上述した実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータで連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、処理の一部または全部をＡＳＩＣ等のハードウェアで実現するようにしてもよい。また、ＣＰＵも１つのＣＰＵで全ての処理を行うものに限らず、複数のＣＰＵが適宜連携をしながら処理を行うものとしてもよい。

８０ アプリケーション
２０４ ＣＰＵ
２０１ ＲＡＭ
２０２ ＨＤＤ

Claims (9)

1. 画像をテンプレート内のスロットにレイアウトすることにより、それぞれに画像がレイアウトされた第１見開きページと前記第１見開きページとは異なる第２見開きページとを含む複数の見開きページを生成するレイアウト手段と、
   表示部の第１表示領域に、前記複数の見開きページのサムネイルを一覧表示する第１制御手段と、
   ユーザからの入力に基づき、前記第１表示領域に表示されているサムネイルのうち第１見開きページに対応するサムネイルが選択された場合に、前記第１見開きページを前記表示部の第２表示領域に表示する第２制御手段と、
   画像を、ユーザのドラッグ操作に応じて移動させる第３制御手段と、
   を備え、
   前記第２表示領域に表示されている前記第１見開きページ内の第１スロットに配置されている第１画像が、ユーザのドラッグ操作に応じて前記第１表示領域に一覧表示されているサムネイルのうち前記第２見開きページに対応するサムネイルに移動されることにより、前記第２制御手段は前記第２見開きページを前記第２表示領域に表示し、
   前記第２見開きページが前記第２表示領域に表示されている状態で、ユーザのドラッグ操作に応じて前記第１画像が前記第２表示領域の前記第２見開きページ上に移動され、且つ、前記第２見開きページ内の第２スロットに配置された第２画像上で前記ドラッグ操作がリリースされることにより、前記第３制御手段は、前記第１画像を前記第２スロットに配置し、前記第２画像を前記第１スロットに配置し、
   前記第２制御手段は、前記第１画像が、前記第２表示領域に表示されている見開きページを変更するためのボタン上に移動されることによっても、前記第２表示領域に表示されている見開きページを変更することを特徴とする情報処理装置。
2. 前記第２制御手段は、前記第１画像が前記第２見開きページのサムネイルに重ねられた時間が所定時間以上である場合に、前記第２表示領域に前記第２見開きページを表示し、前記第１画像が前記第２見開きページのサムネイルに重ねられた時間が所定時間未満の場合は前記第２表示領域に前記第２見開きページを表示しないことを特徴とする請求項１に記載の情報処理装置。
3. 前記第３制御手段により、前記第１見開きページから、前記複数の見開きページのうち第３見開きページに対応するサムネイルに前記第１画像を移動させても、前記第２制御手段は前記第３見開きページを前記第２表示領域に表示しないことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第１見開きページと前記第３見開きページとは、配置されている画像のシーンが異なることを特徴とする請求項３に記載の情報処理装置。
5. 画像をテンプレート内のスロットにレイアウトすることにより、それぞれに画像がレイアウトされた第１見開きページと前記第１見開きページとは異なる第２見開きページとを含む複数の見開きページを生成するステップと、
   表示部の第１表示領域に、前記複数の見開きページのサムネイルを一覧表示するステップと、
   ユーザからの入力に基づき、前記第１表示領域に表示されているサムネイルのうち第１見開きページに対応するサムネイルが選択された場合に、前記第１見開きページを前記表示部の第２表示領域に表示するステップと、
   画像を、ユーザのドラッグ操作に応じて移動させるステップと、
   を備え、
   前記第２表示領域に表示されている前記第１見開きページ内の第１スロットに配置されている第１画像が、ユーザのドラッグ操作に応じて、前記第１表示領域に一覧表示されているサムネイルのうち前記第２見開きページに対応するサムネイルに移動されることにより、前記第２見開きページを前記第２表示領域に表示し、
   前記第２見開きページが前記第２表示領域に表示されている状態で、ユーザのドラッグ操作に応じて前記第１画像が前記第２表示領域の前記第２見開きページ上に移動され、且つ、前記第２見開きページ内の第２スロットに配置された第２画像上で前記ドラッグ操作がリリースされることにより、前記第１画像を前記第２スロットに配置し、前記第２画像を前記第１スロットに配置し、
   前記第１画像が、前記第２表示領域に表示されている見開きページを変更するためのボタン上に移動されることによっても、前記第２表示領域に表示されている見開きページは変更されることを特徴とする表示制御方法。
6. 前記第１画像が前記第２見開きページのサムネイルに重ねられた時間が所定時間以上である場合に、前記第２表示領域に前記第２見開きページを表示し、前記第１画像が前記第２見開きページのサムネイルに重ねられた時間が所定時間未満の場合は前記第２表示領域に前記第２見開きページを表示しないことを特徴とする請求項５に記載の表示制御方法。
7. 前記第１見開きページから、前記複数の見開きページのうち第３見開きページに対応するサムネイルに前記第１画像を移動させても、前記第３見開きページを前記第２表示領域に表示しないことを特徴とする請求項５又は６に記載の表示制御方法。
8. 前記第１見開きページと前記第３見開きページとは、配置されている画像のシーンが異なることを特徴とする請求項７に記載の表示制御方法。
9. 請求項５乃至８のいずれか１項に記載の表示制御方法の各ステップをコンピュータに実行させるプログラム。

Images