JP6723938B2 - 情報処理装置、表示制御方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、表示制御方法、及びプログラムに関する。特に、アイテムの表示制御を行う技術に関する。

スマートフォンやタブレット端末等のタッチパネルの操作において、ドラッグ＆ドロップによってアプリケーションアイコン等のアイテムを別ページに移動させる方法がある。この方法の場合、まずユーザは、そのアイコンを画面の左右の端にドラッグして移動させることによりページを順番にめくる。そして、所望のページが表示されたら、そのページでアイコンの画面の左右の端から離してドロップすることにより、所望のページにアイコンを再配置する。

ただし、画面の左右端部において指を検知できなかったり、指が誤ってパネルの外に出てしまったりすることにより、ページの切り替え前に、アイテムから指が離れたと認識されてしまい、アイテムが元のページの元の位置に戻ってしまう場合がある。特許文献１は、意図しない指のリリース判定に対応するため、アイテムの移動を行う際に、指の位置に関わらず、アイテムのいずれかの端部が表示枠に接したことを契機にページが切り替わる方法について開示している。

特開２０１６−１１５３３７号公報

特許文献１の方法では、アイテムをページ間移動する場合のユーザの利便性を高めることができる。しかしながら、特許文献１ではアイテムが表示枠に接していないと判断された場合は、アイテムのドロップ処理が行われすぐにアイテムはドラッグ前の元の位置や、同じページ内の所定の位置へ再配置される。よって、ユーザとしては、アイテムが再配置される前に、再度ドラッグ操作を再開することができない。また、この課題は、ページ間移動の場合に限られず、１つのページ内においてユーザの意図しない位置やアイテムを配置できない領域でドラッグ操作がリリースされた場合においても共通して生じうる。

本発明は、上記課題に鑑み、アイテムを移動する際のユーザの利便性をより高めることを目的とする。

表示部の表示領域にアイテムを表示させる情報処理装置であって、前記表示領域内に設定された複数の配置領域のうち所定の配置領域に配置されていたアイテムを、ユーザのドラッグ操作に応じて移動させる第１制御手段と、前記複数の配置領域以外の領域で前記ドラッグ操作がリリースされた場合に、前記複数の配置領域のうちいずれかの配置領域へアイテムを配置するキャンセル処理を実行する第２制御手段と、前記第２制御手段による前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止める第３制御手段と、を備え、前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域の前記アイテム以外の領域への入力を受け付けた場合でも、前記第３制御手段は前記キャンセル処理を止め、前記第３制御手段は、前記入力に応じた位置に前記アイテムを移動させる。

本発明により、アイテムが再配置される前にドラッグ操作を再開することができるため、ユーザの利便性をより高めることができる。

情報処理装置を含むシステムの構成を示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置のソフトウェア構成を示す図である。 アルバム作成アプリケーションにより提供される画面を示す模式図である。 アルバム作成アプリケーションの自動レイアウト処理部を示す図である。 自動レイアウト処理の流れを示すフローチャートである。 自動レイアウト処理における画像解析情報を説明する図である。 自動レイアウト処理における画像群分割を説明する図である。 自動レイアウト処理におけるシーン分類を説明する図である。 自動レイアウト処理における画像得点を説明する図である。 自動レイアウト処理における画像選択を説明する図である。 自動レイアウト処理における画像レイアウトを説明する図である。 表示制御方法について説明する模式図である。 アイテムのアニメーションを示す模式図である。 キャンセル処理について説明する模式図である。 表示制御方法について説明するフローチャートである。 表示制御方法について説明する模式図である。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜実施形態１＞
図１は、フォトアルバム作成／注文のための情報処理システムの構成の一例を示す図である。図１に示すように、情報処理システムは、ユーザが使用する情報処理装置１と、フォトアルバムを作成する会社の情報処理装置２とを有し、情報処理装置１と情報処理装置２は、インターネット３を介して接続されている。情報処理装置１は、例えば、パーソナルコンピュータが挙げられる。情報処理装置２は、例えば、サーバＰＣである。情報処理装置１、情報処理装置２は、例えばＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、ＯＳと略す場合がある）として、Ｗｉｎｄｏｗｓ（登録商標）８又はＷｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ ２０１２と同等のＯＳがインストールされている。情報処理装置１、情報処理装置２は、それぞれＥｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク４及び８に接続されている。

情報処理装置１には、フォトアルバム作成のためのアプリケーション８０（以下、アルバムアプリともいう）がインストールされている。アプリは、例えば、Ｗｉｎｄｏｗｓ（登録商標）用の実行可能形式のファイル（＊．ＥＸＥ）で構成される。また、情報処理装置１には、Ｗｅｂブラウザアプリケーション１４３（以下、Ｗｅｂブラウザともいう）がインストールされている。Ｗｅｂブラウザ１４３は、ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）を利用する際に用いられるブラウザである。ネットワーク４は、情報処理装置１を使用するユーザのためのネットワークであり、例えば、一般家庭用のホームネットワークが挙げられる。

情報処理装置２は、Ｗｅｂサーバの機能を備えるＷｅｂサーバ９を含み、例えば、インターネット３を介して所定の会社（仮にＡＢＣ社とする）のＷｅｂサイトを提供する。ショッピングサイト１１は、ＡＢＣ社がユーザ向けにサービスを提供しているショッピングサイトであり、ユーザはショッピングサイト１１を利用してフォトアルバムを注文することができる。

図２は、情報処理装置１のハードウェア構成の一例を表す図である。なお、情報処理装置２も同様の構成を有するものとする。ただし、情報処理装置１と情報処理装置２は、同一の構成からなる必要はない。図２に示すように、情報処理装置は、ＣＰＵ２０４、ＲＡＭ２０１、ＲＯＭ２０３、ＨＤＤ２０２、表示部２０５、入力部２０８、通信制御部２０７を有し、それぞれがシステムバス２０６により接続されている。

ＣＰＵ（中央演算装置／プロセッサ）２０４は、システム制御部であり、情報処理装置１全体を制御する。また、ＣＰＵ２０４は、本実施形態で説明する表示制御方法をプログラムに従って実行する。

ＲＡＭ２０１は、ランダムアクセスメモリであり、ＣＰＵ２０４によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。ＲＯＭ２０３は、ＣＰＵ２０４により実行されるプログラムが記憶されている。

ＨＤＤ（ハードディスク）２０２は、画像ファイルや画像解析などの処理結果を保持するデータベースなどを記憶するための記憶媒体である。ＨＤＤ２０２は、アルバムアプリ８０、Ｗｅｂブラウザ１４３等のアプリケーションや、図３で説明する各モジュール（ソフトウェア）を記憶し、必要に応じてＲＡＭ２０１に読み出されてＣＰＵ２０４により実行される。これにより、ＣＰＵ２０４が、アプリケーション８０、Ｗｅｂブラウザ１４３等のアプリケーションや、図３に示す各モジュール（ソフトウェア）の機能を実現する。

表示部２０５は、本実施形態のＵＩ（ユーザーインターフェイス）や画像のレイアウト結果をユーザに表示する。表示部２０５は、タッチセンサー機能を備えてもよい。入力部２０８は、ユーザが各種操作をする際に用いられ、例えば、表示部２０５に表示されたＵＩ上に所定の情報を入力するのに用いられる。

通信制御部２０７は、プリンタやサーバなどの外部装置と通信するための装置である。例えば、自動レイアウトをして生成したアルバムデータは、通信制御部２０７を介して情報処理装置２に送信される。

図３は、情報処理装置１のＨＤＤ２０２に保存されているソフトウェアモジュール群の構成を示す図である。図３に示したソフトウェアモジュールはＨＤＤ２０２に保存されているソフトウェアモジュール群の一部を示したものであって、全てではない。また、ＨＤＤ２０４に保存されるソフトウェアモジュール群は、情報処理装置１に搭載されるＯＳや、情報処理装置１の使用環境などに応じて適宜変更される。

モジュール９２は、Ｅｔｈｅｒｎｅｔを制御するＥｔｈｅｒｎｅｔ制御スタックである。モジュール９１は、ＩＰ Ｎｅｔｗｏｒｋを制御するＩＰ Ｎｅｔｗｏｒｋ制御スタックである。モジュール９０は、ネットワーク上のデバイス探索の仕組みを提供するＷＳＤ（Ｗｅｂ Ｓｅｒｖｉｃｅ ｏｎ Ｄｅｖｉｃｅｓ）を制御するＷＳＤ制御スタックである。モジュール８８は、ネットワークのプラグアンドプレイを制御するＰｎＰ−Ｘ制御スタックである。尚、ＰｎＰ−Ｘとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてＷｉｎｄｏｗｓ８（登録商標）に標準搭載されている機能であるＰｌｕｇ ａｎｄ Ｐｌａｙ Ｅｘｔｅｎｓｉｏｎｓの略称である。モジュール８５は、デバイスドライバ群であり、ＯＳに標準で同梱されている標準ドライバ群８７と、ＩｎｄｅｐｅｎｄｅｎｔＨａｒｄｗａｒｅＶｅｎｄｏｒ（ＩＨＶ）から提供されるＩＨＶ製ドライバ群８６とを含んで構成される。

モジュール８４は、アプリケーション／ＤＤＩインタフェースであり、ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｉｎｇＩｎｔｅｒｆａｃｅ（ＡＰＩ）、ＤｅｖｉｃｅＤｒｉｖｅｒＩｎｔｅｒｆａｃｅ（ＤＤＩ）を含んで構成される。アプリケーション群８２は、アプリケーション８０、Ｗｅｂブラウザ１４３を含むアプリケーション群である。

図４は、フォトアルバムアプリケーションの実行によりＣＰＵ２０４によって提供される表示画面であり、フォトアルバムを編集するための編集画面の一例である。編集画面４０１は、フォトアルバムアプリケーションにより提供される。表示領域４０２は、フォトアルバムの各ページのサムネイルを一覧表示する領域である。表示領域４０３は、表示領域４０２で選択されたページのプレビュー画像を表示する領域であり、レイアウト画像の編集を行うことができる。

表示領域４０２において、ユーザが各ページのサムネイルの中から所望のサムネイルを選択することで、そのページが選択状態の表示４０４になる。図４では、３〜４ページの２ページ分（見開き１つ分）が選択状態であり、このページのレイアウト画像が表示領域４０３に表示される。なお見開きとは、たとえば表示においてはひとつの表示用ウィンドウに相当し、印刷においては印刷された互いに隣接する１対のページに相当する。

表示領域４０３では、フォトアルバムの編集操作が可能となる。レイアウト画像において表示されるテンプレートは、１以上のスロットを有する。図４では、３ページ目（図中左ページ）に３つのスロット４０５を有し、４ページ目（図中右ページ）に１つのスロット４０５を有する。スロット４０５は、スロットであり、各スロットには写真が割り当てられる。なお、本実施形態では、各スロット４０５には、自動で写真が割当てられている。テキストボックス４０６にはユーザにより任意のテキストが入力される。

ボタン４０７は、アプリケーションにより作成した（編集した）フォトアルバムをカートに入れるためのボタンである。このボタン４０７を押すことにより、編集したフォトアルバムがインターネット３経由で情報処理装置２のショッピングカートにアップロードされる。

（自動レイアウト処理部の構成）
図５は、アルバム作成アプリケーションの一部の機能のソフトウェアブロック図である。アルバム作成アプリケーションは様々な機能を持つが、本実施形態では、特に自動レイアウト処理部９１６により提供される自動レイアウト機能に関して説明する。自動レイアウト機能は、撮影された写真をその内容や属性に基づいて分類し、あるいは選択して写真をレイアウトし、表示部２０５に表示するアルバム画像を生成するための機能である。

本実施形態では、アルバム作成アプリケーションは、表示部２０５に表示されているアプリケーションのアイコンがユーザにより押下されることにより起動する。図５に示すように、アルバム作成アプリケーションは、アルバム作成条件指定部９０１と、自動レイアウト処理部９１６と、を含む。マウス等の入力部２０８を介したＵＩ操作に応じてアルバム作成条件を自動レイアウト処理部９１６に指定する。

画像取得部９０２は、アルバム作成指定部から指定された画像群をＨＤＤ２０２から取得する。ここでいう画像群とは、１つのアルバム作成の際にレイアウトする候補画像群を指す。例えば、アルバム作成条件指定部２０１において、ＸＸ年１月１日〜ＸＸ年１２月３１日が指定された場合は、ＸＸ年１月１日〜ＸＸ年１２月３１日に撮影された画像全てが指定された画像群に該当する。

画像変換９０３は、以降の処理に使う画像データを所望の画素数や色情報に変換する。本実施形態では、短辺画素の画素数とｓＲＧＢの色情報の解析画像に変換する。

画像解析部９０４は、解析画像から後述の特徴量取得、顔検出、表情認識、個人認識を実施する処理である。また、ＨＤＤ２０２から取得した画像に付随したデータ、例えばＥｘｉｆ情報から撮影日時の取得も画像処理部９０４で実施する。

画像分類部９０５は、画像群に対して撮影日時情報や枚数、検出した顔情報を使って後述のシーン分割、シーン分類を実施する処理である。シーンとは、旅行や日常、結婚式等の撮影シーンのことである。シーンとは、例えば、一つの撮影対象について一時期の撮影機会に撮影された画像の集まりであるということもできる。

主人公情報入力部９０６は、アルバム作成条件指定部９０１から指示された主人公のＩＤ（識別情報）を画像得点部に入力する。

画像得点部９０７は、各画像に対して得点付けをする。本実施形態では、レイアウトに適した画像が高得点になるように得点付けをする。レイアウトに適した画像が高得点になるように得点付けする際は、画像解析部９０４で得られた情報、画像分類部９０５で得られた情報を使う。画像得点部９０７は、主人公情報入力部９０６から入力された主人公ＩＤが含まれる画像の得点が高得点になるように、各画像に対して得点付けをする。

見開き割当部９０９は、画像群を分割して各見開きに割り当てる。ここでいう見開きとは、例えばアルバムを作成した際の見開きであり２ページ分に相当する。

見開き入力部９０８は、アルバム作成条件指定部９０４から指定されたアルバムの見開き数を見開き割当部９０９に入力する。

見開き割当部９０９は、入力された見開き数に応じて画像群を分割して各見開きに画像群の一部を割り当てる。例えば、見開き数が５である場合、取得した画像群を５つに分割して小画像群を生成し、各見開きに１つの画像群を割り当てる。

画像選択部９１０は、見開き割当部９０９で各見開きに割り当てられた画像群の一部から画像得点部９０７で付けた得点に基づいて画像を選択する。

テンプレート入力部９１１は、アルバム作成条件指定部９０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部９１２に入力する。

画像レイアウト部９１２は、画像のレイアウトを決定する。具体的には、テンプレート入力部９１１が入力したそれぞれのテンプレートのうち、画像選択部９１０が選択した画像に適したテンプレートを選択し、各画像のレイアウト（配置位置）を決定する。

画像補正条件入力部９１３は、アルバム作成条件指定部９０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部９１４に入力する。

画像補正部９１４は、覆い焼き補正、赤目補正、コントラスト補正をする。画像補正部９１４は画像補正条件ＯＮの場合は、画像に対して補正を実施する。画像補正条件ＯＦＦの場合は、補正を実施しない。尚、画像補正部９１４には、画像変換部９０３から入力された画像に対して補正のＯＮ／ＯＦＦを実施する。画像変化部９０３から画像補正部９１４に入力する画像の画素数は、画像レイアウト部９１２で決定したレイアウトのサイズに合わせて変えられる構成となっている。

レイアウト情報出力部９１５は、画像レイアウト部９１２が決定した画像レイアウトに従って、ディスプレイに表示する為のレイアウト情報を出力する。レイアウト情報は例えば、選択したテンプレートに選択した画像をレイアウトしたビットマップデータである。

（自動レイアウト処理のフロー）
図６は本実施形態に係るアルバム作成アプリケーションの自動レイアウト処理部９１６に関する処理フローを示すフローチャートである。図６に示すフローチャートは、例えば、ＣＰＵ２０４がＨＤＤ２０２に格納されたプログラムをＲＯＭやＲＡＭ２０１に読み出して実行することにより実現される。図６を使って、自動レイアウトの処理フローを以下説明する。

Ｓｔｅｐ０１では、画像変換部９０３で解析画像を生成する。アルバム作成条件指定部９０１で指定されたＨＤＤ２０２の画像群の各画像を所望の画素数と色情報に変換する。なお、ここで変換する画素数及び色情報は、予め決められており、保存されている。本実施形態では、短辺画素とｓＲＧＢの色情報の解析画像に変換する。

Ｓｔｅｐ０２では、画像解析部９０４で画像特徴量を取得する。ＨＤＤ２０２から取得した各画像データに付随する例えばＥｘｉｆ情報から撮影日時を取得する。また、Ｓｔｅｐ０１で生成された解析画像から特徴量を取得する。特徴量としては、例えば、ピントが挙げられる。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出して、エッジの始点と終点の輝度差を始点と終点の距離で割ればエッジの傾きを算出できる。画像中のエッジの平均傾きを算出して、平均傾き大の画像は平均傾き小の画像よりもピントが合っていると考えることが出来る。傾きに対して異なる値の複数の閾値を設定し、どの閾値以上かを判別することでピント量を出せる。本実施形態では異なる２つの閾値を設定し、○△×の３段階でピント量を判別する。アルバムに採用したいピントの傾きを○、許容できるピントの傾きを△、許容できない傾きを×として、実験を通して閾値を設定する。

Ｓｔｅｐ０３では、画像解析部９０４で顔検出を実施する。Ｓｔｅｐ０１で生成された解析画像から顔を検出する。顔の検出は、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが挙げられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔を検出する。顔画像を抽出すると共に、検出した顔位置の左上座標値と右下座標値を取得する。なお、ここでいう「画像」とはＳｔｅｐ０１で生成された画像データにより表される画像である。この２種の座標を特定することにより、人物の顔の位置と顔のサイズを特定することができる。なお、ここでは、人物の顔を検出するものとしたが、人物の顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてＡｄａｂｏｏｓｔによって強識別器を作成することができる。すなわち、顔以外のオブジェクトを検出するようにしてもよい。

Ｓｔｅｐ０４では、画像解析部９０４で個人認識をする。まずＳｔｅｐ０３で抽出した顔画像を顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似性を比較する。そして、類似性が閾値以上で最も類似性が高いＩＤを抽出した顔画像のＩＤとする。なお、類似性が閾値未満の場合は新規の顔として新規の個人ＩＤとして顔辞書データベースに抽出した顔画像を登録する。

Ｓｔｅｐ０２からＳｔｅｐ０４で取得した画像解析情報は、図７に示すように各画像を識別するＩＤ毎に区別して記憶する。Ｓｔｅｐ０２で取得した撮影日時情報とピント判別結果、Ｓｔｅｐ０３で検出した顔の数と位置情報を保存する。なお、顔の位置情報はＳｔｅｐ０４で取得した個人ＩＤ毎に区別して記憶する。画像データにおいて顔が検出されない場合は、Ｓｔｅｐ０２で取得した撮影日時情報及びピント判別結果が保存される。

Ｓｔｅｐ０５では、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像群の全画像に対してＳｔｅｐ０１からＳｔｅｐ０４が終了したか否かを判定する。終了していない場合（Ｓｔｅｐ０５でＮｏ）、Ｓｔｅｐ０１に戻る。終了している場合（Ｓｔｅｐ０５でＹｅｓ）はＳｔｅｐ０６に移行する。

Ｓｔｅｐ０６では、画像分類部２０５でシーン分割をする。シーン分割とは、取得した画像群をシーンに応じて複数のサブ画像群に分割することを指す。具体的には、Ｓｔｅｐ０２で取得済みの撮影日時情報に基づいて、画像と画像との時間差を頼りに画像群を複数に分割する。画像と画像の撮影日が連続していない場合、すなわち、画像間に撮影していない日が存在する場合は、分割する。次に、撮影日が連続する場合について説明する。本実施形態では、画像と画像の撮影時間の差が１６時間以上空いている場合は分割する。画像と画像の撮影時間の差が１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満なら分割する。本実施形態では、４時間以上の場合は、連続する各日の撮影枚数が５０枚未満なら分割し、５０枚以上であれば分割しないものとする。なお、分割の際の時間差の閾値や枚数の閾値は、これに限定されるものではない。図８（Ａ）は、上述したシーン分割方法で分割した結果を示している。

Ｓｔｅｐ０７では、画像分類部９０６でシーン分類をする。本実施形態では、各サブ画像群（各シーン）を旅行、日常、セレモニーの３つに分類する場合を例に挙げて説明するが、分類はこれに限定されるものではない。まず、旅行、日常、セレモニーのうちいずれに分類されるかを予め判定したサブ画像群を複数取得する。各画像群について、撮影の特徴量を取得する。本実施形態で取得する特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、画像群の最初の撮影から最後の撮影までの時間差である。撮影枚数は、サブ画像群に含まれる画像の数（写真の枚数）である。撮影人数は、顔が写っている画像における顔の数である。すなわち、１つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差を求める。なお、本実施形態では、１画像あたりの顔の数が、１画像あたりの人数とする。図９は、撮影期間（時間）、撮影枚数（枚）、撮影人数（人）の各平均値と標準偏差を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２で指定した画像群のＳｔｅｐ０６でシーン分割された各分割に対して、撮影期間と撮影枚数、撮影人数の平均値を算出する。そして、シーン毎に、前記各サブ画像群の撮影期間、撮影枚数、撮影人数の特徴量について、それぞれの平均値と標準偏差に基づいて、以下の式により得点化を実施する。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜ （式１）
平均得点＝（撮影期間の得点＋撮影枚数の得点＋人数の得点）／特徴量項目数 （式２）
以上によって、旅行、日常、セレモニー毎の平均得点が算出される。サブ画像群毎に最高点のシーンをそのサブ画像群のシーンとして分類する。２以上のシーンが同点の場合は、優先シーンに分類する。例えば本実施形態では、日常＞セレモニー＞旅行の順であり、日常の優先度を最も高くしている。

図８（Ａ）のシーン分割された後のサブ画像群（５）は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であった。旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は−２９．９２となり、シーンは旅行に分類される。分類したシーンは識別ができるようにシーンＩＤで管理する。

Ｓｔｅｐ０８では、Ｓｔｅｐ０６で分割された全サブ群に対してＳｔｅｐ０７のシーン分類が終了したか否かを判定する。終了していない場合（Ｓｔｅｐ０８でＮｏ）、Ｓｔｅｐ０７に戻る。終了している場合（Ｓｔｅｐ０８でＹｅｓ）、Ｓｔｅｐ０９に移行する。

Ｓｔｅｐ０９では、画像得点化部２０７で主人公設定をする。主人公設定はユーザが指定した画像群に対して実施され、自動と手動の２種類がある。自動で主人公を設定する場合、Ｓｔｅｐ０４の個人認識の結果と、Ｓｔｅｐ０６のシーン分割の結果に基づいて設定をする。Ｓｔｅｐ０４で取得した結果から、サブ画像群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤの回数、各個人ＩＤが登場するシーンの回数等を特定し、これらの情報から自動で主人公を設定する。本実施形態では、サブ画像群に複数シーンがある場合は複数のシーンに登場する個人ＩＤを主人公ＩＤと設定し、サブ画像群が単一シーンである場合は、単一シーンの登場回数が多い個人ＩＤを主人公ＩＤと設定する。主人公設定部３０４でユーザが特定のアイコンを指定している場合は、主人公情報入力部２０６を介して選択されたアイコンに対応する個人ＩＤが画像得点部２０７に伝えられる。ユーザ指定の個人ＩＤがある場合は、上述した自動設定の主人公ＩＤは無視して、ユーザ指定の個人ＩＤを主人公ＩＤと設定する。このように、主人公設定部３０４の指定に基づく設定を手動設定とする。

Ｓｔｅｐ１０では、画像得点化部２０７で得点化をする。得点化とは、後述する画像選択時に参照する値であり、画像データ毎に後述する観点で評価した得点を付ける。

図１２は、３枚の画像をレイアウトする際に用いるテンプレート群を示している。図１２の（１−１）に示すテンプレート１６０１は１枚のテンプレートであり、メインスロット１６０２と、サブスロット１６０３、サブスロット１６０４を有する。メインスロット１６０２とは、テンプレート１６０１でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１６０３とサブスロット１６０４よりもサイズが大きい。また、サブスロットとは、各テンプレートにおいて、メインスロット以外のスロットである。メインスロット用の得点とサブスロット用の得点の両方を各画像データに付ける。得点化処理では、メインスロット用の得点とサブスロット用の得点の両方を画像毎に付ける。

次に、図１０（Ａ）に画像データの得点化の基準を示す。図１０（Ａ）は旅行、日常、セレモニーのシーン毎に得点が高くなる画像の特徴を、メインスロットとサブスロットに分けてまとめた表である。なお、図１０（Ａ）に示すように、スロットの種類に応じて、得点が高くなる特徴が異なる。例えば、サブ画像群のシーン分類が旅行である場合、人物と風景が入ったひいた画像は、メインスロットとしての得点が高くなり、顔のアップや横顔の画像は、サブスロットとしての得点が高くなる。例えば、サブ画像群のシーン分類が日常である場合、顔のアップや横顔の画像は、メインスロットとしての得点が高くなり、人物と風景が入ったひいた画像は、サブスロットとしての得点が高くなる。例えば、サブ画像群のシーン分類がセレモニーである場合、２人の距離が近い画像は、メインスロットとしての得点が高くなり、大人数の画像は、サブスロットとしての得点が高くなる。このように、シーン及びスロットの種類に応じて、得点が高くなる特徴、言い換えれば、評価基準が異なる。本実施形態では、シーン及びスロットの種類に応じた得点が高くなる特徴は、アプリケーションにおいて予め設定しておき、プログラムに含むものとする。なお、得点が高くなる特徴は、上述したものに限定されるものではない。図１０（Ａ）に示す各シーンのメインスロットとサブスロットのそれぞれの特徴に基づいて、各サブ画像群に含まれる各画像データに得点を付ける。各画像における顔の数、各画像における顔の位置、各画像における顔のサイズを取得し、平均値と標準偏差を各シーン各スロット種類（メインスロットとサブスロット）に対して求めて、アルバム作成アプリケーションのプログラムに記憶しておく。ユーザが指定した画像群の各画像データが表す画像がいずれのシーンに属するか（分類されるか）は、Ｓｔｅｐ０７のシーン分類の結果から特定する。そして、注目画像のシーンに対応する予め求めた前記平均値と標準偏差、注目画像における主人公ＩＤの顔の数、顔の位置、顔サイズの各特徴量に基づいて以下の式を使って得点と平均得点を出す。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜
平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数
なお、得点化は、メインスロット用とサブスロット用の両方を実施する。またアルバムに使う画像は、図７に示すピントの特徴量が○である画像ＩＤの画像に対しては得点を加算してもよい。これにより、ピントが合っている画像の得点を高くすることができる。図１０（Ｂ）は、各画像の得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットの得点が付けられている。

Ｓｔｅｐ１１では、画像得点部２０７がユーザ指定の画像群の全画像に対してＳｔｅｐ１０の画像得点化が終了したか否かを判定する。終了していない場合（Ｓｔｅｐ１１でＮｏ）、Ｓｔｅｐ１０に戻る。終了している場合（Ｓｔｅｐ１１でＹｅｓ）、Ｓｔｅｐ１２に移行する。

Ｓｔｅｐ１２では、見開き割当部９０９が、画像分類部９０５のシーン分割により得られたシーン数（サブ画像群の数）が見開き数入力部９０８により入力される見開き数と同じか否かを判定する。同じでない場合（Ｓｔｅｐ１２でＮｏ）、Ｓｔｅｐ１３に移行する。同じ場合（Ｓｔｅｐ１２でＹｅｓ）、Ｓｔｅｐ１６に移行する。例えば、図１０（Ａ）のシーン分割数が８であり、見開き数入力部９０８の入力数が８であればＳｔｅｐ１６に移行する。

Ｓｔｅｐ１３では、見開き割当部９０９が画像分類部９０５のシーン分割により得られたシーン数が見開き数入力部９０８により入力される見開き数より少ないか否かを判定する。シーン数が見開き数より少なくない場合（Ｓｔｅｐ１３でＮｏ）、Ｓｔｅｐ１５に移行する。シーン数が見開き数より少ない場合（Ｓｔｅｐ１３でＹｅｓ）はＳｔｅｐ１４に移行する。例えば、図８（Ａ）のシーン分割数が８であり、見開き数入力部９０８の入力数が１０であれば、シーン数が見開き数より少なくないため、Ｓｔｅｐ１４に移行する。

Ｓｔｅｐ１４では、見開き割当部９０９がサブシーン分割をする。サブシーン分割とは、シーン分割数＜見開き数の場合に分割されたシーンを更に細分割することを指す。図８（Ａ）のシーン分割数８に対して指定見開き数が１０である場合を例に挙げて説明する。図８（Ｂ）では、図８（Ａ）をサブシーン分割した結果である。破線矢印の箇所でサブ画像群をさらに分割したことで、分割数を１０にしている。サブシーン分割する基準は、画像枚数および撮影日時である。図８（Ａ）の分割の中で画像枚数が多いサブ画像群を特定する。ここでは、シーン数を８から１０に２つ増やしたいため、画像枚数が多い２つのサブ画像群を特定する。多い方からサブ画像群（５）、次にサブ画像群（１）とサブ画像群（２）である。

本実施形態では、サブ画像群に含まれる枚数が同じである場合は、サブ画像群に含まれる最初の画像と最後の画像の時間差が大きい方のサブ画像群を分割する。サブ画像群（１）とサブ画像群（２）は、含まれる画像の同じ枚数だが、サブ画像群（２）の方が最初の画像から最後の画像の時間差が大きいため、サブ画像群（２）を分割対象とする。すなわち、図８（Ｂ）では、サブ画像群（５）とサブ画像群（２）をそれぞれさらに分割する。

まず、サブ画像群（２）の分割方法について説明する。サブ画像群（２）には、画像枚数の山が２つあり、この２つは撮影日が違う。この場合は、撮影日が変わる箇所（図８（Ｂ）の破線矢印の箇所）で分割する。

次に、サブ画像群（５）の分割を説明する。サブ画像群（５）には画像枚数の山が３つあり、この３つは撮影日が違う。この場合も、撮影日が変わる箇所で分割する。このとき、撮影日が変わる箇所が２箇所あるが、分割後の各画像群の枚数差が小さくなるように分割する。図１１（Ｂ）では、サブ画像群（５）では、２日目と３日目の境目で分割した方が、１日目と２日目の境目で分割するよりも分割後の各画像群の枚数差が小さくなるので、２日目と３日目の境目で分割する。すなわち、図１１（Ｂ）の破線矢印の箇所で分割する。以上により分割数を８から１０にする。ここでは撮影日の違う箇所で分割したが、画像枚数が多いサブ画像群が単一日で撮影されたものである場合は、単一日の中で時間差が最大の箇所で分割する。

Ｓｔｅｐ１５では、見開き割当部９０９がシーン統合をする。シーン統合とは、シーン数が見開き数よりも多い場合、分割されたシーン（サブ画像群）を統合する。具体的には、シーン数と見開き数が一致するように、シーン統合をする。図８（Ｃ）は、見開き数が６の場合、図８（Ａ）をシーン統合してシーン数を６とした結果である。破線の箇所を統合、言い換えれば、破線の箇所での分割をしないことで、シーン数（サブ画像群の数）を６にする。シーン統合では、画像枚数が少ないサブ画像群を特定する。ここでは、分割数を８から６に２つ減らしたいため、画像の枚数が少ないサブ画像群を特定する。

画像枚数が少ないサブ画像群は、少ない方からサブ画像群（８）、サブ画像群（３）、サブ画像群（７）である。したがって、まず、サブ画像群（８）を統合対象とする。次に、サブ画像群（３）とサブ画像群（７）は、画像の枚数は同じである。ただし、サブ画像群（７）に隣接するサブ画像群（８）が統合対象であるため、サブ画像群（３）を統合対象とする。次に、統合対象のサブ画像群を、撮影日時が前のサブ画像群に統合するか、撮影日時が後のサブ画像群に統合するかを決定する。まず、サブ画像群（３）の統合を説明する。サブ画像群（３）の前後のサブ画像群（２）とサブ画像群（４）との時間差を比較すると、サブ画像群（３）の最後の画像とサブ画像群（４）の最初の画像との撮影時間の差の方がサブ画像群（３）の最初の画像とサブ画像群（２）の最後の画像との撮影時間の差よりも小さい。したがって、サブ画像群（３）は、サブ画像群（４）に統合すると決定する。すなわち、図１１（Ｃ）の破線の箇所を統合する。次に、サブ画像群（８）の統合を説明する。サブ画像群（８）は、後のサブ画像群がない為、前のサブ画像群（７）と統合する。すなわち、図１１（Ｃ）の破線箇所で統合する。なお、本実施形態では、撮影時間の差が小さいサブ画像群同士を統合することにしたが、これに限定されるものではない。例えば、統合対象のサブ画像群を撮影枚数が少ないサブ画像群に統合するようにしてもよい。

Ｓｔｅｐ１６では、見開き割当部９０９が見開き割当をする。Ｓｔｅｐ１２〜Ｓｔｅｐ１５によって、サブ画像群の数と指定見開き数は同じになっている。本実施形態では、撮影日時が先頭のサブ画像群から見開きの先頭に割り当てる。すなわち、撮影日時順にサブ画像群をアルバムの各見開きのページに割当てる。これにより、撮影日時順にサブ画像群が並んだアルバムを作成することができる。なお、後述する通り、１つの見開きページ内では、画像は撮影日時に並んでいなくてもよい。

Ｓｔｅｐ１７では、画像選択部９１０が各サブ画像群から所定枚数の画像を選択する。図１１を用いて、ある見開きに割り当てられたサブ画像群から画像を４枚選択する場合を例に挙げて説明する。なお、ここでは、見開きとは、２ページを指し、最初の見開き及び最後の見開きは、１ページとする。図１１（Ａ）は、見開きに割り当てられたサブ画像群に含まれる最初の画像から最後の画像のまでの撮影日時の時間差、言い換えれば、サブ画像群の撮影期間を示す。図１１（Ｂ）を使って、４枚選択する際の１枚目を選択する方法を説明する。テンプレートには、１つのメインスロット１００２がある。１枚目は、メインスロット用の画像を選択する。図１１（Ｂ）に示すサブ画像群の撮影期間に撮影された全ての画像のうちＳｔｅｐ１０で付けたメインスロット用の得点が最高点の画像を選択する。そして、２枚目以降はサブスロット用の画像を選択する。本実施形態では、サブ画像群の撮影期間を細分化して画像を選択することにより、サブ画像群の撮影期間の一部に集中しないようにする。まず、図１１（Ｃ）のようにサブ画像群の撮影期間を２分割して、２つの撮影期間とする。すなわち、サブ分割撮影期間を２等分して２つの撮影期間にする（グループ分けする）。次に、図１１（Ｄ）のように１枚目が選ばれていない撮影期間（実線の区間）からサブスロット用の得点が最高点の画像を２枚目として選択する。次に、図１１（Ｅ）のように、図１１（Ｄ）の各撮影期間をそれぞれ２等分する。図１１（Ｆ）の実線区間、すなわち、１枚目と２枚目が選ばれていない２つの撮影期間に撮影された画像（２つの撮影期間に対応する画像）のうちサブスロット用の得点が最高点の画像を３枚目として選択する。次に、画像を選択する撮影期間に画像が存在せず、画像選択できない例を４枚目の選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。したがって、分割して得られた撮影期間に画像が存在しない場合がある。例えば、図１１（Ｇ）のように、まだ画像が選ばれていない撮影期間（斜線の区間）から４枚目を選択したいが、この斜線区間には画像が存在しないとする。この場合は、図１１（Ｈ）のように、画像を選択済みの各撮影期間をそれぞれ２分割する。次に、図１１（Ｉ）のように、１〜３枚目が選ばれていない実線の撮影期間に撮影された画像のうちサブスロット用の最高点の画像を４枚目として選択する。

Ｓｔｅｐ１８では、画像レイアウト部９１２が処理対象の見開きの画像レイアウトを決定する。テンプレート入力部９１１は、指定のテンプレート情報に従ってある見開きに対して図１２の（１−１）〜（４−４）を入力した場合を例に挙げて説明する。入力されたテンプレートのスロット数は３である。選択されている画像３枚の画像の向きが縦方向か横方向かを撮影日時の順に並べると図１２（Ａ）であったとする。ここでは、画像１６０５がメインスロット用として選択された画像であり、画像１６０６と画像１６０７がサブスロット用として選択された画像とする。本実施形態では、テンプレートの左上に撮影日時のより古い画像、右下に撮影日時のより新しい画像をレイアウトするものとする。画像１６０５は、撮影日時が一番新しく且つメインスロット用の画像であるため、図１２（３−１）〜（３−４）のテンプレートが候補となる。そして、サブスロット用の古い方の画像１６０６、すなわち、左上に配置したい画像が縦画像で、新しい方の画像１６０７が横画像である。したがって、（３−２）が、選択された画像に最も適したテンプレートとしてレイアウトが決まる。このようにＳｔｅｐ１８では、レイアウトに用いるテンプレートと、テンプレートのいずれのスロットにいずれの画像をレイアウトするかを識別できる情報が決定する。図１２では、スロット数が３の場合を例に挙げて説明を行ったが、Ｓｔｅｐ１７で、必要枚数が４枚となった場合には、スロット数４のテンプレートセットを用意して、それらに対して同様に、スロット状態と画像の状態の合致具合を判定する。これにより、どのテンプレートに画像をレイアウトするかを決めればよい。

Ｓｔｅｐ１９では、画像補正部９１４が画像補正をする。画像補正の条件入力部がＯＮを入力した場合は、画像補正を実施する。本実施形態では、画像補正として、覆い焼き補正、赤目補正、コントラスト補正を自動で実施する。画像補正の条件入力部がＯＦＦを入力した場合は、画像補正を実施しない。補正する画像の画素数は短辺１２００画素で、ｓＲＧＢの色空間に変換した画像に対して画像補正ＯＮ／ＯＦＦを実施する。

Ｓｔｅｐ２０では、レイアウト情報出力部９１５がレイアウト情報を作成する。Ｓｔｅｐ１８で決まった通りに各画像をレイアウトする。このとき、テンプレートが有する各スロットのサイズ情報に合わせてレイアウトする画像を変倍してレイアウトする。そして、テンプレートに画像をレイアウトしたビットマップデータを生成する。

Ｓｔｅｐ２１はＳｔｅｐ１７〜Ｓｔｅｐ２０が全ての見開きに対して終了したか否かを判定する。終了していない場合（Ｓｔｅｐ２１でＮｏ）はＳｔｅｐ１７に戻る。終了している場合（Ｓｔｅｐ２１でＹｅｓ）は自動レイアウト処理を終了する。

（フォトアルバムの編集）
次に、レイアウトされたフォトアルバムを編集する際の操作について説明する。ここではあるページのスロットに設定されている写真と、別のページのスロットに設定されている写真を入れ替えるという例を説明する。本実施形態においては、レイアウト後の写真（画像）を表示アイテムとみなし、ユーザ操作に基づきアイテムを移動させる場合の表示制御の例について説明する。

図１３は、情報処理装置１である端末装置１３０１（スマートフォンやタブレット端末）の表示領域内に、フォトアルバムの編集画面４０１がフルスクリーン表示されている様子を示している。端末装置１３０１はホームボタン１３０２を備えている。

図１３（１）ではサムネイルの表示領域４０２で見開きＡが選択されているため、フォトアルバムの表示領域４０３では見開きＡがプレビュー表示されている。なお、見開きＡはアルバムの３ページ目及び４ページ目に対応するものとする。見開きＡのテンプレートには、写真の配置領域としてスロットＡ１、Ａ２が設定されており、それぞれ写真ａ１、ａ２が配置されている。図１３（２）はユーザがスロットＡ１の写真ａ１をドラッグ操作して保持している様子を示す図である。写真ａ１をドラッグして保持している状態では写真ａ１から写真を抜き出した状態であるため、スロットＡ１の中はグレーで表示して何も写真が設定されていないことを示している。図１３（３）はドラッグ操作により保持された写真ａ１を次ページ切り替え領域１３０４まで移動させ、次ページ切り替え領域１３０４に重ねた状態を示している。このように表示領域のページ端部にある次ページ切り替え領域１３０４に、ドラッグ操作により写真を重ねることにより、フォトアルバムの表示領域４０３の表示は見開きＢに切り替わる。

次ページ切り替え領域１３０４は、次のページを表示するため領域である。画像のドラッグ操作により次ページ切り替え領域１０３４に画像を重ねた場合だけでなく、ユーザによるタップやクリックなどの操作により次ページ切り替え領域１３０４が選択された場合も表示領域４０３内の表示は次ページに切り替わる。一方、前ページ切り替え領域１３０３は前のページを表示するための領域である。ドラッグ操作で保持されている写真を移動させ、前ページ切り替え領域１３０３に重ねることにより、フォトアルバムの表示領域４０３の表示は前のページに切り替わる。また、前ページ切り替え領域１３０３をタップやクリックなどで選択した場合も、フォトアルバムの表示領域４０３内の表示は前のページに切り替わる。なお、図１３では、見開き単位で表示領域４０３の表示を切り替えているが、本実施形態の表示切り替えは、１ページずつの切り替えでもよい。

図１３（３）に示したように、見開きＢにはスロットＢ１、Ｂ２、Ｂ３があり、それぞれ写真ｂ１、ｂ２、ｂ３が配置されている。図１３（４）はユーザが操作を誤ってドラッグしている指が表示領域であるタッチパネルから外に出してしまったときの図である。これによりタッチ操作がリリースされ、ドラッグ操作が解除されてしまい、キャンセル処理が開始される。実施形態１におけるキャンセル処理とは、ドラッグ操作のリリースにより、ドラッグ操作されていたアイテムを、典型的にはドラッグ開始前の元の配置領域へ戻す処理である。

図１３（５）、（６）は、ユーザがドラッグ操作を解除してしまったことにより、写真ａ１が、元の配置領域である元のスロットＡ１に戻ろうとしている途中の図である。本実施形態ではドラッグが解除された場合にすぐに写真ａ１が元のスロットＡ１に戻ってキャンセル処理が完了するのではなく、ある一定時間かけてキャンセル処理が完了するように制御する。この例では、図１３（５）、（６）に示したように、タッチ操作がリリースされたことにより写真ａ１のドラッグが解除された場合、一旦、写真ａ１は所定時間だけ所定の範囲内（典型的にはドラッグ解除された位置）に留まり、所定時間経過した後に所定の範囲から配置領域へ移動する。なお、図１３（５）、（６）では、所定の範囲に留まっている間、写真ａ１は所定の変化をする。具体的には、写真ａ１が反時計回りにある一定角度だけ回転する動作（図１３（５））と、時計周りにある一定角度だけ回転する動作（図１３（６））と、を一定回数繰り返す揺動運動を行う。その後、写真ａ１は、ドラッグ操作が開始される前に配置されていた元のスロットＡ１に戻り、キャンセル処理が完了する。

このキャンセル処理が完了するまでの間に、ユーザはパネルをタッチすることにより、キャンセル処理が取り消され、ユーザはドラッグ操作を再開することができる（図１３（７））。ドラッグ状態が再開された後、ユーザは、写真ａ１のドラッグ操作により、表示領域４０３の表示を見開きＣのページ７及びページ８へ切り替え、入れ替えたいスロットＣ３に写真ａ１を重ねる（図１３（８））。スロットＣ３に写真ａ１を重ねたままドラッグを解除して写真ａ１をドロップすることにより、スロットＣ３に写真ａ１が配置される（図１３（９））。なお、図１３（８）では、スロットＣ３に写真ａ１を重ねることで、スロットＢ３のスロット枠が太くなっている。これは写真入れ替えが可能な状態になっていることを示しており、スロットＣ３のスロット枠が太くなっている状態で写真ａ１のドラッグを解除するとスロットＣ３に写真ａ１がセットされる。

このように、本実施形態では、キャンセル処理が完了するまでの間に、ユーザによるタッチやクリック等の表示領域への入力を受け付けた場合、キャンセル処理が止まる。よって、ユーザは、写真ａ１が元のスロットに戻る前に、再度ドラッグ操作を再開することができる。

また、図１３の例では、キャンセル処理中において、アイテムが元の配置領域へ移動する前に、一定期間だけ所定の範囲に留まる動作（待機動作）を行う。この待機動作により、ユーザはドラッグが解除された後、アイテムを再度タッチ等で捉え、ドラッグ操作しやすくなるため好ましい。なお、図１３（７）の例では、アイテムである写真ａ１をタッチしてキャンセル処理を止め、写真ａ１のドラッグを再開しているが、本実施形態はこれに限られない。表示領域におけるアイテム以外の領域への入力（タッチ（タップでも長押しでもよい）やクリック等に基づく入力）を受け付けた場合であっても、キャンセル処理が止まるようにしてもよい。この場合、ユーザ入力に応じた位置にアイテムが吸い付くように移動すると、その後のドラッグ操作が容易になるため、好ましい。

ここで、図１３（５）及び（６）における待機動作中の写真ａ１の変化について、図１４を用いて詳細に説明する。図１４は、アイテム１４０１のドラッグ操作が解除された場合のキャンセル処理中のアニメーションを示した図である。例えば、アイテム１４０１のドラッグが図１４（１）の状態で解除された場合、まずアイテム１４０１は時計周りにある一定角度だけ回転させる（図１４（２））。次にアイテム１４０１は半時計周りに一定角度だけ回転し（図１４（３））、また最初の状態に戻る（図１４（４））。アイテム１４０１は所定時間の間、このような揺動運動を繰り返す。

このようにキャンセル処理中における待機中に、アイテムが所定のアニメーションを実行することにより、アイテムが待機状態であることを分かりやすく視認性が向上するため好ましい。なお、図１４の例では、アイテムを回転させるアニメーションを例にしたが、本実施形態はそれに限定されるものではない。例えばアイテムのドラッグが解除されたら、アイテムの表示を徐々に透過させて、完全に透明になるまでの間はドラッグを再開できるようにする制御や、アイテムを点滅させるような制御でもよく、アニメーションの種類は限定されない。なお、キャンセル処理中に必ずしもアニメーションをする必要はない。

図１５は、キャンセル処理により、元のスロットに戻るまでの動作を示した図である。図１３、図１４で示したアイテムが回転するアニメーション後、元のスロットＡ１に写真ａ１が戻る様子を示す。この移動動作の間にも、ユーザによる画面へのタッチやクリック等の入力を受け付けることにより、キャンセル処理が停止し、ユーザはドラッグ操作を再開することができる。

図１５（１）は元の配置領域がスロットＡ１であった場合に、写真ａ１がスロットＡ１に戻ろうとしている様子であり、図１５（２）は元の配置領域がスロットＡ２であった場合に、スロットＡ２へ写真ａ２が戻ろうとしている様子である。図１５（１）と（２）で写真が元のスロットまで戻るまでの距離を比べると、図１５（２）の距離の方が短い。そのため、同じ移動速度で写真をスロットまで戻すと、図１５（２）の方が移動時間としては短くなる。つまり、図１５（２）は元のスロットまでの距離が短いのですぐに移動してキャンセル処理が完了してしまい、移動動作の間にユーザが画面へ入力してキャンセル処理を止め、ドラッグ状態を再開することが難しい。そこで、スロットに戻るまでの速度を一定にするのでなく、スロットまでの距離が短い場合、距離が長い場合よりも移動速度を遅くなるよう制御するとよい。典型的には、スロットに戻るまでの移動速度を可変にすることにより、どのような移動距離であっても移動時間を一定にする。このように制御することにより、元の配置領域までの距離が短い場合にも、ユーザがドラッグを再開しやすくなるため好ましい。

（アイテムの表示制御フロー）
図１６は、図１３で説明したアイテムの表示に関する表示制御フローを示すフローチャートである。図１６に示すフローチャートは、例えば、ＣＰＵ２０４がＨＤＤ２０２に格納されたプログラムをＲＯＭやＲＡＭ２０１に読み出して実行することにより実現される。

Ｓ１０１では、ユーザからの指示に基づき、ＣＰＵ２０４はフォトアルバムの種類を選択設定する。フォトアルバムの種類とは、例えば、フォトアルバムのサイズ、ページ数、綴じ方、紙の種類などのことを指す。

Ｓ１０２では、ユーザからの指示に基づき、ＣＰＵ２０４はフォトアルバムの自動レイアウトに使用される写真群を選択設定する。例えば、ピクチャーフォルダーに写真が保存さている場合は、ユーザによりピクチャーフォルダー内から所定のフォルダが選択されることにより、ＣＰＵ２０４はそのフォルダの写真群をレイアウト対象として選択する。

Ｓ１０３でＣＰＵ２０４はフォトアルバムの作成を開始する。例えば、Ｓ１０１で選ばれたフォトアルバムの種類とＳ１０２で選ばれた写真群に応じて、ＣＰＵ２０４は、自動で写真を配置するテンプレートを選別し、そのテンプレート内のスロットに自動で写真を配置する。このステップは図６で説明した自動レイアウト処理の一連のフローを示している。なお、ここでは、自動で画像レイアウトを行う形態を説明したが、本実施形態はそれに限定されるものではなく、ユーザが手動でテンプレートや写真を選択し、フォトアルバムを作成してもよい。

Ｓ１０４では、ＣＰＵ２０４は、レイアウト後のページのサムネイル一覧を表示領域４０２に表示する。

Ｓ１０５で、ユーザにより表示領域４０２の所望のページ（仮に、見開きＡとする）に対応するサムネイルが選択されることにより、ＣＰＵ２０４は、表示領域４０３に見開きＡの２ページ目と３ページ目を表示する。ユーザはこの画面で自動レイアウト結果のレイアウト画を手動で修正することができる。

Ｓ１０６では、ユーザの入力に基づき、ＣＰＵ２０４は見開きＡのスロットＡ１の写真ａ１をドラッグして保持し、写真ａ１を移動させる。

Ｓ１０７では、ＣＰＵ２０４は、ドラッグにより保持されている写真ａ１が、前ページ切り替え領域１３０３または次ページ切り替え領域１３０４に重ねられたか否かを判定する。写真ａ１が、前ページ切り替え領域１３０３または次ページ切り替え領域１３０４に重ねられた場合（Ｓ１０７でＹＥＳ）、Ｓ１０８に進み、重ねられていない場合（Ｓ１０７でＮＯ）、Ｓ１０９に進む。なお、Ｓ１０７の判定基準として、図１３では切り替え領域への写真ａ１の所定量（所定面積）が重ねられたらＹＥＳと判定しているが、本実施形態はこれに限られない。例えば、写真ａ１上の所定点が切り替え領域に接したら重ねられたと判定してもよく、写真ａ１をドラッグしているポインタが切り替え領域内に入ったら重ねられたと判定してもよい。さらには、重ねられた時間が所定時間以上の場合にはＹＥＳと判定するが、重ねられた時間が所定時間未満の場合はＮＯと判定する判定基準を設けてもよい。

Ｓ１０８では、ＣＰＵ２０４は、次ページ切り替え領域１３０４に写真ａ１が重なったことに応じて、表示領域４０３の表示を見開きＡから見開きＢ（５ページ目及び６ページ目）に切り替える。

Ｓ１０９では、ＣＰＵ２０４は、ドラッグされている写真がいずれかのスロット上でリリース（ドロップ）されたか否かを判定する。スロット上でリリースされたと判定された場合（Ｓ１０９でＹＥＳ）Ｓ１１０に進み、スロット上でリリースされていないと判定された場合（Ｓ１０９でＮＯ）はＳ１１２に進む。なお、Ｓ１０９の判定基準として、図１３では写真の所定量（所定面積（例えば面積の半分））がスロット上に重ねられた状態でリリースされたらＹＥＳと判定しているが、本実施形態はこれに限られない。例えば、写真上の所定点がスロット内の所定範囲上にある状態を、写真がスロットに重ねられた状態と判定し、この状態でリリースされたらＹＥＳと判定してもよい。また、写真ａ１をドラッグしているポインタがスロット内に入ったら重ねられたと判定し、この状態でリリースされたらＹＥＳと判定してもよい。さらには、重ねられた時間が所定時間以上の場合にはＹＥＳと判定するが、重ねられた時間が所定時間未満の場合はＮＯと判定する判定基準を設けてもよい。

Ｓ１１０では、ＣＰＵ２０４は、リリースされたスロットに写真を配置する。例えば、ドラッグされていた写真ａ１が見開きＢのスロットＢ３上でリリースされた場合、写真ａ１をスロットＢ３に配置する。

Ｓ１１１では、ＣＰＵ２０４は、元々写真ａ１が配置されていたスロットＡ１に、スロットＢ３に配置されていた写真ｂ３を配置する。つまり、写真ａ１と写真ｂ３とは配置領域が入れ替わる。

Ｓ１１２では、ＣＰＵ２０４は、ドラッグされ移動中の写真が、スロット以外の領域でリリースされたか否かを判定する。スロット以外の領域でリリースされたと判定された場合（Ｓ１１２でＹＥＳ）はＳ１１３に進み、スロット以外の領域でリリースされていないと判定された場合（Ｓ１１２でＮＯ）はＳ１０７へ戻る。なお、Ｓ１１２の判定基準として、写真が全くスロットに接していない状態でリリースされれば、スロット以外の領域でリリースされた（ＹＥＳ）と判定しているが、本実施形態はこれに限られない。例えば、写真の一部がスロットに接しているとしても、写真上の所定点がスロット内の所定範囲上に存在していない場合は、その状態でリリースされた写真は、スロット外でリリースされた（ＹＥＳ）と判定してもよい。

Ｓ１１３では、ＣＰＵ２０４は、写真を元のスロットに戻すキャンセル処理を開始する。例えば、写真ａ１のドラッグがスロット外で解除された場合、スロットＡ１に写真ａ１を戻すキャンセル処理を開始する。

Ｓ１１４では、ＣＰＵ２０４は、スロットに写真が戻るまでの間に、ユーザによる表示領域への入力があったかを判定する。例えば、スロットＡ１に写真ａ１が戻るまでの間にクリックやタッチがなされたか否かを判定する。入力があった場合（Ｓ１１４でＹＥＳ）はＳ１１５に進み、入力がなかった場合（Ｓ１１４でＮＯ）はＳ１１６へ進む。

Ｓ１１５では、ＣＰＵ２０４は、キャンセル処理を止め、ユーザにより写真を再度ドラッグ操作できる状態にする。例えば、ＣＰＵ２０４は、キャンセル処理を止めることにより写真ａ１をスロットＡ１には戻さずに、キャンセル処理が止まった写真ａ１の位置でドラッグ状態を再開する。

Ｓ１１６では、ＣＰＵ２０４はキャンセル処理を完了させる。つまり、写真ａ１をスロットＡ１に戻す処理が終了する。これにより、Ｓ１１７でＣＰＵ２０４はスロットＡ１に写真ａ１を配置完了する。

以上、説明したように、本実施形態では、キャンセル処理が完了するまでの間に、ユーザによるタッチやクリック等の表示領域への入力を受け付けた場合、キャンセル処理が止まる。よって、ユーザは、写真が元のスロットに戻る前に、再度ドラッグ操作を再開することができる。

なお、上述の例では、キャンセル処理として、ＣＰＵ２０４は、アイテムが所定時間だけ所定範囲に留まる待機処理と、所定範囲から元の配置領域まで移動する移動処理と、を実行したが、本実施形態はこれに限定されない。キャンセル処理としては、待機処理だけでもよく、移動処理だけでもよい。

また、キャンセル処理の移動処理において、例えばドラッグ操作によりアイテムを１ページ目から６ページ目に移動させ、６ページ目の端部でドラッグ解除された場合、６ページ目から１ページずつ順番に戻るようにアイテムを移動させてもよい。また、これ以外の制御でもよく、例えば、６ページ目から２ページ目に飛び（ページが切り替わり）、２ページ目の途中から元の配置領域までアイテムが移動するよう制御してもよい。

また、上述の例では、キャンセル処理としてＣＰＵ２０４は写真を元のスロットに戻していたが、本実施形態はこれに限定されない。例えば、ドラッグリリースされた位置に最も近いスロットに写真を配置させても良い。つまり、アイテムが配置領域外の領域でリリースされた場合は、いずれかの配置領域に配置するよう移動させると良い。仮にアイテムがページ端部でドラッグリリースされた場合は、ページ端部には配置領域が設定されていない、つまり配置領域外であるため、キャンセル処理により、アイテムはページ端部からページ中央側の位置へシフトする。

また、上述の例では、ページ間の移動時におけるキャンセル処理を前提に説明したが、本実施形態では、ページが1ページしかない場合であっても、配置領域以外の領域でドラッグがリリースされた場合には、同様のキャンセル処理を適用できる。この場合の制御フローは、図１６の制御フローにおけるＳ１０７とＳ１０８のステップがないフローと同様である。

＜実施形態２＞
本実施形態では、アイテムとして、例えばスマートフォンやタブレット等の端末装置の表示部に表示されるアプリケーションアイコンの例を説明する。情報処理装置１の構成は実施形態１と同様であるため説明を省略する。また、表示制御のフローについても実施形態１と異なる部分を中心に説明する。

図１７は、端末装置１７０１のタッチパネル１７０２に表示されるアプリケーションアイコン１７０３の表示を説明する模式図である。この例ではアプリケーションアイコン１７０３はページ１〜３ページに各々配置されている。本実施形態では、ユーザはページ１のアプリケーションアイコンをページ３に配置させる場合を想定する。図１７（１）はページ１を表示した状態の図であり、アプリケーションアイコン１７０３が１２個配置されている。まず、図１７（１）において、ユーザが右下のアプリケーションアイコン１７０３を選択することによりＣＰＵ２０４はアイテムをドラッグ状態にする。

図１７（２）では、ＣＰＵ２０４は、アプリケーションアイコン１７０３をドラッグした状態のままパネルの右端に移動させた状態を示す。この位置で一定時間ドラッグ状態が保持されると、図１７（３）のようにページ１からページ２にページが切り替わり、最終的に図１７（４）のようにページ２が表示される。ページ２にはアプリケーションアイコン１７０３が６つ配置されている。なお、ページ２の表示後、ページ２内に設定された配置領域上でアイコンがドロップされた場合は、その配置領域にアイコンは配置される。実施形態２における配置領域とは、表示領域に予め設定された、アイテムが配置可能な領域である。なお、もしドロップされた位置にある配置領域に、既に別のアイコンが配置されていた場合は、ＣＰＵ２０４は、その別のアイコンを別の配置領域へ移動させてもよい。また、その別のアイコンとドロップされたアイコンと含むようなフォルダを新たに作成してもよい。なお、アイコンが配置領域上にあるかという判断基準は、実施形態１と同様に、アイテムの所定面積（例えば面積の半分）が配置領域上にある場合や、アイテム上の所定点が配置領域内の所定範囲上にある場合等、アイテムの全面積が配置領域上になくてもよい。

図１７（５）は、ユーザの手が、表示領域の端部においてパネル１７０２から誤って離れてしまった様子を示す図である。この場合、ＣＰＵ２０４は、
表示領域の端部（配置領域が設定されていない領域）でアイテムがドラッグ解除されたと判定し、キャンセル処理を開始する。本実施形態では、図１７（６）、（７）に示すように、キャンセル処理として、実施形態１と同様に、まず待機処理を行う。つまり、所定時間だけ所定の範囲において、アプリケーションアイコン１７０３を時計回り（図１７（６））と反時計回り（図１７（７））にある一定角度だけ回転させるようなアニメーションを行なわせる。このアニメーションを実行している際に、ＣＰＵ２０４は、ユーザによるパネル１７０２への入力を受け付けることにより、キャンセル処理を停止し、ユーザにより再度ドラッグ操作可能な状態にすることができる（図１７（８））。

なお、キャンセル処理が実行されている状態において、ユーザによるパネル１７０２の表示領域への入力がなかった場合は、ＣＰＵ２０４は、アプリケーションアイコン１７０３が表示されているページ２内にアプリケーションアイコン１７０３を再配置する。

ＣＰＵ２０４は、ドラッグ状態を再開してパネル１７０２の右端に一定時間保持しておくと、表示ページは、ページ２からページ３に切り替わり（図１７（９））、ページ３が表示される（図１７（１０））。ページ３には、アプリケーションアイコン１７０３が３つ表示されている。ページ３はユーザがアプリケーションアイコン１７０３を移動させたいページである。ＣＰＵ２０４は、ユーザ操作に基づき、アプリケーションアイコン１７０３をドラッグ状態のまま所望の位置に移動させる（図１７（１１））。

最後に、ユーザ操作に応じ、配置領域上でＣＰＵ２０４はドラッグを解除することにより、ユーザの所望する位置にアプリケーションアイコン１７０３を配置する（図１７（１２））。

以上、説明したように、本実施形態においても、キャンセル処理が完了するまでの間に、ユーザによるタッチやクリック等の表示領域への入力を受け付けた場合、キャンセル処理が止まる。よって、ユーザは、アイテムがいずれかの配置領域に配置される前に、再度ドラッグ操作を再開することができる。

なお、上述の例では、キャンセル処理として、ＣＰＵ２０４は、アイテムが所定時間だけ所定範囲に留まる待機処理と、所定範囲から元の配置領域まで移動する移動処理と、を実行するものとしたが、本実施形態はこれに限定されない。キャンセル処理としては、待機処理だけでもよく、移動処理だけでもよい。

また、キャンセル処理の移動処理において、例えばドラッグ操作によりアイテムを１ページ目から６ページ目に移動させ、６ページ目の端部でドラッグ解除された場合、６ページ目から１ページずつ順番に戻るようにアイテムを移動させる例に限定されない。例えば、６ページ目から２ページ目に飛び（ページが切り替わり）、２ページ目の途中から元の配置領域までアイテムが移動するよう制御してもよい。

また、キャンセル処理では、ＣＰＵ２０４は、アイテムを元の配置領域に戻してもよく、ドロップされた位置に最も近い配置領域や、配置の優先度が高い配置領域に配置しても良い。つまり、アイテムが配置領域外の領域でリリースされた場合は、いずれかの配置領域に配置するよう移動させると良い。仮にアイテムがページ端部でドラッグリリースされた場合は、ページ端部には配置領域が設定されていない、つまり配置領域外であるため、キャンセル処理により、アイテムはページ端部からページ中央側の位置へシフトする。

また、上述の例では、ページ間の移動時におけるキャンセル処理を前提に説明したが、本実施形態では、ページが１ページしかない場合であっても、配置領域以外の領域でドラッグがリリースされた場合には、同様のキャンセル処理を適用できる。

＜他の実施形態＞
上述した実施形態では、アイテムとして、レイアウト後の写真やアプリケーションアイコンの例について記載したが、その他のアイテムにおいても実現される。例えば、写真以外の画像、テキストボックス、操作ボタン、ショートカット、コンテンツ等の表示アイテムであってもよい。

また、上述した実施形態では、情報処理装置１として、スマートフォンやタブレット等の端末装置の例を記載したが、その他の装置においても実現される。例えば、ＰＣや、プリンタ等の画像処理装置でもよい。

上述した各実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータで連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、処理の一部または全部をＡＳＩＣ等のハードウェアで実現するようにしてもよい。また、ＣＰＵも１つのＣＰＵで全ての処理を行うものに限らず、複数のＣＰＵが適宜連携をしながら処理を行うものとしてもよい。

８０ アプリケーション
２０４ ＣＰＵ
２０１ ＲＡＭ
２０２ ＨＤＤ

Claims (19)

1. 表示部の表示領域にアイテムを表示させる情報処理装置であって、
   前記表示領域内に設定された複数の配置領域のうち所定の配置領域に配置されていたアイテムを、ユーザのドラッグ操作に応じて移動させる第１制御手段と、
   前記複数の配置領域以外の領域で前記ドラッグ操作がリリースされた場合に、前記複数の配置領域のうちいずれかの配置領域へアイテムを配置するキャンセル処理を実行する第２制御手段と、
   前記第２制御手段による前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止める第３制御手段と、
   を備え、
   前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域の前記アイテム以外の領域への入力を受け付けた場合でも、前記第３制御手段は前記キャンセル処理を止め、
   前記第３制御手段は、前記入力に応じた位置に前記アイテムを移動させることを特徴とする情報処理装置。
2. 表示部の表示領域にアイテムを表示させる情報処理装置であって、
   前記表示領域内の所定のページに配置されていたアイテムを、ユーザのドラッグ操作に応じて前記所定のページとは異なるページへ移動させる第１制御手段と、
   前記所定のページの端部で前記ドラッグ操作がリリースされた場合に、前記アイテムを前記所定のページ内の前記端部よりも中央側の領域へシフトさせるキャンセル処理を実行する第２制御手段と、
   前記第２制御手段による前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止める第３制御手段と、
   を備え、
   前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域の前記アイテム以外の領域への入力を受け付けた場合でも、前記第３制御手段は前記キャンセル処理を止め、
   前記第３制御手段は、前記入力に応じた位置に前記アイテムを移動させることを特徴とする情報処理装置。
3. 前記第３制御手段は、前記キャンセル処理が止められた後、前記アイテムをユーザのドラッグ操作を受け入れ可能な状態とすることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第２制御手段は、前記キャンセル処理として、前記アイテムを所定の範囲内に所定時間だけ留める処理と、前記所定時間経過した後に前記アイテムを前記所定の範囲から前記いずれかの配置領域へ移動させる処理と、を実行することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記第２制御手段は、前記アイテムを前記所定の範囲内に留めている間、前記アイテムに所定の変化をさせることを特徴とする請求項４に記載の情報処理装置。
6. 画像をテンプレート内のスロットにレイアウトするレイアウト手段をさらに備え、
   前記第１制御手段は、前記レイアウト手段によるレイアウト後、ユーザのドラッグ操作に応じて、前記アイテムとして前記スロット内の画像を移動させることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記第１制御手段は、ユーザのドラッグ操作に応じて、前記アイテムとしてアプリケーションアイコンを移動させることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
8. 前記第２制御手段は、前記キャンセル処理において、前記アイテムが前記ドラッグ操作される前に配置されていた配置領域に前記アイテムを戻すことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記第２制御手段は、前記キャンセル処理において、前記アイテムが移動する距離が第１の距離の場合の前記アイコンの移動速度を、前記第１の距離よりも長い第２の距離の場合の前記アイコンの移動速度よりも、遅くすることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 表示部の表示領域にアイテムを表示させる表示制御方法であって、
    前記表示領域内に設定された複数の配置領域のうち所定の配置領域に配置されていたアイテムを、ユーザのドラッグ操作に応じて移動させるステップと、
    前記複数の配置領域以外の領域で前記ドラッグ操作がリリースされた場合に、前記複数の配置領域のうちいずれかの配置領域へアイテムを配置するキャンセル処理を実行するステップと、
    前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止めるステップと、
    を備え、
    前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域の前記アイテム以外の領域への入力を受け付けた場合でも、前記キャンセル処理を止め、
    前記入力に応じた位置へ前記アイテムを移動させることを特徴とする表示制御方法。
11. 表示部の表示領域にアイテムを表示させる表示制御方法であって、
    前記表示領域内の所定のページに配置されていたアイテムを、ユーザのドラッグ操作に応じて前記所定のページとは異なるページへ移動させるステップと、
    前記所定のページの端部で前記ドラッグ操作がリリースされた場合に、前記アイテムを前記所定のページ内の前記端部よりも中央側の領域へシフトさせるキャンセル処理を実行するステップと、
    前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止めるステップと、
    を備え、
    前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域の前記アイテム以外の領域への入力を受け付けた場合でも、前記キャンセル処理を止め、
    前記入力に応じた位置へ前記アイテムを移動させることを特徴とする表示制御方法。
12. 前記キャンセル処理が止められた後、前記アイテムをユーザのドラッグ操作を受け入れ可能な状態とすることを特徴とする請求項１０又は１１に記載の表示制御方法。
13. 前記キャンセル処理として、前記アイテムを所定の範囲内に所定時間だけ留める処理と、前記所定時間経過した後に前記アイテムを前記所定の範囲から前記いずれかの配置領域へ移動させる処理と、を実行することを特徴とする請求項１０乃至１２のいずれか１項に記載の表示制御方法。
14. 前記アイテムを前記所定の範囲内に留めている間、前記アイテムに所定の変化をさせることを特徴とする請求項１３に記載の表示制御方法。
15. 画像をテンプレート内のスロットにレイアウトするレイアウト手段をさらに備え、
    前記レイアウト手段によるレイアウト後、ユーザのドラッグ操作に応じて、前記アイテムとして前記スロット内の画像を移動させることを特徴とする請求項１０乃至１４のいずれか１項に記載の表示制御方法。
16. ユーザのドラッグ操作に応じて、前記アイテムとしてアプリケーションアイコンを移動させることを特徴とする請求項１０乃至１４のいずれか１項に記載の表示制御方法。
17. 前記キャンセル処理において、前記アイテムが前記ドラッグ操作される前に配置されていた配置領域に戻るように前記アイテムを配置することを特徴とする請求項１０乃至１６のいずれか１項に記載の表示制御方法。
18. 前記キャンセル処理において、前記アイテムが移動する距離が第１の距離の場合の前記アイコンの移動速度を、前記第１の距離よりも長い第２の距離の場合の前記アイコンの移動速度よりも、遅くすることを特徴とする請求項１０乃至１７のいずれか１項に記載の表示制御方法。
19. 請求項１０乃至１８のいずれか１項に記載の表示制御方法の各ステップをコンピュータに実行させるプログラム。

Images