JP6494503B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、より具体的には、アルバム作成をする画像処理装置、画像処理方法、及びプログラムに関する。

デジタルカメラの普及に加え、近年ではスマートデバイスの普及及びスマートデバイスのカメラ性能向上により、ユーザーの写真撮影枚数が急激に増加している。スマートデバイスは、携帯性に優れているため、デジタルカメラでは撮影される機会が少なかった日常の何気ない写真の撮影回数が増えた。

ところで、デジタルカメラで撮影した写真を活用し、アルバムを自動レイアウトする方法が知られている。特許文献１では、大量の写真を解析して自動で選択する際に、写真の撮像日時を用いて、写真をグループ化し、各グループに含まれる写真の枚数に応じて画像評価対象を判断する方法が提案されている。

特開２０１５−１１４９２０

しかしながら、特許文献１では、撮影枚数が多い撮影日時のグループに属する写真のみが評価の対象となり、撮影枚数が少ない撮影日時のグループに属する写真は評価されない。したがって、撮影枚数が少ない撮影日時に撮影された写真は、アルバム内にレイアウトされなくなってしまう。

本発明は上記課題を解決するためになされたものであり、撮影枚数が少ない日時の画像も選択することができる画像処理方法、画像処理装置、及びそのプログラムを提供することを目的する。

上記課題を解決する為に、複数の画像データを取得する取得手段と、前記複数の画像データを見開きページの数に対応する複数の画像データ群に分離する分離手段と、前記分離手段の分離により得られる前記複数の画像データ群のうち１つの見開きページに対応する画像データ群の中から選択する画像データの数を設定する選択数設定手段と、前記１つの見開きページに対応する画像データ群の中に含まれる各画像データの撮影日時を特定する特定手段と、前記特定手段により特定した撮影日時に基づき、前記１つの見開きページに対応する画像データ群の撮影期間を複数の撮影区間に分割する分割手段と、前記１つの見開きページに対応する画像データ群の中から画像データを選択する選択手段と、前記選択された画像データに基づく画像を配置することにより、前記見開きページごとのレイアウト画像を生成する生成手段と、を有し、前記１つの見開きページに対応する画像データ群の中から前記選択手段により選択された画像データの数が、前記選択数設定手段により設定された数に達していない場合、前記分割手段は撮影区間をさらに分割し、前記選択手段は、前記分割手段の分割により得られる撮影区間のうち画像データが選択されていない撮影区間から画像データを選択する。

本発明によれば、撮影枚数が少ない撮影日時の画像も選択することができる。

本発明に係るアプリケーションを実行可能なハードウェアブロック図である。 本発明に係るアプリケーションのソフトウェアブロック図である。 本発明に係るアプリケーションが表示する表示画面の図である。 本発明に係る自動レイアウトの処理フロー図である。 本発明に係る画像解析情報を説明する図である。 本発明に係る画像群分割を説明する図である。 本発明に係るシーン分類を説明する図である。 本発明に係る画像得点を説明する図である。 本発明に係る画像選択を説明する図である。 本発明に係る画像レイアウトを説明する図である。 本発明に係る詳細な画像選択を説明する図である。 本発明に係る画像選択の詳細なフローを説明する図である。 本発明に係る詳細な画像選択を説明する図である。 本発明に係る画像選択の詳細なフローを説明する図である。

（実施形態１）
以下、本発明の実施形態について図面を用いて詳細に説明する。

本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリ」ともいう）を動作させ、自動レイアウトを生成する方法を例に挙げて説明する。

図１は、本発明に係る画像処理装置のハードウェアの構成を説明するブロック図である。画像処理装置としては、例えば、ＰＣ、スマートフォン等が挙げられ、本実施形態ではＰＣとする。

図１において、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を備えている。これらは、データバス１０９により相互に接続されている。

ＣＰＵ（中央演算装置／プロセッサ）１０１は、システム制御部であり、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。なお、図中のＣＰＵは１つとしたが、これに限定されず、複数備えていてもよい。

ＲＯＭ１０２は、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。ＨＤＤ（ハードディスク）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースなどを記憶するための記憶媒体である。本実施形態では、ＨＤＤ１０４は、詳細は後述するアルバム作成のためのアプリケーションプログラムを記憶する。

ディスプレイ１０５は、本実施形態のＵＩ（ユーザーインターフェイス）や画像のレイアウト結果をユーザーに提示する装置である。ディスプレイ１０５は、タッチセンサー機能を備えても良い。キーボード１０６は、入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＵＩ上に所定の情報を入力するのに用いられる。本実施形態では、キーボード１０６を介してアルバムの見開き数を入力する。マウス１０７は、入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックするのに用いられる。

データ通信装置１０８は、プリンタやサーバなどの外部装置と通信するための装置である。例えば、自動レイアウトのデータは、データ通信装置１０８を介してＰＣに接続されたプリンタやサーバに送信される。

データバス１０９は、上述した各部（１０２〜１０８）とＣＰＵ１０１とを接続する。

図２は、本発明に係るアルバム作成アプリケーションのソフトウェアブロック図である。本実施形態では、ＨＤＤ１０４に保存されたアルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を持つが、本実施形態では、特に自動レイアウト処理部２１６により提供される自動レイアウト機能に関して説明する。図２に示すように、アプリケーションは、アルバム作成条件指定部２０１と、自動レイアウト処理部２１６と、を含む。自動レイアウト機能は、撮影された写真をその内容や属性に基づいて分類し、あるいは選択して写真をレイアウトし、ディスプレイ１０５に表示するアルバム画像を生成するための機能である。

アルバム作成条件指定部２０１は、マウス１０７によるＵＩ操作に応じてアルバム作成条件を自動レイアウト処理部２１６に指定する。本実施形態では、アルバム作成条件として、主人公、見開き数、テンプレートの種類、画像補正をするか否かを指定する。画像の指定は、たとえば撮影日時など個別の画像データの付随情報や属性情報による指定であってもよいし、デバイスやディレクトリの指定など、画像データを含むファイルシステムの構造に基づく指定であってもよい。なお見開きとは、たとえば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。

画像取得部２０２は、アルバム作成条件指定部２０１により指定された画像群（画像データ群）をＨＤＤ１０４から取得する。ここでいう画像群とは、１つのアルバム作成の際にレイアウトする候補画像群を指す。例えば、アルバム作成条件指定部２０１において、ＸＸ年１月１日〜ＸＸ年１２月３１日が指定された場合は、ＸＸ年１月１日〜ＸＸ年１２月３１日に撮影された画像全てが指定された画像群に該当する。

ＨＤＤ１０４に保存されている画像としては、静止画像や、動画から切り出された切り出し画像が挙げられる。静止画像や切り出し画像は、デジタルカメラやスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、外部装置が備えるものであってもよい。なお、撮像デバイスが外部装置である場合は、画像はデータ通信装置１０８を介して取得する。また、静止画像や切り出し画像は、データ通信装置１０８を介してネットワークやサーバから取得した画像であってもよい。ネットワークやサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、「ＳＮＳ画像」という）が挙げられる。ＣＰＵ１０１によって実行されるプログラムは、各画像に対して、画像に付随したデータを解析して保存元を判定する。ＳＮＳ画像は、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で取得先を管理してもよい。画像は、上述した画像に限定されるものではなく、他の種類の画像であってもよい。

画像変換部２０３は、画像データの画素数や色情報を変換する。本実施形態では、画像データを画素数が短辺４２０画素とし、色情報がｓＲＧＢの画像データに変換する。

画像解析部２０４は、画像データの解析処理をする。本実施形態では、画像変換部２０３で変換済みの画像データの解析処理をする。具体的には、画像データから特徴量を取得し、画像データにおける顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、ＨＤＤ１０４から取得した画像に付随したデータ（例えば、Ｅｘｉｆ情報）から、撮影日時の取得を行う。

画像分類部２０５は、取得した画像群、すなわち、アルバム作成条件指定部２０１により指定された画像群をシーン分割する。シーン分割は、撮影日時情報、枚数情報、検出した顔情報を使って実施する。シーンとは、旅行、日常、結婚式等の撮影シーンのことである。シーンとは、例えば、一つの撮影対象について一時期の撮影機会に撮影された画像の集まりであるということもできる。

主人公情報入力部２０６は、アルバム作成条件指定部２０１から指定された主人公のＩＤ（識別情報）を画像得点部２０７に入力する。

画像得点部２０７は、各画像に対して得点付けをする。本実施形態では、レイアウトに適した画像が高得点になるように各画像に対して得点付けをする。レイアウトに提起した画像が高得点になるように得点付けする際は、画像解析部２０４で得られた情報と、画像分類部２０５で得られた情報とを用いる。また、他の情報を付加的に或いは代替的に用いてもよい。本実施形態では、画像得点部２０７は、主人公情報入力部２０６から入力された主人公ＩＤが含まれる画像の得点が高得点になるように、各画像に対して得点付けをする。

見開き入力部２０８は、アルバム作成条件指定部２０１から指定されたアルバムの見開き数を見開き割当部２０９に入力する。

見開き割当部２０９は、画像群を分割して各見開きに割り当てる。ここでいう見開きとは、例えば、アルバムを作成した際の見開き２ページである。ここでは見開きで説明するがページでもよい。見開き割当部２０９は、入力された見開き数に応じて画像群を分割して各見開きに画像群の一部を割り当てる。例えば、見開き数が５である場合、取得した画像群を５つに分割して小画像群を生成し、各見開きに１つの画像群を割当てる。

画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像群から画像得点部２０７で付けた得点に基づいて、画像を選択する。

テンプレート入力部２１１は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。

画像レイアウト部２１２は、画像のレイアウトを決定する。具体的には、テンプレート入力部２１１により入力された複数のテンプレートから画像選択部２１０で選択した画像に適したテンプレートを選択し、各画像のレイアウト（配置位置）を決定する。

レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した画像レイアウトに従って、ディスプレイ１０５に表示するためのレイアウト情報を出力する。レイアウト情報は、例えば、選択したテンプレートに選択した画像をレイアウト（配置）したビットマップデータである。

画像補正部２１４は、覆い焼き補正、赤目補正、コントラスト補正をする。画像補正条件入力部２１３は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。画像補正のオンまたはオフは、補正の種類ごとに指定されてもよいし、全ての種類についてまとめて指定されてもよい。画像補正部２１４は、画像補正条件がＯＮの場合は、画像に対して補正を実施する。画像補正条件がＯＦＦの場合は、補正を実施しない。画像変換部２０３から画像補正部２１４に入力する画像の画素数は、画像レイアウト部２１２で決定したレイアウト画像のサイズに合わせて変えることができる。本実施形態では、レイアウト画像を生成した後に、各画像に画像補正を行うものとしたが、これに限定されず、見開きにページにレイアウト（配置）する前に、各画像の補正を行うようにしてもよい。

レイアウト情報出力部２１５から出力される画像データは、例えば図３に示すような形式でディスプレイ１０５に表示される。

本実施形態に係るアルバム作成アプリケーションは、画像処理装置１００にインストールすると画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザーがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。ＲＡＭ１０３のプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。

図３は、起動したアルバム作成アプリケーションが提供する表示画面３０１であり、ディスプレイ１０５に表示される。ユーザーは、表示画面３０１を介して、アルバムの作成条件を設定することができる。ユーザーは、表示画面であるＵＩ構成画面３０１を介して、後述するアルバムの作成条件を設定することができる。表示画面３０１は、画像群の指定部として、パスボックス３０２及びフォルダ選択ボタン３０３を有する。表示画面３０１のパスボックス３０２は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示す。フォルダ選択ボタン３０３は、アルバム作成の対象とする画像群を含むフォルダを表示されるツリー構成から選択するためのボタンである。ユーザーがフォルダ選択ボタン３０３をマウス１０７でクリックして、アルバム作成の対象とする画像群を含むフォルダを表示されるツリー構成から選択すると、選択した画像群を含むフォルダパスがパスボックス３０２に表示される。

主人公指定部３０４は、人物の顔画像がアイコンとして複数表示され、アイコンを選択することにより主人公を指定することができる。なお、主人公指定部３０４には、人物毎に顔画像が表示される。言い換えれば、主人公指定部３０４には、１人に対して１つの顔画像が表示され、それぞれの顔画像は個人ＩＤと関連付けられている。なおこの主人公指定部３０４は、解析対象の画像すなわち写真に写った人物から中心人物である主人公を特定するために用いられる。顔画像は、たとえば予め画像から検出され、個人ＩＤと関連付けて顔データベースに登録されている。主人公指定部３０４に表示されるアイコンは、たとえば顔データベースに登録された人物の顔画像のうち、ユーザーが選択した人物の顔画像や後述の方法で決めた人物の顔画像である。主人公指定部３０４には、異なる人物の顔画像のアイコンが複数並び、マウス１０７によってクリックして選択できる。主人公は図４の手順で自動設定することもできるが、主人公指定部３０４で指定することで、ユーザーが手動設定することもできる。主人公指定部３０４に表示されたアイコンのうちユーザーにより選択されたアイコンの人物が主人公として指定される。

見開き数ボックス３０５は、アルバムにおける見開き数を指定するボックスである。ユーザーは、キーボード１０６を使って見開き数ボックス３０５に直接数字を入力したり、マウス１０７を使ってリストから見開き数ボックス３０５に数字を入力したりすることができる。

テンプレート指定部３０６は、テンプレートのテイスト（ポップ調やシック調等）が分かるイラスト画像がアイコンとして複数表示され、テンプレートを指定することができる。本実施形態では、テンプレートとは、画像を配置するための画像配置枠（スロット）を有する。テンプレート指定部３０６では、複数のテンプレートのアイコンが並び、マウス１０７によってクリックすることにより、テンプレートを選択することができる。

チェックボックス３０７は、画像補正のＯＮ／ＯＦＦを指定することができる。マウス１０７でチェックを入れると上述した画像補正がＯＮとなり、チェックを入れないと画像補正がＯＦＦとなる。本実施形態では、全ての画像補正が１つのボタンでＯＮ／ＯＦＦされるものとしたが、これに限定されず、画像補正の種類毎にチェックボックスを備えるようにしてもよい。

ＯＫボタン３０８は、表示画面３０１上で選択された条件をアルバム作成条件として決定するボタンである。ユーザーがＯＫボタン３０８をマウス１０７でクリックすると（選択すると）、アルバム作成条件が確定し、アルバム作成条件指定部２０１を介して、自動レイアウト処理部２１６にアルバム作成条件が伝えられる。具体的には、パスボックス３０２に入力されているパスは画像取得部２０２に伝えられる。主人公指定部３０４で選択されている主人公の個人ＩＤは主人公情報入力部２０６に伝えられる。見開き数ボックス３０５に入力されている見開き数は見開き数入力部２０８に伝えられる。テンプレート指定部３０６で選択されているアイコンのテンプレート情報はテンプレート入力部２１１に伝えられる。画像補正チェックボックスの画像補正のＯＮ／ＯＦＦは画像補正条件入力部２１３に伝えられる。

リセットボタン３０９は、表示画面上の各設定情報をリセットするためのボタンである。

図４は、本実施形態に係るアルバム作成アプリケーションの自動レイアウト処理部２１６が実行する処理フロー図である。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。図４を使って、自動レイアウトの処理フローを以下説明する。以下に示す通り、本実施形態では、アルバムを作成する際に、アルバムを作成するための画像群を撮影時間に応じて分割し、分割した各サブ画像群（以下、「区間」ともいう）からページに配置する画像を選択する。

Ｓｔｅｐ０１では、指定された画像群に含まれる画像に順次着目して、画像変換部２０３で解析画像を生成する。アルバム作成条件指定部２０１で指定され、ＨＤＤ１０４から取得した画像群の各画像を所望の画素数と色情報に変換する。なお、ここで変換する画素数及び色情報は、予め決められており、プログラム又はプログラムが用いるパラメータファイルに保存されている。本実施形態では、入力された画像データを短辺４２０画素のサイズとｓＲＧＢの色情報とを持つ解析画像データに変換する。

Ｓｔｅｐ０２では、画像解析部２０４で画像データの画像特徴量を取得する。ＨＤＤ１０４から取得した画像群に含まれる各画像データに付随する情報から撮影日時を取得する。本実施形態では、各画像データに付随するＥｘｉｆ情報から撮影日時を取得する。また、Ｓｔｅｐ０１で生成された解析画像データから画質の特徴量を取得する。画質の特徴量としては、例えば、ピントが挙げられる。エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点の輝度差を、始点と終点の距離で割ることによりエッジの傾きすなわち、輝度勾配を算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っていると判定することができる。本実施形態では、複数の傾き閾値を設定し、いずれの傾き閾値以上かを判別することでピント量が許容できるか判定する。本実施形態では、異なる２つの傾き閾値を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、ピントの傾きを○（好適）、第１の閾値よりも低い第２の閾値以上であれば、ピントの傾きを△（許容できる）、第２の閾値未満であればピントの傾きを×（許容できない）とする。

Ｓｔｅｐ０３では、画像解析部２０４で各画像データにおいて顔検出をする。Ｓｔｅｐ０１で生成された画像データから顔を検出する。顔の検出は、公知の方法を用いることができる。公知の方法としては、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが挙げられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔を検出する。Ｓｔｅｐ０３では、顔画像を検出（抽出）すると共に、画像における検出した顔画像の位置の左上座標値と右下座標値を取得する。なお、ここでいう「画像」とはＳｔｅｐ０１で生成された画像データにより表される画像である。この２種の座標を特定することにより、人物の顔の位置と顔のサイズを特定することができる。なお、ここでは、人物の顔を検出するものとしたが、人物の顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてＡｄａｂｏｏｓｔによって強識別器を作成することができる。すなわち、顔以外のオブジェクトを検出するようにしてもよい。

Ｓｔｅｐ０４では、画像解析部２０４で個人認識をする。まず、Ｓｔｅｐ０３で抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似性を比較する。そして、類似性が閾値以上であり且つ最も類似性が高い個人ＩＤを、抽出した顔画像のＩＤに決定する。すなわち、類似性が閾値以上であり且つ最も類似性が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定する。なお、類似性が閾値未満の場合は、抽出した顔画像に新規の人物として新規の個人ＩＤを割り振って、顔辞書データベースに登録する。

Ｓｔｅｐ０２からＳｔｅｐ０４で取得した各画像データの画像解析情報は、図５に示すように、画像を識別するＩＤ毎に区別してＨＤＤ１０４に記憶する。Ｓｔｅｐ０２で取得した撮影日時情報及びピント判別結果、Ｓｔｅｐ０３で検出した顔の数と位置情報を各画像データの画像解析情報として保存する。なお、１つの画像データに基づく画像には、複数の顔画像が含まれる場合があるが、顔の位置情報は、Ｓｔｅｐ０４で取得した個人ＩＤ毎に区別して記憶する。なお、画像データにおいて顔が検出されない場合は、Ｓｔｅｐ０２で取得した撮影日時情報及びピント判別結果が保存される。

Ｓｔｅｐ０５では、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像群の全画像に対してＳｔｅｐ０１からＳｔｅｐ０４が終了したか否かを判定する。終了していない場合（Ｓｔｅｐ０５でＮｏ）、Ｓｔｅｐ０１に戻る。終了している場合（Ｓｔｅｐ０５でＹｅｓ）はＳｔｅｐ０６に移行する。

Ｓｔｅｐ０６では、画像分類部２０５でシーン分割をする。シーン分割とは、取得した画像群をシーンに応じて複数のサブ画像群に分割することを指す。具体的には、Ｓｔｅｐ０２で取得済みの撮影日時情報に基づいて、画像と画像との時間差を頼りに画像群を複数に分割する。分割の基準の例は以下のとおりである。画像群のうち、たとえば最も撮影日時が古い（或いは新しい）画像に最初に着目し、その次に古い（新しい）画像との時間差を参照する。これを、着目画像を順次撮影日時が新しい（或いは古い）ものに置き換えつつ以下のいずれの条件に該当するか判定を行う。なお以下の説明で分割するとは、２つの画像間を境に撮影日時の新しい方と古い方とに画像群を分割するという意味である。画像と画像の撮影日が連続していない場合、すなわち、画像間に撮影していない日が存在する場合は、分割する。次に、撮影日が連続する場合について説明する。本実施形態では、画像と画像の撮影時間の差が１６時間以上空いている場合は分割する。画像と画像の撮影時間の差が１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満なら分割する。本実施形態では、４時間以上の場合は、連続する各日の撮影枚数が５０枚未満なら分割し、５０枚以上であれば分割しないものとする。なお、分割の際の時間差の閾値や枚数の閾値は、これに限定されるものではない。図６（Ａ）は、上述したシーン分割方法で分割した結果を示している。

Ｓｔｅｐ０７では、画像分類部２０５でシーン分類をする。本実施形態では、各サブ画像群（各シーン）を旅行、日常、セレモニーの３つに分類する場合を例に挙げて説明するが、分類はこれに限定されるものではない。まず、旅行、日常、セレモニーのうちいずれに分類されるかを予め判定したサブ画像群を複数取得する。各画像群について、撮影の特徴量を取得する。本実施形態で取得する特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、画像群の最初の撮影から最後の撮影までの時間差である。撮影枚数は、サブ画像群に含まれる画像の数（写真の枚数）である。撮影人数は、顔が写っている画像における顔の数である。すなわち、１つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差を求める。なお、本実施形態では、１画像あたりの顔の数が、１画像あたりの人数とする。図７は、撮影期間（時間）、撮影枚数（枚）、撮影人数（人）各平均値と標準偏差の一例を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。すなわち、予め集めた画像を使って設計段階で学習によってパラメータ作成して、プログラムに組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザーがパスボックス３０２で指定した画像群に対して、Ｓｔｅｐ０６で分割されたサブ画像群毎に、撮影期間、撮影枚数、及び撮影人数のそれぞれの平均値を算出する。そして、シーン毎に、前記各サブ画像群の撮影期間、撮影枚数、撮影人数の特徴量についてそれぞれの平均値と標準偏差に基づいて、以下の式により得点化する。

シーン及び特徴量毎の得点＝５０−｜１０×（シーン及び特徴量毎の平均値−サブ画像群毎の特徴量）／シーン及び特徴量毎の標準偏差｜ ・・・（式１）
シーン毎の平均得点＝（シーン毎の撮影期間の得点＋シーン毎の撮影枚数の得点＋シーン毎の人数の得点）／特徴量項目数 ・・・（式２）
式（１）及び式（２）により、着目サブ画像群の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンの撮影期間、撮影枚数、撮影人数それぞれの得点が求められる。これら得点を第２式により平均化して、当該シーン分類に関する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。以上により、旅行、日常、セレモニー毎の平均得点が算出される。サブ画像群毎に最高点のシーンをそのサブ画像群のシーンとして分類する。２以上のシーンが同点の場合は、優先シーンに応じてシーンを分類する。例えば、本実施形態では、日常＞セレモニー＞旅行の順に優先することが予め決められており、日常の優先度を最も高くする。なお、優先度の順番はこれに限定されるものではなく、また、ユーザーが優先度の順番を設定できるようにしてもよい。

図６（Ａ）のシーン分割された後のサブ画像群（５）は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であった。旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は−２９．９２となり、サブ画像群のシーンは旅行に分類される。サブ画像群は、シーン識別ができるようにシーンＩＤを関連付けて管理する。

Ｓｔｅｐ０８では、Ｓｔｅｐ０６で分割された全サブ群に対してＳｔｅｐ０７のシーン分類が終了したか否かを判定する。終了していない場合（Ｓｔｅｐ０８でＮｏ）、Ｓｔｅｐ０７に戻る。終了している場合（Ｓｔｅｐ０８でＹｅｓ）、Ｓｔｅｐ０９に移行する。

Ｓｔｅｐ０９では、画像得点部２０７で主人公設定をする。主人公設定はユーザーが指定した画像群に対して実施され、自動と手動の２種類がある。自動で主人公を設定する場合、Ｓｔｅｐ０４の個人認識の結果と、Ｓｔｅｐ０６のシーン分割の結果に基づいて設定をする。Ｓｔｅｐ０４で取得した結果から、サブ画像群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤの回数、各個人ＩＤが登場するシーンの回数等を特定し、これらの情報から自動で主人公を設定する。本実施形態では、サブ画像群に複数シーンがある場合は複数のシーンに登場する個人ＩＤを主人公ＩＤと設定し、サブ画像群が単一シーンである場合は、単一シーンの登場回数が多い個人ＩＤを主人公ＩＤと設定する。主人公指定部３０４でユーザーが特定のアイコンを指定している場合は、主人公情報入力部２０６を介して選択されたアイコンに対応する個人ＩＤが画像得点部２０７に伝えられる。ユーザー指定の個人ＩＤがある場合は、上述した自動設定の主人公ＩＤは無視して、ユーザー指定の個人ＩＤを主人公ＩＤと設定する。このように、主人公指定部３０４の指定に基づく設定を手動設定とする。

Ｓｔｅｐ１０では、画像得点部２０７で得点化をする。得点化とは、後述する画像選択時に参照する値であり、画像データ毎に後述する観点で評価した得点を付ける。ここで、図８及び図１０を用いて、得点化方法について説明する。

図１０は、３枚の画像をレイアウトする際に用いるテンプレート群を示している。図１０の（１−１）に示すテンプレート１００１は、１つのテンプレートであり、メインスロット１００２と、サブスロット１００３と、サブスロット１００４を有する。メインスロット１００２とは、テンプレート１００１でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３やサブスロット１００４よりもサイズが大きい。すなわち、メインスロットとは、各テンプレートにおいて、最もサイズが大きいスロットである。また、サブスロットとは、各テンプレートにおいて、メインスロット以外のスロットである。メインスロット用の得点とサブスロット用の得点の両方を各画像データに付ける。

次に、図８（Ａ）に画像データの得点化の基準を示す。より具体的には、図８（Ａ）は、旅行、日常、セレモニーの各シーン毎に得点が高くなる画像の特徴をまとめた表である。なお、図８（Ａ）に示すように、スロットの種類に応じて、得点が高くなる特徴が異なる。例えば、サブ画像群のシーン分類が旅行である場合、人物と風景が入ったひいた画像は、メインスロットとしての得点が高くなり、顔のアップや横顔の画像は、サブスロットとしての得点が高くなる。例えば、サブ画像群のシーン分類が日常である場合、顔のアップや横顔の画像は、メインスロットとしての得点が高くなり、人物と風景が入ったひいた画像は、サブスロットとしての得点が高くなる。例えば、サブ画像群のシーン分類がセレモニーである場合、２人の距離が近い画像は、メインスロットとしての得点が高くなり、大人数の画像は、サブスロットとしての得点が高くなる。このように、シーン及びスロットの種類に応じて、得点が高くなる特徴、言い換えれば、評価基準が異なる。本実施形態では、シーン及びスロットの種類に応じた得点が高くなる特徴は、アプリケーションにおいて予め設定しておき、プログラムに含むものとする。なお、得点が高くなる特徴は、上述したものに限定されるものではない。図８（Ａ）に示す各シーンのメインスロットとサブスロットのそれぞれの特徴に基づいて、各サブ画像群に含まれる各画像データに得点を付ける。各画像における顔の数、各画像における顔の位置、各画像における顔のサイズを取得し、平均値と標準偏差を各シーン各スロット種類（メインスロットとサブスロット）に対して求めて、アルバム作成アプリケーションのプログラムに記憶しておく。ユーザーが指定した画像群の各画像データが表す画像がいずれのシーンに属するか（分類されるか）は、Ｓｔｅｐ０７のシーン分類の結果から特定する。そして、注目画像のシーンに対応する予め求めた前記平均値と標準偏差、注目画像における主人公ＩＤの顔の数、顔の位置、顔サイズの各特徴量に基づいて以下の式を使って得点と平均得点を出す。下式において得点、平均値、標準偏差は、シーン分類、スロット種類及び特徴量ごとに求められる。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜
平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数
なお、得点化は、メインスロット用とサブスロット用の両方を実施する。またアルバムに使う画像は、図５に示すピントの特徴量が○である画像ＩＤの画像に対しては得点を加算してもよい。これにより、ピントが合っている画像の得点を高くすることができる。図８（Ｂ）は、各画像の得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットの得点が付けられている。

Ｓｔｅｐ１１では、画像得点部２０７がユーザー指定の画像群の全画像に対してＳｔｅｐ１０の画像得点化が終了したか否かを判定する。終了していない場合（Ｓｔｅｐ１１でＮｏ）、Ｓｔｅｐ１０に戻る。終了している場合（Ｓｔｅｐ１１でＹｅｓ）、Ｓｔｅｐ１２に移行する。

Ｓｔｅｐ１２では、見開き割当部２０９が、画像分類部２０５のシーン分割により得られたシーン数（サブ画像群の数）が見開き数入力部２０８により入力される見開き数と同じか否かを判定する。同じでない場合（Ｓｔｅｐ１２でＮｏ）、Ｓｔｅｐ１３に移行する。同じ場合（Ｓｔｅｐ１２でＹｅｓ）、Ｓｔｅｐ１６に移行する。例えば、図６（Ａ）のシーン分割数が８であり、見開き数入力部２０８の入力数が８であればＳｔｅｐ１６に移行する。

Ｓｔｅｐ１３では、見開き割当部２０９が画像分類部２０５のシーン分割により得られたシーン数が見開き数入力部２０８により入力される見開き数より少ないか否かを判定する。シーン数が見開き数より少なくない場合（Ｓｔｅｐ１３でＮｏ）、Ｓｔｅｐ１５に移行する。シーン数が見開き数より少ない場合（Ｓｔｅｐ１３でＹｅｓ）はＳｔｅｐ１４に移行する。例えば、図６（Ａ）のシーン分割数が８であり、見開き数入力部２０８の入力数が１０であれば、シーン数が見開き数より少なくないため、Ｓｔｅｐ１４に移行する。

Ｓｔｅｐ１４では、見開き割当部２０９がサブシーン分割をする。サブシーン分割とは、シーン分割数＜見開き数の場合に分割されたシーンを更に細分割することを指す。図６（Ａ）のシーン分割数８に対して指定見開き数が１０である場合を例に挙げて説明する。図６（Ｂ）では、図６（Ａ）をサブシーン分割した結果である。破線矢印の箇所でサブ画像群をさらに分割したことで、分割数を１０にしている。サブシーン分割する基準は、画像枚数および撮影日時である。図６（Ａ）の分割の中で画像枚数が多いサブ画像群を特定する。ここでは、シーン数を８から１０に２つ増やしたいため、画像枚数が多い２つのサブ画像群を特定する。すなわち、再分割すべき数のシーンを、最も多くの画像を含むシーンから順に指定する。画像数が同数のシーンについては、画像間の撮影日時の差の最大値が大きい方のシーンを選択する。それでも決定できない場合には、たとえば時間的に早いシーンを優先的に再分割するなど、適宜決めておけばよい。多い方からサブ画像群５、次にサブ画像群１とサブ画像群２である。本実施形態では、サブ画像群に含まれる枚数が同じである場合は、サブ画像群に含まれる最初の画像と最後の画像の時間差が大きい方のサブ画像群を分割する。サブ画像群１とサブ画像群２は、含まれる画像の同じ枚数だが、サブ画像群２の方が最初の画像から最後の画像の時間差が大きいため、サブ画像群（２）を分割対象とする。すなわち、図６では、サブ画像群５とサブ画像群２をそれぞれさらに分割する。まず、サブ画像群２の分割方法について説明する。サブ画像群２には、画像枚数の山が２つあり、この２つは撮影日が違う。この場合は、撮影日が変わる箇所（図６（Ｂ）の破線矢印の箇所）で分割する。次に、サブ画像群５の分割を説明する。サブ画像群５には画像枚数の山が３つあり、この３つは撮影日が違う。この場合も、撮影日が変わる箇所で分割する。このとき、撮影日が変わる箇所が２箇所あるが、分割後の各画像群の枚数差が小さくなるように分割する。図６（Ｂ）では、サブ画像群５では、２日目と３日目の境目で分割した方が、１日目と２日目の境目で分割するよりも分割後の各画像群の枚数差が小さくなるので、２日目と３日目の境目で分割する。すなわち、図６（Ｂ）の破線矢印の箇所で分割する。以上により分割数を８から１０にする。ここでは撮影日の違う箇所で分割したが、画像枚数が多いサブ画像群が単一日で撮影されたものである場合は、単一日の中で時間差が最大の箇所で分割する。

Ｓｔｅｐ１５では、見開き割当部２０９がシーン統合をする。シーン統合とは、シーン数が見開き数よりも多い場合、分割されたシーン（サブ画像群）を統合する。具体的には、シーン数と見開き数が一致するように、シーン統合をする。図６（Ｃ）は、見開き数が６の場合、図６（Ａ）をシーン統合してシーン数を６とした結果である。破線の箇所を統合、言い換えれば、破線の箇所での分割をしないことで、シーン数（サブ画像群の数）を６にする。シーン統合では、画像枚数が少ないサブ画像群を特定する。ここでは、分割数を８から６に２つ減らしたいため、画像の枚数が少ないサブ画像群を特定する。画像枚数が少ないサブ画像群は、少ない方からサブ画像群８、サブ画像群３、サブ画像群７である。したがって、まず、サブ画像群８を統合対象とする。次に、サブ画像群３とサブ画像群７は、画像の枚数は同じである。ただし、サブ画像群７に隣接するサブ画像群８が統合対象であるため、サブ画像群３を統合対象とする。次に、統合対象のサブ画像群を、撮影日時が前のサブ画像群に統合するか、撮影日時が後のサブ画像群に統合するかを決定する。まず、サブ画像群３の統合を説明する。サブ画像群３の前後のサブ画像群２とサブ画像群４との時間差を比較すると、サブ画像群３の最後の画像とサブ画像群（４）の最初の画像との撮影時間の差の方がサブ画像群３の最初の画像とサブ画像群（２）の最後の画像との撮影時間の差よりも小さい。したがって、サブ画像群３は、サブ画像群４に統合すると決定する。すなわち、図６（Ｃ）の破線の箇所を統合する。次に、サブ画像群８の統合を説明する。サブ画像群８は、後のサブ画像群がない為、前のサブ画像群７と統合する。すなわち、図６（Ｃ）の破線箇所で統合する。なお、本実施形態では、撮影時間の差が小さいサブ画像群同士を統合することにしたが、これに限定されるものではない。例えば、統合対象のサブ画像群を撮影枚数が少ないサブ画像群に統合するようにしてもよい。

Ｓｔｅｐ１６では、見開き割当部２０９が見開き割当をする。Ｓｔｅｐ１２〜Ｓｔｅｐ１５によって、サブ画像群の数と指定見開き数は同じになっている。本実施形態では、撮影日時が先頭のサブ画像群から見開きの先頭に割り当てる。すなわち、撮影日時順にサブ画像群をアルバムの各見開きのページに割当てる。これにより、撮影日時順にサブ画像群が並んだアルバムを作成することができる。なお、後述する通り、１つの見開きページ内では、画像は撮影日時に並んでいなくてもよい。

Ｓｔｅｐ１７では、画像選択部２１０が各サブ画像群から所定枚数の画像を選択する。図９を用いて、ある見開きに割り当てられたサブ画像群から画像を４枚選択する場合を例に挙げて説明する。なお、ここでは、見開きとは、２ページを指し、最初の見開き及び最後の見開きは、１ページとする。図９（Ａ）は、見開きに割り当てられたサブ画像群に含まれる最初の画像から最後の画像のまでの撮影日時の時間差、言い換えれば、サブ画像群の撮影期間を示す。図９（Ｂ）を使って、４枚選択する際の１枚目を選択する方法を説明する。テンプレートには、１つのメインスロット１００２がある。１枚目は、メインスロット用の画像を選択する。図９（Ｂ）に示すサブ画像群の撮影期間に撮影された全ての画像のうちＳｔｅｐ１０で付けたメインスロット用の得点が最高点の画像を選択する。そして、２枚目以降はサブスロット用の画像を選択する。本実施形態では、サブ画像群の撮影期間を細分化して画像を選択することにより、サブ画像群の撮影期間の一部に集中しないようにする。まず、図９（Ｃ）のようにサブ画像群の撮影期間を２分割して、２つの撮影区間（期間）とする。すなわち、サブ分割撮影期間を２等分して２つの撮影区間にする（グループ分けする）。次に、図９（Ｄ）のように１枚目が選ばれていない撮影区間（実線の区間）からサブスロット用の得点が最高点の画像を２枚目として選択する。次に、図９（Ｅ）のように、図９（Ｄ）の各撮影区間をそれぞれ２等分する。図９（Ｆ）の実線撮影区間、すなわち、１枚目と２枚目が選ばれていない２つの撮影区間に撮影された画像（２つの撮影区間に対応する画像）のうちサブスロット用の得点が最高点の画像を３枚目として選択する。次に、画像を選択する撮影区間に画像が存在せず、画像選択できない例を４枚目の選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。したがって、分割して得られた撮影区間に画像が存在しない場合がある。例えば、図９（Ｇ）のように、まだ画像が選ばれていない撮影区間（斜線の撮影区間）から４枚目を選択したいが、この斜線撮影区間には画像が存在しないとする。この場合は、図９（Ｈ）のように、画像を選択済みの各撮影区間をそれぞれ２分割する。次に、図９（Ｉ）のように、１〜３枚目が選ばれていない実線の撮影区間に撮影された画像のうちサブスロット用の最高点の画像を４枚目として選択する。図１１は、図２で示した画像選択部２１０をより詳細に説明する図である。画像選択部２１０は、ある見開きに割り当てられたサブ画像群から画像を選択する。

枚数設定部１１０１は、処理対象の見開きに割り当てられたサブ画像群から選択する総画像枚数を設定する。いかえれば、見開きのレイアウト画像に配置する画像数を設定する。

画像群取得部１１０２は、画像取得部２０２が取得した画像群から見開きに割り当てられたサブ画像群を取得する。画像群を取得する際には、各画像の撮影日時情報、メインスロット用得点、及びサブスロット用得点を取得する。

ループカウンタ１１０３は、画像を選択する処理を実行した回数を管理する。なお、画像を選択する処理は、図９で説明した方法により実行される。管理された回数は、利用する得点軸の判定、及び処理対象の見開きに割り当てられたサブ画像群の撮影期間をいくつの撮影区間に分割するかを設定する際に利用する。

得点軸設定部１１０４は、ループカウンタ１１０３でカウントされた処理回数に応じて、利用する得点軸を設定する。「利用する得点軸を設定する」とは、「画像の評価基準を設定する」ことを指し、ここでは、Ｓｔｅｐ１０で算出したメインスロット用得点軸（メインスロット用評価基準）、サブスロット用得点軸（サブスロット用評価基準）のどちらかを設定する。本実施形態では、これらを切り替えることにより設定する。このように、スロット毎に評価基準を設定する。ここでは、例えば、１回目はメインスロット用得点軸を設定して、メイン画像を選択する処理を実行するように設定し、２回目以降はサブスロット用得点を設定して、サブ画像を選択する処理を実行するように設定する。本実施形態では、利用する得点軸として、メインスロット用得点軸、サブスロット用得点軸を例に挙げて説明したが、別の得点軸を用いてもよい。例えば、メインスロット用得点軸、サブスロット用得点軸に加えて、さらに、人物用関連度得点軸を用いるようにしてもよい。なお、人物関連度は、例えば、人物の登場回数や一緒に写った回数に基づいて得点化することができる。具体的には、登場回数が多い場合は、関連度が高いと判定することができ、一緒に写った回数が多いと関連度が高いと判定することができる。また、各得点軸を切り替えるようにしたが、メインスロット用得点、サブスロット用得点、人物関連度用得点軸などを組み合わせた統合得点軸を用いてもよい。このとき、統合得点を算出する際の各得点軸の重みを変更してもよい。また、処理する回数によって利用する得点軸をランダムに変更してもよいし、予め用意したテーブルを参照して得点軸を切り替えるようにしてもよい。

分割部１１０５は、撮影期間を所定の区間数に分割する。まず、画像群取得部１１０２により取得されたサブ画像群の撮影時間から、処理対象の見開きに割り当てられたサブ画像群の撮影開始時間と撮影終了時間を特定し、撮影期間を算出する。すなわち、サブ画像群に含まれる画像のうち最も早く撮影された画像の撮影時間および最も遅く撮影された画像の撮影時間を特定し、撮影期間を算出する。次に、ループカウンタ１１０３でカウントされた処理回数に基づいて、算出された撮影期間を均等に分割して撮影区間とする。撮影区間の分割数は、カウントに基づいた２のべき乗で設定する。本実施形態では、カウントに基づいた２のべき乗で撮影期間を均等に分割する方法を説明したが、これに限定されず、撮影期間をカウント数で均等に分割してもよい。また、撮影期間分割部１１０５は、分割された各区間の開始時刻および終了撮影時刻が出力される。

区間情報設定部１１０６は、画像群取得部１１０２で取得したサブ画像群に含まれる画像を、分割部１１０５で分割された区間ごとにグループ分けして、画像の撮影情報、各画像の得点等の各区間の情報を格納する。

画像選択部１１０８は、得点軸設定部１１０４で設定された得点軸と、区間情報設定部１１０６で設定された画像の得点とに基づいて各区間から得点の高い画像を１枚選択する。図９を用いて説明した通り、画像が１枚もない区間からは画像は選択しない。本実施形態では、各区間から画像を１枚選択するものとしたが、各区間から複数枚ずつ選択するようにしてもよい。

類似判定部１１０９は、区間ごとに、選択された画像に対して、前カウンタで選択された画像との類似判定を行う。判定閾値以上であれば、類似していると判定し、判定閾値未満であれば、類似していないと判定する。類似していないと判断された場合は、その区間から選択された画像を保持しておき、類似していると判断された場合は、その区間の選択画像を破棄する。類似判定は、パターンマッチングによる判定、ＳＨＩＦＴ法を用いた判定などを用いることができる。類似判定に用いる判定閾値は、比較する画像の撮影時間差に応じて変更する。例えば、類似判定結果が０〜１００のレンジで出力される場合に１００に近いほど似ているとし、判定閾値以上であれば類似していると判定し、判定閾値未満であれば類似していないと判定する。連写などにより撮影時間差が短い場合（例えば１５秒以内）は、判定閾値を低く設定する（例えば、６０に設定する）。それ以外は判定閾値を８０に設定する。判定閾値を低くすることにより、類似していると判断されやすくなり、少しの類似であっても類似画像と判断され、選択画像が解除されることになる。本実施形態では、このように、撮影時間差に応じて判定基準を変更する。

統合部１１１２は、類似判定部１１０９で非類似と判定された各区間の画像から、最終的に残す画像を選別する。複数区間から画像が選択された場合にいずれの区間の画像を選別するかを判断する。画像を判断する際には、区間内画像選択部１１０８で判定したのと同じ得点を用い、得点の高い画像を選択する。本実施形態では、得点の高い画像を選択するものとしたが、これに限定されるものではない。例えば、画像が選択された区間のうち、隣接する区間から画像が選択されていない区間から選択するようにしてもよい。

画像管理部１１１３は、統合部１１１２で選択された画像を選択画像として追加し、枚数設定部１１０１で設定された必要枚数を超えていないかを判定する。必要枚数に到達した場合は画像選択処理を終了する。必要枚数に達成していない場合は、ループカウンタ１１０３をカウントアップし、上述した画像選択処理を再度実行する。

図１２は、図１１に示す画像選択の処理フロー図である。処理対象の見開きに割り当てられたサブ画像群から画像を選択する詳細フローを説明する。

Ｓ１２０１では、枚数設定部１１０１が、処理対象の見開きに割り当てられたサブ画像群から選択する総画像枚数を設定する。すなわち、処理対象の見開きに対する画像データの選択数設定を行う。

Ｓ１２０２では、画像群取得部１１０２が、画像取得部２０２が取得した画像データ群の画像データから、処理対象の見開きに割り当てられたサブ画像群（サブ画像データ群）に対応する画像データを取得する。

Ｓ１２０３では、ループカウンタ１１０３が、画像を選択する処理を実行した回数をカウントする。初期状態では、画像を選択する処理が実行されていないので０となる。

Ｓ１２０４では、得点軸設定部１１０４が、利用する得点軸を設定する。本実施形態では、ループカウンタで管理される画像選択処理回数に応じて、利用する得点軸を設定する。

Ｓ１２０５では、分割部１１０５が、処理対象の見開きに割り当てられたサブ画像群に含まれる画像の撮影開始時間および撮影終了時間からサブ画像群の撮影期間を割り出す。ここで、撮影開始時間とは、処理対象の見開きに割り当てられたサブ画像群に含まれる画像のうち最も古い画像の撮影時間であり、撮影終了時間とは、サブ画像群に含まれる画像のうち最も新しい画像の撮影時間である。そして、ループカウンタ１１０３でカウントされた処理回数に基づいてサブ画像群の撮影期間を区間に均等に分割する。なお、１回目のループでは、処理が実行されていないため、分割されない。

Ｓ１２０６では、区間情報設定部１１０６が、取得したサブ画像群の画像データを、分割された区間ごとにグループ分けして、区間毎に各画像の撮影情報、各画像の得点を取得する。Ｓ１２０７では、分割部１１０５により分割された着目区間の画像が選択済みか否かを判定する。着目区間が選択済みの区間であれば、Ｓ１２１１へ進む。未選択の区間であれば、Ｓ１２０８に進む。なお、１回目のループでは、区間が分割されていないため、着目区間は１つである。

Ｓ１２０８では、画像選択部１１０８が着目区間から画像を１枚選択する。

Ｓ１２０９では、類似判定部１１０９が、区間ごとに、着目区間の画像に対して、前カウンタで選択された選択画像との類似判定を行う。類似していないと判定された場合は、その区間から選定された画像を保持し、Ｓ１２１１へ進む。類似していると判定された場合は、その区間の選択画像を解除し（Ｓ１２１０）、Ｓ１２１１へ進む。

Ｓ１２１１では、画像選択を行う処理がＳ１２０５で分割した全区間に対して実行されたかを判定し、全区間に対して実行された場合は、Ｓ１２１２へ進む。Ｓ１２０５で分割した全区間に対して実行されていない場合は、Ｓ１２０６へ戻り、画像選択の未選択区間に対して画像選択を実施する。

Ｓ１２１２では、統合部１１１２が、類似判定部１１０９で非類似と判定された各区間の画像から、最終的に残す画像を選別する。すなわち、Ｓ１２０７〜Ｓ１２１１で２以上の画像が残った場合、残す画像を選別する。

Ｓ１２１３では、画像管理部１１１３が、選択された画像を選択画像に対して追加し、総選択枚数を管理する。

Ｓ１２１４では、画像管理部１１１３により管理されている総選択枚数が、枚数設定部１１０１で設定された必要枚数と一致しているかを判定する。必要枚数と総選択枚数が一致した場合は画像選択処理を終了する。総選択枚数が必要枚数未満の場合は、Ｓ１２０３へ戻って画像選択処理を続行する。その際、ループカウンタ１１０３により管理されているカウンタを１アップする。その結果、連動している分割部１１０５により前回よりも２倍多い区間分割が設定される。区間がより細かく分割されることにより、区間内での画像に対する得点によるランクが変化するので、前回では選択されなかった画像が選択される。

図４に戻って、Ｓｔｅｐ１８では、画像レイアウト部２１２が処理対象の見開きの画像レイアウトを決定する。テンプレート入力部２１１は、指定のテンプレート情報に従ってある見開きに対して図１０の（１−１）〜（４−４）を入力した場合を例に挙げて説明する。入力されたテンプレートのスロット数は３である。選択されている画像３枚の画像の向きが縦方向か横方向かを撮影日時の順に並べると図１０（Ａ）であったとする。ここでは、画像１００５がメインスロット用として選択された画像であり、画像１００６と画像１００７がサブスロット用として選択された画像とする。本実施形態では、テンプレートの左上に撮影日時のより古い画像、右下に撮影日時のより新しい画像をレイアウトするものとする。画像１００５は、撮影日時が一番新しく且つメインスロット用の画像であるため、図１０（４−１）〜（４−４）のテンプレートが候補となる。そして、サブスロット用の古い方の画像１００６、すなわち、左上に配置したい画像が縦画像で、新しい方の画像１００７が横画像である。したがって、（４−２）が、選択された画像に最も適したテンプレートとしてレイアウトが決まる。このようにＳｔｅｐ１８では、レイアウトに用いるテンプレートと、テンプレートのいずれのスロットにいずれの画像をレイアウトするかを識別できる情報が決定する。

Ｓｔｅｐ１９では、画像補正部２１４が画像補正をする。画像補正の条件入力部がＯＮを入力した場合は、画像補正を実施する。本実施形態では、画像補正として、覆い焼き補正、赤目補正、コントラスト補正を自動で実施する。画像補正の条件入力部がＯＦＦを入力した場合は、画像補正を実施しない。補正する画像の画素数は短辺１２００画素で、ｓＲＧＢの色空間に変換した画像に対して画像補正ＯＮ／ＯＦＦを実施する。

Ｓｔｅｐ２０では、レイアウト情報出力部２１５がレイアウト情報を作成する。Ｓｔｅｐ１８で決まった通りに各画像をレイアウトする。このとき、テンプレートが有する各スロットのサイズ情報に合わせてレイアウトする画像を変倍してレイアウトする。なお、ここで用いる画像は、Ｓｔｅｐ０１で生成した解析画像であり、Ｓｔｅｐ０２〜１８で用いた画像とは異なる画像である。そして、テンプレートに画像をレイアウトしたビットマップデータを生成する。

Ｓｔｅｐ２１はＳｔｅｐ１７〜Ｓｔｅｐ２０が全ての見開きに対して終了したか否かを判定する。終了していない場合（Ｓｔｅｐ２１でＮｏ）はＳｔｅｐ１７に戻る。終了している場合（Ｓｔｅｐ２１でＹｅｓ）は自動レイアウト処理を終了する。

本実施形態では、各見開きページに割り当てられたサブ画像群に対して、撮影期間で区間分割して画像を選択する処理を、レイアウトに必要な枚数分繰り返す。これにより、サブ画像群の各期間からまんべんなく画像を選択することができる。したがって、画像の枚数が少ない撮影期間からも画像（写真）を選択することができる。したがって、アルバムを作成した際に、旅行や結婚式といった特別なイベントで撮影される写真だけでなく、撮影枚数が少ないシーン（例えば、日常の何気ないシーン）の画像をレイアウトすることができる。すなわち、本実施形態によれば、アルバムを作成する際に、撮影枚数に関わらず、各撮影時間の画像をまんべんなく選択して、レイアウト画像を自動で生成することができる。

（実施形態２）
本実施形態では、画像選択時に画像の種類に応じて画像選択方法を変更するする。なお、実施形態１と重複する説明は省略する。また、実施形態１と同一のものには同一の符号を付す。画像の種類としては、静止画像、動画の切り出し画像、ＳＮＳ画像等が挙げられる。

図１３は、本実施形態に係る画像選択部２１０の詳細説明図である。図１１と同一の符号を記載している部分は、実施形態１と同様であるため、説明を省略する。

画像種類設定部１３０１は、ループカウンタ１１０３により設定された処理回数に応じて、画像選択部１１０８で選択される画像の種類を設定する。本実施形態では、ループカウントが１の場合、すなわち、処理回数が１回目は、ＳＮＳ画像から選択する。ループカウントが２の場合、すなわち、処理回数が２回目は、動画の切り出し画像から選択する。ループカウントが３以降の場合、すなわち、処理回数が３回目以降は静止画像から選択するように設定する。なお、ループカウントが１であり、画像群取得部１３０２が取得したサブ画像群にＳＮＳ画像が存在しない場合は、その他の画像から選択する。同様に、ループカウントが２であり、画像群取得部１３０２が取得したサブ画像群に動画の切り出し画像が存在しない場合は、その他の画像から選択する。本実施形態では、ループカウントが１であり、ＳＮＳ画像が存在しない場合、及び、ループカウントが２であり、動画の切り出し画像が存在しない場合、いずれも、静止画像から選択するようにする。画像群取得部１３０２は、処理対象の見開きに割り当てられたサブ画像群を取得する。サブ画像群を取得する際には、各画像の撮影日時情報、画像種類、メインスロット用得点、及びサブスロット用得点を取得する。本実施形態では、画像種類は、静止画像、動画切り出し画像、ＳＮＳ画像の３つに分類するものとしたが、これに限定されるものではない。上述した３つ以外の画像種類を区別するものとしてもよいし、デジタルカメラで撮影した静止画像と、スマートデバイスで撮影した静止画像などのように静止画像をさらに詳細に区別してもよい。

区間情報設定部１３０６は、画像群取得部１３０２で取得したサブ画像群に含まれる画像を、分割部１１０５で分割された区間ごとにグループ分けする。画像種類設定部１３０１が設定した画像種類の画像を選別して、対象の種類の画像に関する画像の撮影情報、各画像得点を区間ごとに格納する。

図１４は、画像種類に応じた画像選択処理の詳細フロー図である。

Ｓ１２０１では、枚数設定部１１０１が、処理対象の見開きに割り当てられたサブ画像群から選択する総画像枚数を設定する。

Ｓ１４０１では、画像群取得部１３０２が、処理対象の見開きに割り当てられたサブ画像群に含まれる各画像の撮影日時情報、画像種類、画像得点を取得する。

Ｓ１２０３では、ループカウンタ１１０３が、画像を選択する処理を実行した回数をカウントする。ループカウンタは選択する画像の種類によらず、画像選択回数をカウントする。

Ｓ１２０４では、得点軸設定部１１０４が、利用する得点軸を設定する。本実施形態では、ループカウンタで管理される画像選択処理回数に応じて、利用する得点軸を設定する。

Ｓ１４０２では、画像種類設定部１３０１が、画像選択部１１０８がサブ画像群から選択する画像の種類を設定する。ループカウントが１の場合、すなわち、処理回数が１回目の場合、本実施形態ではＳＮＳ画像を選択するように設定する。ループカウントが２の場合、すなわち、処理回数が２回目の場合、動画切り出し画像を選択するように設定する。ループカウントが３以降の場合、すなわち、処理回数が３回目以降の場合、静止画像を選択するように設定する。

Ｓ１２０５では、分割部１１０５が、処理対象の見開きに割り当てられたサブ画像群の撮影開始時間および撮影終了時間から撮影期間を割り出し、ループカウンタ１１０３でカウントされた処理回数に基づいて、撮影期間を区間に均等に分割する。

Ｓ１４０３では、区間情報設定部１３０６が、各区間に設定された画像種類と合致する画像を選択し、それぞれの撮影情報、各画像得点を格納する。すなわち、ある区間（第１区間）にＳＮＳ画像が設定されている場合は、その第１区間からＳＮＳ画像の撮影情報、ＳＮＳ画像（２以上ある場合は各画像）の得点を格納する。ある区間（第２区間）に動画から切り出した画像が設定されている場合は、その第２区間から動画から切り出した画像の撮影情報、動画から切り出した画像（２以上ある場合は各画像）の得点を格納する。ある区間（第３区間）に静止画像が設定されている場合は、その第３区間から静止画像の撮影情報、静止画像（２以上ある場合は各画像）の得点を格納する。Ｓ１２０７〜Ｓ１２１４は、実施形態１と同様であるため説明を省略する。

本実施形態では、Ｓ１４０２において画像種類を設定することにより、Ｓ１４０３で区間情報設定部１３０６が、予め指定された画像種類のみに絞り込んで選択している。したがって、Ｓ１４０８で、選択される画像は、指定された画像種類のものとなる。具体的には、本実施形態では、図１４に示すフローを実行することにより、ＳＮＳ画像、動画切り出し画像、静止画像の順で画像選択が行われる。ここで、上述した通り、本実施形態では、すでに画像が選択された区間からは、画像の選択を行わない。そのため、静止画像は、ＳＮＳ画像及び動画切り出し画像が選択されていない区間から選択し、動画切り出し画像は、ＳＮＳ画像が選択されていな区間から選択することになる。

処理対象の見開きに割り当てられたサブ画像群にＳＮＳ画像や動画切り出し画像が１枚もない場合は、静止画像が選択される。具体的には、Ｓ１２０３〜１２１２を実行し、Ｓ１２１３では、総選択画像枚数がカウントアップしない。そして、Ｓ１２１４では、総選択画像枚数が必要枚数と同一とはならないため、Ｓ１２０３に戻り、ループカウンタ１１０３がカウントアップされる。これにより、サブ画像群から静止画像が選択される。本実施形態では、実施形態１と同様に、各見開きページに割り当てられたサブ画像群に対して、撮影期間で区間分割して画像を選択する処理を、レイアウトに必要な枚数分繰り返す。これにより、サブ画像群の各期間からまんべんなく画像を選択することができる。したがって、画像の枚数が少ない撮影期間からも画像（写真）を選択することができる。したがって、アルバムを作成した際に、旅行や結婚式といった特別なイベントで撮影される写真だけでなく、撮影枚数が少ないシーン（例えば、日常の何気ないシーン）の画像をレイアウトすることができる。すなわち、本実施形態によれば、アルバムを作成する際に、撮影枚数に関わらず、各撮影時間の画像をまんべんなく選択して、レイアウト画像を自動で生成することができる。

さらに、本実施形態によれば、選択する画像の種類を設定して、アルバムを自動で生成することができる。具体的には、ループカウントが１の場合に設定する画像種類をＳＮＳ画像とし、ループカウントが２の場合に設定する画像種類を動画切り出し画像とした。すなわち、画像選択の優先度の順を、高い方から順にＳＮＳ画像、動画切り出し画像、静止画像とした。これにより、サブ画像群にＳＮＳ画像がある場合は、ＳＮＳ画像は、他の画像よりも高い優先度で選択されるものとし、動画切り出し画像は、静止画像よりも高い優先度で選択されるものとした。これにより、Ｓｔｅｐ２０において、Ｓｔｅｐ１８で決まった通りに各画像をレイアウトすることで、ＳＮＳ画像、動画切り出し画像、静止画像が混在した見開きページを生成することができる。ここで、ＳＮＳ画像は、ユーザーがお気に入りの画像である可能性が高い。したがって、ＳＮＳ画像の優先度を高く設定することにより、Ｓｔｅｐ２０において、ＳＮＳ画像が含まれる見開きページを作成することができ、ユーザーがお気に入りの画像を配置したアルバムを作成することができる可能性が高くなる。また、ユーザーが撮影した動画がある場合、その動画にはユーザーの興味が強い場面が撮影されている可能性が高い。したがって、動画切り出し画像の優先度を高く設定することにより、Ｓｔｅｐ２０において、動画切り出し画像が含まれる見開きページを作成することができ、ユーザーの興味が強い場面の画像を配置したアルバムを作成することができる可能性が高くなる。すなわち、本実施形態によれば、ユーザーの好みの画像を配置したアルバムを作成することができる可能性が高くなる。

（他の実施形態）
本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態では、アルバム作成アプリケーションを例に挙げて説明したが、お勧め画像を自動選択するような画像選択処理を備えるアプリケーションや画像処理装置であってもよい。

また、図１では、ローカル環境を想定した画像処理装置を例に挙げて説明したが、画像処理装置はこれに限定されるものではない。例えば、サーバ上の画像処理装置であってもよい。この場合は、サーバ内に保存されている画像を利用又は画像をアップロードするようにすればよい。

上述した実施形態では、図９に示すように、画像を選択してから順に区間に分割するようにしたが、これに限定されるものではない。例えば、選択する画像の枚数に応じて、予めその数に区間を設定するようにしてもよい。この場合の選択方法について、図９を用いて説明する。なお、４枚の画像を選択したい場合について説明する。まず、図９の（Ｅ）に示すように撮影期間を４等分する。そして、区間に関わらず、１枚目の画像を選択する。次に、２枚目の画像は、１枚目の画像が選択されていない３つの区間から選択する。次に、３枚目の画像は、１枚目の画像も２枚目の画像も選択されていない２つの区間から画像を選択する。４枚目の画像は、１枚目の画像も２枚目の画像も３枚目の画像も選択されていない区間から選択する。なお、その区間に画像が存在しない場合は、図９（Ｈ）と同様に、１枚目の画像を取得した区間、２枚目の画像を取得した区間、３枚目の画像を取得した区間を分割して、画像を選択すればよい。

上述した実施形態では、画像が写真であるものとし、撮影日時に基づいてグループ分けをするようにしたが、画像を作成した日時でグループ分けをするようにしてもよい。

上述した実施形態では、分割した１つの撮影区間から画像を１枚選択する方法を説明したが、分割した１つの撮影区間から複数枚の画像を選択するようにしてもよい。このとき、画像を未選択の撮影区間ができるだけ生じないようにする。また、例えば、画像種類が異なる場合にのみ、撮影区間から複数枚の画像を選択できるようにしてもよい。すなわち、例えば、１つの撮影区間からは、静止画像は１枚のみ選択できるようにするが、１つの撮影区間からＳＮＳ画像と静止画像を選択したり、動画から切り出された画像と静止像とを選択したりすることができるようにしてもよい。

実施形態２では、ループカウントが３以降の場合、静止画像を選択するように設定したが、これに限定されず、ループカウントが３以降の場合は、画像種類はいずれでもよいと設定するようにしてもよい。これにより、３枚目以降は、すべての画像種類（ＳＮＳ画像、動画切り出し画像、静止画像）のうち、得点が高いものが選択されるようになる。

また、実施形態２では、ＳＮＳ画像及び動画切り出し画像がそれぞれ１枚ずつ選択されるようにしたが、これに限定されず、複数枚のＳＮＳ画像を選択するようにしてもよいし、複数枚の動画切り出し画像を選択するようにしてもよい。このとき、選択するＳＮＳ画像の枚数と、選択する動画切り出し画像の枚数は、異なる枚数としてもよい。なお、この場合、できるだけＳＮＳ画像や動画切り出し画像を選択したい場合は、ループカウント３以降で各ループカウントに対して選択する画像種類を１つ設定すればよい。

実施形態２では、サブ画像群から画像を選択する際の画像種類の順を、ＳＮＳ画像、動画切り出し画像、静止画像の順としたが、これに限定されず、他の順で選択するようにしてもよい。

また、実施形態２では、ＳＮＳ画像及び動画切り出し画像のいずれも選択されるようにしたが、これに限定されず、ＳＮＳ画像又は動画切り出し画像の少なくともいずれか一方が選択されるようにしてもよい。この場合は、ループカウントが１の場合に、Ｓ１４０２では、ＳＮＳ画像又は動画切り出し画像を画像種類として設定し、ループカウントが２以降の場合、Ｓ１４０２では、静止画像を画像種類として設定すればよい。なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、一部または全部をハードウェアによって実現するようにしてもよい。

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
１０５ ディスプレイ
１０６ キーボード
１０７ マウス
１０８ データ通信装置
１０９ データバス
２０１ アルバム作成条件指定部
２０２ 画像取得部
２０３ 画像変換部
２０４ 画像解析部
２０５ 画像分類部
２０６ 主人公情報入力部
２０７ 画像得点部
２０８ 見開き数入力部
２０９ 見開き割当部
２１０ 画像選択部
２１１ テンプレート入力部
２１２ 画像レイアウト部
２１３ 画像補正条件入力部
２１４ 画像補正部
２１５ レイアウト情報出力部
３０１ 表示画面
３０２ フォルダパスボックス
３０３ ファイル選択ボタン
３０４ 主人公指定部
３０５ 見開き数ボックス
３０６ テンプレート指定部
３０７ チェックボックス
３０８ ＯＫボタン
３０９ リセットボタン

Claims (29)

1. 複数の画像データを取得する取得手段と、
   前記複数の画像データを見開きページの数に対応する複数の画像データ群に分離する分離手段と、
   前記分離手段の分離により得られる前記複数の画像データ群のうち１つの見開きページに対応する画像データ群の中から選択する画像データの数を設定する選択数設定手段と、
   前記１つの見開きページに対応する画像データ群の中に含まれる各画像データの撮影日時を特定する特定手段と、
   前記特定手段により特定した撮影日時に基づき、前記１つの見開きページに対応する画像データ群の撮影期間を複数の撮影区間に分割する分割手段と、
   前記１つの見開きページに対応する画像データ群の中から画像データを選択する選択手段と、
   前記選択された画像データに基づく画像を配置することにより、前記見開きページごとのレイアウト画像を生成する生成手段と、
   を有し、
   前記１つの見開きページに対応する画像データ群の中から前記選択手段により選択された画像データの数が、前記選択数設定手段により設定された数に達していない場合、前記分割手段は撮影区間をさらに分割し、前記選択手段は、前記分割手段の分割により得られる撮影区間のうち画像データが選択されていない撮影区間から画像データを選択することを特徴とする画像処理装置。
2. 前記選択手段は、１つの撮影区間に対応する画像データ群からは少なくとも１つの画像データを選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記取得手段により取得した画像データ群から動画から切り出された画像及びソーシャルネットワーキングサービスから取得した画像のうち少なくとも一方と、静止画像とを選択し、
   前記生成手段は、動画から切り出された画像及びソーシャルネットワーキングサービスから取得した画像のうち少なくとも一方と、前記静止画像と、を含むレイアウト画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記生成手段により見開きページのレイアウト画像を生成する毎に、前記選択数設定手段による設定を実行し、
   前記生成手段による前記レイアウト画像の生成対象の見開きページについて、前記選択手段により選択された画像データの数が、前記選択数設定手段により設定された数に達するまで、前記分割手段による分割、前記選択手段による選択を繰り返すことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記生成手段が１以上の見開きページのレイアウト画像を生成することにより、アルバムを作成することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 各撮影区間に対し、選択する画像の種類を設定する種類設定手段をさらに有し、
   前記選択手段は、前記種類設定手段で設定された画像の種類に基づいて、各撮影区間に対応する画像データを選択することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記種類設定手段は、各撮影区間に対し、動画から切り出された画像、ソーシャルネットワーキングサービスから取得した画像、及び静止画像のうちいずれか１つを設定することを特徴とする請求項６に記載の画像処理装置。
8. 前記分割手段は、前記選択手段が１つの画像データを選択した後に、前記撮影期間を分割することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記分割手段は、前記選択手段が１つの画像データを選択する毎に１つの撮影区間を２つの撮影区間に分割する処理を繰り返すことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記分割手段は、１つの撮影区間を等分に分割することを特徴とすることを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記分割手段は、前記分割手段により分割して得られた撮影区間のうち画像データが未選択の撮影区間に画像データがない場合、画像データを選択済みの撮影区間をさらに分割することを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記選択手段が選択する画像データに基づく画像の評価基準を設定する第２設定手段をさらに備え、
    前記第２設定手段は、前記選択手段が画像データを選択する毎に評価基準を設定することを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 前記選択手段により選択された第１画像データと、前記選択手段により前記第１画像データよりも前に選択された第２画像データとの類似判定をする判定手段をさらに有し、
    前記判定手段が類似すると判定した場合は、前記選択手段は前記第１画像データの選択を解除することを特徴とする請求項１〜１２のいずれか１項に記載の画像処理装置。
14. 前記判定手段は、前記第１画像データと前記第２画像データの撮影時間差に応じて判定基準を変更することを特徴とする請求項１３に記載の画像処理装置。
15. 複数の画像データを取得する取得工程と、
    前記複数の画像データを見開きページの数に対応する複数の画像データ群に分離する分離工程と、
    前記分離工程における分離により得られる前記複数の画像データ群のうち１つの見開きページに対応する画像データ群の中から選択する画像データの数を設定する設定工程と、
    前記１つの見開きページに対応する画像データ群の中に含まれる各画像データの撮影日時を特定する特定工程と、
    前記特定工程において特定した撮影日時に基づき、前記１つの見開きページに対応する画像データ群の撮影期間を複数の撮影区間に分割する分割工程と、
    前記１つの見開きページに対応する画像データ群の中から画像データを選択する選択工程と、
    前記選択された画像データに基づく画像を配置することにより、前記見開きページごとのレイアウト画像を生成する生成工程と、
    を有し、
    前記１つの見開きページに対応する画像データ群の中から選択された画像データの数が、前記設定工程において設定された数に達していない場合、前記撮影区間の分割をさらに実行し、前記分割により得られる撮影区間のうち画像データが選択されていない撮影区間から画像データを選択することを特徴とする画像処理方法。
16. 前記選択工程では、１つの撮影区間に対応する画像データ群からは少なくとも１つの画像データを選択することを特徴とする請求項１５に記載の画像処理方法。
17. 前記選択工程では、前記取得工程により取得された画像データ群から動画から切り出された画像及びソーシャルネットワーキングサービスから取得した画像のうち少なくとも一方と、静止画像とを選択し、
    前記生成工程では、動画から切り出された画像及びソーシャルネットワーキングサービスから取得した画像のうち少なくとも一方と、前記静止画像と、を含むレイアウト画像を生成することを特徴とする請求項１５又は１６に記載の画像処理方法。
18. 前記生成工程により見開きページのレイアウト画像を生成する毎に、前記設定工程による設定を実行し、
    前記生成工程による前記レイアウト画像の生成対象の見開きページについて、前記選択工程により選択された画像データの数が、前記設定工程により設定された数に達するまで、前記分割工程による分割、前記選択工程による選択を繰り返すことを特徴とする請求項１５〜１７のいずれか１項に記載の画像処理方法。
19. 前記生成工程により１以上の見開きページのレイアウト画像を生成することにより、アルバムを作成することを特徴とする請求項１５〜１８のいずれか１項に記載の画像処理方法。
20. 各撮影区間に対し、選択する画像の種類を設定する種類設定工程をさらに有し、
    前記選択工程では、前記種類設定工程で設定された画像の種類に基づいて、各撮影区間に対応する画像データを選択することを特徴とする請求項１５〜１９のいずれか１項に記載の画像処理方法。
21. 前記種類設定工程では、各撮影区間に対し、動画から切り出された画像、ソーシャルネットワーキングサービスから取得した画像、及び静止画像のうちいずれか１つを設定することを特徴とする請求項２０に記載の画像処理方法。
22. 前記分割工程では、前記選択工程により１つの画像データを選択した後に、前記撮影期間を分割することを特徴とする請求項１５〜２１のいずれか１項に記載の画像処理方法。
23. 前記分割工程では、前記選択工程により１つの画像データを選択する毎に１つの撮影区間を２つの撮影区間に分割する処理を繰り返すことを特徴とする請求項１５〜２２のいずれか１項に記載の画像処理方法。
24. 前記分割工程では、１つの撮影区間を等分に分割することを特徴とすることを特徴とする請求項１５〜２３のいずれか１項に記載の画像処理方法。
25. 前記分割工程により分割して得られた撮影区間のうち画像データが未選択の撮影区間に画像データがない場合、画像データを選択済みの撮影区間をさらに分割することを特徴とする請求項１５〜２４のいずれか１項に記載の画像処理方法。
26. 前記選択工程により選択される画像データに基づく画像の評価基準を設定する第２設定工程をさらに備え、
    前記第２設定工程では、前記選択工程により画像データが選択される毎に評価基準を設定することを特徴とする請求項１５〜２５のいずれか１項に記載の画像処理方法。
27. 前記選択工程により選択された第１画像データと、前記選択工程により前記第１画像データよりも前に選択された第２画像データとの類似判定をする判定工程をさらに有し、
    前記判定工程により類似すると判定された場合は、前記選択工程における前記第１画像データの選択を解除することを特徴とする請求項１５〜２６のいずれか１項に記載の画像処理方法。
28. 前記判定工程では、前記第１画像データと前記第２画像データの撮影時間差に応じて判定基準を変更することを特徴とする請求項２７に記載の画像処理方法。
29. 請求項１〜１４のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images