JP7446876B2 - プログラム、画像処理方法、及び画像処理装置 - Google Patents

Description

本発明は、プログラム、画像処理方法、及び画像処理装置に関し、より具体的には、アルバム作成をするプログラム、画像処理方法、及び画像処理装置に関する。

デジタルカメラの普及に加え、近年ではスマートデバイスの普及及びスマートデバイスのカメラ性能向上により、ユーザの写真撮影枚数が急激に増加している。撮影枚数の増加に伴い、撮影される被写体も様々なバリエーションが増えた。

その多数の撮影画像の中から所望の画像を選択し、選択した画像を用いてアルバムを作成することが行われている。しかし、多数の撮影画像の中から画像を選択したり、レイアウトを決定したり、テンプレートを決定したりするような、画像の出力形態を決定することは手間がかかる作業である。

特許文献１は、以前のアルバム作成のために入力した画像群の情報を用いて、複数の新たな撮影画像の中から所望の画像の出力形態を決定する方法を開示する。特許文献１に記載の技術は、婚礼アルバムのような定型が決まっているアルバムを作成するための技術であり、指輪の交換やケーキカット、スピーチなど定型化されたセレモニーを撮影した画像を、進行順序に沿って配置することで、アルバムを作成している。このようなアルバムの自動作成では、予めお手本となるアルバム（お手本アルバムと呼ぶ）を用意し、お手本アルバムに使われている画像と候補画像との間で類似した画像を選択して自動配置することで、美しいレイアウトのアルバムを効率的に自動作成できる。

特開２０１９－２１５５９３号公報

しかしながら、お手本アルバムページ数よりもユーザが指定する作成アルバムページ数が少ない場合に、お手本アルバムに基づいて作成される中間データに対するレイアウト削減を単純に行ってしまうと、アルバムのストーリー性が崩れる可能性がある。

そこで本発明の一実施形態は、上記の課題に鑑み、お手本アルバムページ数よりも、作成アルバムページ数が少ない場合に、アルバムのストーリー性を担保しつつ、ページを削減することを目的とする。

本発明の一実施形態は、コンピュータを、お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、前記選択手段により選択された前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、作成するアルバムのページ数が前記お手本アルバムのページ数より少ない場合に、前記レイアウトを構成する各要素に対する優先順位を設定する設定手段と、前記優先順位に従って、前記レイアウトのページ数を低減する低減手段と、として機能させることを特徴とするプログラムである。

本発明の一実施形態によれば、お手本アルバムページ数よりも、作成アルバムページ数が少ない場合に、アルバムのストーリー性を担保しつつ、ページを削減することが可能になる。

画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置のソフトウェア構成を示すブロック図である。 アルバムデータの構造を示す図である。 アルバムレイアウトを示す図である。 アルバム作成アプリケーションのＧＵＩを示す図である。 自動レイアウト処理のフローチャートである。 レイアウト作成方法を説明する図である。 ページ削減を説明する図である。 画像処理装置のソフトウェア構成を示すブロック図である。 自動レイアウト処理のフローチャートである。 画像処理装置のソフトウェア構成を示すブロック図である。 自動レイアウト処理のフローチャートである。 画像処理装置のソフトウェア構成を示すブロック図である。 自動レイアウト処理のフローチャートである。

［第１の実施形態］
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを作成する。そして、このアルバムデータに基づいて印刷することで、印刷物としての１または複数のアルバムを作成する。本実施形態では、お手本となるアルバムデータに基づいて、お手本アルバムデータに配置された画像群とは異なる画像群を用いて、お手本アルバムデータと類似するアルバムデータを作成する。より詳しく説明すると、お手本アルバムデータと同じページ数を持ち、お手本アルバムデータの各ページに配置された各お手本画像に類似する画像を、該お手本画像と同じ位置に配置したアルバムデータを作成する。

＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。尚、以下では、画像処理装置が情報処理装置（ＰＣ）のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。

図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらの部品は、データバス１０９により接続されており、相互にデータを送信または受信することができる。

ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置が１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。

ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイルや画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、アルバム作成アプリと呼ばれることもあり、図５等を用いて後述する。

ディスプレイ１０５は、本実施形態のグラフィカルユーザインターフェイス（以下ＧＵＩ）や画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの見開き数やページ数を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。

データ通信装置１０８は、プリンタやサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトされた結果であるアルバムデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタやサーバに送信される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。

＜画像処理装置のソフトウェア構成について＞
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図２を用いて説明する。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、本実施形態において特に重要な機能である、自動レイアウト処理部２０１により提供される自動レイアウト機能を説明する。

図２に示すように、このアプリは、アルバム作成条件設定部２０２と、自動レイアウト処理部２０１と、アルバム表示部２１４と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容や属性に基づいて分類ないし選択した上でレイアウトして、アルバムデータを作成する機能である。作成されたアルバムデータに基づく内容が、ディスプレイ１０５に表示される。

アルバム作成条件設定部２０２は、ユーザのマウス操作に応じたアルバム作成条件を、自動レイアウト処理部２０１に設定する。本実施形態では、アルバム作成条件として、お手本となるアルバムデータ、新たに作成するアルバムに使用する画像群、アルバム商材を設定する。お手本となるアルバムデータの設定は、例えばファイルやディレクトリの指定など、アルバムデータが保存されているファイルシステムの構造に基づいてもよいし、アプリにプリセットとして予め登録された選択肢の中から選んでもよい。画像群の設定は、例えば撮影日時など個別の画像データの付随情報や属性情報を用いて設定してもよいし、デバイスやディレクトリの指定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。また、アルバム商材とは、アルバムに使用する紙の種類や製本時の綴じ部の処理を指す。

ここで、本実施形態で作成するアルバムについて説明する。本実施形態では、アルバムは表紙および複数の見開きで構成される。「見開き」とは、例えば表示においては１つの表示用ウィンドウに相当し、印刷物においては、本を開いた際の互いに隣接する１対のページ（つまり２ページ分）に相当する。なお、見開き内の２ページは、それぞれ異なる用紙に印刷されたものが隣接するよう綴じられることで見開きを形成する場合と、１枚の用紙に印刷されたものが真ん中で折られることで見開きを形成する場合と、がある。以下では、このような見開きの概念を用いて説明するが、ページでもよい。本実施形態では、アルバム作成条件設定部２０２により設定されたお手本アルバムデータおよび画像群に基づき、お手本アルバムと類似するアルバムを作成するためのアルバムデータが作成される。

ここでいうアルバムデータは、少なくとも、アルバムに配置される画像のデータと、該画像が配置される見開き番号や位置、サイズ等の情報を含む。またアルバムデータは、アルバム製本時に使用する紙の種類や製本方法、アルバムのサイズなど、アルバム全体に関する情報を含んでもよい。また、お手本アルバムデータとして、ユーザが予め重要度を、写真毎やページ毎または見開き毎に設定しておき、その設定データを読み込んでもよい。尚、重要度を設定する単位はこれらに限らず、例えばシーン単位で設定してもよい。

図３は、本実施形態で用いるアルバムデータの例である。図３（ａ）は、アルバム全体に関する情報としての商材に関する情報を保持するテーブル（商材テーブルと呼ぶ）の例を示す。商材テーブルには、アルバムのページ数やサイズ、印刷する紙の種類や製本方法の各値が保持されている。図３（ｂ）は、紙面に配置される画像とその位置等に関する情報を保持するテーブル（スロットテーブルと呼ぶ）の例を示す。スロットテーブルには、各行にアルバムに配置する画像と、見開き番号、位置、サイズ、及び角度の各値が保持されている。以降、図３（ｂ）の表における１行分の情報をスロット情報と呼び、お手本アルバムデータにおいて同じ見開き番号に属するスロット群をまとめてテンプレートと呼ぶ。尚、アルバムデータに含まれる情報は、このようなスロット情報に限らない。画像が重なった際の表示順を表すレイヤー情報、トリミング量、エフェクトの種類、文字情報、図形情報等をスロット情報に含めてもよい。

図４は、図３のアルバムデータに基づくレイアウト結果を示す。表紙４０１、見開き４０３、見開き４０４、見開き４０５は、それぞれ図３（ｂ）の見開き番号０、１、２、１０のスロット情報に基づいてレイアウトした図である。尚、表紙４０１は左側が裏表紙、右側が表紙に相当する。図４の塗りつぶされた領域はスロットを表し、図３（ｂ）のｉｍａｇｅｐａｔｈフィールドに保持された値の画像データを配置する。例えばスロット４０２には、ｉｍａｇｅ１．ｊｐｇが配置される。後述する自動レイアウト処理では、お手本アルバムデータに配置された画像の構図やオブジェクト、色味等の画像特徴に類似する画像を、お手本アルバムデータと同様の位置に配置したアルバムデータが作成される。

お手本アルバムデータ取得部２０３は、ＨＤＤ１０４に保存されているアルバムデータの中から、アルバム作成条件設定部２０２により設定されたお手本アルバムのデータを取得する。

お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得したアルバムデータに含まれる画像群を解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、構図判定、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、お手本画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、お手本画像解析部２０４が画像データを解析した結果得られる情報を「解析情報」と呼ぶ。

候補画像取得部２０５は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０２により設定されたアルバム作成条件を満たす画像群を取得する。ここでいう画像群とは、アルバム作成の際レイアウト候補となる画像群を指す。例えば、撮影日時として、ＸＸ年１月１日が指定された場合は、ＸＸ年１月１日に撮影された画像全てが、レイアウト候補の画像群に該当する。ＨＤＤ１０４に保存されている画像としては、静止画像や、動画から切り出された切り出し画像が挙げられる。静止画像や切り出し画像は、デジタルカメラやスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が有してよいし、画像処理装置１００の外部装置が有してもよい。尚、撮像デバイスが外部装置である場合は、候補画像取得部２０５は、データ通信装置１０８を介して画像を取得する。また、静止画像や切り出し画像は、外部のネットワークやサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークやサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。尚、ＣＰＵ１０１はＯＳのプログラムを実行することで、各画像に対して、画像データに付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、候補画像取得部２０５が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。

候補画像解析部２０６は、候補画像取得部２０５が取得した画像データを解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、構図判定、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、候補画像解析部２０６は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。さらに、候補画像取得部２０５は、アルバムに適した画像かを示す画像得点を算出する。画像得点が高い画像として、例えばコントラストが高い、エッジがシャープである、といった審美性が高い画像や、瞬きしていない、人や建造物などの主題となる被写体が大きく写っている、といったコンテンツがよい画像が挙げられる。

類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像の解析情報と、候補画像解析部２０６が解析した候補画像の解析情報とに基づいて、アルバムに使用する画像を選択する。類似画像選択部２０７は、お手本画像１枚毎に、候補画像の中から１または複数の類似画像を選択する。類似画像とは、２つの画像の類似度が所定値より高い画像を示している。類似度としては、例えばお手本画像解析部２０４での解析により取得される画像特徴量と、候補画像解析部２０６での解析により取得される画像特徴量との距離が挙げられ、距離が小さいほど類似度が高いと言える。尚、類似画像の選択時に候補画像解析部２０６が解析した個人認識の結果を用いたり、画像得点の優劣を選択基準に入れたりしてもよい。

レイアウト作成部２０８は、お手本アルバムデータ取得部２０３が取得したお手本アルバムデータと、類似画像選択部２０７が選択した画像とに基づいて、お手本テンプレートに選択画像を割り当てる。尚、本明細書では、お手本テンプレートに選択画像を割り当てたデータをレイアウトと呼ぶことがある。

アルバムページ数比較部２０９は、アルバム作成条件設定部２０２で設定された作成アルバムページ数と、お手本アルバムデータ取得部２０３で取得したお手本アルバムのページ数とを比較し、これらのページ数の大小関係を判定する。具体的には、これらのページ数が一致するか、または、アルバム作成条件設定部２０２で設定された作成アルバムページ数がお手本アルバムデータ取得部２０３で取得したお手本アルバムのページ数より少ないか、若しくは、多いかの判定が実行される。

アルバム優先順位設定部２１０は、レイアウト作成部２０８で作成したレイアウト済みのページの中から一部ページを削減する際に用いる優先順位を設定する。この優先順位の設定単位はページや見開き毎としてもよいし、スロット毎としてもよい。優先順位の設定方法の例として、重要度に従った設定方法が挙げられる。ここでの重要度について、スロットのサイズとしてもよいし、候補画像解析部２０６で算出した画像得点が高いスロットに対する重要度を高くしてもよい。また、お手本アルバムデータとしてお手本アルバムに対する重要度が設定されてある場合にはそれを読み込んでもよいし、ユーザが重要度を直接設定してもよい。他にも、時間軸のバランスがよくなるように重要度をつけてもよい。時間軸のバランスがよくなるとは、近い撮影時間の写真を削減し、写真を時間軸上に並べたときにバランスよく分布している状態に近づけることを指す。また、ここで挙げた複数種類の方法を組み合わせて用いて優先順位の設定を行ってもよい。また、他の優先順位の設定方法として類似度（お手本再現度）を用いてもよい。これは、類似画像選択部２０７で求めた類似度を用いるものである。類似度の使い方としては、類似度に対してある閾値を設定しその閾値に従って写真・スロットの使用・不使用を決定する足切り手段として用いてもよいし、類似度をそのまま優先順位として用いてもよい。勿論、類似度と重要度の２つの概念を用いて優先順位を設定してもよい。尚、ここでは、類似度を用いて見開き単位で優先順位を設定するものとする。

アルバムページ数低減部２１１は、優先順位設定部２１０で設定された優先順位に従って、アルバムページ数をアルバム作成条件設定部２０２で設定されたページ数まで低減する。ページ数を低減する方法として、優先順位がスロット毎に設定されている場合には、優先順位の低い順にスロット単位の削減を行ってもよい。また、スロット毎に設定されている優先順位の平均や中央値、または最高値、最低値をページ単位で求めることで導出された優先順位の低い順にページ単位での削減を行ってもよい。また、このような削減をページ単位でなく見開き単位で行ってもよい。スロット単位での削減を行った場合には、残ったスロットのサイズを変更することや、削減したスロットに代替するスロットとして次ページに用いていたスロットを当てること等で、全体のページ数を低減する。他のページ数低減方法として、スロットのサイズを縮小することで写真を削減することなく（つまり写真を減らすことなく）ページ数を低減してもよい。この低減方法を採用する場合には、上記の手法のように優先順位に従ってページ削減を行う。また、優先順位がページ単位で設定されている場合には、削減の単位をスロット単位として削減しようとしても優先順序が一意に定まらないため、削減はページ単位または見開き単位で行う。尚、ここでは、見開き単位でのページ削減を行うものとする。

アルバムページ数増加部２１２は、アルバムページ数をアルバム作成条件設定部２０２で設定されたページ数まで増加する。追加するページとして、お手本アルバムのシーンで類似画像が多いまたはショット数が多いシーンでレイアウトしたページを追加してもよいし、レイアウト作成の段階では未採用のシーンでレイアウトしたページを追加してもよい。或いは、白紙ページを追加してもよい。ここでいう「シーン」とは、解析情報に応じてグルーピングした画像のまとまり（サブ画像群）を意味する。例えば、撮影時間の異なる２枚の画像に関し、撮影時間の差が所定の閾値以下の画像を同じシーンと判定したり、写っている人物や背景が同じ画像を同じシーンと判定したりする。

アルバムデータ出力部２１３は、レイアウト作成部２０８、アルバムページ数低減部２１１、またはアルバムページ数増加部２１２によって作成されたアルバムデータを出力する。ここで、アルバムデータ出力部２１３が出力するアルバムデータとは、アルバム作成条件設定部２０２で設定されたページ数分の全見開きのレイアウトをまとめたものである。

アルバム表示部２１４は、アルバムデータ出力部２１３が出力したアルバムデータに基づき、アルバムの画像を作成しディスプレイ１０５に表示する。アルバムの画像とは、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。

本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。尚、アプリケーションは、別の形態でも良く、例えば画像処理装置１００で動作するブラウザ内で画面等を表示するＷｅｂアプリでも良い。

＜ＧＵＩ画面について＞
以下、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面について、図５を用いて説明する。図５は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面５０１を示す図である。ユーザは、ＧＵＩ画面５０１を介して、アルバムの作成条件を設定することができる。

ＧＵＩ画面５０１は、お手本となるアルバムデータの設定部（設定アイテム）として、お手本アルバムパスボックス５０２及びお手本アルバムデータ選択ボタン５０３を有する。お手本アルバムパスボックス５０２は、ＨＤＤ１０４中に保存されたお手本アルバムデータの保存場所（パス）を示すためのボックスである。お手本アルバムデータ選択ボタン５０３は、お手本アルバムデータを選択するためのボタンである。ユーザがお手本アルバムデータ選択ボタン５０３をマウス１０７でクリックすると、複数フォルダおよびファイルから構成されるツリーが表示される。そして、お手本とするアルバムデータを保持するファイルをユーザが選択すると、該選択したファイルのファイルパスがお手本アルバムパスボックス５０２に表示される。

入力画像パスボックス５０４及び入力画像フォルダ選択ボタン５０５は、アルバムに含ませる写真画像の設定部である。入力画像パスボックス５０４は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示すためのボックスである。入力画像フォルダ選択ボタン５０５は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザが入力画像フォルダ選択ボタン５０５をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスが入力画像パスボックス５０４に表示される。

商材設定ボックス５０６及び商材選択ボタン５０７は、作成するアルバムの商材設定部である。商材設定ボックス５０６は、作成するアルバムの商材情報を示すためのボックスであり、お手本アルバムデータ選択ボタン５０３によりお手本アルバムデータが選択された場合、該お手本アルバムデータの商材情報が表示される。商材選択ボタン５０７は、商材を切り替えるためのボタンである。ユーザが商材選択ボタン５０７をマウス１０７でクリックすると、商材の一覧が表示される。そして、ユーザが商材を選択すると、該選択した商材情報が商材設定ボックス５０６に表示される。

ページ数設定入力ボックス５０８は、作成するアルバムのページ数の設定部である。ページ数設定入力ボックス５０８に関して、ユーザがこのボックスに自由に数字を入力できるとしてもよいし、予め複数のページ数のパターンを規定しておきプルダウン選択式で入力するとしてもよい。ページ数の設定結果はページ数設定入力ボックス５０８に表示される。

ＯＫボタン５０９は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン５０９をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０２を介して、自動レイアウト処理部２０１にアルバム作成条件が伝えられる。具体的に説明すると、お手本アルバムパスボックス５０２に入力されているパスの情報は、お手本アルバムデータ取得部２０３に伝えられる。また、入力画像パスボックス５０４に入力されているパスの情報は、候補画像取得部２０５に伝えられる。また、商材設定ボックス５０６に入力されている商材情報は、アルバムデータ出力部２１３に伝えられる。

リセットボタン５１０は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面についての内容である。

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図６を用いて説明する。図６（ａ）は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図６に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。

ステップＳ６０１において、アルバム作成条件設定部２０２は、アルバム作成条件を設定する。本実施形態では、アルバム作成条件として、お手本とするアルバムデータ、アルバムに使用する画像群、及び作成アルバムページ数等を設定する。尚、以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。

Ｓ６０２において、お手本アルバムデータ取得部２０３は、Ｓ６０１で設定されたお手本アルバムデータを読み込み、ＲＡＭ１０３に展開する。また、お手本アルバムデータ取得部２０３は、お手本アルバムデータに記録された画像ファイルパスに従ってＨＤＤ１０４から画像データを読み込み、ＲＡＭ１０３に展開する。尚、本ステップでＲＡＭ１０３に展開される画像データを「お手本画像」と呼ぶことがある。つまり、お手本画像とは、お手本アルバムデータに配置されている画像データである。

Ｓ６０３において、お手本画像解析部２０４は、Ｓ６０２でＲＡＭ１０３に展開されたお手本画像を解析する。ここで、本ステップの画像解析について、図６（ｂ）を用いて説明する。

Ｓ６０３０１において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するＥｘｉｆ情報に基づき、撮影日時の情報を取得する。

Ｓ６０３０２において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。お手本画像解析部２０４は、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置および顔のサイズを特定することができる。更に、人物の顔と同様に、犬や猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、置物等であってもよい。また、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを分類するケースを説明したが、ディープニューラルネットワーク等の学習済モデルを用いて画像認識を行ってもよい。

Ｓ６０３０３において、お手本画像解析部２０４は、Ｓ６０３０２で検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤを、抽出した顔画像に対応するＩＤに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定される。尚、個人ＩＤそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人ＩＤを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばＨＤＤ１０４に格納されている。

Ｓ６０３０４において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した画像データに対する特徴量を導出する。画像特徴量としては、例えば、色情報が挙げられる。色情報を画像特徴量として使用する方法として、ヒストグラムを用いることができる。画像データは一般的に１画素毎にＲＧＢの３値が記録されている。この時、画像全体のＲ値、Ｂ値、Ｇ値それぞれに対してヒストグラムを作成する。ヒストグラムは、ある値の範囲毎の出現頻度をカウントすることで作成できる。例えば画素値が０～２５５で記録されており、１６段階（０～１５、１６～３１、・・・、２４０～２５５）でカウントする場合、３値×１６段階＝４８次元の特徴量を得られる。尚、画像特徴量はこれに限らない。例えば、ディープニューラルネットワークによる特徴量を用いてもよい。具体的には、オブジェクト認識を行うネットワークに対して画像を入力すると、認識結果であるオブジェクトの種類及びその確率を表す数値の他に、演算過程の中間値が得られる。この中間値はオブジェクトを認識するための画像の特徴が圧縮されているため、画像を表す特徴量として用いることができる。また他には、Ｓ６０３０２及びＳ６０３０３で検出したオブジェクトや個人認識の結果を特徴量として用いてもよい。例えば、画像に写っている人の数を特徴量としてもよいし、個人認識結果に基づき写っている人の画像群全体における出現頻度を特徴量としてもよい。

尚、ここでは、お手本画像解析部２０４が画像データを解析する形態を説明したが、本実施形態はこれに限らない。例えば、お手本画像解析部２０４が解析した結果をＨＤＤ１０４に保存しておく実施形が考えられる。お手本画像解析部２０４はＨＤＤ１０４に画像の解析結果が保存されているかを確認し、保存されている場合に該解析結果を読み込んでもよい。

なお、Ｓ６０３の解析処理は毎回行う必要はない。つまり、１つのお手本アルバムデータについてＳ６０３の処理を一度行い、その処理結果を保存しておく。そして、次回からは、その処理結果を読み出すことで、Ｓ６０３の解析処理で得られる解析情報を取得することができる。

図６（ａ）の説明に戻る。Ｓ６０４において、候補画像取得部２０５は、Ｓ６０１で設定された画像群をＨＤＤ１０４から読み込み、ＲＡＭ１０３に展開する。

Ｓ６０５において、候補画像解析部２０６は、Ｓ６０４でＲＡＭ１０３に展開された候補画像を解析する。ここで、本ステップの画像解析について、図６（ｃ）を用いて説明する。尚、Ｓ６０５０１～Ｓ６０５０４についてはＳ６０３０１～Ｓ６０３０４と同様の解析処理のため詳細は省略する。

Ｓ６０５０１において、候補画像解析部２０６は、候補画像取得部２０５が取得した画像データに対応する撮影日時の情報を取得する。

Ｓ６０５０２において、候補画像解析部２０６は、候補画像取得部２０５が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。

Ｓ６０５０３において、候補画像解析部２０６は、Ｓ６０５０２で検出した顔に対して個人認識を行う。

Ｓ６０５０４において、候補画像解析部２０６は、候補画像取得部２０５が取得した画像データに対する画像の特徴量を導出する。

Ｓ６０５０５において、候補画像解析部２０６は、候補画像取得部２０５で取得した画像群に対して、アルバムに適した画像かを示す画像得点を付与する。画像得点は、例えばピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。これにより、ピントが合っている画像の得点を高くすることができる。尚、ここでは、画質を表す得点としてピント量を採用したが、本実施形態で採用可能な得点はこれに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。

また、画質以外に、画像に写っているコンテンツによって得点を付けてもよい。例えば、Ｓ６０５０２で導出した顔のサイズおよびＳ６０５０３の個人認識結果を用いることができる。まず、個人認識による結果、最も出現回数が多い人物を主被写体と設定する。画像中に主被写体が写っていない場合は０点とし、写っている場合は、画像サイズに対して主被写体に設定した個人の顔が占める割合を、主被写体毎の得点とする。尚、ここでは、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、Ｓ６０５０２でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行ってもよい。

図６（ａ）の説明に戻る。Ｓ６０６において、レイアウト作成部２０８は、レイアウト作成を行う見開き番号を選択的に決定する。尚、ここでは、１見開き目から順番に選択するものとする。

Ｓ６０７において、類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像解析結果と、候補画像解析部２０６が解析した候補画像解析結果とに基づき、Ｓ６０６で決定された見開き番号の見開きに配置される候補画像を選択する。本実施形態ではまず、類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像解析結果のうち、Ｓ６０６で決定された見開き番号の見開きに配置されているお手本画像に関する画像特徴量を取得する。その後、取得した各お手本画像の画像特徴量に対して、各候補画像の画像特徴量の類似度を計算する。類似度は、例えば２つの特徴量のユークリッド距離を用いることで計算できる。最も類似度が高い候補画像を類似画像として選択する。さらに、同じ候補画像が重複して選択されないように、一度選択された候補画像は以降の類似度計算の対象から除外する。尚、ここでは画像特徴量を用いて類似画像を選択したが、類似画像の選択に使用可能な変数はこれに限らない。例えば、候補画像解析部２０６による解析結果として取得される画像得点を用いてもよい。具体的には、各お手本画像の画像特徴量に対して、候補画像のうち類似度が上位の５つを選択し、さらに該選択した５つの候補画像の中で最も画像得点が高いものを類似画像として選択してもよい。さらに他の例では、お手本画像解析部２０４及び候補画像解析部２０６が解析することで取得される個人認識結果を用いてもよい。例えば、お手本画像に主被写体が写っている場合、主被写体が写っていない候補画像は、類似度が高くても類似画像として選択しないようにする。

Ｓ６０８において、レイアウト作成部２０８は、Ｓ６０７で選択した類似画像を、お手本テンプレートに割り当てる。ここで、本実施形態におけるレイアウト作成方法について、図７を用いて説明する。図７は、Ｓ６０６で選択された見開きのお手本テンプレートと、レイアウト作成部２０８が作成するレイアウトの例を示す。まず、レイアウト作成部２０８は、お手本テンプレート７０１を取得する。お手本テンプレート７０１は、お手本アルバムデータ取得部２０３が取得したお手本テンプレートのうち、Ｓ６０６で決定された見開き番号に対応するお手本テンプレートである。お手本テンプレート７０１は、お手本画像とその配置情報が記録されている。お手本画像７０２、７０３は、画像とその配置を表している。候補画像群７０４は候補画像取得部２０５が取得した画像群を表している。類似画像７０５、７０６は、Ｓ６０７で選択された類似画像を表しており、類似画像７０５はお手本画像７０２と類似の画像であり、類似画像７０６はお手本画像７０３と類似の画像である。レイアウト作成部２０８は、類似画像７０５、７０６を、対応するお手本画像と同じ位置に配置することでレイアウトを作成する。レイアウト７０７は、レイアウト作成部２０８が作成したレイアウトである。以上説明した処理により、お手本テンプレートと類似したレイアウトを作成できる。

Ｓ６０９において、レイアウト作成部２０８は、お手本アルバムデータ取得部２０３が取得したアルバムデータにおいて、全ての見開きに対してＳ６０６～Ｓ６０８の処理が完了したかを判定する。本ステップの判定結果が真の場合、Ｓ６１０に進む一方、該判定結果が偽の場合、Ｓ６０６に戻る。

Ｓ６１０において、アルバムページ数比較部２０９は、Ｓ６０１でアルバム作成条件設定部２０２により設定された作成アルバムページ数と、お手本アルバムデータ取得部２０３が取得したアルバムデータに含まれるお手本アルバムページ数とが一致するか判定する。本ステップの判定結果が真の場合、Ｓ６１５に進む一方、該判定結果が偽の場合Ｓ６１１に進む。

Ｓ６１１において、アルバムページ数比較部２０９は、作成アルバムページ数と、お手本アルバムページ数との大小関係を比較し、判定する。具体的には、アルバムページ数比較部２０９は、作成アルバムページ数がお手本アルバムページ数より少ない（作成アルバムページ数＜お手本アルバムページ数）か判定する。本ステップの判定結果が真の場合、Ｓ６１２に進む一方、該判定結果が偽の場合、Ｓ６１４に進む。

Ｓ６１２において、アルバム優先順位設定部２１０は、レイアウト作成部２０８が作成した全見開きに対し優先順位を設定する。優先順位の高い見開きは、優先順位の低い見開きと比べると優先的にアルバムに使用されることになる。

Ｓ６１３において、アルバムページ数低減部２１１は、Ｓ６１２で設定された優先順位に従って、アルバム作成条件設定部２０２が取得した作成アルバムページ数と同ページ数になるまでページ削減することで、アルバムページ数を低減する。

Ｓ６１４において、アルバムページ数増加部２１２は、アルバム作成条件設定部２０２が取得した作成アルバムページ数と同ページ数になるまでページを追加することで、アルバムページ数を増加する。

Ｓ６１５において、アルバムデータ出力部２１３は、全見開きのレイアウトと、アルバム作成条件設定部２０２によって設定された商材情報とをまとめてアルバムデータとして出力する。全見開きのレイアウトは、レイアウト作成部２０８が作成したレイアウト、アルバムページ数低減部２１１でページを削減したレイアウト、またはアルバムページ数増加部２１２でページを追加したレイアウトである。アルバムデータは例えば図３に示すような形式をしており、ＨＤＤ１０４に保存される。

以上が、本実施形態における自動レイアウト処理についての内容である。

図８は、本実施形態におけるページ削減によるページ数低減を説明するための図である。図８は、お手本アルバムのページ数８０１に対して作成したいアルバムページ数８０２が少ない場合に、指定されたページ数のアルバムを作成する例を示す。お手本アルバム８０３が５見開きで構成されているアルバムとすると、レイアウト作成部２０８によって、このお手本アルバムに類似した自動レイアウトされた５見開きのアルバム８０４が作成される。そして、アルバム優先順位設定部２１０は、この自動レイアウトされた５見開きのアルバムに対して優先順位８０５を見開き単位で設定する。そして、アルバムページ数低減部２１１は、優先順位を参照して最も優先順位の低い４見開き目を削減する。その結果として、作成したいアルバムページ数８０２と一致した４見開きの、出力される自動レイアウトアルバム８０６が作成される。

＜本実施形態の効果について＞
前述したように本実施形態では、指定された作成アルバムページ数がお手本アルバムページ数より少ない場合に、優先順位を設定し、該設定した優先順位に従って、作成したアルバムレイアウトに対するページ数の削減を行う。これにより、アルバムのストーリー性を崩すことなくユーザが所望するページ数のアルバムを作成できる。

［第２の実施形態］
第１の実施形態では、作成したアルバムレイアウトに対するページ削減を行った。これに対し、本実施形態では、お手本アルバムのページを削減した上で、アルバムレイアウトを作成する。尚、以下では、既述の実施形態との差分について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。

＜画像処理装置のソフトウェア構成、自動レイアウト処理について＞
図９は、本実施形態における画像処理装置のソフトウェア構成を示すブロック図である。図１０は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、ここでは、前述の実施形態と同じ要素に関しては、前述の実施形態と同じ符号を付与して説明を割愛する。

お手本アルバム優先順位設定部９０１は、お手本アルバムデータ取得部２０３で取得したレイアウト済みのお手本アルバムから写真画像を削減する際に用いられる優先順位を設定する。この優先順位はページ単位や見開き単位で設定してよく、また、スロット毎に設定してもよい。優先順位の設定方法として、ユーザがお手本アルバムに対して優先順位を直接指定してもよいし、お手本アルバムデータの一部としてお手本アルバムに元々付随されているデータを用いてもよい。また、他の優先順位の設定方法として、重要度に従って設定する方法が挙げられる。ここでの重要度について、スロットのサイズとしてもよいし、候補画像解析部２０６で算出した画像得点が高いスロットに対する重要度を高くしてもよい。また、お手本アルバムデータとしてお手本アルバムに対する重要度が設定されてある場合にはそれを読み込んでもよいし、ユーザが重要度を直接設定してもよい。他にも、時間軸のバランスがよくなるように重要度をつけてもよい。時間軸のバランスがよくなるとは、近い時間の写真を減らし、写真を時間軸上に並べたときにバランスよく分布していることを指す。また、ここで挙げた複数種類の方法を組み合わせて用いて評価を行ってもよい。尚、ここでは、お手本アルバムの優先順位はユーザによって直接指定されるものとする。

お手本アルバム削減部９０２は、優先順位設定部９０１で設定された優先順位に従って、お手本アルバムのページ数がアルバム作成条件設定部２０２によって設定されたページ数となるまで、お手本アルバムのページを削減する。ページを削減する方法として、優先順位がスロット毎に設定されている場合には、優先順位の低い順にスロットを削減してもよいし、ページ単位で優先順位の平均や中央値、または最高値、最低値を求めて、計算された値順にページ削減を行ってもよい。または、このような削減を見開き単位で行ってもよい。他の削減方法として、スロットのサイズを縮小することで写真を削減することなく（つまり写真を減らすことなく）ページを削減してもよい。この際も優先順位に従ってページ削減を行う。

Ｓ１００１において、アルバムページ数比較部２０９は、アルバム作成条件設定部２０２により設定された作成アルバムページ数と、お手本アルバムデータ取得部２０３が取得したアルバムデータに含まれるお手本アルバムページ数との大小関係を比較し、判定する。具体的には、アルバムページ数比較部２０９は、作成アルバムページ数がお手本アルバムページ数より少ない（作成アルバムページ数＜お手本アルバムページ数）か判定する。本ステップの判定結果が真の場合、Ｓ１００２に進む一方、該判定結果が偽の場合、Ｓ６０４に進む。

Ｓ１００２において、アルバム優先順位設定部９０１は、お手本アルバムにおける全見開きの各々のページに対し優先順位を設定する。

Ｓ１００３において、お手本アルバム削減部９０２は、Ｓ１００２で設定された優先順位に従って、お手本アルバムページ数が作成アルバムページ数と同一になるまで、お手本アルバムのページ削減を行う。

＜本実施形態の効果について＞
前述したように本実施形態では、お手本アルバムページ数よりも作成アルバムページ数が少ない場合に、お手本アルバムのページを削減した上で、アルバムレイアウトを作成する。これにより、アルバムのストーリー性を崩すことなくユーザが所望するページ数のアルバムを作成できる。

［第３の実施形態］
本実施形態では、撮影時間に基づいて画像群を分割することでシーン分類を行い、シーンに基づくページ削減を行うことで、ページ数を減らす。

＜画像処理装置のソフトウェア構成、自動レイアウト処理について＞
図１１は、本実施形態における画像処理装置のソフトウェア構成を示すブロック図である。図１２は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、ここでは、前述の実施形態と同じ要素に関しては、前述の実施形態と同じ符号を付与して、説明を割愛する。

シーン分割部１１０１は、候補画像解析部２０６で導出した解析情報を用いて、候補画像取得部２０５で取得した画像群をシーン毎のサブ画像群に分ける。

シーン分類部１１０２は、シーン分割部１１０１により得られたシーン毎に該当するカテゴリを判定する。シーンのカテゴリとして、例えば、屋内、屋外といったシチュエーションや、旅行や結婚式といった写真を撮影した時のイベント等が挙げられる。

具体的には、候補画像解析部２０６及びお手本画像解析部２０４で取得済みの撮影日時の情報を用いて、画像間の撮影日時の時間差に基づいて画像群を複数のサブ画像群に分割する。実際の分割の例は以下の通りである。画像群のうち、最も撮影時間が古い（または新しい）画像に最初に着目し、その次に古い（または新しい）画像との時間差を算出し、該算出した時間差が所定の閾値以上が判定する。このような処理を、着目画像を撮影時間が新しい（或いは古い）ものに順次置き換えながら、全ての画像に対して行う。尚、本実施形態における「分割」とは、２つの画像間を境に撮影時間の新しい方と古い方とで画像群を分割するという意味である。本実施形態では、着目画像の撮影時間とその次に古い（または新しい）画像の撮影時間との間の差分が１６時間以上の場合は、画像群を分割して、これらの画像が異なるサブ画像群に属するようにする。尚、分割の際に用いる時間差の閾値は、これに限定されるものではない。

また、本実施形態では、撮影日時の情報を用いてシーン分割を行ったが、用いる情報はこれに限らない。例えば、撮影位置の情報を用いて、撮影位置が近い画像同士が同一のシーンに属するように、画像群を分割してもよい。別の例として、個人認識結果を用いてもよい。例えば、卒業アルバムにおいて、あるグループ（クラスや部活等）に所属する生徒の画像を事前にアプリケーションに登録しておくことで、グループに所属する生徒が写っている画像をまとめた画像群を１つのシーン（サブ画像群）としてもよい。さらに別の例として、画像情報以外の情報を用いてもよい。ここでは類似するイベントを１つのシーンとしてまとめる方法を説明する。画像が保存されているフォルダ名や、ソーシャルネットワーキングサービス等で付けたタグ情報を画像に付随するメタ情報として取得する。例えば、「運動会」や「修学旅行」などの検索ワードによって、検索ワードを含むメタ情報を持つ画像群を１つのシーンとする。検索ワードの指定に関しては、アルバム作成条件設定部２０２を介してアプリケーションに予め組み込まれている検索ワードの中から、ユーザが選択してもよいし、テキストボックスに検索ワードを入力してもよい。

例えば、結婚式と披露宴との何れかに分類する場合、個人認識結果を用いて全画像中で最も多く写っている上位二人を新郎新婦とする。そして、新郎新婦のみが写っている写真が多いシーンを結婚式、新郎新婦以外の人も共に写っている写真が多いシーンを披露宴のように分類してもよい。さらには、特徴量を機械学習によって導出してもよい。例えば、分類したいシーンとそのシーンを表す画像群を用意し、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて入力を画像、出力をシーン分類結果となる学習を行うことで、シーン分類を行ってもよい。

尚、ここでは、お手本画像解析部２０４が画像データを解析する形態を説明したが、本実施形態はこれに限らない。例えば、お手本画像解析部２０４が解析した結果をＨＤＤ１０４に保存しておく実施形が考えられる。お手本画像解析部２０４はＨＤＤ１０４に画像の解析結果が保存されているかを確認し、保存されている場合に該解析結果を読み込んでもよい。

アルバム優先順位設定部１１０３では、シーン分割部１１０１及びシーン分類部１１０２によるシーン分類結果に基づいて優先順位を設定する。具体的には、下記の２パターンで優先順位を設定する方法が挙げられる。１つ目のパターンは、分類されたシーンごとの見開き数が同じ枚数となるように優先順位を設定するパターンである。このパターンを採用する場合、他のシーンと比較して見開き数の多いシーン内の見開きに対して優先順位が設定される。アルバム優先順位設定部１１０３は、このシーン内での優先順位を、前述のアルバム優先順位設定部２１０と同様の方法を用いて決定する。この方法で優先順位の設定を行って作成したページ削減後のアルバムにおいては、お手本に存在する各シーンに対する画像枚数がバランスよくなるように画像を配置できているため、アルバムのストーリー性を保持することができる。

２つ目のパターンは、分類されたシーン単位で優先順位を設定するパターンである。アルバム優先順位設定部１１０３は、このシーン単位での優先順位を、前述のアルバム優先順位設定部２１０と同様の方法を用いて決定する。この方法で優先順位の設定を行った場合、ページ削減後のアルバムにおける１つ１つのシーンに着目すると、シーン内での削減が行われていないためシーン内ではストーリー性を保持することができる。これら２つのパターンの使い分けとしては、ユーザが指定してもよいし、用いる使い分け方式を予め定めてもよい。

Ｓ１２０１において、シーン分割部１１０１及びシーン分類部１１０２は、お手本アルバムデータ取得部２０３で取得した画像群に対して、シーン分割及びシーン分類を実行する。

Ｓ１２０２において、シーン分割部１１０１及びシーン分類部１１０２は、候補画像取得部２０５で取得した画像群に対して、シーン分割及びシーン分類を実行する。

＜本実施形態の効果について＞
前述したように本実施形態では、お手本アルバムページ数よりも作成アルバムページ数が少ない場合に、作成したアルバムレイアウトに対するシーンに基づくページ削減を行う。これにより、その後作成されるアルバムのストーリー性を崩すことなくユーザが所望するページ数のアルバムを作成できる。

［第４の実施形態］
本実施形態では、お手本アルバムに基づいて作成されたアルバムレイアウトに対して、お手本アルバムに使われている画像と非類似の画像を削減する処理を行う。

図１３は、本実施形態における画像処理装置のソフトウェア構成を示すブロック図である。図１４は、本実施形態におけるアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、ここでは、前述の実施形態と同じ要素に関しては、前述の実施形態と同じ符号を付与して、説明を割愛する。

アルバム削減部１３０１は、レイアウトされた作成済みアルバムに対する、スロット削減、ページ削減、または見開き削減を行う。尚、ここでは、削減対象を選択的に決定する手段として類似度（お手本再現度）を用いるものとする。この類似度とは、類似画像選択部２０７で求めた類似度である。類似度に対する所定の閾値を予め設定しておき、該所定の閾値と類似度とを比較する。そして、この所定の閾値よりも類似度が低いスロット、ページ、または見開きを削減対象として決定する。このように類似度を用いることで、選択すべきでない非類似の画像等を削減できる。従って、この非類似の画像等が配置されるレイアウトを防ぐことができ、ストーリー性の良くないアルバムが作成されてしまうことを防ぐことができる。尚、閾値の設定方法としては、ユーザが閾値を任意に設定してもよいし、定数として予め定めておいてもよいし、作成したいアルバムのページ数となるように閾値が自動決定されるようにしてもよい。

Ｓ１４０１において、アルバム削減部１３０１は、レイアウト作成部２０８が作成した全見開き対してお手本との類似度に基づく自動削減を行う。本ステップの削減は、スロット単位、ページ単位、または見開き単位で行ってよい。

＜本実施形態の効果について＞
本実施形態によれば、お手本アルバムの画像に非類似の画像が使われることを防止できる。よって、ストーリー性の良くないアルバムが作成されてしまうことを防止できる。

［その他の実施形態］
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、本発明は、前述の実施形態の要素を適宜組み合わせてもよい。

２０７ 類似画像選択部
２０８ レイアウト作成部
２１０ アルバム優先順位設定部
２１１ アルバムページ数低減部

Claims (16)

1. コンピュータを、
   お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、
   前記選択手段により選択された前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、
   作成するアルバムのページ数が前記お手本アルバムのページ数より少ない場合に、前記レイアウトを構成する各要素に対する優先順位を設定する設定手段と、
   前記優先順位に従って、前記レイアウトのページ数を低減する低減手段と、
   として機能させることを特徴とするプログラム。
2. コンピュータを、
   作成するアルバムのページ数がお手本アルバムのページ数より少ない場合に、該お手本アルバムを構成する各要素に対する優先順位を設定する設定手段と、
   前記優先順位に従って、前記お手本アルバムのページ数を低減する低減手段と、
   前記低減手段によりページ数が低減された前記お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、
   前記選択手段により選択された前記類似画像を、前記低減手段によりページ数が低減された前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、
   として機能させることを特徴とするプログラム。
3. 前記コンピュータをさらに、
   作成するアルバムのページ数をユーザが指定するためのグラフィカルユーザインターフェイスを表示手段に表示させる制御手段として機能させることを特徴とする請求項１または２に記載のプログラム。
4. 前記コンピュータをさらに、アルバム作成条件を設定する条件設定手段として機能させ、
   前記条件設定手段は、前記アルバム作成条件として、前記お手本アルバムに関するデータと、前記候補画像群に関するデータと、アルバム商材とを設定する
   ことを特徴とする請求項１乃至３の何れか１項に記載のプログラム。
5. 前記コンピュータをさらに、
   前記お手本アルバムに使われている前記複数のお手本画像それぞれの解析結果を取得する第１取得手段と、
   前記候補画像群の各画像の解析結果を取得する第２取得手段と、
   として機能させることを特徴とする請求項１乃至４の何れか１項に記載のプログラム。
6. 前記コンピュータをさらに、
   前記お手本アルバムに使われている前記複数のお手本画像それぞれを解析する第１解析手段と、
   前記候補画像群の各画像を解析する第２解析手段と、
   として機能させることを特徴とする請求項１乃至５の何れか１項に記載のプログラム。
7. 前記コンピュータをさらに、
   作成するアルバムのページ数が前記お手本アルバムのページ数より少ないか判定する判定手段として機能させることを特徴とする請求項１乃至６の何れか１項に記載のプログラム。
8. 前記設定手段により前記優先順位を設定される要素は、スロット、ページ、見開き、またはシーンであることを特徴とする請求項１乃至７の何れか１項に記載のプログラム。
9. 前記コンピュータをさらに、前記候補画像群をシーン毎に分類する分類手段として機能させることを特徴とする請求項１乃至８の何れか１項に記載のプログラム。
10. 前記設定手段は、シーン単位で前記優先順位を設定することを特徴とする請求項９に記載のプログラム。
11. 前記設定手段は、シーン内で前記優先順位を設定することを特徴とする請求項９に記載のプログラム。
12. 前記コンピュータをさらに、前記レイアウトから、該レイアウトに配置された画像を削減する削減手段として機能させ、
    前記お手本画像と前記レイアウトに配置された画像との間の類似度が所定の閾値より低い場合、前記削減手段は、該画像を削減する
    ことを特徴とする請求項１乃至１１の何れか１項に記載のプログラム。
13. お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択するステップと、
    前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成するステップと、
    作成するアルバムのページ数が前記お手本アルバムのページ数より少ない場合に、前記レイアウトを構成する各要素に対する優先順位を設定するステップと、
    前記優先順位に従って、前記レイアウトのページ数を低減するステップと、
    を有することを特徴とする画像処理方法。
14. 作成するアルバムのページ数がお手本アルバムのページ数より少ない場合に、該お手本アルバムを構成する各要素に対する優先順位を設定するステップと、
    前記優先順位に従って、前記お手本アルバムのページ数を低減するステップと、
    ページ数が低減された前記お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択するステップと、
    選択された前記類似画像を、ページ数が低減された前記お手本アルバムのテンプレートに配置したレイアウトを作成するステップと、
    を有することを特徴とする画像処理方法。
15. お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、
    前記選択手段により選択された前記類似画像を、前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、
    作成するアルバムのページ数が前記お手本アルバムのページ数より少ない場合に、前記レイアウトを構成する各要素に対する優先順位を設定する設定手段と、
    前記優先順位に従って、前記レイアウトのページ数を低減する低減手段と、
    を有することを特徴とする画像処理装置。
16. 作成するアルバムのページ数がお手本アルバムのページ数より少ない場合に、該お手本アルバムを構成する各要素に対する優先順位を設定する設定手段と、
    前記優先順位に従って、前記お手本アルバムのページ数を低減する低減手段と、
    前記低減手段によりページ数が低減された前記お手本アルバムに使われている複数のお手本画像それぞれの解析結果と、アルバムに使う候補画像群の各画像の解析結果とに基づき、前記お手本画像に類似する類似画像を前記候補画像群の中から選択する選択手段と、
    前記選択手段により選択された前記類似画像を、前記低減手段によりページ数が低減された前記お手本アルバムのテンプレートに配置したレイアウトを作成する作成手段と、
    を有することを特徴とする画像処理装置。

Images