JP6393302B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、ユーザが所有する複数枚の画像からなる画像群から複数のパターンの合成画像（フォト商材）を自動で生成してユーザに提案する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

例えば、フォトブックは、ユーザが所有する複数枚の画像（画像データ）からなる画像群の中から一定枚数の画像を選択し、選択した一定枚数の画像を使用して、ユーザが希望するレイアウトの写真集（フォトアルバム）を作成したものである。しかし、ユーザが所有する複数枚の画像の中からフォトブックで使用したい画像を自分で選択することや、フォトブックのレイアウト、つまり、フォトブックの各々のページにどの画像をどのように配置するのかを考えるのが非常に手間であるという問題があった。

これに対し、現在では、例えば、画像の撮影期間およびフォトブックのページ数を指定することにより、複数枚の画像の中から撮影期間により指定された一定枚数の画像を自動的に選択し、選択した一定枚数の画像を使用して、ページ数により指定されたフォトブックの各々のページのレイアウトを自動的に生成する自動レイアウト機能が実現されている。これにより、ユーザは、ユーザが所有する複数枚の画像から手間をかけずに簡単にフォトブックを作成することができる。

しかし、従来の自動レイアウト機能では、画像群のテーマを理解して、ユーザの嗜好に合致したフォトブックをユーザに提案することは難しいという問題があった。また、フォト商材としては、フォトブックの他に、シャッフルプリント（１枚の台紙に複数の画像をランダムな順番に並べて配置したもの）、ポストカード、通常の写真プリント等があるが、一定枚数の画像を使用して合成画像を生成する必要のあるフォト商材の場合には、いずれも同様の問題があった。

ここで、本発明に関連性のある先行技術文献として、特許文献１がある。

特許文献１には、ユーザの友人のための画像を配信する情報処理装置であって、ユーザのネットワーク上での活動に基づいて、ユーザと友人との関係を判定手段で判定し、判定手段での判定に応じて、友人のための画像を取得手段で取得し、取得手段で取得した画像をレイアウト手段でレイアウトし、レイアウト手段でレイアウトした画像を配信手段で友人に配信するものが記載されている。

特開２０１３−２０３２５号公報

本発明の目的は、前記従来技術の問題点を解消し、画像群のテーマやユーザの嗜好に応じた最適な合成画像をユーザに提案することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、ユーザが所有する複数枚の画像からなる画像群を取得する画像取得部と、
複数枚の画像の各々の画像解析情報を取得する画像解析情報取得部と、
画像解析情報に基づいて、あらかじめ定義された、優先する画像の種類を表す複数の嗜好の中から、画像群が示す、ユーザが優先する画像の種類を表すユーザの嗜好を分析する嗜好分析部と、
複数枚の画像の中から、画像解析情報に基づいて、ユーザの嗜好に対応する一定枚数の画像を選択し、選択された一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像を生成する合成画像生成部と、
ユーザにより入力された指示を受け取る指示入力部と、
画像を表示する画像表示部と、
複数のパターンの合成画像の中から選択された１枚の合成画像を画像表示部に表示し、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像を、複数のパターンの合成画像の中から指示により指定された１枚の合成画像に切り替えて画像表示部に表示するように制御する表示制御部とを備え、
表示制御部は、画像表示部に表示された合成画像とともに、複数のパターンの合成画像の各々に対応する複数のボタンを画像表示部に表示し、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像を、複数のパターンの合成画像の中から指示により複数のボタンの中から指定された１つのボタンに対応する１枚の合成画像に切り替えて画像表示部に表示するように制御するものであり、
表示制御部は、複数のパターンの合成画像の優先度に応じて、複数のボタンの配列を変更して表示するものであることを特徴とする画像処理装置を提供するものである。

さらに、画像表示部に表示された合成画像のレイアウトの編集で使用される画像として、複数枚の画像の中から、画像表示部に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択する候補画像選択部を備え、
表示制御部は、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像とともに、候補画像選択部により選択された複数枚の候補画像を画像表示部に表示するように制御するものであることが好ましい。

また、候補画像選択部は、レイアウトの編集で使用される画像として、画像表示部に表示された合成画像で使用されている画像に加えて、複数枚の画像の中から、画像表示部に表示された合成画像のパターンに合致する１枚以上の画像を含む複数枚の候補画像を選択するものであることが好ましい。

また、表示制御部は、画像表示部に表示された複数枚の候補画像のうち、画像表示部に表示された合成画像で使用されている画像の各々に対して、画像表示部に表示された合成画像で使用されている画像であることを表すマークを表示するように制御するものであることが好ましい。

さらに、画像解析情報に基づいて、複数枚の候補画像の各々の評価値を算出する画像評価部を備え、
画像評価部は、画像表示部に表示された合成画像のパターンに合致する画像内容の候補画像の評価値が、画像表示部に表示された合成画像のパターンに合致しない画像内容の候補画像の評価値よりも高くなるようにするものであり、
表示制御部は、画像表示部に表示された複数枚の候補画像の各々に対して、評価値を表すマークを表示するように制御するものであることが好ましい。

さらに、レイアウトの編集で行われる複数種類の編集処理について、各々の種類の編集処理に含まれる複数の処理内容の中から、画像表示部に表示された合成画像のパターンに合致する処理内容を選択する処理内容選択部を備え、
表示制御部は、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像とともに、指示により指定された種類の編集処理の処理内容として、処理内容選択部により選択された処理内容を画像表示部に表示するように制御するものであることが好ましい。

さらに、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像のレイアウトを編集するレイアウト編集部を備え、
レイアウト編集部は、画像表示部に表示された複数枚の候補画像、および、画像表示部に表示された編集処理の処理内容の少なくとも一方を使用して、画像表示部に表示された合成画像のレイアウトを編集するものであることが好ましい。

また、合成画像生成部は、一定枚数の合成画像を生成するものであることが好ましい。

また、合成画像生成部は、合成画像の候補となる複数のパターンの候補合成画像を生成し、複数のパターンの候補合成画像の中から選択された一定枚数の候補合成画像を合成画像として出力するものであり、複数のパターンの候補合成画像のうちの任意の２つのパターンの候補合成画像に含まれた画像の一致度が閾値以上である場合に、一致度が閾値以上である２つのパターンの候補合成画像のうちの一方を合成画像として出力し、他方を合成画像として出力しないものであることが好ましい。

また、画像解析情報取得部は、複数枚の画像の各々の画像解析を行って画像解析情報を取得するものであることが好ましい。
また、画像解析情報取得部は、複数枚の画像の各々について所定の種類のオブジェクトを認識した画像解析情報を取得し、
嗜好分析部は、画像解析情報取得部が所定の種類のオブジェクトを認識した画像解析情報を取得したときに、あらかじめ定義された複数の嗜好の中から、所定の種類の人物が撮影された画像を優先するとの嗜好をユーザの嗜好と分析するものであることが好ましい。

また、本発明は、画像取得部が、ユーザが所有する複数枚の画像からなる画像群を取得するステップと、
画像解析情報取得部が、複数枚の画像の各々の画像解析情報を取得するステップと、
嗜好分析部が、画像解析情報に基づいて、あらかじめ定義された、優先する画像の種類を表す複数の嗜好の中から、画像群が示す、ユーザが優先する画像の種類を表すユーザの嗜好を分析するステップと、
合成画像生成部が、複数枚の画像の中から、画像解析情報に基づいて、ユーザの嗜好に対応する一定枚数の画像を選択し、選択された一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像を生成するステップと、
表示制御部が、複数のパターンの合成画像の中から選択された１枚の合成画像を画像表示部に表示し、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像を、複数のパターンの合成画像の中から指示により指定された１枚の合成画像に切り替えて画像表示部に表示するように制御するステップとを含み、
表示制御部は、画像表示部に表示された合成画像とともに、複数のパターンの合成画像の各々に対応する複数のボタンを画像表示部に表示し、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像を、複数のパターンの合成画像の中から指示により複数のボタンの中から指定された１つのボタンに対応する１枚の合成画像に切り替えて画像表示部に表示するように制御し、
表示制御部は、複数のパターンの合成画像の優先度に応じて、複数のボタンの配列を変更して表示することを特徴とする画像処理方法を提供する。

さらに、候補画像選択部が、画像表示部に表示された合成画像のレイアウトの編集で使用される画像として、複数枚の画像の中から、画像表示部に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択するステップと、
表示制御部が、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像とともに、候補画像選択部により選択された複数枚の候補画像を画像表示部に表示するように制御するステップとを含むことが好ましい。

さらに、処理内容選択部が、レイアウトの編集で行われる複数種類の編集処理について、各々の種類の編集処理に含まれる複数の処理内容の中から、画像表示部に表示された合成画像のパターンに合致する処理内容を選択するステップと、
表示制御部が、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像とともに、指示により指定された種類の編集処理の処理内容として、処理内容選択部により選択された処理内容を画像表示部に表示するように制御するステップとを含むことが好ましい。
また、画像解析情報を取得するステップは、複数枚の画像の各々について所定の種類のオブジェクトを認識した画像解析情報を取得し、
ユーザの嗜好を分析するステップは、画像解析情報を取得するステップが所定の種類のオブジェクトを認識した画像解析情報を取得したときに、あらかじめ定義された複数の嗜好の中から、所定の種類の人物が撮影された画像を優先するとの嗜好をユーザの嗜好と分析することが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、ユーザが所有する複数枚の画像から、複数のパターンの合成画像を自動で生成し、その中の１枚の合成画像を初期画像として画像表示部に表示することにより、ユーザの嗜好に合致する合成画像を提案することができる。
また、ユーザは、複数のパターンの合成画像の中から、所望の１枚の合成画像を指定する指示を、指示入力部を介して順次入力することにより、複数のパターンの合成画像を順次切り替えて画像表示部に表示させて閲覧することができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 図１に示す画像処理装置の動作を表す一例のフローチャートである。 図１に示す画像処理装置の動作を表す一例のフローチャートである。 図１に示す画像処理装置の動作を表す一例のフローチャートである。 画像表示部に表示された合成画像の表示画面を表す一例の概念図である。 画像表示部に表示された候補画像の表示画面を表す一例の概念図である。 画像表示部に表示された編集処理の処理内容を表示する表示画面を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、ユーザが所有する複数枚の画像からなる画像群から、複数のパターンの合成画像を生成し、生成された複数のパターンの合成画像を表示してユーザに提案するものである。
画像処理装置１０は、画像取得部１２と、画像解析部１４と、テーマ判別部１６と、嗜好分析部１８と、合成画像生成部２０と、指示入力部２２と、画像表示部２４と、表示制御部２６と、候補画像選択部２８と、画像評価部３０と、処理内容選択部３２と、レイアウト編集部３４と、ユーザ情報登録部３６とを備えている。

画像取得部１２は、ユーザが所有する複数枚の画像からなる画像群を取得するものである。
画像処理装置１０は、画像取得部１２により取得された画像群を記憶（保存）する画像記憶部を備えていてもよい。

画像解析部１４は、画像取得部１２により取得された複数枚の画像の各々の画像解析を行って画像解析情報を出力するものである。
画像解析は、画像内容（画像特徴）を解析する処理であり、顔検出、顔認識、ボケブレ、明るさ、類似解析、撮影時間ないしＧＰＳ情報（位置情報）を利用した画像のグルーピング、画像認識（被写体判別）、シーン認識（夜景、海、紅葉、砂浜、空、…）、オブジェクト認識（金閣寺、自由の女神、料理、花、ケーキ、…）等を利用することができる。また、画像解析には、Ｅｘｉｆなどの画像の付帯情報（タグ情報）を解析する処理も含まれる。画像解析部１４は、画像解析として、画像内容および付帯情報の解析のうちの少なくとも一方を行うことができる。複数枚の画像の中で付帯情報を持たない画像の場合、画像解析部１４は、画像内容の画像解析のみを行い、付帯情報の画像解析を行わない（行うことができない）。
なお、画像解析方法は何ら限定されず、従来公知の画像解析方法を含む、各種の画像解析方法を利用することができる。

上記のように、画像処理装置１０の内部で複数枚の画像の各々の画像解析を行って画像解析情報を出力する代わりに、画像解析部１４を設けることなく、画像解析情報取得部を設け、画像解析情報取得部が、画像処理装置１０の外部から入力される、複数枚の画像の各々の画像解析情報を取得する構成とすることができる。この場合、画像解析情報は、各々対応する画像に関連付けされていればよく、各々対応する画像に付帯させてもよいし、あるいは、各々対応する画像と独立させて持っていてもよい。
あるいは、画像解析情報取得部が、画像解析部１４と同様に、複数枚の画像の各々について、画像解析を行って複数枚の画像の各々の画像解析情報を出力する構成とすることができる。

テーマ判別部１６は、画像解析部１４から出力された複数枚の画像の各々の画像解析情報に基づいて、あらかじめ定義されたテーマの中から画像群のテーマを判別するものである。
画像群のテーマとは、ユーザが画像群を閲覧したときに感じる雰囲気や印象を表すキーワードであり、子供、旅行、結婚式、誕生日、運動会等があらかじめ定義されている。

例えば、表１に示すように、画像群において、「子供」の撮影比率が高い場合、画像群のテーマは子供であると判別することができる。
画像群の撮影期間が１日〜数日で、「風景」「料理」等の画像が混在し、かつ、撮影場所が点在（ＧＰＳ情報を利用）している場合、画像群のテーマは旅行であると判別することができる。
画像群の撮影期間が１〜２時間で、「指輪」、「ケーキ」等の画像が混在し、かつ、撮影場所が固定（ＧＰＳ情報を利用）の場合、画像群のテーマは結婚式であると判別することができる。同様の画像特徴で、「子供」、「ろうそく」等の画像が混在している場合、画像群のテーマは誕生日であると判別することができ、「子供」、「運動場」等の画像が混在している場合、画像群のテーマは運動会であると判別することができる。
上記以外の場合も同様にして画像群のテーマを判別することができる。
なお、画像群のテーマの判別方法は何ら限定されず、従来公知の判別方法を含む、各種の判別方法を利用することができる。

嗜好分析部１８は、テーマ判別部１６により判別された画像群のテーマに基づいて、あらかじめ定義された嗜好の中から画像群の所有者であるユーザの嗜好を分析するものである。
嗜好として、子供画像優先、父母画像優先、子供画像＋父母画像優先、人物画像優先、風景画像優先、人物画像＋風景画像優先、夫婦の２ショット画像優先、登場人物優先、等があらかじめ定義されている。

前述の表１に示すように、嗜好分析部１８は、画像群のテーマが子供である場合、ユーザの嗜好として、子供が撮影された画像（子供画像）を最優先、子供の父母が撮影された画像（父母画像）を優先と分析とする。一方、非人物画像の優先度は低いと分析する。
画像群のテーマの旅行の場合、人物が撮影された画像（人物画像）および風景画撮影された画像（風景画像）が重要（優先度が高い）と分析する。
画像群のテーマが結婚式の場合、「夫婦」の二人が撮影された画像（２ショット画像）を優先と分析する。
画像群のテーマが誕生日、運動会、…、等の場合も同様にしてユーザの嗜好を分析することができる。
なお、ユーザの嗜好を分析する方法は何ら限定されず、従来公知の分析方法を含む、各種の分析方法を利用することができる。

合成画像生成部２０は、複数枚の画像の中から、画像解析情報に基づいて、嗜好分析部１８により分析されたユーザの嗜好に対応する一定枚数の画像を選択し、選択されたユーザの嗜好に対応する一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像を生成するものである。
例えば、ユーザの嗜好が子供の場合、合成画像生成部２０は、複数枚の画像の中から、画像解析情報に基づいて、子供が撮影された一定枚数の画像を選択し、子供が撮影された一定枚数の画像を使用して複数のパターンの合成画像を生成する。
パターンとして、人物認識結果に基づいて、複数枚の画像の中で登場回数が多い人物の人物画像優先のパターン（例えば、仲のよい友達の画像を優先して選択する）、人物画像＋風景画像優先のパターン（人物画像と風景画像を一定の割合で混在させて選択する）、登場人物優先のパターン（できるだけ多くの人物が採用されるように、各撮影日から登場人物が多い画像を優先して選択する）の他、子供画像優先のパターン、父母画像優先のパターン、子供画像＋父母画像優先のパターン、風景画像優先のパターン、夫婦の２ショット画像優先のパターン、等があらかじめ定義されている。

指示入力部２２は、ユーザにより入力された指示を受け取るものであり、マウス、タッチパネル、キーボード等を例示することができる。
指示入力部２２を介して入力される指示には、合成画像生成部２０により生成された複数のパターンの合成画像の中から１枚の合成画像を指定する指示、後述する候補画像選択部２８により選択された複数枚の候補画像を画像表示部２４に表示する指示、後述するレイアウト編集部３４で行われる編集処理の種類を指定する指示等が含まれる。

画像表示部２４は、各種の画像を表示するものであり、液晶ディスプレイ等を例示することができる。
画像表示部２４は、合成画像の表示画面、合成画像のレイアウトの編集で使用される画像である候補画像の表示画面、合成画像に対する編集処理の処理内容を表示する表示画面等を表示することができる。

表示制御部２６は、複数のパターンの合成画像の中から選択された１枚の合成画像を初期画像として画像表示部２４に表示し、指示入力部２２を介して入力された指示に基づいて、画像表示部２４に表示された合成画像を、複数のパターンの合成画像の中から指示により指定された１枚の合成画像に切り替えて画像表示部２４に表示するように制御するものである。
また、表示制御部２６は、前述の候補画像の表示画面、編集処理の処理内容を表示する表示画面等を画像表示部２４に表示するように制御する。

候補画像選択部２８は、画像表示部２４に表示された合成画像のレイアウトの編集で使用される画像として、複数枚の画像の中から、画像表示部２４に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択するものである。
候補画像は、画像表示部２４に表示された合成画像のレイアウトを編集するために、合成画像で使用されている画像と入れ替えて使用することができる画像である。
候補画像には、画像表示部２４に表示された合成画像で使用されている画像の他、複数枚の画像の中から選択された１枚以上の画像を含めることができる。この場合、合成画像で使用されている画像の傾向と合致するように、例えば、画像表示部２４に表示された合成画像のパターンに合致する１枚以上の画像を含めることが望ましい。

画像評価部３０は、画像解析情報に基づいて、候補画像選択部２８により選択された複数枚の候補画像の各々の評価値を算出するものである。
画像評価部３０は、例えば、画像表示部２４に表示された合成画像のパターンに合致する画像内容の候補画像の評価値が、画像表示部２４に表示された合成画像のパターンに合致しない画像内容の候補画像の評価値よりも高くなるようにする。例えば、合成画像が人物画像優先のパターンである場合には、人物画像の評価値がそれ以外の画像の評価値よりも高くなるようにする。
評価値は、例えば、複数の解析方法に対応する画像解析情報のうちの１つ、もしくは、２以上の組み合わせによる総合評価値を利用することができる。また、総合評価値を算出する場合、２以上の解析方法に対応する画像解析情報について重み付けを行ってもよい。
なお、候補画像の評価値の算出方法は何ら限定されず、従来公知の算出方法を含む、各種の算出方法を利用することができる。

処理内容選択部３２は、レイアウトの編集で行われる複数種類の編集処理について、各々の種類の編集処理に含まれる複数の処理内容の中から、画像表示部２４に表示された合成画像のパターンに合致する処理内容を選択するものである。
編集処理には、合成画像に対するクリップアートの挿入、合成画像で使用されているテンプレートの変更、合成画像で使用されている画像に対する各種の画像補正処理（明るさ、色合い等の補正）が含まれる。
また、編集処理に含まれる処理内容は、各々の編集処理において行うことが可能な処理の内容である。クリップアートの挿入の場合には、挿入することが可能なクリップアートの種類、テンプレートの変更の場合には、変更することが可能なテンプレートの種類、画像補正処理の場合には、補正することができる画像補正処理の種類である。
例えば、合成画像のパターンが、子供画像優先の場合には、各種のクリップアートの中から、子供に合致するクリップアートが選択される。

レイアウト編集部３４は、指示入力部２２を介して入力された指示に基づいて、画像表示部２４に表示された合成画像のレイアウトを編集するものである。
レイアウト編集部３４は、画像表示部２４に表示された複数枚の候補画像、および、画像表示部２４に表示された編集処理の処理内容の少なくとも一方を使用して、画像表示部２４に表示された合成画像のレイアウトを編集することができる。
つまり、レイアウト編集部３４は、例えば、合成画像で使用されている画像と候補画像とを入れ替えたり、合成画像に対して各種の編集処理を行って、クリップアートを挿入したり、テンプレートを変更したり、各種の画像処理を施したりすることができる。

ユーザ情報登録部３６は、ユーザに関するユーザ情報を登録するものである。
ユーザ情報には、例えば、ユーザの年齢、性別、住所、国籍等が含まれる。

次に、図２〜図４に示すフローチャートを参照して、画像処理装置１０の動作を説明する。

画像処理装置１０では、まず、画像取得部１２により、ユーザが所有する複数枚の画像からなる画像群が取得される（図２のステップＳ１）。

続いて、画像解析部１４により、画像取得部１２により取得された複数枚の画像の各々の画像解析が行われて画像解析情報が出力される（図２のステップＳ２）。

続いて、テーマ判別部１６により、複数枚の画像の各々の画像解析情報に基づいて、あらかじめ定義されたテーマの中から画像群のテーマが判別される（図２のステップＳ３）。

続いて、嗜好分析部１８により、テーマ判別部１６により判別された画像群のテーマに基づいて、あらかじめ定義された嗜好の中から画像群の所有者であるユーザの嗜好が分析される（図２のステップＳ４）。

続いて、合成画像生成部２０により、複数枚の画像の中から、画像解析情報に基づいて、嗜好分析部１８により分析されたユーザの嗜好に対応する一定枚数の画像が選択され、選択されたユーザの嗜好に対応する一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像が生成される（図２のステップＳ５）。
本実施形態では、子供画像優先のパターン、子供画像＋父母画像優先のパターン、人物画像＋風景画像優先のパターン、登場人物優先のパターンからなる４つのパターンの合成画像が生成される。

ここで、テーマ判別部１６は、画像群から異なる２以上のテーマを判別してもよい。
この場合、合成画像生成部２０は、異なる２以上のテーマの各々に対応するパターンの合成画像を生成することができる。また、合成画像生成部２０は、１つのテーマに対して、２以上のパターンの合成画像を生成してもよい。

例えば、テーマ判別部１６により、画像群のテーマが、「子供」と「旅行」の２つであると判別されたとする。この場合、嗜好分析部１８により、例えば、ユーザの嗜好が、「子供」のテーマに対して、子供画像、および、子供画像＋父母画像が優先であると分析される。また、「旅行」のテーマに対して、人物画像＋風景画像が優先であると分析される。これに応じて、合成画像生成部２０では、子供画像優先のパターン、子供画像＋父母画像優先のパターン、人物画像＋風景画像優先のパターンからなる３つのパターンの合成画像が生成される。

また、テーマ判別部１６は、画像解析情報に加え、ユーザ情報に基づいて、画像群のテーマを判別してもよい。
例えば、ユーザ情報として、複数枚の画像の各々のＧＰＳ情報を利用することにより、複数枚の画像の中に、自宅から離れた場所で撮影された画像が多い場合、テーマ判別部１６は、画像群のテーマが「旅行」であると判別することができる。

ここで、画像表示部２４の表示領域には制限がある。そのため、合成画像の枚数が多すぎると、ユーザが、複数のパターンの合成画像の中から１枚の合成画像を指定する場合に迷う原因となる。従って、合成画像生成部２０は、生成する合成画像の枚数の上限を制限し、一定枚数の合成画像を生成することが望ましい。

また、複数のパターンの合成画像の差異が小さいと、同様にユーザが混乱する原因となる。従って、差異が大きい合成画像を生成することが望ましい。例えば、子供画像優先のパターン、子供画像＋父母画像優先のパターンの場合、子供と父母が一緒に撮影された画像が多くなるほど、両者の差異が小さくなる。

ここで、複数のパターンの合成画像の差異とは、複数のパターンの合成画像の各々に含まれる画像の一致度により表すことができる。例えば、２つのパターンの合成画像の各々で使用されている１０枚の画像のうち、８枚の画像が同じであれば、両者の差異は小さいと考えられる。逆に、１０枚の画像のうち、２枚の画像だけが同じであれば、両者の差異は大きいと考えられる。

従って、合成画像生成部２０は、合成画像の候補となる複数のパターンの候補合成画像を生成し、複数のパターンの候補合成画像の中から選択された一定枚数の候補合成画像を合成画像として出力するものとする。そして、複数のパターンの候補合成画像のうちの任意の２つのパターンの候補合成画像に含まれた画像の一致度が閾値以上である場合に、一致度が閾値以上である２つのパターンの候補合成画像のうちの一方を合成画像として出力し、他方を合成画像として出力しないようにすることが望ましい。
例えば、子供画像優先のパターンの候補合成画像と、人物画像＋風景画像優先のパターンの候補合成画像は一致度が小さいので共に合成画像として出力する。

続いて、表示制御部２６により、図５に示すように、複数のパターンの合成画像の中から選択された１枚の合成画像、本実施形態では、子供画像優先のパターンの合成画像を初期画像として画像表示部２４に表示するように制御される（図２のステップＳ６）。

このように、画像処理装置１０は、ユーザが所有する複数枚の画像から、複数のパターンの合成画像を自動で生成し、その中の１枚の合成画像を初期画像として画像表示部２４に表示することにより、ユーザの嗜好に合致する合成画像を提案することができる。一方、ユーザは、画像処理装置１０により自動生成され、画像表示部２４に表示されることによって提案された合成画像を閲覧することができる。

図５は、画像表示部に表示された合成画像の表示画面を表す一例の概念図である。同図において、合成画像は、表示画面の中央部に表示されている。
合成画像の表示画面の左上部には、候補画像の表示画面を表示するための「ひらく」ボタンが表示され、左下部には、合成画像を切り替えるための複数の切り替えボタンが表示されている。
複数の切り替えボタンは、複数のパターンの合成画像の各々に対応するものである。本実施形態の場合、子供画像優先のパターン、子供画像＋父母画像優先のパターン、人物画像＋風景画像優先のパターン、登場人物優先のパターンの各々に対応する４つの切り替えボタンが表示されている。なお、複数のパターンの合成画像の優先度に応じて、複数の切り替えボタンの配列を変更して表示してもよい。例えば、優先度が最も高い合成画像を一番上に表示し、優先度が低くなるに従って順次下側に並べて表示することができる。
表示画面の右部には、編集処理の処理内容を表示する表示画面を表示するための複数の編集ボタンが表示されている。本実施形態の場合、クリップアートの挿入、テンプレートの変更、画像補正処理の各々に対応する３つの編集ボタンが表示されている。

続いて、例えば、ユーザにより、複数のパターンの合成画像の中から１枚の合成画像を指定する指示が指示入力部２２を介して入力される（図２のステップＳ７）。例えば、図５の左下部に示す４つの切り替えボタンのうちの１つの切り替えボタンが押下される（指示入力部２２がマウスの場合には切り替えボタンがクリックされ、指示入力部２２がタッチパネルの場合には切り替えボタンがタッチされる）。

続いて、表示制御部２６により、指示入力部２２を介して入力された指示に基づいて、画像表示部２４に表示された合成画像を、複数のパターンの合成画像の中から指示により指定された１枚の合成画像、本実施形態の場合、指示により複数の切り替えボタンの中から指定された１つの切り替えボタンに対応する１枚の合成画像に切り替えて画像表示部２４に表示するように制御される（図２のステップＳ８）。

つまり、ユーザは、複数のパターンの合成画像の中から、所望の１枚の合成画像を指定する指示を、指示入力部２２を介して順次入力することにより、複数のパターンの合成画像を順次切り替えて画像表示部２４に表示させて閲覧することができる。

ここで、例えば、ユーザにより、候補画像の表示画面を表示する指示が指示入力部２２を介して入力される（図３のステップＳ９）。例えば、図５の左上部に示す「ひらく」ボタンが押下される。

この場合、候補画像選択部２８により、画像表示部２４に表示された合成画像のレイアウトの編集で使用される画像として、複数枚の画像の中から、画像表示部２４に表示された合成画像で使用されている画像を含む複数枚の候補画像が選択される（図３のステップＳ１０）。

また、画像評価部３０により、画像解析情報に基づいて、候補画像選択部２８により選択された複数枚の候補画像の各々の評価値が算出される（図３のステップＳ１１）。

続いて、表示制御部２６により、図６に示すように、指示入力部２２を介して入力された指示に基づいて、画像表示部２４に表示された合成画像とともに、候補画像選択部２８により選択された複数枚の候補画像を画像表示部２４に表示するように制御される（図３のステップＳ１２）。

これにより、ユーザは、画像表示部２４に表示された合成画像のレイアウトを編集するための複数枚の候補画像を閲覧することができる。

また、表示制御部２６により、画像表示部２４に表示された複数枚の候補画像のうち、画像表示部２４に表示された合成画像で使用されている画像の各々に対して、チェックマークを表示するように制御される。
なお、チェックマークに限らず、画像表示部２４に表示された合成画像で使用されている画像であることを表すことができれば、どのようなマークを表示してもよい。

これにより、ユーザは、複数枚の候補画像のうち、画像表示部２４に表示された合成画像で使用されている画像を一目で把握することができる。

また、表示制御部２６により、画像表示部２４に表示された複数枚の候補画像の各々に対して、画像評価部３０により算出された評価値を表す星マークを表示するように制御される。星マークの個数は、複数枚の候補画像のお奨め度（評価値）を表している。
なお、星マークに限らず、複数枚の候補画像の各々の評価値を表すことができれば、どのようなマークを表示してもよい。

これにより、ユーザは、複数枚の候補画像のうち、画像処理装置１０が推奨する候補画像を一目で把握することができる。

図６は、画像表示部に表示された候補画像の表示画面を表す一例の概念図である。同図において、合成画像は、図５に示す表示画面の中央部から移動されて表示画面の右部に表示され、候補画像は、左部から引き出されて表示画面の左部に表示されている。
候補画像の表示画面の右上部には、「ひらく」ボタンに代えて、候補画像の表示画面を非表示とするための「とじる」ボタンが表示され、右下部には、図５に示すものと同じ４つの切り替えボタンが表示されている。
候補画像の表示画面内には、複数枚の候補画像が表示されている。前述のように、複数枚の候補画像のうち、画像表示部２４に表示された合成画像で使用されている画像にはチェックマークが表示されている。また、複数枚の候補画像の各々には、星マークが表示されている。
候補画像の表示画面には、一定枚数の候補画像を表示することができる。全ての候補画像を表示することができない場合には、候補画像の表示画面の右部に設けられたスクロールバーを使って、表示される候補画像を切り替えることができる。

なお、画像表示部２４に表示された合成画像が別の合成画像に入れ替えられた場合、入れ替えられた合成画像のパターンに合致する候補画像が選択し直され、これに応じて、画像表示部２４に表示される候補画像が変更される。

続いて、例えば、ユーザにより、画像表示部２４に表示された合成画像で使用されている画像と候補画像とを入れ替える指示が指示入力部２２を介して入力される（図３のステップＳ１３）。

この場合、レイアウト編集部３４により、指示入力部２２を介して入力された指示に基づいて、画像表示部２４に表示された合成画像で使用されている画像と、指示により指定された候補画像とを入れ替えるように、画像表示部２４に表示された合成画像のレイアウトが編集される（図３のステップＳ１４）。
また、表示制御部２６により、レイアウト編集部３４によりレイアウトが編集された合成画像を画像表示部２４に表示するように制御される（図３のステップＳ１５）。

これにより、ユーザは、画像表示部２４に表示された合成画像で使用されている画像と候補画像とを入れ替えるように、画像表示部２４に表示された合成画像のレイアウトを編集することができる。

また、例えば、ユーザにより、編集処理の処理内容を表示する表示画面を表示する指示が指示入力部２２を介して入力される（図４のステップＳ１６）。例えば、図５の右部に示す、クリップアートの挿入に対応する編集ボタンが押下される。

この場合、処理内容選択部３２により、レイアウトの編集で行われる複数種類の編集処理について、各々の種類の編集処理に含まれる複数の処理内容の中から、画像表示部２４に表示された合成画像のパターンに合致する処理内容が選択される（図４のステップＳ１７）。
例えば、編集処理がクリップアートの挿入の場合で、かつ、合成画像のパターンが子供画像優先の場合には、処理内容として、各種のクリップアートの中から、子供に合致するクリップアートが選択される。

続いて、表示制御部２６により、図７に示すように、指示入力部２２を介して入力された指示に基づいて、画像表示部２４に表示された合成画像とともに、指示により指定された種類の編集処理の処理内容として、処理内容選択部３２により選択された処理内容を画像表示部２４に表示するように制御される（図４のステップＳ１８）。
前述のように、編集処理がクリップアートの挿入の場合で、合成画像のパターンが子供画像優先の場合には、処理内容として、子供に合致するクリップアートが画像表示部２４に表示される。

これにより、ユーザは、画像表示部２４に表示された合成画像のレイアウトを編集するための、編集処理の処理内容を閲覧することができる。

図７は、画像表示部に表示された編集処理の処理内容を表示する表示画面を表す一例の概念図である。同図において、合成画像は、図５に示す表示画面の中央部から移動されて表示画面の左部に表示され、編集処理の処理内容は、表示画面の右部に表示されている。
本実施形態の場合、編集処理の処理内容の表示画面内には、子供に合致する複数のクリップアートが表示されている。

なお、画像表示部２４に表示された合成画像が別の合成画像に入れ替えられた場合、入れ替えられた合成画像のパターンに合致する編集処理の処理内容が選択し直され、これに応じて、画像表示部２４に表示される処理内容が変更される。

ここで、例えば、ユーザにより、画像表示部２４に表示されたクリップアートの中から選択されたクリップアートを、画像表示部２４に表示された合成画像の指定位置に挿入する指示が指示入力部２２を介して入力される（図４のステップＳ１９）。

この場合、レイアウト編集部３４により、指示入力部２２を介して入力された指示に基づいて、指示により指定されたクリップアートを、画像表示部２４に表示された合成画像の指定位置に挿入するように、画像表示部２４に表示された合成画像のレイアウトが編集される（図４のステップＳ２０）。
また、表示制御部２６により、レイアウト編集部３４によりレイアウトが編集された合成画像を画像表示部２４に表示するように制御される（図４のステップＳ２１）。

これにより、ユーザは、クリップアートを、画像表示部２４に表示された合成画像に挿入するように、画像表示部２４に表示された合成画像のレイアウトを編集することができる。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ 画像取得部
１４ 画像解析部
１６ テーマ判別部
１８ 嗜好分析部
２０ 合成画像生成部
２２ 指示入力部
２４ 画像表示部
２６ 表示制御部
２８ 候補画像選択部
３０ 画像評価部
３２ 処理内容選択部
３４ レイアウト編集部
３６ ユーザ情報登録部

Claims (17)

1. ユーザが所有する複数枚の画像からなる画像群を取得する画像取得部と、
   前記複数枚の画像の各々の画像解析情報を取得する画像解析情報取得部と、
   前記画像解析情報に基づいて、あらかじめ定義された、優先する画像の種類を表す複数の嗜好の中から、前記画像群が示す、前記ユーザが優先する画像の種類を表す前記ユーザの嗜好を分析する嗜好分析部と、
   前記複数枚の画像の中から、前記画像解析情報に基づいて、前記ユーザの嗜好に対応する一定枚数の画像を選択し、前記選択された一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像を生成する合成画像生成部と、
   前記ユーザにより入力された指示を受け取る指示入力部と、
   画像を表示する画像表示部と、
   前記複数のパターンの合成画像の中から選択された１枚の合成画像を前記画像表示部に表示し、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像を、前記複数のパターンの合成画像の中から前記指示により指定された１枚の合成画像に切り替えて前記画像表示部に表示するように制御する表示制御部とを備え、
   前記表示制御部は、前記画像表示部に表示された合成画像とともに、前記複数のパターンの合成画像の各々に対応する複数のボタンを前記画像表示部に表示し、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像を、前記複数のパターンの合成画像の中から前記指示により前記複数のボタンの中から指定された１つのボタンに対応する１枚の合成画像に切り替えて前記画像表示部に表示するように制御するものであり、
   前記表示制御部は、前記複数のパターンの合成画像の優先度に応じて、前記複数のボタンの配列を変更して表示するものであることを特徴とする画像処理装置。
2. さらに、前記画像表示部に表示された合成画像のレイアウトの編集で使用される画像として、前記複数枚の画像の中から、前記画像表示部に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択する候補画像選択部を備え、
   前記表示制御部は、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像とともに、前記候補画像選択部により選択された複数枚の候補画像を前記画像表示部に表示するように制御するものである請求項１に記載の画像処理装置。
3. 前記候補画像選択部は、前記レイアウトの編集で使用される画像として、前記画像表示部に表示された合成画像で使用されている画像に加えて、前記複数枚の画像の中から、前記画像表示部に表示された合成画像のパターンに合致する１枚以上の画像を含む複数枚の候補画像を選択するものである請求項２に記載の画像処理装置。
4. 前記表示制御部は、前記画像表示部に表示された複数枚の候補画像のうち、前記画像表示部に表示された合成画像で使用されている画像の各々に対して、前記画像表示部に表示された合成画像で使用されている画像であることを表すマークを表示するように制御するものである請求項２または３に記載の画像処理装置。
5. さらに、前記画像解析情報に基づいて、前記複数枚の候補画像の各々の評価値を算出する画像評価部を備え、
   前記画像評価部は、前記画像表示部に表示された合成画像のパターンに合致する画像内容の候補画像の評価値が、前記画像表示部に表示された合成画像のパターンに合致しない画像内容の候補画像の評価値よりも高くなるようにするものであり、
   前記表示制御部は、前記画像表示部に表示された複数枚の候補画像の各々に対して、前記評価値を表すマークを表示するように制御するものである請求項２〜４のいずれか１項に記載の画像処理装置。
6. さらに、前記レイアウトの編集で行われる複数種類の編集処理について、各々の種類の前記編集処理に含まれる複数の処理内容の中から、前記画像表示部に表示された合成画像のパターンに合致する処理内容を選択する処理内容選択部を備え、
   前記表示制御部は、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像とともに、前記指示により指定された種類の編集処理の処理内容として、前記処理内容選択部により選択された処理内容を前記画像表示部に表示するように制御するものである請求項２〜５のいずれか１項に記載の画像処理装置。
7. さらに、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像のレイアウトを編集するレイアウト編集部を備え、
   前記レイアウト編集部は、前記画像表示部に表示された複数枚の候補画像、および、前記画像表示部に表示された編集処理の処理内容の少なくとも一方を使用して、前記画像表示部に表示された合成画像のレイアウトを編集するものである請求項６に記載の画像処理装置。
8. 前記合成画像生成部は、一定枚数の合成画像を生成するものである請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記合成画像生成部は、前記合成画像の候補となる複数のパターンの候補合成画像を生成し、前記複数のパターンの候補合成画像の中から選択された一定枚数の候補合成画像を前記合成画像として出力するものであり、前記複数のパターンの候補合成画像のうちの任意の２つのパターンの前記候補合成画像に含まれた画像の一致度が閾値以上である場合に、前記一致度が閾値以上である２つのパターンの候補合成画像のうちの一方を前記合成画像として出力し、他方を前記合成画像として出力しないものである請求項８に記載の画像処理装置。
10. 前記画像解析情報取得部は、前記複数枚の画像の各々の画像解析を行って前記画像解析情報を取得するものである請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記画像解析情報取得部は、前記複数枚の画像の各々について所定の種類のオブジェクトを認識した前記画像解析情報を取得し、
    前記嗜好分析部は、前記画像解析情報取得部が前記所定の種類のオブジェクトを認識した前記画像解析情報を取得したときに、前記あらかじめ定義された複数の嗜好の中から、所定の種類の人物が撮影された画像を優先するとの嗜好を前記ユーザの嗜好と分析するものである請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 画像取得部が、ユーザが所有する複数枚の画像からなる画像群を取得するステップと、
    画像解析情報取得部が、前記複数枚の画像の各々の画像解析情報を取得するステップと、
    嗜好分析部が、前記画像解析情報に基づいて、あらかじめ定義された、優先する画像の種類を表す複数の嗜好の中から、前記画像群が示す、前記ユーザが優先する画像の種類を表す前記ユーザの嗜好を分析するステップと、
    合成画像生成部が、前記複数枚の画像の中から、前記画像解析情報に基づいて、前記ユーザの嗜好に対応する一定枚数の画像を選択し、前記選択された一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像を生成するステップと、
    表示制御部が、前記複数のパターンの合成画像の中から選択された１枚の合成画像を画像表示部に表示し、指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像を、前記複数のパターンの合成画像の中から前記指示により指定された１枚の合成画像に切り替えて前記画像表示部に表示するように制御するステップとを含み、
    前記表示制御部は、前記画像表示部に表示された合成画像とともに、前記複数のパターンの合成画像の各々に対応する複数のボタンを前記画像表示部に表示し、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像を、前記複数のパターンの合成画像の中から前記指示により前記複数のボタンの中から指定された１つのボタンに対応する１枚の合成画像に切り替えて前記画像表示部に表示するように制御し、
    前記表示制御部は、前記複数のパターンの合成画像の優先度に応じて、前記複数のボタンの配列を変更して表示することを特徴とする画像処理方法。
13. さらに、候補画像選択部が、前記画像表示部に表示された合成画像のレイアウトの編集で使用される画像として、前記複数枚の画像の中から、前記画像表示部に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択するステップと、
    前記表示制御部が、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像とともに、前記候補画像選択部により選択された複数枚の候補画像を前記画像表示部に表示するように制御するステップとを含む請求項１２に記載の画像処理方法。
14. さらに、処理内容選択部が、前記レイアウトの編集で行われる複数種類の編集処理について、各々の種類の前記編集処理に含まれる複数の処理内容の中から、前記画像表示部に表示された合成画像のパターンに合致する処理内容を選択するステップと、
    前記表示制御部が、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像とともに、前記指示により指定された種類の編集処理の処理内容として、前記処理内容選択部により選択された処理内容を前記画像表示部に表示するように制御するステップとを含む請求項１２または１３に記載の画像処理方法。
15. 前記画像解析情報を取得するステップは、前記複数枚の画像の各々について所定の種類のオブジェクトを認識した前記画像解析情報を取得し、
    前記ユーザの嗜好を分析するステップは、前記画像解析情報を取得するステップが前記所定の種類のオブジェクトを認識した前記画像解析情報を取得したときに、前記あらかじめ定義された複数の嗜好の中から、所定の種類の人物が撮影された画像を優先するとの嗜好を前記ユーザの嗜好と分析する請求項１２〜１４のいずれか１項に記載の画像処理方法。
16. 請求項１２〜１５のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
17. 請求項１２〜１５のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。