JP5936658B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP5936658B2
JP5936658B2 JP2014171864A JP2014171864A JP5936658B2 JP 5936658 B2 JP5936658 B2 JP 5936658B2 JP 2014171864 A JP2014171864 A JP 2014171864A JP 2014171864 A JP2014171864 A JP 2014171864A JP 5936658 B2 JP5936658 B2 JP 5936658B2
Authority
JP
Japan
Prior art keywords
image
images
candidate
unit
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014171864A
Other languages
English (en)
Other versions
JP2015089112A (ja
Inventor
啓 山路
啓 山路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014171864A priority Critical patent/JP5936658B2/ja
Priority to US14/493,376 priority patent/US9406158B2/en
Priority to CN201410494287.8A priority patent/CN104469141B/zh
Publication of JP2015089112A publication Critical patent/JP2015089112A/ja
Application granted granted Critical
Publication of JP5936658B2 publication Critical patent/JP5936658B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、ユーザがフォトブック等のフォト商材(合成画像)を作成する場合に、ユーザが所有する大量の画像から選択した画像群のテーマに応じた推奨商材(推奨合成画像)を自動で作成してユーザに提案する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。
フォトブックは、ユーザが所有する複数の画像(画像データ)から所定数の画像を選択し、選択した所定数の画像を使用して、ユーザが希望するレイアウトの写真集(フォトアルバム)を作成したものである。なお、フォト商材としては、フォトブックの他に、シャッフルプリント(1枚の台紙に複数の画像をランダムな順番に並べて配置したもの)、ポストカード、通常の写真プリント等がある。
従来のフォトブックでは、例えば、旅行、結婚式等の1つのイベントで撮影された数100枚程度の画像からフォトブックを作成することが想定されていた。これに対し、近年では、大量の画像を保有するものの、フォトブックを作成する時間がないユーザを対象として、例えば、記念アルバムとして、1年分の1000〜数1000枚という大量の画像からフォトブックを作成することが行われている。
しかし、ユーザが大量の画像の中からフォトブックで使用したい画像を自分で選択したり、フォトブックのレイアウト、つまり、フォトブックの各々のページにどの画像をどのように配置するのかを考えるのが非常に手間であるという問題があった。
これに対し、現在では、画像の撮影期間およびフォトブックのページ数を指定することにより、大量の画像の中から撮影期間により指定された所定数の画像を自動的に選択し、選択した所定数の画像を使用して、ページ数により指定されたフォトブックの各々のページのレイアウトを自動的に作成する自動レイアウト機能が実現されている。これにより、ユーザは、大量の画像から手間をかけずに簡単にフォトブックを作成することができる。
携帯電話、スマートフォン、DSC(デジタルスチルカメラ)の普及に伴ってユーザが画像(写真)を撮影する回数は増えているが、このようにして撮影された大量の画像はきちんと整理されていない状態で保管されていることが多い。これらの画像から、例えば、フォトブックを作成する場合、フォトブックの作成テーマには、以下の例1〜例4等に示すような様々な選択肢がある。
例1:1年分の画像を使用して作成したフォトブック(イヤーアルバム)
例2:子供の画像だけを数年分ピックアップして作成した成長アルバム
例3:旅行、結婚式などの1イベントからなる画像を使用して作成したイベントフォトブック
例4:料理、花、景色、盆栽等の趣味の画像を使用して作成したフォトブック
しかし、ユーザが自分でフォトブックの作成テーマを決定して、大量の画像の中から作成テーマにあった画像を準備するのは非常に手間がかかるという問題があった。他のフォト商材を作成する場合も同様である。
ここで、本発明に関連性のある先行技術文献として、特許文献1がある。
特許文献1には、ユーザの友人のための画像を配信する情報処理装置であって、ユーザのネットワーク上での活動に基づいて、ユーザと友人との関係を判定手段で判定し、判定手段での判定に応じて、友人のための画像を取得手段で取得し、取得手段で取得した画像をレイアウト手段でレイアウトし、レイアウト手段でレイアウトした画像を配信手段で友人に配信するものが記載されている。
特開2013−20325号公報
本発明の目的は、前記従来技術の問題点を解消し、複数の画像に含まれる所定の画像群を使用して、その画像群のテーマに対応した合成画像をユーザに提案することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
上記目的を達成するために、本発明は、ユーザに提案する推奨合成画像を作成するための1以上の候補画像群を取得する画像取得部と、
1以上の候補画像群の各々について、候補画像群に含まれる画像の各々の画像解析情報を取得する画像解析情報取得部と、
1以上の候補画像群の各々について、候補画像群に含まれる画像の各々の画像解析情報に基づいて、候補画像群のテーマを判別するテーマ判別部と、
1以上の候補画像群の各々について、候補画像群のテーマに基づいて、推奨合成画像を作成するための1以上のテンプレートを選択するテンプレート選択部と、
1以上の候補画像群の各々について、候補画像群に含まれる画像が1以上のテンプレートの各々の上にレイアウトされた1以上の推奨合成画像を作成するレイアウト部とを備え、
テンプレート選択部は、候補画像群のテーマに応じて、1以上のテンプレートの各々のサイズを変更するものであることを特徴とする画像処理装置を提供するものである。
ここで、画像取得部は、1以上の画像の中から1以上の候補画像群を選択して取得するものであることが好ましい。
また、画像解析情報取得部は、候補画像群に含まれる画像の各々の画像解析を行って画像解析情報を取得するものであることが好ましい。
また、レイアウト部により作成された1以上の推奨合成画像をユーザに提案する合成画像提案部を備えることが好ましい。
また、テンプレート選択部は、候補画像群のテーマおよび候補画像群に含まれる画像の枚数に基づいて、1以上のテンプレートを選択するものであることが好ましい。
また、画像取得部は、1以上の候補画像群として、1以上の画像の中から、画像の撮影日に基づいて、あらかじめ設定された撮影期間に含まれる画像群を選択して取得するものであることが好ましい。
また、画像取得部は、1以上の候補画像群として、1以上の画像の中から、画像の撮影日および撮影枚数に基づいて、1日当たりの撮影枚数が、あらかじめ設定された枚数以上である撮影期間に含まれる特定のイベントで撮影された画像群を選択して取得するものであることが好ましい。
また、画像取得部は、1以上の候補画像群として、1以上の画像の中から、画像の撮影位置に基づいて、特定の撮影位置に含まれる画像群を選択して取得するものであることが好ましい。
また、画像取得部は、1以上の候補画像群として、1以上の画像の中から、画像解析情報に基づいて、画像解析の結果が共通する画像群を選択して取得するものであることが好ましい。
また、1以上のテーマの各々について、画像の撮影傾向の情報を記憶するテーマ情報記憶部を備え、
テーマ判別部は、1以上のテーマの各々についての画像の撮影傾向の情報、および、候補画像群に含まれる画像の各々の画像解析情報に基づいて、候補画像群のテーマを判別するものであることが好ましい。
また、テンプレート選択部は、候補画像群が、あらかじめ設定された枚数以上の画像を含む場合、1以上のテンプレートとして、複数のページからなるテンプレートを選択し、候補画像群が、あらかじめ設定された枚数未満の画像を含む場合、1以上のテンプレートとして、1枚の台紙からなるテンプレートを選択するものであることが好ましい。
また、各種の指示を入力するための指示入力部を備え、
画像取得部は、指示入力部を介して入力された指示に基づいて、複数の画像から1以上の画像を選択するものであることが好ましい。
また、画像取得部は、指示入力部を介して入力された指示により指定されたページ数が、あらかじめ設定されたページ数以上である場合、1以上の候補画像群として、指定されたページ数が、あらかじめ設定されたページ数未満である場合よりも長い撮影期間に含まれる画像群を選択して取得するものであることが好ましい。
また、画像取得部は、指示入力部を介して入力された指示により指定されたテンプレートがフォトブックのテンプレートである場合、1以上の候補画像群として、指定されたテンプレートがポストカードのテンプレートである場合よりも長い撮影期間に含まれる画像群を選択して取得するものであることが好ましい。
また、画像取得部は、指示入力部を介して入力された指示により指定されたテンプレートがシャッフルプリントのテンプレートである場合、1以上の候補画像群として、1日当たりの撮影枚数が、あらかじめ設定された枚数以上である期間に含まれる特定のイベントで撮影された画像群を選択して取得するものであることが好ましい。
また、各種の指示を入力するための指示入力部を備え、
合成画像提案部は、指示入力部を介して入力された指示により指定されたテンプレートがポストカードのテンプレートである場合、特定のテーマに対応した候補画像群に含まれる画像がポストカードのテンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものであることが好ましい。
また、合成画像提案部は、現在の季節に基づいて、現在の季節に対応した撮影期間の画像を含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものであることが好ましい。
また、合成画像提案部は、ユーザの個人情報に基づいて、ユーザの特定の記念日に対応した撮影期間の画像を含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものであることが好ましい。
また、合成画像提案部は、現在の時間に基づいて、現在の時間に対応した撮影期間の画像を含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものであることが好ましい。
また、各種の指示を入力するための指示入力部を備え、
合成画像提案部は、指示入力部を介して入力された指示により指定された時間に基づいて、指定された時間に対応した撮影期間の画像を含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものであることが好ましい。
また、複数の画像を記憶する画像記憶部を備え、
合成画像提案部は、画像が画像記憶部に記憶された記憶日時に基づいて、あらかじめ設定された設定日時以降に、画像記憶部に記憶された新たな画像のみを含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた第1推奨合成画像を優先的に提案するものであることが好ましい。
また、合成画像提案部は、さらに、設定日時以降に、画像記憶部に記憶された新たな画像、および、設定日時以前に、画像記憶部に記憶された過去の画像を含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた第2推奨合成画像を、第1推奨合成画像の次に優先的に提案するものであることが好ましい。
また、各種の指示を入力するための指示入力部を備え、
合成画像提案部は、指示入力部を介して入力された指示により指定された表示条件に基づいて、表示条件に対応する複数枚の画像が一覧表示された場合に、表示条件に対応する画像を含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものであることが好ましい。
また、合成画像提案部は、一覧表示された複数枚の画像の中から、指示入力部を介して入力された指示により指定された複数枚の指定画像に基づいて、複数枚の指定画像に共通する特徴を有する画像を含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものであることが好ましい。
ここで、1以上の候補画像群の各々について、候補画像群が、ユーザに提案する推奨合成画像を作成するための2以上の副候補画像群を含む場合、
テーマ判別部、テンプレート選択部およびレイアウト部は、2以上の副候補画像群の各々について、それぞれ、テーマの判別、テンプレートの選択および推奨合成画像の作成を行うものであることが好ましい。
また、本発明は、画像取得部が、ユーザに提案する推奨合成画像を作成するための1以上の候補画像群を取得するステップと、
画像解析情報取得部が、1以上の候補画像群の各々について、候補画像群に含まれる画像の各々の画像解析情報を取得するステップと、
テーマ判別部が、1以上の候補画像群の各々について、候補画像群に含まれる画像の各々の画像解析情報に基づいて、候補画像群のテーマを判別するステップと、
テンプレート選択部が、1以上の候補画像群の各々について、候補画像群のテーマに基づいて、推奨合成画像を作成するための1以上のテンプレートを選択するステップと、
レイアウト部が、1以上の候補画像群の各々について、候補画像群に含まれる画像が1以上のテンプレートの各々の上にレイアウトされた1以上の推奨合成画像を作成するステップとを含み、
テンプレート選択部は、候補画像群のテーマに応じて、1以上のテンプレートの各々のサイズを変更することを特徴とする画像処理方法を提供する。
ここで、画像取得部が、1以上の画像の中から1以上の候補画像群を選択して取得することが好ましい。
また、画像解析情報取得部が、候補画像群に含まれる画像の各々の画像解析を行って画像解析情報を取得することが好ましい。
また、合成画像提案部が、レイアウト部により作成された1以上の推奨合成画像をユーザに提案することが好ましい。
また、テンプレート選択部は、候補画像群のテーマおよび候補画像群に含まれる画像の枚数に基づいて、1以上のテンプレートを選択することが好ましい。
また、テンプレート選択部は、候補画像群が、あらかじめ設定された枚数以上の画像を含む場合、1以上のテンプレートとして、複数のページからなるテンプレートを選択し、候補画像群が、あらかじめ設定された枚数未満の画像を含む場合、1以上のテンプレートとして、1枚の台紙からなるテンプレートを選択することが好ましい。
また、合成画像提案部は、現在の季節に基づいて、現在の季節に対応した撮影期間の画像を含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた推奨合成画像を優先的に提案することが好ましい。
また、合成画像提案部は、ユーザの個人情報に基づいて、ユーザの特定の記念日に対応した撮影期間の画像を含む候補画像群に含まれる画像がテンプレートの上にレイアウトされた推奨合成画像を優先的に提案することが好ましい。
また、本発明は、上記のいずれかに記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
また、本発明は、上記のいずれかに記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
本発明では、候補画像群のテーマを判別し、判別した候補画像群のテーマに基づいてテンプレートを選択し、選択したテンプレートおよび候補画像群を使用して推奨合成画像を作成する。これにより、本発明によれば、所定の候補画像群に含まれる画像を使用して、その候補画像群のテーマに対応した推奨合成画像を自動で作成してユーザに提案することができる。
本発明の画像処理装置の構成を表す一実施形態のブロック図である。 画像の撮影日と撮影枚数との関係を表す一例のグラフである。 候補画像群とそのテーマを表す一例の概念図である。 図1に示す画像処理装置の動作を表す一例のフローチャートである。 現在の時間または指定された時間と同じ月日の1年前、2年前、…の所定の撮影期間に撮影された画像の重要度を表す一例の概念図である。 複数枚の画像が表示部に一覧表示された場合の表示画面の構成を表す一例の概念図である。 表示画面の左部に表示して提案された推奨商材を表す一例の概念図である。 一覧表示された複数枚の画像の中から、3枚の指定画像が指定された場合を表す一例の概念図である。
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
図1は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置10は、ユーザが所有する大量の画像の中に含まれる所定の画像群のテーマを判別し、判別したテーマに基づいて、画像群を使用して推奨商材(推奨合成画像)を自動で作成してユーザに提案するものである。
画像処理装置10は、画像記憶部12と、画像選択部14と、画像解析部16と、テーマ情報記憶部18と、テーマ判別部20と、商材選択部22と、レイアウト部24と、商材提案部26と、指示入力部28とを備えている。
画像記憶部12は、ユーザが所有する複数の画像を記憶(保存)するものである。
画像選択部14は、画像記憶部12に記憶された複数の画像の中から所定数(1以上)の画像を選択し、選択した所定数の画像の中からユーザに提案する推奨商材を作成するための1以上候補画像群を選択するものである。
画像選択部14は、例えば、フォトブックで使用するための所定数の画像を指定する指示が、後述する指示入力部24を介して入力されると、複数の画像の中から、前述の指示に対応した所定数の画像を選択し、選択した所定数の画像の各々の撮影日、撮影枚数、その他の情報を解析し、あらかじめ設定された所定の画像選択条件に応じて、所定数の画像から1以上の候補画像群を選択する。
上記のように、画像処理装置10の内部で複数の画像を記憶し、記憶した複数の画像の中から所定数の画像を選択し、選択した所定数の画像の中から1以上の候補画像群を選択する構成とする代わりに、画像処理装置10に画像記憶部12および画像選択部14を設けることなく、画像取得部を設け、画像取得部が、画像処理装置10の外部から入力される1以上の候補画像群を取得する構成とすることができる。
あるいは、画像取得部が、画像処理装置10の外部から入力される所定数の画像の中から1以上の候補画像群を選択して取得する構成とすることもできる。
あるいは、画像取得部が、画像処理装置10の外部から入力される複数の画像の中から所定数の画像を選択し、選択した所定数の画像の中から1以上の候補画像群を選択して取得する構成とすることもできる。
画像選択部14は、1以上の候補画像群として、所定数の画像の中から、画像の撮影日に基づいて、全期間、1年単位、月単位等のように、あらかじめ設定された所定の撮影期間に含まれる画像群を選択することができる。
例えば、画像選択部14は、所定数の画像がどのような画像であっても、1以上の候補画像群として、所定数の画像の撮影期間の全期間の画像群を無条件で必ず選択する。
以下順に、画像選択部14は、所定数の画像の撮影期間が1年以上あれば、1以上の候補画像群として、例えば、撮影日が2011年の画像、2012年の画像、…というように、1年単位(1年分)の画像群を選択することができる。1年単位の画像としては、例えば、撮影日が2011年4月〜2012年3月までの1年分の画像等のように、任意の年月日から1年分の画像でもよいし、子供の誕生日等の特定の記念日から1年分の画像でもよい。
また、画像選択部14は、所定数の画像の撮影期間が1ヶ月以上あり、かつ、各月に一定枚数以上の画像があれば、1以上の候補画像群として、例えば、1ヶ月分、3ヶ月分、半年分、…というように、月単位(数ヶ月分)の画像群を選択することができる。
また、画像選択部14は、1以上の候補画像群として、所定数の画像の中から、画像の撮影日および撮影枚数に基づいて、旅行や結婚式などのように、特定のイベントで撮影されたイベント単位の画像群を選択することができる。
図2は、画像の撮影日と撮影枚数との関係を表す一例のグラフである。同図の横軸は画像の撮影日、縦軸は画像の撮影枚数を表す。同図に示すように、日常的なスナップ写真等の画像の場合、1日当たりの撮影枚数は少ないが、旅行などのイベントで撮影された画像の場合、1日当たりの撮影枚数は日常的な画像よりも多くなる。従って、画像選択部14は、1日当たりの撮影枚数が、あらかじめ設定された所定の枚数以上である撮影期間に含まれる画像を、特定のイベントで撮影された画像群であると判断する。
また、画像選択部14は、1以上の候補画像群として、所定数の画像の中から、画像のヘッダ情報(付帯情報)に含まれたGPS(全地球測位システム)情報を利用して、画像の撮影位置に基づいて、特定の撮影場所(撮影範囲)で撮影された場所単位の画像群を選択することができる。
画像選択部14は、例えば、所定数の画像が2010年〜2012年の画像を含む場合、候補画像群として、2010年〜2012年の全期間の画像、2010年の画像、2011年の画像、2012年の画像、2010年11月23日〜同年同月26日までの撮影期間に含まれるイベントで撮影されたイベント画像、2011年7月6日〜同年同月8日までの撮影期間に含まれるイベントで撮影されたイベント画像、…等を選択する。
また、画像選択部14は、1以上の候補画像群として、所定数の画像の中から、後述する画像解析部16により取得される画像の画像解析情報に基づいて、画像解析の結果が共通する画像群を選択することができる。
画像選択部14は、候補画像群として、例えば、画像解析の結果の評価スコアが、あらかじめ設定された所定の閾値以上である画像を選択する。また、画像選択部14は、候補画像群として、例えば、撮影日が同じ画像、同じ人物が撮影された画像、同じシーンの画像、撮影位置が同じ画像、同じオブジェクトが撮影された画像、等を選択することができる。
ただし、候補画像群、すなわち、ユーザに提案する推奨商材の数が増えすぎると、ユーザの選択の手間が増えるため、所定数の画像の撮影期間によって候補画像群の数を調整してもよい。例えば、撮影期間が2年以上であれば、候補画像群を年単位とする、撮影期間が1年以上、2年未満であれば、候補画像群を年単位および月単位とする、撮影期間が半年以上、1年未満であれば、候補画像群を3ヶ月単位とする、撮影期間が半年未満であれば、候補画像群を月単位とする、等である。
なお、画像選択部14が、所定数の画像から候補画像群を選択するための画像選択条件は上記のものに限定されず、各種の画像選択条件を設定することができる。
続いて、画像解析部16は、画像選択部14により選択された1以上の候補画像群の各々について、候補画像群に含まれる画像の各々の画像解析を行って、画像解析情報を取得するものである。
ここで、画像解析は、画像に撮影された被写体の特徴を解析することであり、従来公知の解析方法を含む、各種の解析方法を利用することができる。画像解析としては、例えば、顔検出/顔認識、シーン認識(夜景、海、紅葉、砂浜、空、…)、オブジェクト認識(金閣寺、自由の女神、料理、花、ケーキ、…)等を例示することができる。また、画像解析の結果として、各々の画像解析の評価スコアや、全ての画像解析の合計の評価スコアを算出してもよい。
上記のように、画像処理装置10の内部で1以上の候補画像群の各々の画像解析を行って画像解析情報を取得する代わりに、画像解析部18を設けることなく、画像解析情報取得部を設け、画像解析情報取得部が、画像処理装置10の外部から入力される、1以上の候補画像群の各々の画像解析情報を取得する構成とすることができる。この場合、画像解析情報は、各々対応する画像に関連付けされていればよく、各々対応する画像に付帯させてもよいし、あるいは、各々対応する画像と独立させて持っていてもよい。
あるいは、画像解析情報取得部が、画像解析部18と同様に、1以上の候補画像群の各々について、画像解析を行って1以上の候補画像群に含まれる画像の各々の画像解析情報を生成して取得する構成とすることができる。
続いて、テーマ情報記憶部18は、テーマ情報として、所定数(1以上)のテーマの各々について、画像の撮影傾向の情報を記憶するものである。
ここで、テーマとは、ユーザが画像を閲覧したときに感じる画像の雰囲気や印象を表すキーワードであり、例えば、運動会、誕生日等を例示することができる。また、画像の撮影傾向の情報とは、各々のテーマの画像が、どのような条件で撮影されることが多いかを表すものであり、例えば、画像内の被写体の顔数および顔サイズ、明るさの値、明るさの変動、ズームの有無、撮影時間範囲等を例示することができる。
テーマ情報記憶部18には、表1に示すように、例えば、「運動会」のテーマの場合、最大顔数が多い、明るさの平均値が高い、明るさの変動が小さい、ズーム写真が多い等の、画像の撮影傾向の情報が事前に記憶されている。また、表2に示すように、「誕生日」のテーマの場合、明るさの最小値が小さい、明るさの変動が大きい、イベントの撮影時間範囲が短い、顔サイズが大きい等の、画像の撮影傾向の情報が事前に記憶されている。他のテーマについても同様である。
続いて、テーマ判別部20は、画像選択部14により選択された1以上の候補画像群の各々について、テーマ情報記憶部18に記憶された所定数のテーマの各々についての画像の撮影傾向の情報、および、候補画像群に含まれる画像の各々の画像解析情報に基づいて、候補画像群のテーマを判別するものである。
例えば、テーマ判別部20は、画像解析部16により取得された顔検出/顔認識の画像解析情報に基づいて、特定人物が撮影された画像が、あらかじめ設定された所定の枚数以上であることが分かった場合、候補画像群のテーマが、その特定人物中心であると判別する。
また、テーマ判別部20は、シーン認識の画像解析情報に基づいて、海が撮影された画像が、あらかじめ設定された所定の枚数以上であることが分かった場合、候補画像群のテーマが、海であると判別する。オブジェクト認識の画像解析情報についても同様である。
また、テーマ判別部20は、所定数のテーマの各々についての画像の撮影傾向の情報と候補画像群に含まれる画像の各々の画像解析情報とを照らし合わせて、候補画像群のテーマを判別することもできる。この場合、テーマ判別部20は、候補画像群のテーマをより正確に判別することができる。
なお、テーマ判別部20が、所定数のテーマの各々についての画像の撮影傾向の情報を使用して、候補画像群のテーマを判別することは必須ではない。
候補画像群が、全期間、1年単位、月単位等のように、あらかじめ設定された所定の撮影期間に含まれる画像群である場合、候補画像群は、ユーザに提案する推奨商材を作成するための2以上の副候補画像群を含む場合がある。
この場合、図3左部に示すように、テーマ判別部20は、例えば、全期間の候補画像群の場合、ダイジェスト、特定人物中心、風景、料理、…等のテーマのように、2以上の副候補画像群の各々について、副候補画像群のテーマを判別する。他の撮影期間の候補画像群の場合も同様である。
ここで、ダイジェストのテーマは、あらかじめ設定された所定の撮影期間に含まれる画像群から均等に抽出された画像を使用して推奨商材を作成するためのテーマである。また、特定人物中心のテーマは、画像解析の顔検出/顔認識を使用して、あらかじめ設定された所定の撮影期間に含まれる画像群の中で最も登場回数が多い特定の人物(例えば、子供)の画像を使用して推奨商材を作成するためのテーマである。風景、料理、等のテーマも同様である。
なお、特定人物中心のテーマは、指示入力部28を介して入力された指示により指定してもよい。
また、候補画像群が、例えば、特定のイベントで撮影されたイベント単位の画像群である場合、この候補画像群は、特定のイベントに関連した1つの画像群である。
この場合、図3右部に示すように、テーマ判別部20は、旅行、結婚式、運動会、…等のテーマのように、候補画像群のテーマ、つまり、候補画像群に対応した1つのテーマを判別する。つまり、候補画像群は、ユーザに提案する推奨商材を作成するための1の副候補画像群を含む。
前述のように、所定数の画像が2010年〜2012年の画像を含む場合、テーマ判別部20は、例えば、2010年〜2012年の全期間の候補画像群の場合、2以上の副候補画像群に対応する、ダイジェスト、特定人物中心、風景、料理、…等の2以上のテーマを判別する。他の撮影期間の候補画像群についても同様である。また、撮影日が2010年11月23日〜同年同月26日までのイベント画像から、このイベント画像に対応した旅行のテーマを判別し、撮影日が2011年7月6日〜同年同月8日までのイベント画像から、このイベント画像に対応した結婚式のテーマを判別する。
続いて、商材選択部(テンプレート選択部)22は、画像選択部14により選択された1以上の候補画像群の各々について、テーマ判別部20により判別された候補画像群のテーマ、および、候補画像群に含まれる画像の枚数に基づいて、ユーザに提案する推奨商材を作成するための1以上の商材テンプレートを選択するものである。
商材選択部22は、候補画像群が2以上の副候補画像群を含む場合、2以上の副候補画像群の各々について、商材テンプレートを選択する。
商材選択部22は、候補画像群に含まれる画像の枚数に基づいて、候補画像群が、あらかじめ設定された所定の枚数以上の画像を含む場合、1以上の商材テンプレートとして、フォトブック等の複数のページからなる商材テンプレートを選択する。これに対し、商材選択部22は、候補画像群が、あらかじめ設定された所定の枚数未満の画像を含む場合、1以上の商材テンプレートとして、シャッフルプリント、ポストカード等の1枚の台紙からなる商材テンプレートを選択する。
なお、商材選択部22が、候補画像群に含まれる画像の枚数を使用して、1以上の商材テンプレートを選択することは必須ではない。
例えば、商材選択部22は、表3に示すように、候補画像群が2011年の画像の場合、1300枚、500枚、400枚のように、その副候補画像群が、あらかじめ設定された所定の枚数以上の画像を含む場合には、1以上の商材テンプレートとして、フォトブックを選択する。これに対し、候補画像群が2011年の画像の場合、23枚のように、その副候補画像群が、あらかじめ設定された所定の枚数未満の画像を含む場合には、1以上の商材テンプレートとして、例えば、シャッフルプリントを選択する。その他の場合も同様である。
また、商材選択部22は、候補画像群のテーマに応じて、1以上の商材テンプレートの各々のサイズを変更することが可能である。
例えば、候補画像群のテーマが特定人物中心であり、フォトブックのテンプレートを選択する場合、商材選択部22は、例えば、比較的大きいA4サイズのフォトブックのテンプレートを選択する。あるいは、候補画像群のテーマが料理であり、フォトブックのテンプレートを選択する場合、商材選択部22は、例えば、比較的小さいCD(コンパクトディスク)サイズのフォトブックのテンプレートを選択する。
続いて、レイアウト部24は、画像選択部14により選択された1以上の候補画像群の各々について、候補画像群に含まれる画像が1以上の商材テンプレートの各々の上にレイアウトされた1以上の推奨商材を作成するものである。
レイアウト部24は、候補画像群が2以上の副候補画像群を含む場合、2以上の副候補画像群の各々について、推奨商材を作成する。
ここで、商材テンプレートとは、画像がレイアウトされる前の、フォトブック、シャッフルプリント、ポストカード等のテンプレートである。また、推奨商材とは、画像が商材テンプレートの上にレイアウトされた後の商材である。
商材提案部(合成画像提案部)26は、レイアウト部24により作成された1以上の推奨商材をユーザに提案するものである。
商材提案部26は、例えば、推奨商材を表示部に表示することにより、1以上の推奨商材をユーザに提案する。この場合、商材提案部26は、指示入力部28を介して入力された指示に応じて、1以上の推奨商材を、あらかじめ設定された所定の順序で1つずつ表示部に表示するなど、推奨商材を任意の表示方法で表示することができる。
最後に、指示入力部28は、ユーザが、画像記憶部12に記憶された複数の画像の中からフォト商材で使用する所定数の画像を指定する指示、複数のページからなるフォト商材のページ数を指定する指示、商材テンプレートを指定する指示、商材提案部26により提案された1以上の推奨画像の中から所望の推奨商材を指定する指示等を含む、各種の指示を入力するためのものである。
次に、図4に示すフローチャートを参照しながら、本発明の画像処理方法に従って画像処理装置10の動作を説明する。
例えば、フォトブックで使用するための所定数の画像を指定する指示が、指示入力部28を介して入力されると、画像選択部14により、画像記憶部12に記憶された複数の画像の中から、前述の指示に対応した所定数の画像が選択される。続いて、画像選択部14により、あらかじめ設定された所定の画像選択条件に応じて、選択した所定数の画像の中から推奨商材を作成するための1以上の候補画像群が選択される(ステップS1)。
候補画像群が選択されると、画像解析部16により、画像選択部14により選択された1以上の候補画像群の各々について、候補画像群に含まれる画像の各々の画像解析が行われて画像解析情報が取得される(ステップS2)。
続いて、テーマ判別部20により、画像選択部14により選択された1以上の候補画像群の各々について、テーマ情報記憶部18に記憶された所定数のテーマの各々についての画像の撮影傾向の情報、および、候補画像群に含まれる画像の各々の画像解析情報に基づいて、候補画像群のテーマが判別される(ステップS3)。
続いて、商材選択部22により、画像選択部14により選択された1以上の候補画像群の各々について、テーマ判別部20により判別された候補画像群のテーマ、および、候補画像群に含まれる画像の枚数に基づいて、推奨商材を作成するための1以上の商材テンプレートが選択される(ステップS4)。
続いて、レイアウト部24により、画像選択部14により選択された1以上の候補画像群の各々について、候補画像群に含まれる画像が1以上の商材テンプレートの各々の上にレイアウトされた1以上の推奨商材が作成される(ステップS5)。
レイアウト部24は、例えば、候補画像群に含まれる画像を所定数のグループに分け、所定数のグループの各々に含まれる画像から所定数の画像を選択し、選択した所定数の画像を、フォトブックの各々のページにレイアウトすることができる。
続いて、商材提案部26により、レイアウト部24により作成された1以上の推奨商材がユーザに提案される(ステップS6)。
ユーザは、商材提案部26により提案された1以上の推奨商材の中から所望の推奨商材を指定する指示を指示入力部28を介して入力することにより、所望の推奨商材を注文することができる。
画像処理装置10では、候補画像群のテーマを判別し、判別した候補画像群のテーマに基づいて商材テンプレートを選択し、選択した商材テンプレートおよび候補画像群を使用して推奨商材を作成し、作成した推奨商材をユーザに提案する。これにより、画像処理装置10では、複数の画像に含まれる所定の画像群を使用して、その画像群のテーマに対応したフォト商材を自動で作成してユーザに提案することができる。
なお、画像処理装置10では、完全自動ではなく、ユーザにより指示入力部28を介して入力された指示に基づいて、1以上の候補画像群および優先的に提案する推奨商材を決定することが可能である。
例えば、画像選択部14は、指示入力部28を介して入力された指示により指定されたページ数が、あらかじめ設定された所定のページ数以上である場合、1以上の候補画像群として、指定されたページ数が、あらかじめ設定された所定のページ数未満である場合よりも長い撮影期間に含まれる画像群を選択することができる。
画像選択部14は、例えば、あらかじめ設定された所定のページ数を30ページとすると、指定されたページ数が16ページの場合、ページ数が比較的少ないと判断し、全期間や1年単位の候補画像群を選択せずに、1ヶ月単位やイベント単位の候補画像群を選択する。これに対し、指定されたページ数が60ページの場合、ページ数が比較的多いと判断し、画像選択部14は、全期間や1年単位等の画像の枚数が多い候補画像群を選択する。
また、画像選択部14は、指示入力部28を介して入力された指示により指定された商材テンプレートがフォトブックのテンプレートである場合、1以上の候補画像群として、指摘された商材テンプレートがポストカードのテンプレートである場合よりも長い撮影期間に含まれる画像群を選択することができる。
画像選択部14は、指定された商材テンプレートがフォトブックのテンプレートの場合、画像の枚数が多い候補画像群を優先して選択し、ポストカードの商材テンプレートの場合、画像の枚数が少ない候補画像群を優先して選択する。
また、画像選択部14は、指示入力部28を介して入力された指示により指定された商材テンプレートがシャッフルプリントのテンプレートである場合、1以上の候補画像群として、1日当たりの撮影枚数が、あらかじめ設定された所定の枚数以上である期間に含まれる特定のイベントで撮影された画像群を選択することができる。
画像選択部14は、指定された商材テンプレートがシャッフルプリントのテンプレートの場合、適度な画像の枚数で、かつ、1枚の台紙に画像を配置した場合に統一感を出すことができることから、イベント単位の候補画像群を優先的に選択する。
また、商材提案部26は、指示入力部28を介して入力された指示により指定された商材テンプレートがポストカードのテンプレートである場合、特定のテーマに対応した候補画像群に含まれる画像がポストカードのテンプレートの上にレイアウトされた推奨商材を優先的に提案することができる。
画像選択部14は、指定された商材テンプレートがポストカードのテンプレートの場合、結婚式のテーマ等のように、ポストカードに適した特定のテーマの候補画像群を優先的に選択する。
また、画像処理装置10では、季節やユーザの個人情報に基づいて、優先的に提案する推奨商材を決定することができる。
例えば、商材提案部26は、現在の季節に基づいて、現在の季節に対応した撮影期間の画像を含む候補画像群に含まれる画像が商材テンプレートの上にレイアウトされた推奨商材を優先的に提案することができる。
例えば、商材提案部26は、ユーザがフォト商材を注文しようとしているのが4月頃であれば、3月〜4月の撮影期間に含まれる候補画像群を使用して作成された推奨商材を優先的に提案する。
また、商材提案部26は、ユーザの個人情報に基づいて、ユーザの特定の記念日に対応した撮影期間の画像を含む候補画像群に含まれる画像が商材テンプレートの上にレイアウトされた推奨商材を優先的に提案することができる。
例えば、商材提案部26は、ユーザがフォト商材を注文しようとしているのが子供の誕生日の近くであれば、過去1年間の子供中心の候補画像群を使用して作成された推奨商材を優先的に提案する。
また、商材提案部26は、ユーザがフォト商材を注文しようとしているのが結婚から1年が経過した頃であれば、結婚式のテーマの候補画像群を使用して作成された推奨商材を優先的に提案する。結婚直後は慌ただしくて、フォトブック等のフォト商材を作成する余裕はないかもしれないが、1年くらい経過した頃に結婚式のテーマのフォト商材を提案することにより、結婚式の思い出を呼び起こして、ユーザの購買意欲を刺激することができる。
また、商材提案部26は、現在の時間に基づいて、現在の時間に対応した撮影期間の画像を含む候補画像群に含まれる画像が商材テンプレートの上にレイアウトされた推奨商材を優先的に提案することができる。
あるいは、商材提案部26は、指示入力部28を介して入力された指示により指定された時間に基づいて、指定された時間に対応した撮影期間の画像を含む候補画像群を使用して作成された推奨商材を優先的に提案してもよい。
ここで、現在の時間または指定された時間に対応した撮影期間は、現在の時間または指定された時間に対して重要度が高いと考えられる撮影期間であれば、何ら制限されない。以下に、重要度が高い撮影期間について、2つの例を挙げて説明する。
例えば、商材提案部26は、現在の時間または指定された時間と同じ時間帯の、あらかじめ設定された所定の撮影期間の画像を含む候補画像群(現在の時間または指定された時間が夜間であれば、夜間に撮影された画像群、等)を使用して作成された推奨商材を優先的に提案する。
これにより、現在の時間に対応した撮影期間の画像を含む候補画像群を使用して推奨商材を提案する場合、毎回同じ推奨商材を提案するのではなく、現在の時間に基づいて、毎回異なる候補画像群を使用して作成された推奨商材を提案することができる。
また、大量の画像が存在する場合、その全てを俯瞰することは難しい。そこで、商材提案部26は、例えば、現在の時間または指定された時間と同じ月、同じ日の1年前、2年前、…、さらに、指定された時間が過去の時間である場合には、指定された時間と同じ月、同じ日の1年後、2年後、…の、あらかじめ設定された所定の撮影期間の画像を含む候補画像群を使用して作成された推奨商材を優先的に提案する。
これにより、例えば、1年前の同じ月、同じ日や、同じ時期に何をしていたのかの記憶を呼び起こさせることができる。
図5に示すように、例えば、現在の時間または指定された時間が2014年6月25日である場合、その1年前の2013年の同じ6月25日を含む所定の撮影期間の画像群、2年前の2012年の同じ6月25日を含む所定の撮影期間の画像群、…が重要であると判断することができる。また、現在の時間または指定された時間である2014年6月25日を含む所定の撮影期間の画像群の重要度が最も高く、その1年前の2013年6月25日を含む所定の撮影期間の画像群、2年前の2012年6月25日を含む所定の撮影期間の画像群、…の順序で重要度が次第に低くなると判断することができる。
また、画像記憶部12には、大量の画像を記憶することが可能であり、ユーザは、画像記憶部12に随時、画像を追加(保存)することができる。画像記憶部12に記憶された画像のヘッダ情報には、画像記憶部12に記憶された日時を表す記憶日時の情報が記憶される。
商材提案部26は、推奨商材を提案する際に、画像が画像記憶部12に記憶された記憶日時を考慮し、以下の(1)〜(3)の優先度を画像群に付与する。
(1)優先度大:あらかじめ設定された設定日時以降に、画像記憶部12に記憶された新たな画像のみを含む画像群
(2)優先度中:設定日時以降に、画像記憶部12に記憶された新たな画像と、設定日時以前に、画像記憶部12に記憶された過去の画像とを組み合わせた画像群
(3)優先度小:画像記憶部12に記憶された全ての画像から選択された画像群
ここで、設定日時は、推奨商材にまだ使用されていない撮影日時の画像を設定するものであり、商材提案部26により随時設定される。設定日時以降に、画像記憶部12に記憶された新たな画像は、推奨商材ではまだ使用されていない撮影日時の画像である。
前述のように、設定日時以降に、画像記憶部12に記憶された新たな画像のみを含む画像群を使用して作成された推奨商材は一度も提案されていないため、この新たな画像のみを含む画像群を使用して作成された推奨商材を最初に提案するのが望ましい。
そこで、商材提案部26は、画像が画像記憶部12に記憶された記憶日時に基づいて、設定日時以降に、画像記憶部12に記憶された新たな画像のみを含む候補画像群に含まれる画像が商材テンプレートの上にレイアウトされた第1推奨商材を最も優先的に提案する。
また、画像記憶部12に記憶された新たな画像群において、例えば、特定の人物が撮影された画像の枚数が多い場合には、これに応じて、画像記憶部12に記憶された過去の画像から、同じ人物が撮影された画像を抽出する。そして、新たな画像と、同じ人物が撮影された過去の画像とを組み合わせた画像群を使用して作成された推奨商材を次に提案するのが望ましい。
そこで、商材提案部26は、さらに、設定日時以降に、画像記憶部12に記憶された新たな画像、および、設定日時以前に、画像記憶部12に記憶された過去の画像を含む候補画像群を使用して作成された第2推奨商材を、第1推奨商材の次に優先的に提案する。
また、商材提案部26は、指示入力部28を介して入力された指示により指定された表示条件に基づいて、表示条件に対応する複数枚の画像が一覧表示された場合に、表示条件に対応する画像を含む候補画像群に含まれる画像が商材テンプレートの上にレイアウトされた推奨商材を優先的に提案することができる。
図6は、複数枚の画像を表示部に一覧表示した表示画面の構成を表す一例の概念図である。同図に示す表示画面の中央部には、指示入力部28を介して入力された指示により指定された画像が、その他の画像よりも大きなサイズで表示されている。また、中央部に表示された画像の周りには、中央部に表示された画像に撮影された人物と同じ人物が撮影された複数枚の画像が並べて表示されている。
また、表示画面の左下欄には、画像の表示条件を指定するための、撮影日、人物、シーン、GPSの各ボタン30,32,34,36が表示されている。撮影日のボタン30は、撮影日が同じ画像、人物のボタン32は、同じ人物が撮影された画像、シーンのボタン34は、同じシーンの画像、GPSのボタン36は、撮影位置が同じ画像を指定するためのものである。表示画面の右下欄には、表示条件に対応する複数枚の画像を一覧表示する指示を入力するための、ピクチャーサーフィンのボタン38が表示されている。
例えば、指示入力部28を介して入力された指示により、同図中、上から4つ目で、左から3つ目の画像が指定され、続いて、表示条件として、撮影日のボタン30が指定され、続いて、ピクチャーサーフィンのボタン38が指定された場合、画像記憶部12に記憶された画像の中から、指定された画像の撮影日と同じ撮影日の画像が抽出される。そして、指定された画像が表示画面の中央部に大きなサイズで表示され、抽出された画像が、指定された画像の周りに並べて一覧表示される。
この場合、商材提案部26は、撮影日の表示条件に対応する複数枚の画像が一覧表示された場合に、指定された撮影日の表示条件に対応する画像を含む候補画像群を使用して作成された推奨商材40を、図7に示すように、表示画面の左部に表示して提案する。
なお、表示条件は、上記4つの例に限らず、各種の表示条件を利用することができる。
また、商材提案部26は、一覧表示された複数枚の画像の中から、指示入力部28を介して入力された指示により指定された複数枚の指定画像に基づいて、複数枚の指定画像に共通する特徴を有する画像を含む候補画像群に含まれる画像が商材テンプレートの上にレイアウトされた推奨商材を優先的に提案することができる。つまり、指定画像を変更することにより、推奨商材で使用される画像を変更することができる。
例えば、図8に示すように、一覧表示された複数枚の画像の中から、指示入力部28を介して入力された指示により3枚の指定画像が指定された場合、この指定された3枚の指定画像に共通する特徴に応じて推奨商材で使用される画像を変更する。例えば、指定された3枚の指定画像が、特定の人物が撮影された画像が中心であるという特徴を有する場合、商材提案部26は、この特定の人物が撮影された画像を優先的に採用した合成商材を提案する。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
10 画像処理装置
12 画像記憶部
14 画像選択部
16 画像解析部
18 テーマ情報記憶部
20 テーマ判別部
24 レイアウト部
26 商材提案部
28 指示入力部

Claims (35)

  1. ユーザに提案する推奨合成画像を作成するための1以上の候補画像群を取得する画像取得部と、
    前記1以上の候補画像群の各々について、前記候補画像群に含まれる画像の各々の画像解析情報を取得する画像解析情報取得部と、
    前記1以上の候補画像群の各々について、前記候補画像群に含まれる画像の各々の画像解析情報に基づいて、前記候補画像群のテーマを判別するテーマ判別部と、
    前記1以上の候補画像群の各々について、前記候補画像群のテーマに基づいて、推奨合成画像を作成するための1以上のテンプレートを選択するテンプレート選択部と、
    前記1以上の候補画像群の各々について、前記候補画像群に含まれる画像が前記1以上のテンプレートの各々の上にレイアウトされた1以上の推奨合成画像を作成するレイアウト部とを備え、
    前記テンプレート選択部は、前記候補画像群のテーマに応じて、前記1以上のテンプレートの各々のサイズを変更するものであることを特徴とする画像処理装置。
  2. 前記画像取得部は、1以上の画像の中から前記1以上の候補画像群を選択して取得するものである請求項1に記載の画像処理装置。
  3. 前記画像解析情報取得部は、前記候補画像群に含まれる画像の各々の画像解析を行って前記画像解析情報を取得するものである請求項1または2に記載の画像処理装置。
  4. 前記レイアウト部により作成された1以上の推奨合成画像をユーザに提案する合成画像提案部を備える請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記テンプレート選択部は、前記候補画像群のテーマおよび前記候補画像群に含まれる画像の枚数に基づいて、前記1以上のテンプレートを選択するものである請求項1〜4のいずれか1項に記載の画像処理装置。
  6. 前記画像取得部は、前記1以上の候補画像群として、前記1以上の画像の中から、画像の撮影日に基づいて、あらかじめ設定された撮影期間に含まれる画像群を選択して取得するものである請求項2に記載の画像処理装置。
  7. 前記画像取得部は、前記1以上の候補画像群として、前記1以上の画像の中から、画像の撮影日および撮影枚数に基づいて、1日当たりの撮影枚数が、あらかじめ設定された枚数以上である撮影期間に含まれる特定のイベントで撮影された画像群を選択して取得するものである請求項2に記載の画像処理装置。
  8. 前記画像取得部は、前記1以上の候補画像群として、前記1以上の画像の中から、画像の撮影位置に基づいて、特定の撮影位置に含まれる画像群を選択して取得するものである請求項2に記載の画像処理装置。
  9. 前記画像取得部は、前記1以上の候補画像群として、前記1以上の画像の中から、前記画像解析情報に基づいて、画像解析の結果が共通する画像群を選択して取得するものである請求項2に記載の画像処理装置。
  10. 1以上のテーマの各々について、画像の撮影傾向の情報を記憶するテーマ情報記憶部を備え、
    前記テーマ判別部は、前記1以上のテーマの各々についての画像の撮影傾向の情報、および、前記候補画像群に含まれる画像の各々の画像解析情報に基づいて、前記候補画像群のテーマを判別するものである請求項1〜9のいずれか1項に記載の画像処理装置。
  11. 前記テンプレート選択部は、前記候補画像群が、あらかじめ設定された枚数以上の画像を含む場合、前記1以上のテンプレートとして、複数のページからなるテンプレートを選択し、前記候補画像群が前記あらかじめ設定された枚数未満の画像を含む場合、前記1以上のテンプレートとして、1枚の台紙からなるテンプレートを選択するものである請求項1〜10のいずれか1項に記載の画像処理装置。
  12. 各種の指示を入力するための指示入力部を備え、
    前記画像取得部は、前記指示入力部を介して入力された指示に基づいて、複数の画像から前記1以上の画像を選択するものである請求項2に記載の画像処理装置。
  13. 前記画像取得部は、前記指示入力部を介して入力された指示により指定されたページ数が、あらかじめ設定されたページ数以上である場合、前記1以上の候補画像群として、前記指定されたページ数が、前記あらかじめ設定されたページ数未満である場合よりも長い撮影期間に含まれる画像群を選択して取得するものである請求項12に記載の画像処理装置。
  14. 前記画像取得部は、前記指示入力部を介して入力された指示により指定されたテンプレートがフォトブックのテンプレートである場合、前記1以上の候補画像群として、前記指定されたテンプレートがポストカードのテンプレートである場合よりも長い撮影期間に含まれる画像群を選択して取得するものである請求項12に記載の画像処理装置。
  15. 前記画像取得部は、前記指示入力部を介して入力された指示により指定されたテンプレートがシャッフルプリントのテンプレートである場合、前記1以上の候補画像群として、1日当たりの撮影枚数が、あらかじめ設定された枚数以上である期間に含まれる特定のイベントで撮影された画像群を選択して取得するものである請求項12に記載の画像処理装置。
  16. 各種の指示を入力するための指示入力部を備え、
    前記合成画像提案部は、前記指示入力部を介して入力された指示により指定されたテンプレートがポストカードのテンプレートである場合、特定のテーマに対応した候補画像群に含まれる画像がポストカードのテンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものである請求項4に記載の画像処理装置。
  17. 前記合成画像提案部は、現在の季節に基づいて、現在の季節に対応した撮影期間の画像を含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものである請求項4に記載の画像処理装置。
  18. 前記合成画像提案部は、ユーザの個人情報に基づいて、ユーザの特定の記念日に対応した撮影期間の画像を含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものである請求項4に記載の画像処理装置。
  19. 前記合成画像提案部は、現在の時間に基づいて、前記現在の時間に対応した撮影期間の画像を含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものである請求項4に記載の画像処理装置。
  20. 各種の指示を入力するための指示入力部を備え、
    前記合成画像提案部は、前記指示入力部を介して入力された指示により指定された時間に基づいて、前記指定された時間に対応した撮影期間の画像を含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものである請求項4に記載の画像処理装置。
  21. 複数の画像を記憶する画像記憶部を備え、
    前記合成画像提案部は、前記画像が前記画像記憶部に記憶された記憶日時に基づいて、あらかじめ設定された設定日時以降に、前記画像記憶部に記憶された新たな画像のみを含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた第1推奨合成画像を優先的に提案するものである請求項4に記載の画像処理装置。
  22. 前記合成画像提案部は、さらに、前記設定日時以降に、前記画像記憶部に記憶された新たな画像、および、前記設定日時以前に、前記画像記憶部に記憶された過去の画像を含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた第2推奨合成画像を、前記第1推奨合成画像の次に優先的に提案するものである請求項21に記載の画像処理装置。
  23. 各種の指示を入力するための指示入力部を備え、
    前記合成画像提案部は、前記指示入力部を介して入力された指示により指定された表示条件に基づいて、前記表示条件に対応する複数枚の画像が一覧表示された場合に、前記表示条件に対応する画像を含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものである請求項4に記載の画像処理装置。
  24. 前記合成画像提案部は、前記一覧表示された複数枚の画像の中から、前記指示入力部を介して入力された指示により指定された複数枚の指定画像に基づいて、前記複数枚の指定画像に共通する特徴を有する画像を含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた推奨合成画像を優先的に提案するものである請求項23に記載の画像処理装置。
  25. 前記1以上の候補画像群の各々について、前記候補画像群が、ユーザに提案する推奨合成画像を作成するための2以上の副候補画像群を含む場合、
    前記テーマ判別部、前記テンプレート選択部および前記レイアウト部は、前記2以上の副候補画像群の各々について、それぞれ、前記テーマの判別、前記テンプレートの選択および前記推奨合成画像の作成を行うものである請求項1〜24のいずれか1項に記載の画像処理装置。
  26. 画像取得部が、ユーザに提案する推奨合成画像を作成するための1以上の候補画像群を取得するステップと、
    画像解析情報取得部が、前記1以上の候補画像群の各々について、前記候補画像群に含まれる画像の各々の画像解析情報を取得するステップと、
    テーマ判別部が、前記1以上の候補画像群の各々について、前記候補画像群に含まれる画像の各々の画像解析情報に基づいて、前記候補画像群のテーマを判別するステップと、
    テンプレート選択部が、前記1以上の候補画像群の各々について、前記候補画像群のテーマに基づいて、推奨合成画像を作成するための1以上のテンプレートを選択するステップと、
    レイアウト部が、前記1以上の候補画像群の各々について、前記候補画像群に含まれる画像が前記1以上のテンプレートの各々の上にレイアウトされた1以上の推奨合成画像を作成するステップとを含み、
    前記テンプレート選択部は、前記候補画像群のテーマに応じて、前記1以上のテンプレートの各々のサイズを変更することを特徴とする画像処理方法。
  27. 前記画像取得部が、1以上の画像の中から前記1以上の候補画像群を選択して取得する請求項26に記載の画像処理方法。
  28. 前記画像解析情報取得部が、前記候補画像群に含まれる画像の各々の画像解析を行って前記画像解析情報を取得する請求項26または27に記載の画像処理方法。
  29. 合成画像提案部が、前記レイアウト部により作成された1以上の推奨合成画像をユーザに提案する請求項26〜28のいずれか1項に記載の画像処理方法。
  30. 前記テンプレート選択部は、前記候補画像群のテーマおよび前記候補画像群に含まれる画像の枚数に基づいて、前記1以上のテンプレートを選択する請求項26〜29のいずれか1項に記載の画像処理方法。
  31. 前記テンプレート選択部は、前記候補画像群が、あらかじめ設定された枚数以上の画像を含む場合、前記1以上のテンプレートとして、複数のページからなるテンプレートを選択し、前記候補画像群が前記あらかじめ設定された枚数未満の画像を含む場合、前記1以上のテンプレートとして、1枚の台紙からなるテンプレートを選択する請求項26〜30のいずれか1項に記載の画像処理方法。
  32. 前記合成画像提案部は、現在の季節に基づいて、現在の季節に対応した撮影期間の画像を含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた推奨合成画像を優先的に提案する請求項29に記載の画像処理方法。
  33. 前記合成画像提案部は、ユーザの個人情報に基づいて、ユーザの特定の記念日に対応した撮影期間の画像を含む候補画像群に含まれる画像が前記テンプレートの上にレイアウトされた推奨合成画像を優先的に提案する請求項29に記載の画像処理方法。
  34. 請求項26〜33のいずれか1項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
  35. 請求項26〜33のいずれか1項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2014171864A 2013-09-24 2014-08-26 画像処理装置、画像処理方法、プログラムおよび記録媒体 Active JP5936658B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014171864A JP5936658B2 (ja) 2013-09-24 2014-08-26 画像処理装置、画像処理方法、プログラムおよび記録媒体
US14/493,376 US9406158B2 (en) 2013-09-24 2014-09-23 Image processing apparatus, image processing method and recording medium that creates a composite image in accordance with a theme of a group of images
CN201410494287.8A CN104469141B (zh) 2013-09-24 2014-09-24 图像处理装置以及图像处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013197300 2013-09-24
JP2013197300 2013-09-24
JP2014171864A JP5936658B2 (ja) 2013-09-24 2014-08-26 画像処理装置、画像処理方法、プログラムおよび記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016094008A Division JP6154044B2 (ja) 2013-09-24 2016-05-09 画像処理装置、画像処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2015089112A JP2015089112A (ja) 2015-05-07
JP5936658B2 true JP5936658B2 (ja) 2016-06-22

Family

ID=52690997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014171864A Active JP5936658B2 (ja) 2013-09-24 2014-08-26 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US9406158B2 (ja)
JP (1) JP5936658B2 (ja)
CN (1) CN104469141B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068717B2 (en) 2018-09-27 2021-07-20 Fujifilm Corporation Image processing device, image processing method, program, and recording medium

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5938379B2 (ja) * 2013-09-24 2016-06-22 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN105227811A (zh) * 2014-06-30 2016-01-06 卡西欧计算机株式会社 图像生成装置以及图像生成方法
US10417799B2 (en) * 2015-05-07 2019-09-17 Facebook, Inc. Systems and methods for generating and presenting publishable collections of related media content items
JP6533713B2 (ja) * 2015-07-31 2019-06-19 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6463231B2 (ja) * 2015-07-31 2019-01-30 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
EP3128461B1 (en) * 2015-08-07 2022-05-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP6521791B2 (ja) 2015-08-07 2019-05-29 キヤノン株式会社 情報処理装置およびその制御方法
US20170140250A1 (en) * 2015-11-13 2017-05-18 Microsoft Technology Licensing, Llc Content file image analysis
JP6533481B2 (ja) 2016-03-16 2019-06-19 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN105975612A (zh) * 2016-05-18 2016-09-28 北京金山安全软件有限公司 一种图片处理方法、装置及设备
CN106204442A (zh) * 2016-06-29 2016-12-07 北京金山安全软件有限公司 一种图片拼接的方法、装置及电子设备
US9998622B2 (en) * 2016-08-19 2018-06-12 Kabushiki Kaisha Toshiba Image processing apparatus and control method for processing plurality of partial images and determining layout
JP6674879B2 (ja) * 2016-09-30 2020-04-01 富士フイルム株式会社 画像抽出システム,画像抽出方法およびそのプログラム
JP6902860B2 (ja) 2016-12-09 2021-07-14 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6765977B2 (ja) 2017-01-31 2020-10-07 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7076974B2 (ja) * 2017-10-03 2022-05-30 キヤノン株式会社 画像処理装置、制御方法およびプログラム
JP7024308B2 (ja) * 2017-10-13 2022-02-24 セイコーエプソン株式会社 表示装置、表示方法および表示プログラム
CN108428213B (zh) * 2018-03-30 2022-02-25 北京乐蜜科技有限责任公司 图像拼贴方法、装置、电子设备及介质
JP6934001B2 (ja) 2018-09-27 2021-09-08 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7107172B2 (ja) * 2018-10-31 2022-07-27 富士通株式会社 判断条件生成支援プログラム、判断条件生成支援方法および情報処理装置
CN109639883B (zh) * 2018-11-20 2021-01-22 维沃移动通信有限公司 一种主题的推荐方法和移动终端
JP7155074B2 (ja) * 2019-07-03 2022-10-18 富士フイルム株式会社 情報提案システム、情報提案方法、プログラムおよび記録媒体
US11144986B2 (en) 2019-07-31 2021-10-12 Shopify Inc. Theme recommendation engine
JP2021069067A (ja) * 2019-10-28 2021-04-30 株式会社ソルトワークス 画像処理方法及び画像処理プログラム
JP2022086521A (ja) * 2020-11-30 2022-06-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634106B2 (en) * 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4510718B2 (ja) * 2005-08-09 2010-07-28 キヤノン株式会社 画像出力装置及びその制御方法
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2007166594A (ja) * 2005-11-17 2007-06-28 Fujifilm Corp アルバム作成システム、アルバム作成方法、およびアルバム作成プログラム
JP2007257312A (ja) * 2006-03-23 2007-10-04 Fujifilm Corp アルバム作成システム、アルバム作成方法、及びプログラム
CN102326181A (zh) * 2009-01-28 2012-01-18 惠普发展公司,有限责任合伙企业 动态图像拼贴
US20110029860A1 (en) * 2009-07-30 2011-02-03 Ptucha Raymond W Artistic digital template for image display
JP5366699B2 (ja) 2009-08-10 2013-12-11 キヤノン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US8988456B2 (en) * 2010-03-25 2015-03-24 Apple Inc. Generating digital media presentation layouts dynamically based on image features
WO2013005266A1 (ja) * 2011-07-05 2013-01-10 パナソニック株式会社 プレゼンテーションコンテンツ生成装置、プレゼンテーションコンテンツ生成方法、プレゼンテーションコンテンツ生成プログラム、及び集積回路
JP5921101B2 (ja) 2011-07-08 2016-05-24 キヤノン株式会社 情報処理装置、制御方法、プログラム
JP6012309B2 (ja) * 2012-07-09 2016-10-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068717B2 (en) 2018-09-27 2021-07-20 Fujifilm Corporation Image processing device, image processing method, program, and recording medium
US11594027B2 (en) 2018-09-27 2023-02-28 Fujifilm Corporation Image processing device, image processing method, program, and recording medium

Also Published As

Publication number Publication date
CN104469141A (zh) 2015-03-25
US9406158B2 (en) 2016-08-02
CN104469141B (zh) 2019-08-23
US20150086116A1 (en) 2015-03-26
JP2015089112A (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
JP5936658B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6154044B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9311961B2 (en) Image extracting device, image extracting method, and recording medium
JP5938379B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9721189B2 (en) Image processing apparatus, image processing method, and recording medium
US8849043B2 (en) System for matching artistic attributes of secondary image and template to a primary image
US8274523B2 (en) Processing digital templates for image display
JP7250567B2 (ja) 装置、方法、及びプログラム
US8538986B2 (en) System for coordinating user images in an artistic design
US8854395B2 (en) Method for producing artistic image template designs
US8212834B2 (en) Artistic digital template for image display
US20110029914A1 (en) Apparatus for generating artistic image template designs
US20110029635A1 (en) Image capture device with artistic template design
US20110025883A1 (en) Image capture method with artistic template design
JP5389724B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8332427B2 (en) Method of generating artistic template designs
JP2016057901A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9779306B2 (en) Content playback system, server, mobile terminal, content playback method, and recording medium
JP6393302B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5253590B2 (ja) 画像処理装置及びカメラ
JP6771842B2 (ja) 画像抽出装置、画像抽出方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160510

R150 Certificate of patent or registration of utility model

Ref document number: 5936658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250