JP6673771B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6673771B2
JP6673771B2 JP2016145454A JP2016145454A JP6673771B2 JP 6673771 B2 JP6673771 B2 JP 6673771B2 JP 2016145454 A JP2016145454 A JP 2016145454A JP 2016145454 A JP2016145454 A JP 2016145454A JP 6673771 B2 JP6673771 B2 JP 6673771B2
Authority
JP
Japan
Prior art keywords
image
images
evaluation
group
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016145454A
Other languages
English (en)
Other versions
JP2018018140A (ja
Inventor
早紀子 成海
早紀子 成海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016145454A priority Critical patent/JP6673771B2/ja
Publication of JP2018018140A publication Critical patent/JP2018018140A/ja
Application granted granted Critical
Publication of JP6673771B2 publication Critical patent/JP6673771B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、複数のユーザから取得された複数の画像を用いて、合成画像を作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
現在、ユーザが所有する複数の画像(画像データ)を、インターネット等を経由して取得し、ユーザから取得した複数の画像を用いてユーザが希望するレイアウトのフォトアルバムを作成するサービスが提供されている。
近年では、一人のユーザが所有する複数の画像だけを用いてフォトアルバムを作成するだけでなく、複数のユーザが所有する複数の画像を用いて1つのフォトアルバムを作成するもの(特許文献1および2参照)が知られている。
また、ユーザが「いいねボタン」によって入力した支持情報に基づいて画像の評価値を算出し、評価値に基づいて画像を選択してアルバムのレイアウトを行うもの(特許文献3)、ライブビデオ等のコンテンツに対して、ユーザが5段階のレーティングを表すコンテンツ評価情報を入力するもの(特許文献4)、および、画像の評価値に基づいて画像を選択し、選択画像をレイアウトするもの(特許文献5)等が知られている。
特開2008−257308号公報 特開2015−069431号公報 特開2016−048845号公報 特開2015−146218号公報 特開2003−274139号公報
フォトアルバムおよびシャッフルプリント等の1つの合成画像を複数のユーザが共同で作成する場合、例えば、システムが有する自動レイアウト機能により、複数のユーザから取得された複数の画像を用いて合成画像のレイアウトが自動で作成される。
しかし、自動レイアウト機能によって作成された合成画像において、ユーザの期待とは異なる画像が大コマ(frame)、つまり、合成画像を作成する場合に使用するテンプレートにおいて他の通常コマよりもサイズが大きい画像配置領域に配置される場合がある。この場合、ユーザは、ユーザが期待する画像を大コマに配置し直すために、画像の評価のやり直しおよび手動でのレイアウトの編集等の手間が発生する。
例えば、結婚披露宴のアルバムにおいて、面白い画像に対するユーザの評価が高くなって大コマに配置され、新郎・新婦の二人が写っている画像が大コマに配置されない場合がある。このように、多くのユーザから高い評価が与えられた画像であっても大コマには適していない可能性がある。また、システムによる評価が高い画像は「よい画像」ではあるが、「ユーザが大コマに配置したい画像」であるとは限らない。
また、例えば、幼稚園のアルバムのように、合成画像の作成目的によっては、笑顔の人物が写っている画像をなるべく多く配置したい場合がある。しかし、笑顔の人物であっても、その人物が正面を向いて写っている画像ではないために、合成画像において使用されず、ユーザが期待するレイアウトにならない場合がある。この場合も同様に、ユーザが期待するレイアウトにするために手動でのレイアウトの編集等の手間が発生する。
本発明の目的は、ユーザが期待するレイアウトの合成画像を作成することができ、手動でのレイアウトの編集の手間を減らすことができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
上記目的を達成するために、本発明は、複数のユーザから複数の画像を取得する画像取得部と、
複数の画像、および、複数の画像の各々に対して、複数のユーザの各々が評価基準の異なる2種類以上の肯定的評価の各々を付与するために指定する2以上の評価付与領域の各々を画像表示部に表示させる表示制御部と、
画像表示部に表示された各々の画像に対して、各々のユーザが2以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する評価取得部と、
各々の画像に付与された肯定的評価に基づいて各々の画像に対するユーザ評価値を算出する評価値算出部と、
各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を合成して合成画像を作成する合成画像作成部とを備える、画像処理装置を提供する。
ここで、各々の画像を解析する画像解析部と、
肯定的評価が付与された画像を2種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、2種類以上の肯定的評価の各々に対応する2以上の評価画像グループの各々を作成する評価画像グループ作成部と、
各々の画像の解析結果に基づいて、2以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する類似画像検出部と、
類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、ユーザ評価値が最も高い第1類似画像のユーザ評価値に対して、第1類似画像以外の第2類似画像のユーザ評価値を加算する評価値加算部と、
各々の評価画像グループに含まれる画像の中から各々の評価画像グループに含まれる第2類似画像を削除して、合成画像において使用する候補画像を含む、2以上の評価画像グループの各々に対応する2以上の候補画像グループの各々を作成する候補画像グループ作成部と、
ユーザ評価値に基づいて、2以上の候補画像グループの各々に含まれる画像の順位を決定する順位決定部とを備えることが好ましい。
また、評価画像グループ作成部は、第1種類の肯定的評価が付与された画像のうち、第1種類の肯定的評価が付与された数が第1閾値以上である画像をグルーピングして第1種類の肯定的評価に対応する評価画像グループを作成し、第1種類の肯定的評価が付与された画像のうち、第1種類の肯定的評価が付与された数が第1閾値未満である画像、および、第2種類の肯定的評価が付与された画像のうち、第2種類の肯定的評価が付与された数が第2閾値以上である画像をグルーピングして第2種類の肯定的評価に対応する評価画像グループを作成することが好ましい。
また、評価画像グループ作成部は、第1種類の肯定的評価が付与された画像のうち、第1種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第1種類の肯定的評価に対応する評価画像グループを作成し、第1種類の肯定的評価が付与された画像のうち、一定数の画像以外の画像、および、第2種類の肯定的評価が付与された画像のうち、第2種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第2種類の肯定的評価に対応する評価画像グループを作成することが好ましい。
また、各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
画像抽出部は、合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、2以上の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された特大コマの数の画像を特大コマに配置することが好ましい。
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが特大コマの次に大きい大コマに配置する画像として、2以上の候補画像グループに含まれる画像のうちの特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された大コマの数の画像を大コマに配置することが好ましい。
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに配置する画像として、2以上の候補画像グループに含まれる画像のうちの特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された通常コマの数の画像を通常コマに配置することが好ましい。
また、肯定的評価が付与されていない画像、および、2以上の候補画像グループに含まれる第2類似画像をグルーピングして予備画像グループを作成する予備画像グループ作成部を備え、
画像抽出部は、テンプレートに含まれるコマの数に対して、2以上の候補画像グループに含まれる画像の総数が不足する場合に、予備画像グループに含まれる画像の中から不足する数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された不足する数の画像を、テンプレートに含まれるコマに配置することが好ましい。
また、表示制御部は、各々のユーザが複数の画像の中で最もよいと考える画像に対して第1肯定的評価を付与するために指定する第1評価付与領域、各々のユーザが複数の画像の中で、合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマの次に大きい大コマに配置したいと考える画像に対して第2肯定的評価を付与するために指定する第2評価付与領域、各々のユーザが複数の画像の中で画像に写っている人物の笑顔がよいと考える画像に対して第3肯定的評価を付与するために指定する第3評価付与領域、および、各々のユーザが複数の画像の中でよいと考える画像に対して第4肯定的評価を付与するために指定する第4評価付与領域を表示することが好ましい。
また、評価画像グループ作成部は、肯定的評価が付与された画像を、第1肯定的評価、第2肯定的評価、第3肯定的評価および第4肯定的評価の各々が付与された画像毎にグルーピングして、第1肯定的評価、第2肯定的評価、第3肯定的評価および第4肯定的評価に対応する第1評価画像グループ、第2評価画像グループ、第3評価画像グループおよび第4評価画像グループを作成し、
類似画像検出部は、各々の画像の解析結果に基づいて、第1評価画像グループ、第2評価画像グループ、第3評価画像グループおよび第4評価画像グループの各々に含まれる画像の中から類似画像のグループを検出し、
候補画像グループ作成部は、第1評価画像グループ、第2評価画像グループ、第3評価画像グループおよび第4評価画像グループの各々に含まれる画像の中から、第1評価画像グループ、第2評価画像グループ、第3評価画像グループおよび第4評価画像グループの各々に含まれる第2類似画像を削除して、第1評価画像グループ、第2評価画像グループ、第3評価画像グループおよび第4評価画像グループに対応する第1候補画像グループ、第2候補画像グループ、第3候補画像グループおよび第4候補画像グループを作成し、
順位決定部は、ユーザ評価値に基づいて、第1候補画像グループ、第2候補画像グループ、第3候補画像グループおよび第4候補画像グループの各々に含まれる画像の順位を決定することが好ましい。
また、候補画像グループ作成部は、第2評価画像グループに含まれる画像の中から、さらに、第1候補画像グループに含まれる画像を削除して第2候補画像グループを作成し、第4評価画像グループに含まれる画像の中から、さらに、第1候補画像グループおよび第2候補画像グループに含まれる画像を削除して第4候補画像グループを作成することが好ましい。
また、候補画像グループ作成部は、第2評価画像グループに含まれる画像の中から、さらに、第1候補画像グループに含まれる画像を削除して第2候補画像グループを作成し、第3評価画像グループに含まれる画像の中から、さらに、第1候補画像グループおよび第2候補画像グループに含まれる画像を削除して第3候補画像グループを作成し、第4評価画像グループに含まれる画像の中から、さらに、第1候補画像グループ、第2候補画像グループおよび第3候補画像グループに含まれる画像を削除して第4候補画像グループを作成することが好ましい。
また、各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
合成画像は、表紙ページおよび本編ページを含むフォトアルバムであり、
画像抽出部は、第1候補画像グループ、第2候補画像グループおよび第4候補画像グループに含まれる画像の中から、表紙ページに配置する画像として、候補画像グループに対応する肯定的評価の種類の選択優先度が最も高く、かつ、候補画像グループに含まれる画像の順位が最も高い1枚の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された1枚の画像を表紙ページに配置することが好ましい。
また、画像抽出部は、フォトアルバムにおける画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、第1候補画像グループ、第2候補画像グループおよび第4候補画像グループに含まれる画像のうちの表紙ページに配置する1枚の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された特大コマの数の画像を特大コマに配置することが好ましい。
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが特大コマの次に大きい大コマに配置する画像として、第1候補画像グループ、第2候補画像グループおよび第4候補画像グループに含まれる画像のうちの表紙ページに配置する1枚の画像および特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された大コマの数の画像を大コマに配置することが好ましい。
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに配置する画像として、第1候補画像グループ、第2候補画像グループおよび第4候補画像グループに含まれる画像のうちの表紙ページに配置する1枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された通常コマの数の画像を通常コマに配置することが好ましい。
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに配置する画像として、第4肯定的評価が付与された画像よりも第3肯定的評価が付与された画像を優先的に抽出する場合に、第1候補画像グループ、第2候補画像グループおよび第3候補画像グループに含まれる画像のうち、表紙ページに配置する1枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数以下の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された通常コマの数以下の画像を通常コマに配置することが好ましい。
また、画像抽出部は、通常コマに配置する画像として、通常コマの数未満の画像を抽出した場合に、通常コマのうちの通常コマの数未満の通常コマ以外の残りの通常コマに配置する画像として、第1候補画像グループ、第2候補画像グループ、第3候補画像グループおよび第4候補画像グループに含まれる画像のうち、表紙ページに配置する1枚の画像、特大コマの数の画像、大コマの数の画像、および、通常コマの数未満の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、残りの通常コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された残りの通常コマの数の画像を残りの通常コマに配置することが好ましい。
また、画像抽出部は、複数のユーザのうちの少なくとも一人の第1ユーザの指示に応じて、第4肯定的評価が付与された画像よりも第3肯定的評価が付与された画像を優先的に抽出するか否かを決定することが好ましい。
また、画像抽出部は、第3候補画像グループに含まれる画像の数が閾値以上である場合に、第4肯定的評価が付与された画像よりも第3肯定的評価が付与された画像を優先的に抽出することが好ましい。
また、合成画像における画像のレイアウトを決定する複数のテンプレートを記憶するテンプレート記憶部と、
第1テンプレート決定モードの場合に、複数のユーザのうちの少なくとも一人の第1ユーザの指示に応じて設定された合成画像の商材の種類、ページ数およびテーマに基づいて、複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定し、第2テンプレート決定モードの場合に、複数の画像の数および各々の画像に付与された肯定的評価に基づいて、複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定するテンプレート決定部とを備え、
合成画像作成部は、テンプレート決定部によって決定されたテンプレートを用いて合成画像を作成することが好ましい。
また、テンプレート決定部は、第2テンプレート決定モードの場合に、第1候補画像グループ、第2候補画像グループ、第3候補画像グループおよび第4候補画像グループに含まれる画像の総数、ならびに、第1候補画像グループ、第2候補画像グループおよび第4候補画像グループの各々に含まれる画像の数に応じて、テンプレートに含まれるコマのうち、サイズが最も大きい特大コマおよび特大コマの次に大きい大コマの数を決定し、特大コマおよび大コマの数に応じて、合成画像を作成する時に使用するテンプレートを決定することが好ましい。
また、テンプレート決定部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに、第4肯定的評価が付与された画像よりも第3肯定的評価が付与された画像を優先的に配置する場合に、第3肯定的評価が付与された画像を優先的に配置しない場合よりも、合成画像を作成する時に使用するテンプレートを、通常コマの数がより多いテンプレートに変更することが好ましい。
また、各々の画像を解析する画像解析部を備え、
評価値算出部は、さらに、各々の画像の解析結果に基づいて各々の画像の解析評価値を算出し、各々の画像の解析評価値およびユーザ評価値を加算して各々の画像の総合評価値を算出し、
各々の画像の総合評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する画像抽出部を備えることが好ましい。
また、本発明は、画像取得部が、複数のユーザから複数の画像を取得するステップと、
表示制御部が、複数の画像、および、複数の画像の各々に対して、複数のユーザの各々が評価基準の異なる2種類以上の肯定的評価の各々を付与するために指定する2以上の評価付与領域の各々を画像表示部に表示させるステップと、
評価取得部が、画像表示部に表示された各々の画像に対して、各々のユーザが2以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得するステップと、
評価値算出部が、各々の画像に付与された肯定的評価に基づいて各々の画像に対するユーザ評価値を算出するステップと、
合成画像作成部が、各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を合成して合成画像を作成するステップとを含む、画像処理方法を提供する。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
本発明においては、評価基準が異なる2種類以上の肯定的評価に基づいて、ユーザが期待する画像を、合成画像を作成する場合に使用するテンプレートに含まれる「大コマ」等に自動で配置したり、笑顔の画像を優先的に配置したりすることができる。そのため、ユーザは、ユーザが期待する画像を配置し直す必要がなくなり、画像の評価のやり直しおよび手動でのレイアウトの編集等の手間を省くことができる。
本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。 図1に示すサーバの構成を表す一実施形態のブロック図である。 図1に示すユーザの端末装置の構成を表す一実施形態のブロック図である。 図1に示す画像処理装置の動作を表す一実施形態のフローチャートである。 図4に続く画像処理装置の動作を表す一実施形態のフローチャートである。 ユーザが画像を評価する場合に表示される画面を表す一実施形態の概念図である。 画像をグルーピングする場合のより具体的な画像処理装置の動作を表す一実施形態のフローチャートである。 図7に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図8に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図9に続く画像処理装置の動作を表す一実施形態のフローチャートである。 第2テンプレート決定モードにおいてテンプレートを決定する場合のより具体的な画像処理装置の動作を表す一実施形態のフローチャートである。 合成画像を作成する場合のより具体的な画像処理装置の動作を表す一実施形態のフローチャートである。 図12に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図13に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図14に続く画像処理装置の動作を表す一実施形態のフローチャートである。
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
<ハードウェア構成>
図1は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。図1に示す画像処理装置10は、サーバ12と、ネットワーク16を介してサーバ12に接続された複数のユーザの端末装置(クライアント)14とを備えている。画像処理装置10は、複数のユーザの各々の端末装置14からネットワーク16を介して取得された複数の画像を用いてフォトアルバム、シャッフルプリント等の合成画像を作成する。
サーバ12は、端末装置14からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC(Personal Computer:パーソナルコンピュータ)またはワークステーション等により構成される。
端末装置14は、サーバ12に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPCまたはノートPC等により構成される。
ネットワーク16は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ12と端末装置14との間を相互に接続し、双方向の通信が可能である。
<サーバの構成>
図2は、図1に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ12は、画像取得部18と、画像解析部20と、表示制御部22と、評価取得部24と、評価値算出部26と、評価画像グループ作成部28と、類似画像検出部30と、評価値加算部32と、候補画像グループ作成部34と、順位決定部36と、予備画像グループ作成部38と、テンプレート記憶部40と、テンプレート決定部42と、画像抽出部44と、合成画像作成部46とを備えている。
サーバ12において、画像取得部18は、複数のユーザの端末装置14から、ネットワーク16を介して、複数の画像を取得する。
続いて、画像解析部20は、画像取得部18によって取得された複数の画像の各々を解析する。
画像解析部20は、例えば、画像の明るさ、色合い、ボケおよびブレの程度等の画質の解析、画像のサイズの解析の他、Exif(Exchangeable Image File Format:エクスチェンジャブル・イメージ・ファイル・フォーマット)などの画像の付帯情報に含まれる撮影日時、撮影場所等の解析、画像に写っている人物および人物以外のオブジェクトの解析、画像に写っている人物の顔認識、画像のシーンの解析、類似画像の判定等を行う。
続いて、表示制御部22は、複数の画像、および、複数の画像の各々に対して、複数のユーザの各々が評価基準の異なる2種類以上の肯定的評価の各々を付与するために指定する2以上の評価付与領域の各々を画像表示部48に表示させる。
評価基準とは、例えば、複数の画像の中で、ユーザが最もよいと考える画像、大コマに配置するのによいと考える画像、笑顔がよいと考える画像、よいと考える画像というように、ユーザが画像を評価する際の判断の基準となる項目を表す。
続いて、評価取得部24は、表示制御部22によって画像表示部48に表示された各々の画像に対して、各々のユーザが2以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する。
続いて、評価値算出部26は、評価取得部24によって取得された、各々の画像に付与された肯定的評価に基づいて、各々の画像に対するユーザ評価値を算出する。
また、評価値算出部26は、画像解析部20による各々の画像の解析結果に基づいて、各々の画像の解析評価値を算出し、各々の画像の解析評価値およびユーザ評価値を加算して各々の画像の総合評価値を算出する。
評価値算出部26は、例えば、画像に付与された肯定的評価の数が多いほど、ユーザ評価値が高くなるように算出する。また、例えば、画像の画質がよいほど、解析評価値が高くなるように算出する。
続いて、評価画像グループ作成部28は、肯定的評価が付与された画像を2種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、2種類以上の肯定的評価の各々に対応する2以上の評価画像グループの各々を作成する。
続いて、類似画像検出部30は、各々の画像の解析結果に基づいて、評価画像グループ作成部28によって作成された2以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する。
続いて、評価値加算部32は、類似画像検出部30によって検出された類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、評価値算出部26によって算出されたユーザ評価値または総合評価値が最も高い第1類似画像のユーザ評価値または総合評価値に対して、第1類似画像以外の第2類似画像のユーザ評価値または総合評価値を加算する。
つまり、評価値加算部32は、第1類似画像をメインの類似画像として、類似画像のグループに含まれる全ての類似画像に付与されたユーザ評価値または総合評価値の加算値を第1類似画像に対するユーザ評価値または総合評価値とする。
続いて、候補画像グループ作成部34は、各々の評価画像グループに含まれる画像の中から各々の評価画像グループに含まれる第2類似画像を削除して、合成画像において使用する候補画像を含む、2以上の評価画像グループの各々に対応する2以上の候補画像グループの各々を作成する。
「削除」は、第2類似画像を候補画像から除外することを意味する。第2類似画像を「削除」するために、例えば、第2類似画像が候補画像グループの中に含まれないようにしてもよい。また、「削除」するか否かを表すフラグを各々の画像に付与し、第2類似画像に付与されたフラグを、「削除」することを表す状態に設定することなども、第2類似画像を「削除」することに該当する。これ以後の「削除」についても同様である。
続いて、順位決定部36は、ユーザ評価値または総合評価値に基づいて、候補画像グループ作成部34によって作成された2以上の候補画像グループの各々に含まれる画像の順位を決定する。
順位決定部36は、例えば、ユーザ評価値または総合評価値が高いほど、画像の順位が高くなるように決定する。
続いて、予備画像グループ作成部38は、肯定的評価が付与されていない画像、および、2以上の候補画像グループに含まれる第2類似画像をグルーピングして予備画像グループを作成する。
予備画像グループは、合成画像において使用する画像の総数が不足する場合に使用する画像を含む。
続いて、テンプレート記憶部40は、合成画像における画像のレイアウトを決定する複数のテンプレートを記憶する。
テンプレートは、合成画像において使用する画像数、画像配置領域(コマ)、背景画像等が決定されているものである。また、画像配置領域には、サイズが最も大きい特大コマ(例えば、テンプレートの見開き1ページにおける75%以上の面積を占めるコマ)、特大コマの次に大きい大コマ(例えば、テンプレートの50%以上75%未満の面積を占めるコマ)、大コマよりも小さい通常コマ(例えば、特大コマおよび大コマ以外のコマ)等が含まれる。
続いて、テンプレート決定部42は、合成画像を作成する時に使用するテンプレートを決定するテンプレート決定モードとして、第1テンプレート決定モードおよび第2テンプレート決定モードを有する。
テンプレート決定部42は、第1テンプレート決定モードの場合、ユーザにより各々の画像に付与された肯定的評価が評価取得部24によって取得される前に、複数のユーザのうちの少なくとも一人の第1ユーザの指示に応じて設定された合成画像の商材の種類、ページ数およびテーマに基づいて、テンプレート記憶部40に記憶された複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定する。
第1ユーザは、例えば、複数のユーザのうち、合成画像を作成する場合のまとめ役となる幹事のユーザである。
また、テンプレート決定部42は、第2テンプレート決定モードの場合、ユーザにより各々の画像に付与された肯定的評価が評価取得部24によって取得された後、複数の画像の数および各々の画像に付与された肯定的評価に基づいて、テンプレート記憶部40に記憶された複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定する。
例えば、テンプレート決定部42は、デフォルトのテンプレート決定モードを、第1テンプレート決定モードまたは第2テンプレート決定モードに設定しておくことができる。第1ユーザは、デフォルトのテンプレート決定モードをそのまま使用してもよいし、あるいは、デフォルトのテンプレート決定モードから別のテンプレート決定モードに変更してもよい。
続いて、画像抽出部44は、評価値算出部26によって算出された各々の画像に対するユーザ評価値または各々の画像の総合評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する。
画像抽出部44は、例えば、複数の画像の中から、ユーザ評価値または総合評価値が高い順に、一部または全部の画像を抽出する。
本実施形態の場合、画像抽出部44は、候補画像グループに対応する肯定的評価の種類の選択優先度、および、候補画像グループに含まれる画像の順位に基づいて、2以上の候補画像グループに含まれる画像の少なくとも一部の画像を抽出する。
画像抽出部44は、例えば、2以上の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、一部または全部の画像を抽出する。
肯定的評価の種類の選択優先度は、2以上の候補画像グループから画像を抽出する際の順序を決定する。肯定的評価の種類の選択優先度は、例えば、画像抽出部44が設定してもよいし、あるいは、第1ユーザが設定してもよい。また、画像抽出部44が肯定的評価の種類の選択優先度を設定する場合、例えば、合成画像のテーマ等に応じて、肯定的評価の種類の選択優先度を変更してもよい。
最後に、合成画像作成部46は、テンプレート決定部42によって決定されたテンプレートを用いて、画像抽出部44によって抽出された、複数の画像の少なくとも一部の画像を合成して合成画像を作成する。
本実施形態の場合、合成画像作成部46は、複数の画像の少なくとも一部の画像を、テンプレート決定部42によって決定されたテンプレートにおける画像配置領域に配置して合成画像を作成する。
画像取得部18、画像解析部20、表示制御部22、評価取得部24、評価値算出部26、評価画像グループ作成部28、類似画像検出部30、評価値加算部32、候補画像グループ作成部34、順位決定部36、予備画像グループ作成部38、テンプレート記憶部40、テンプレート決定部42、画像抽出部44および合成画像作成部46は、例えば、CPU(Central Processing Unit:中央処理装置)等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD(Hard Disk Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、SD(Secure Digital:セキュア・デジタル)カード等の記憶装置に保存される。
<端末の構成>
次に、図3は、図1に示すユーザの端末装置の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置14は、画像表示部48と、指示入力部50とを備えている。
端末装置14において、画像表示部48は、各種の画像、設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。
続いて、指示入力部50は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。
本実施形態の場合、画像表示部48および指示入力部50は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。
図示を省略しているが、サーバ12および端末装置14は、例えば、サーバ12と端末装置14との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。
<第1ユーザによる発起および複数ユーザによる画像アップロード>
次に、図4および図5に示すフローチャートを参照しながら、画像処理装置10の動作を説明する。
本実施形態の場合、特大コマ、大コマ、通常コマを含むテンプレートを用いて、合成画像として、表紙ページおよび本編ページを含むフォトアルバムを作成する。
合成画像を作成する場合、幹事のユーザである第1ユーザは、第1ユーザの端末装置14において、指示入力部50を介して、合成画像の注文情報を入力する。
注文情報は、合成画像を作成するために必要となる情報であり、例えば、フォトアルバム、シャッフルプリント等の合成画像の商材の種類、ページ数、および、テーマ等の情報を含む。
注文情報は、第1ユーザの端末装置14から、ネットワーク16を介してサーバ12に取得され(図4のステップS1)、注文情報に含まれる、合成画像の商材の種類およびページ数に応じて、合成画像において使用する必要入力画像数が決定される(ステップS2)。
続いて、テンプレート決定部42により、テンプレート決定モードが第1テンプレート決定モードであるか否かが確認される(ステップS3)。
その結果、第1テンプレート決定モードに設定されている場合(ステップS3において、YES)、テンプレート決定部42により、合成画像の商材の種類、ページ数およびテーマに基づいて、テンプレート記憶部40に記憶された複数のテンプレートの中から合成画像を作成する時に使用するテンプレートが決定される。また、合成画像のテーマに基づいて、テンプレートに含まれる特大コマおよび大コマの数が決定される(ステップS4)。
一方、第2テンプレート決定モードに設定されている場合(ステップS3において、NO)、次のステップS5に進む。
続いて、合成画像において使用する画像をリクエストするリクエスト情報が、サーバ12から、ネットワーク16を介して、第1ユーザを含む、複数のユーザの端末装置14に通知される(ステップS5)。
リクエスト情報には、例えば、作成する合成画像が、結婚披露宴のフォトアルバムであること、リクエストの内容が、フォトアルバムにおいて使用する画像のアップロードであること、および、リクエストに対する回答期限等が含まれる。
各々のユーザの端末装置14においては、サーバ12から、ネットワーク16を介して、リクエスト情報が受信され、受信されたリクエスト情報が画像表示部48に表示される(ステップS6)。
各々のユーザは、各々のユーザの端末装置14の画像表示部48に表示されたリクエスト情報の内容を参照し、指示入力部50を介して、リクエスト情報の内容に対応する画像をアップロードする指示を行う。
各々のユーザから画像がアップロードされると、画像取得部18により、複数のユーザの端末装置14から、ネットワーク16を介して、リクエスト情報に対応する複数の画像が取得される(ステップS7)。
リクエストに対する回答期限が経過した後、画像のアップロードが締め切られ(ステップS8)、画像取得部18によって取得された取得画像数が、必要入力画像数以上であるか否かが確認される(ステップS9)。
その結果、取得画像数が必要入力画像数未満である場合(ステップS9において、NO)、合成画像において使用する画像を再度リクエストするリクエスト情報が、サーバ12から、ネットワーク16を介して、複数のユーザの端末装置14に通知される(ステップS10)。これ以後は、ステップS6へ戻り、取得画像数が必要画像数以上となるまで上記の動作が繰り返し行われる。
一方、取得画像数が必要画像数以上である場合(ステップS9において、YES)、画像解析部20により、画像取得部18によって取得された複数の画像の各々が解析される(図5のステップS11)。
また、評価値算出部26により、各々の画像の解析結果に基づいて、各々の画像の解析評価値が算出される(ステップS12)。
<端末における評価の受付>
続いて、図6に示すように、表示制御部22により、画像取得部18によって取得された複数の画像、および、4つの評価付与領域の各々が、ネットワーク16を介して、各々のユーザの端末装置14に送付され、画像表示部48に表示される。
図6の例の場合、画像表示部48には、複数の画像の縮小画像が一覧表示され、その右側において、「ベストショット」(本発明の第1肯定的評価の一例)、「大コマいいね」(本発明の第2肯定的評価の一例)、「笑顔がいいね」(本発明の第3肯定的評価の一例)および「いいね」(本発明の第4肯定的評価の一例)という4種類の肯定的評価に対応する4つの評価付与領域が表示されている。
「ベストショット」の肯定的評価は、各々のユーザが複数の画像の中で最もよいと考える画像に対して付与される。また、「大コマいいね」の肯定的評価は、各々のユーザが複数の画像の中で、テンプレートに含まれるコマのうち、大コマに配置したいと考える画像に対して付与される。「笑顔がいいね」の肯定的評価は、各々のユーザが複数の画像の中で画像に写っている人物の笑顔がよいと考える画像に対して付与される。「いいね」の肯定的評価は、各々のユーザが複数の画像の中でよいと考える画像に対して付与される。
なお、図6の例の肯定的評価に限らず、「表紙ページに使う画像」、「おもしろい画像」、「セピア色が似合う画像」および「モノクロが似合う画像」等の各種の肯定的評価に対応する評価付与領域を表示してもよい。
また、一覧表示された複数の縮小画像のうち、例えば、解析評価値が閾値よりも大きい画像に対して星マーク等を付与し、合成画像において使用する画像としておすすめであることを示してもよい。また、類似画像を並べて配置してもよい。
各々のユーザは、指示入力部50を介して、各々のユーザの端末装置14の画像表示部48に表示された複数の画像の中から、ユーザが評価する1枚の画像をタップして選択した後、4種類の評価付与領域の中の1つをタップして選択することにより、選択した画像に対して、選択した評価付与領域に対応する種類の肯定的評価を付与することができる。他の画像および他の評価付与領域を選択した場合も同様である。
つまり、ユーザが「ベストショット」の評価付与領域をタップすると、「ベストショット」の肯定的評価が、選択された画像に付与される。同様に、「大コマいいね」の評価付与領域をタップすると、「大コマいいね」の肯定的評価が、「笑顔がいいね」の評価付与領域をタップすると、「笑顔がいいね」の肯定的評価が、「いいね」の評価付与領域をタップすると、「いいね」の肯定的評価が、選択された画像に付与される。
また、例えば、「ベストショット」の評価付与領域をタップした後、続いて、「笑顔がいいね」の評価付与領域をタップすると、「ベストショット」および「笑顔がいいね」の2つの肯定的評価が、選択された画像に付与される。他の評価付与領域をタップした場合も同様であり、1つの画像に対して、2以上の評価付与領域に対応する2以上の肯定的評価を付与することができる。
各々のユーザによって画像が評価されると、評価取得部24により、各々のユーザの端末装置14から、ネットワーク16を介して、各々のユーザによって各々の画像に付与された肯定的評価が取得される(ステップS13)。
評価に対する回答期限が経過した後、画像の評価が締め切られ(ステップS14)、評価値算出部26により、各々の画像に付与された肯定的評価に基づいて、各々の画像に対するユーザ評価値が算出される(ステップS15)。
また、評価値算出部26により、各々の画像の解析評価値およびユーザ評価値が加算されて各々の画像の総合評価値が算出される(ステップS16)。
続いて、画像がグルーピングされる(ステップS17)。
この場合、評価画像グループ作成部28により、肯定的評価が付与された画像が、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の肯定的評価の各々が付与された画像毎にグルーピングされ、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の肯定的評価に対応する4つの評価グループ(本発明の第1評価画像グループ、第2評価画像グループ、第3評価画像グループおよび第4評価画像グループの一例)が作成される。
評価画像グループ作成部28は、第1種類、例えば、「ベストショット」の肯定的評価が付与された画像のうち、第1種類の肯定的評価が付与された数が第1閾値以上である画像をグルーピングして第1種類の肯定的評価に対応する評価画像グループを作成し、第1種類の肯定的評価が付与された画像のうち、第1種類の肯定的評価が付与された数が第1閾値未満である画像、および、第2種類、例えば、「大コマいいね」の肯定的評価が付与された画像のうち、第2種類の肯定的評価が付与された数が第2閾値以上である画像をグルーピングして第2種類の肯定的評価に対応する評価画像グループを作成する。
あるいは、評価画像グループ作成部28は、第1種類の肯定的評価が付与された画像のうち、第1種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第1種類の肯定的評価に対応する評価画像グループを作成し、第1種類の肯定的評価が付与された画像のうち、一定数の画像以外の画像、および、第2種類の肯定的評価が付与された画像のうち、第2種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第2種類の肯定的評価に対応する評価画像グループを作成する。他の種類の肯定的評価の候補画像グループを作成する場合も同様である。
続いて、類似画像検出部30により、各々の画像の解析結果に基づいて、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の評価画像グループの各々に含まれる画像の中から類似画像のグループが検出される。
続いて、評価値加算部32により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、総合評価値が最も高い第1類似画像の総合評価値に対して、第1類似画像以外の第2類似画像の総合評価値が加算される。
続いて、候補画像グループ作成部34により、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の評価画像グループの各々に含まれる画像の中から、その各々に含まれる第2類似画像が削除され、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の評価画像グループに対応する「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループが作成される。
続いて、順位決定部36により、総合評価値に基づいて、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループの各々に含まれる画像の順位が決定される。
続いて、予備画像グループ作成部38により、肯定的評価が付与されていない画像、および、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる第2類似画像がグルーピングされて予備画像グループが作成される。
なお、画像をグルーピングする場合のより具体的な動作は後述する。
続いて、第2テンプレート決定モードの場合のテンプレートが決定される(ステップS18)。
この場合、テンプレート決定部42により、テンプレート決定モードが第2テンプレート決定モードであるか否かが確認される。
テンプレート決定モードが第1テンプレート決定モードに設定されている場合、合成画像を作成する場合に使用するテンプレートはステップS4において既に決定されている。
一方、テンプレート決定モードが第2テンプレート決定モードに設定されている場合、テンプレート決定部42により、画像取得部18によって取得された複数の画像の数、および、各々の画像に付与された肯定的評価に基づいて、テンプレート記憶部40に記憶された複数のテンプレートの中から、合成画像を作成する時に使用するテンプレートが決定される。
テンプレート決定部42は、第2テンプレート決定モードの場合、例えば、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の総数、ならびに、「ベストショット」、「大コマいいね」および「いいね」の各々に含まれる画像の数に応じて、テンプレートに含まれるコマのうち、特大コマおよび大コマの数を決定し、特大コマおよび大コマの数に応じて、合成画像を作成する時に使用するテンプレートを決定する。
なお、第2テンプレート決定モードにおいてテンプレートを決定する場合のより具体的な動作は後述する。
続いて、合成画像が作成される(ステップS19)。
この場合、画像抽出部44により、候補画像グループに対応する肯定的評価の種類の選択優先度、および、候補画像グループに含まれる画像の順位に基づいて、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の少なくとも一部の画像が抽出される。
続いて、合成画像作成部46により、注文情報に基づいて、画像抽出部44によって抽出された、複数の画像の少なくとも一部の画像が、テンプレート決定部42によって決定されたテンプレートにおける画像配置領域に配置されて合成画像が作成される。
例えば、画像抽出部44により、テンプレートに含まれるコマのうち、特大コマに配置する画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像が抽出される。
続いて、合成画像作成部46により、画像抽出部44によって抽出された特大コマの数の画像が特大コマに配置される。
また、画像抽出部44により、テンプレートに含まれるコマのうち、大コマに配置する画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像のうちの特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像が抽出される。
続いて、合成画像作成部46により、画像抽出部44によって抽出された大コマの数の画像が大コマに配置される。
また、画像抽出部44により、テンプレートに含まれるコマのうち、通常コマに配置する画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像のうちの特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像が抽出される。
続いて、合成画像作成部46により、画像抽出部44によって抽出された通常コマの数の画像が通常コマに配置される。
また、テンプレートに含まれるコマの数に対して、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の総数が不足する場合、画像抽出部44により、予備画像グループに含まれる画像の中から不足する数の画像が抽出される。
続いて、合成画像作成部46により、画像抽出部44によって抽出された不足する数の画像が、テンプレートに含まれるコマに配置される。
なお、合成画像を作成する場合のより具体的な動作は後述する。
合成画像が作成されると、合成画像作成部46により、作成された合成画像が、ネットワーク16を介して、第1ユーザの端末装置14に送付され、画像表示部48に表示される(ステップS20)。
第1ユーザは、第1ユーザの端末装置14の画像表示部48に表示された合成画像の内容を確認し、合成画像作成部46によって作成された合成画像をそのまま使用してもよいし、あるいは、指示入力部50を介して、合成画像を編集してもよい。
<画像のグルーピング>
次に、図7ないし図10に示すフローチャートを参照して、画像をグルーピングする場合のより具体的な画像処理装置の動作を説明する。
本実施形態の場合、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の肯定的評価の順に、肯定的評価の種類の選択優先度が高いとする。
まず、評価画像グループ作成部28により、「ベストショット」の肯定的評価が1以上付与された画像がグルーピングされ、「ベストショット」の肯定的評価に対応する評価画像グループが作成される(図7のステップS21)。
続いて、類似画像検出部30により、各々の画像の解析結果に基づいて、「ベストショット」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される(ステップS22)。
続いて、「ベストショット」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される(ステップS23)。
その結果、類似画像が存在する場合(ステップS23において、YES)、評価値加算部32により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、総合評価値が最も高い第1類似画像の総合評価値に対して、第1類似画像以外の第2類似画像の総合評価値が加算される(ステップS24)。
続いて、候補画像グループ作成部34により、「ベストショット」の評価画像グループに含まれる画像の中から第2類似画像が削除され、合成画像において使用する候補画像を含む、「ベストショット」の候補画像グループが作成される(ステップS25)。
続いて、ステップS27へ進む。
一方、類似画像が存在しない場合(ステップS23において、NO)、候補画像グループ作成部34により、合成画像において使用する候補画像として、「ベストショット」の評価画像グループに含まれる全ての画像を含む、「ベストショット」の候補画像グループが作成される(ステップS26)。
候補画像グループが作成されると、順位決定部36により、総合評価値に基づいて、「ベストショット」の候補画像グループに含まれる画像の順位が決定される(ステップS27)。
続いて、評価画像グループ作成部28により、「大コマいいね」の肯定的評価が1以上付与された画像がグルーピングされ、「大コマいいね」の肯定的評価に対応する評価画像グループが作成される(図8のステップS28)。
続いて、類似画像検出部30により、各々の画像の解析結果に基づいて、「大コマいいね」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される(ステップS29)。
続いて、「大コマいいね」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される(ステップS30)。
その結果、類似画像が存在する場合(ステップS30において、YES)、評価値加算部32により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、同様に、第1類似画像の総合評価値に対して第2類似画像の総合評価値が加算される(ステップS31)。
続いて、候補画像グループ作成部34により、「大コマいいね」の評価画像グループに含まれる画像の中から第2類似画像が削除され、合成画像において使用する候補画像を含む、「大コマいいね」の候補画像グループが作成される(ステップS32)。
続いて、ステップS34へ進む。
一方、類似画像が存在しない場合(ステップS30において、NO)、候補画像グループ作成部34により、合成画像において使用する候補画像として、「大コマいいね」の評価画像グループに含まれる全ての画像を含む、「大コマいいね」の候補画像グループが作成される(ステップS33)。
候補画像グループが作成されると、順位決定部36により、総合評価値に基づいて、「大コマいいね」の候補画像グループに含まれる画像の順位が決定される(ステップS34)。
続いて、評価画像グループ作成部28により、「笑顔がいいね」の肯定的評価が1以上付与された画像がグルーピングされ、「笑顔がいいね」の肯定的評価に対応する評価画像グループが作成される(図9のステップS35)。
続いて、類似画像検出部30により、各々の画像の解析結果に基づいて、「笑顔がいいね」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される(ステップS36)。
続いて、「笑顔がいいね」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される(ステップS37)。
その結果、類似画像が存在する場合(ステップS37において、YES)、評価値加算部32により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、同様に、第1類似画像の総合評価値に対して第2類似画像の総合評価値が加算される(ステップS38)。
続いて、候補画像グループ作成部34により、「笑顔がいいね」の評価画像グループに含まれる画像の中から第2類似画像が削除され、合成画像において使用する候補画像を含む、「笑顔がいいね」の候補画像グループが作成される(ステップS39)。
続いて、ステップS41へ進む。
一方、類似画像が存在しない場合(ステップS37において、NO)、候補画像グループ作成部34により、合成画像において使用する候補画像として、「笑顔がいいね」の評価画像グループに含まれる全ての画像を含む、「笑顔がいいね」の候補画像グループが作成される(ステップS40)。
候補画像グループが作成されると、順位決定部36により、総合評価値に基づいて、「笑顔がいいね」の候補画像グループに含まれる画像の順位が決定される(ステップS41)。
続いて、評価画像グループ作成部28により、「いいね」の肯定的評価が1以上付与された画像がグルーピングされ、「いいね」の肯定的評価に対応する評価画像グループが作成される(図10のステップS42)。
続いて、類似画像検出部30により、各々の画像の解析結果に基づいて、「いいね」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される(ステップS43)。
続いて、「いいね」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される(ステップS44)。
その結果、類似画像が存在する場合(ステップS44において、YES)、評価値加算部32により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、同様に、第1類似画像の総合評価値に対して第2類似画像の総合評価値が加算される(ステップS45)。
続いて、候補画像グループ作成部34により、「いいね」の評価画像グループに含まれる画像の中から第2類似画像が削除され、合成画像において使用する候補画像を含む、「いいね」の候補画像グループが作成される(ステップS46)。
続いて、ステップS48へ進む。
一方、類似画像が存在しない場合(ステップS44において、NO)、候補画像グループ作成部34により、合成画像において使用する候補画像として、「いいね」の評価画像グループに含まれる全ての画像を含む、「いいね」の候補画像グループが作成される(ステップS47)。
候補画像グループが作成されると、順位決定部36により、総合評価値に基づいて、「いいね」の候補画像グループに含まれる画像の順位が決定される(ステップS48)。
最後に、予備画像グループ作成部38により、肯定的評価が付与されていない画像、ならびに、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる第2類似画像がグルーピングされ、予備画像グループが作成される(ステップS49)。
なお、例えば、「ベストショット」および「大コマいいね」の両方の肯定的評価が付与された画像は、「ベストショット」および「大コマいいね」の両方の候補画像グループに含まれる。そのため、画像のグルーピングの場合に、例えば、「大コマいいね」の評価画像グループに含まれる画像の中から、「ベストショット」の候補画像グループに含まれている画像を削除して「大コマいいね」の候補画像グループを作成してもよい。同様に、「いいね」の評価画像グループに含まれる画像の中から、「ベストショット」および「大コマいいね」の候補画像グループに含まれている画像を削除して「いいね」の候補画像グループを作成してもよい。
あるいは、「大コマいいね」の評価画像グループに含まれる画像の中から、「ベストショット」の候補画像グループに含まれている画像を削除して「大コマいいね」の候補画像グループを作成し、「笑顔がいいね」の評価画像グループに含まれる画像の中から、「ベストショット」および「大コマいいね」の候補画像グループに含まれている画像を削除して「笑顔がいいね」の候補画像グループを作成し、「いいね」の評価画像グループに含まれる画像の中から、「ベストショット」、「大コマいいね」および「笑顔がいいね」の候補画像グループに含まれている画像を削除して「いいね」の候補画像グループを作成してもよい。
その一方で、例えば、「ベストショット」および「大コマいいね」の両方の候補画像グループに重複する画像が含まれているとしても、後述するように、合成画像において使用(配置)された画像は、候補画像グループから削除される。そのため、画像のグルーピングまたは合成画像の作成いずれかの場合に、候補画像グループから重複する画像を削除すればよい。
<第2テンプレート決定モードにおけるテンプレートの決定>
次に、図11に示すフローチャートを参照して、第2テンプレート決定モードにおいてテンプレートを決定する場合のより具体的な画像処理装置の動作を説明する。
まず、テンプレート決定部42により、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の4つの候補画像グループに含まれる画像の総数、ならびに、「ベストショット」、「大コマいいね」および「いいね」の3つの候補画像グループの各々に含まれる画像の数が算出される(図11のステップS50)。
続いて、テンプレート決定部42により、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の総数、ならびに、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループの各々に含まれる画像の数に応じて、特大コマおよび大コマの数に応じて、テンプレート記憶部40に記憶された複数のテンプレートの中から、合成画像を作成する時に使用するテンプレートが決定される。また、テンプレートに含まれる特大コマおよび大コマの数が決定される(ステップS51)。
続いて、テンプレートの通常コマに、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置するか否かが確認される(ステップS52)。
「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置するか否かは、例えば、テンプレート決定部42が合成画像のテーマ等に基づいて自動で決定してもよいし、あるいは、第1ユーザの指示によって決定してもよい。
その結果、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置する場合(ステップS52において、YES)、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置しない場合よりも、合成画像を作成する時に使用するテンプレートが、通常コマの数がより多いテンプレートに変更される(ステップS53)。「笑顔がいいね」の肯定的評価が付与された画像の数に応じて、例えば、「笑顔がいいね」の肯定的評価が付与された画像の数が多いほど、通常コマの数がより多いテンプレートに変更される。
一方、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置しない場合(ステップS52において、NO)、テンプレートは変更されない(ステップS54)。
<合成画像の作成の具体的動作>
次に、図12ないし図15に示すフローチャートを参照して、合成画像を作成する場合のより具体的な画像処理装置の動作を説明する。
まず、画像抽出部44により、「ベストショット」の候補画像グループに含まれる画像の中から、表紙ページに配置する画像として、「ベストショット」の候補画像グループに含まれる画像の順位が最も高い(1番目)の1枚の画像が抽出される(図12のステップS55)。
続いて、合成画像作成部46により、画像抽出部44によって抽出された表紙ページ用の1枚の画像が、合成画像の表紙ページに配置される(ステップS56)。
続いて、「ベストショット」の候補画像グループに含まれる画像の中から、表紙ページ用の画像として抽出された1枚の画像が削除される(ステップS57)。つまり、「ベストショット」の候補画像グループには、順位が2位以下の画像が含まれる。
なお、「ベストショット」の候補画像グループに画像が存在しない場合、「大コマいいね」の候補画像グループに含まれる画像の中から、画像の順位が最も高い1枚の画像が表紙用の画像として抽出される。つまり、表紙ページ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が最も高く、かつ、候補画像グループに含まれる画像の順位が最も高い1枚の画像が抽出される。
続いて、テンプレートに含まれる特大コマの数が、「ベストショット」の候補画像グループに含まれる画像の数以下であるか否かが確認される(ステップS58)。
その結果、特大コマの数が、「ベストショット」の候補画像グループに含まれる画像の数よりも多い場合(ステップS58において、NO)、画像抽出部44により、特大コマ用の画像として、「ベストショット」の候補画像グループに含まれる全ての画像が抽出され、さらに、「大コマいいね」の候補画像グループに含まれる画像の中から、特大コマ用の画像として不足する数の画像が、画像の順位が高い順に抽出される(ステップS59)。
なお、「大コマいいね」の候補画像グループに含まれる画像の中から特大コマ用の画像を抽出しても特大コマ用の画像の数が不足する場合、さらに、「いいね」の候補画像グループに含まれる画像の中から特大コマ用の画像が抽出される。つまり、特大コマ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像のうちの表紙ページ用の1枚の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像が抽出される。
続いて、合成画像作成部46により、画像抽出部44によって抽出された特大コマ用の画像が、テンプレートの特大コマに配置される(ステップS60)。
続いて、「大コマいいね」の候補画像グループに含まれる画像の中から、特大コマ用の画像として抽出された画像が削除される(ステップS61)。
続いて、ステップS65へ進む。
一方、特大コマの数が、「ベストショット」の候補画像グループに含まれる画像の数以下である場合(ステップS58において、YES)、画像抽出部44により、特大コマに配置する画像として、「ベストショット」の候補画像グループに含まれる画像の中から、「ベストショット」の候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像が抽出される(ステップS62)。
続いて、合成画像作成部46により、画像抽出部44によって抽出された特大コマの数の画像が、テンプレートの特大コマに配置される(ステップS63)。
続いて、「ベストショット」の候補画像グループに含まれる画像の中から、特大コマ用の画像として抽出された画像が削除される(ステップS64)。
続いて、「ベストショット」の候補画像グループに含まれる画像の中に、合成画像においてまだ使用されていない未使用画像が存在するか否かが確認される(ステップS65)。
その結果、未使用画像が存在しない場合(ステップS65において、NO)、ステップS67へ進む。
一方、未使用画像が存在する場合(ステップS65において、YES)、「ベストショット」の候補画像グループに含まれる未使用画像が、「大コマいいね」の候補画像グループに追加され、「大コマいいね」の候補画像グループに含まれる画像よりも高い順位に設定される(ステップS66)。
続いて、テンプレートに含まれる大コマの数が、「大コマいいね」の候補画像グループに含まれる画像の数以下であるか否かが確認される(図13のステップS67)。
その結果、大コマの数が、「大コマいいね」の候補画像グループに含まれる画像の数よりも多い場合(ステップS67において、NO)、画像抽出部44により、大コマ用の画像として、「大コマいいね」の候補画像グループに含まれる全ての画像が抽出され、さらに、「いいね」の候補画像グループに含まれる画像の中から、大コマ用の画像として不足する数の画像が、画像の順位が高い順に抽出される(ステップS68)。
つまり、大コマ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像のうちの表紙ページ用の1枚の画像および特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像が抽出される。
続いて、合成画像作成部46により、画像抽出部44によって抽出された大コマ用の画像が、テンプレートの大コマに配置される(ステップS69)。
続いて、「いいね」の候補画像グループに含まれる画像の中から、大コマ用の画像として抽出された画像が削除される(ステップS70)。
続いて、ステップS74へ進む。
一方、大コマの数が、「大コマいいね」の候補画像グループに含まれる画像の数以下である場合(ステップS67において、YES)、画像抽出部44により、大コマに配置する画像として、「大コマいいね」の候補画像グループに含まれる画像の中から、「大コマいいね」の候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像が抽出される(ステップS71)。
続いて、合成画像作成部46により、画像抽出部44によって抽出された大コマの数の画像が、テンプレートの大コマに配置される(ステップS72)。
続いて、「大コマいいね」の候補画像グループに含まれる画像の中から、大コマ用の画像として抽出された画像が削除される(ステップS73)。
続いて、通常コマに配置する画像として、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置するか否かが確認される(図14のステップS74)。
画像抽出部44は、第1ユーザの指示に応じて、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に抽出するか否かを決定してもよいし、あるいは、「笑顔がいいね」の候補画像グループに含まれる画像の数が閾値以上である場合に、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に抽出してもよい。
その結果、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置しない場合(ステップS74において、NO)、ステップS82へ進む。
一方、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置する場合(ステップS74において、YES)、続いて、「大コマいいね」の候補画像グループに含まれる画像の中に未使用画像が存在するか否かが確認される(ステップS75)。
その結果、未使用画像が存在しない場合(ステップS75において、NO)、ステップS77へ進む。
一方、未使用画像が存在する場合(ステップS75において、YES)、「大コマいいね」の候補画像グループに含まれる未使用画像が、「笑顔がいいね」の候補画像グループに追加され、「笑顔がいいね」の候補画像グループに含まれる画像よりも高い順位に設定される(ステップS76)。
続いて、画像抽出部44により、通常コマに配置する画像として、「笑顔がいいね」の候補画像グループに含まれる画像の中から、「笑顔がいいね」の候補画像グループに含まれる画像の順位が高い順に、通常コマの数以下の数の画像が抽出される(ステップS77)。
つまり、通常コマ用の画像として、「ベストショット」、「大コマいいね」および「笑顔がいいね」の候補画像グループに含まれる画像のうち、表紙ページ用の1枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数以下の画像が抽出される。
笑顔用の画像の数は、例えば、画像抽出部44が設定してもよいし、あるいは、第1ユーザが設定してもよい。
続いて、合成画像作成部46により、画像抽出部44によって抽出された通常コマの数以下の画像が通常コマに配置される(ステップS78)。
続いて、「笑顔がいいね」の候補画像グループに含まれる画像の中から、笑顔用の画像として抽出された画像が削除される(ステップS79)。
続いて、「笑顔がいいね」の候補画像グループに含まれる画像の中に未使用画像が存在するか否かが確認される(ステップS80)。
その結果、未使用画像が存在しない場合(ステップS80において、NO)、ステップS82へ進む。
一方、未使用画像が存在する場合(ステップS80において、YES)、「笑顔がいいね」の候補画像グループに含まれる未使用画像が、「いいね」の候補画像グループに追加され、「いいね」の候補画像グループに含まれる画像よりも高い順位に設定される(ステップS81)。
続いて、通常コマに配置する画像として、通常コマの数未満の画像が抽出された場合、通常コマのうちの通常コマの数未満の通常コマ以外の残りの通常コマの数が、「いいね」の候補画像グループに含まれる画像の数以下であるか否かが確認される(図15のステップS82)。
その結果、残りの通常コマの数が、「いいね」の候補画像グループに含まれる画像の数よりも多い場合(ステップS82において、NO)、画像抽出部44により、残りの通常コマ用の画像として、「いいね」の候補画像グループに含まれる全ての画像が抽出され、さらに、予備画像グループに含まれる画像の中から、残りの通常コマ用の画像として不足する数の画像が、画像の順位が高い順に抽出される(ステップS83)。
つまり、通常コマ用の画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像のうち、表紙ページ用の1枚の画像、特大コマの数の画像、大コマの数の画像および通常コマの数未満の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、残りの通常コマの数の画像が抽出される。笑顔用の画像を優先的に配置しない場合も同様である。
続いて、合成画像作成部46により、画像抽出部44によって抽出された残りの通常コマ用の画像が、テンプレートの残りの通常コマに配置され、合成画像の本編ページが作成される(ステップS84)。
一方、残りの通常コマの数が、「いいね」の候補画像グループに含まれる画像の数以下である場合(ステップS82において、YES)、画像抽出部44により、残りの通常コマに配置する画像として、「いいね」の候補画像グループに含まれる画像の中から、「いいね」の候補画像グループに含まれる画像の順位が高い順に、残りの通常コマの数の画像が抽出される(ステップS85)。
つまり、通常コマ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像のうちの表紙ページ用の1枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像が抽出される。笑顔用の画像を優先的に配置しない場合も同様である。
続いて、合成画像作成部46により、画像抽出部44によって抽出された残りの通常コマの数の画像が、テンプレートの残りの通常コマに配置され、合成画像の本編ページが作成される(ステップS86)。
<結語>
このように、画像処理装置10においては、評価基準が異なる2種類以上の肯定的評価に基づいて、ユーザが期待する画像を、テンプレートに含まれる「大コマ」等に自動で配置したり、笑顔の画像を優先的に配置したりすることができる。そのため、ユーザは、ユーザが期待する画像を配置し直す必要がなくなり、画像の評価のやり直しおよび手動でのレイアウトの編集等の手間を省くことができる。
<変形例>
本実施形態の場合、合成画像の表紙ページにおいて使用された1枚の画像を、合成画像の本編ページにおいては使用していないが、これに限定されず、合成画像の表紙ページにおいて使用された画像を、合成画像の本編ページにおいて使用してもよい。
また、合成画像作成部46は、プリントし、製本することにより、紙媒体のフォトアルバム(フォトブック)等の合成画像を作成してもよいし、これに限らず、テンプレート上に静止画および動画を含む画像を配置し、ディスプレイ上において閲覧する電子アルバム等の合成画像を作成してもよい。さらに、テンプレートを利用することなく、ユーザから取得された静止画や動画などを含む各種のコンテンツを順次表示するスライドショー等の合成画像を作成してもよい。また、スライドショーにおいて、「長く表示したい画像」および「白黒からカラーに移行したい画像」など、種々の肯定的評価項目を設定し、ユーザに対して評価を求めてもよい。
画像処理装置10が、サーバ12および複数のユーザの端末装置14を備えることは必須ではなく、例えば、サーバ12および端末装置14の全ての構成要素を備える装置を構成することもできる。この場合、ネットワーク16、および、サーバ12とユーザの端末装置14との間のやり取りは不要であり、例えば、ユーザから画像処理装置10へ、あるいは、画像処理装置10からユーザに対して直接やり取りを行うことができる。
画像取得部18、画像解析部20、表示制御部22、評価取得部24、評価値算出部26、評価画像グループ作成部28、類似画像検出部30、評価値加算部32、候補画像グループ作成部34、順位決定部36、予備画像グループ作成部38、テンプレート記憶部40、テンプレート決定部42、画像抽出部44および合成画像作成部46の全てをサーバ12が備えることは必須ではなく、そのうちの少なくとも1つが、ユーザの端末装置14内に備えられていてもよい。
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたプロセッサおよびプロセッサを備えるコンピュータ等によって構成してもよい。本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
10 画像処理装置
12 サーバ
14 端末装置(クライアント)
16 ネットワーク
18 画像取得部
20 画像解析部
22 表示制御部
24 評価取得部
26 評価値算出部
28 評価画像グループ作成部
30 類似画像検出部
32 評価値加算部
34 候補画像グループ作成部
36 順位決定部
38 予備画像グループ作成部
40 テンプレート記憶部
42 テンプレート決定部
44 画像抽出部
46 合成画像作成部
48 画像表示部
50 指示入力部

Claims (29)

  1. 複数のユーザから複数の画像を取得する画像取得部と、
    前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる2種類以上の肯定的評価の各々を付与するために指定する2以上の評価付与領域の各々を画像表示部に表示させる表示制御部と、
    前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記2以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する評価取得部と、
    前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出する評価値算出部と、
    前記各々の画像に対するユーザ評価値および前記肯定的評価の種類の選択優先度に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成する合成画像作成部とを備える、画像処理装置。
  2. 前記各々の画像を解析する画像解析部と、
    前記肯定的評価が付与された画像を前記2種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、前記2種類以上の肯定的評価の各々に対応する2以上の評価画像グループの各々を作成する評価画像グループ作成部と、
    前記各々の画像の解析結果に基づいて、前記2以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する類似画像検出部と、
    前記類似画像のグループ毎に、前記類似画像のグループに含まれる類似画像のうち、前記ユーザ評価値が最も高い第1類似画像のユーザ評価値に対して、前記第1類似画像以外の第2類似画像のユーザ評価値を加算する評価値加算部と、
    前記各々の評価画像グループに含まれる画像の中から前記各々の評価画像グループに含まれる前記第2類似画像を削除して、前記合成画像において使用する候補画像を含む、前記2以上の評価画像グループの各々に対応する2以上の候補画像グループの各々を作成する候補画像グループ作成部と、
    前記ユーザ評価値に基づいて、前記2以上の候補画像グループの各々に含まれる画像の順位を決定する順位決定部とを備える、請求項1に記載の画像処理装置。
  3. 前記評価画像グループ作成部は、第1種類の肯定的評価が付与された画像のうち、前記第1種類の肯定的評価が付与された数が第1閾値以上である画像をグルーピングして前記第1種類の肯定的評価に対応する評価画像グループを作成し、前記第1種類の肯定的評価が付与された画像のうち、前記第1種類の肯定的評価が付与された数が前記第1閾値未満である画像、および、第2種類の肯定的評価が付与された画像のうち、前記第2種類の肯定的評価が付与された数が第2閾値以上である画像をグルーピングして前記第2種類の肯定的評価に対応する評価画像グループを作成する、請求項2に記載の画像処理装置。
  4. 前記評価画像グループ作成部は、第1種類の肯定的評価が付与された画像のうち、前記第1種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして前記第1種類の肯定的評価に対応する評価画像グループを作成し、前記第1種類の肯定的評価が付与された画像のうち、前記一定数の画像以外の画像、および、第2種類の肯定的評価が付与された画像のうち、前記第2種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして前記第2種類の肯定的評価に対応する評価画像グループを作成する、請求項2に記載の画像処理装置。
  5. 前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
    前記画像抽出部は、前記合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、前記2以上の候補画像グループに含まれる画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の順位が高い順に、前記特大コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記特大コマの数の画像を前記特大コマに配置する、請求項2ないし4のいずれか一項に記載の画像処理装置。
  6. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記特大コマの次に大きい大コマに配置する画像として、前記2以上の候補画像グループに含まれる画像のうちの前記特大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記大コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記大コマの数の画像を前記大コマに配置する、請求項5に記載の画像処理装置。
  7. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記大コマよりも小さい通常コマに配置する画像として、前記2以上の候補画像グループに含まれる画像のうちの前記特大コマの数の画像および前記大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記通常コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記通常コマの数の画像を前記通常コマに配置する、請求項6に記載の画像処理装置。
  8. 前記肯定的評価が付与されていない画像、および、前記2以上の候補画像グループに含まれる前記第2類似画像をグルーピングして予備画像グループを作成する予備画像グループ作成部を備え、
    前記画像抽出部は、前記テンプレートに含まれるコマの数に対して、前記2以上の候補画像グループに含まれる画像の総数が不足する場合に、前記予備画像グループに含まれる画像の中から前記不足する数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記不足する数の画像を、前記テンプレートに含まれるコマに配置する、請求項7に記載の画像処理装置。
  9. 前記表示制御部は、前記各々のユーザが前記複数の画像の中で最もよいと考える画像に対して第1肯定的評価を付与するために指定する第1評価付与領域、前記各々のユーザが前記複数の画像の中で、前記合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマの次に大きい大コマに配置したいと考える画像に対して第2肯定的評価を付与するために指定する第2評価付与領域、前記各々のユーザが前記複数の画像の中で画像に写っている人物の笑顔がよいと考える画像に対して第3肯定的評価を付与するために指定する第3評価付与領域、および、前記各々のユーザが前記複数の画像の中でよいと考える画像に対して第4肯定的評価を付与するために指定する第4評価付与領域を表示する、請求項2に記載の画像処理装置。
  10. 前記評価画像グループ作成部は、前記肯定的評価が付与された画像を、前記第1肯定的評価、前記第2肯定的評価、前記第3肯定的評価および前記第4肯定的評価の各々が付与された画像毎にグルーピングして、前記第1肯定的評価、前記第2肯定的評価、前記第3肯定的評価および前記第4肯定的評価に対応する第1評価画像グループ、第2評価画像グループ、第3評価画像グループおよび第4評価画像グループを作成し、
    前記類似画像検出部は、前記各々の画像の解析結果に基づいて、前記第1評価画像グループ、前記第2評価画像グループ、前記第3評価画像グループおよび前記第4評価画像グループの各々に含まれる画像の中から前記類似画像のグループを検出し、
    前記候補画像グループ作成部は、前記第1評価画像グループ、前記第2評価画像グループ、前記第3評価画像グループおよび前記第4評価画像グループの各々に含まれる画像の中から、前記第1評価画像グループ、前記第2評価画像グループ、前記第3評価画像グループおよび前記第4評価画像グループの各々に含まれる前記第2類似画像を削除して、前記第1評価画像グループ、前記第2評価画像グループ、前記第3評価画像グループおよび前記第4評価画像グループに対応する第1候補画像グループ、第2候補画像グループ、第3候補画像グループおよび第4候補画像グループを作成し、
    前記順位決定部は、前記ユーザ評価値に基づいて、前記第1候補画像グループ、前記第2候補画像グループ、前記第3候補画像グループおよび前記第4候補画像グループの各々に含まれる画像の順位を決定する、請求項9に記載の画像処理装置。
  11. 前記候補画像グループ作成部は、前記第2評価画像グループに含まれる画像の中から、さらに、前記第1候補画像グループに含まれる画像を削除して前記第2候補画像グループを作成し、前記第4評価画像グループに含まれる画像の中から、さらに、前記第1候補画像グループおよび前記第2候補画像グループに含まれる画像を削除して前記第4候補画像グループを作成する、請求項10に記載の画像処理装置。
  12. 前記候補画像グループ作成部は、前記第2評価画像グループに含まれる画像の中から、さらに、前記第1候補画像グループに含まれる画像を削除して前記第2候補画像グループを作成し、前記第3評価画像グループに含まれる画像の中から、さらに、前記第1候補画像グループおよび前記第2候補画像グループに含まれる画像を削除して前記第3候補画像グループを作成し、前記第4評価画像グループに含まれる画像の中から、さらに、前記第1候補画像グループ、前記第2候補画像グループおよび前記第3候補画像グループに含まれる画像を削除して前記第4候補画像グループを作成する、請求項10に記載の画像処理装置。
  13. 前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
    前記合成画像は、表紙ページおよび本編ページを含むフォトアルバムであり、
    前記画像抽出部は、前記第1候補画像グループ、前記第2候補画像グループおよび前記第4候補画像グループに含まれる画像の中から、前記表紙ページに配置する画像として、前記候補画像グループに対応する肯定的評価の種類の選択優先度が最も高く、かつ、前記候補画像グループに含まれる画像の順位が最も高い1枚の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記1枚の画像を前記表紙ページに配置する、請求項10ないし12のいずれか一項に記載の画像処理装置。
  14. 前記画像抽出部は、前記フォトアルバムにおける画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、前記第1候補画像グループ、前記第2候補画像グループおよび前記第4候補画像グループに含まれる画像のうちの前記表紙ページに配置する1枚の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記特大コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記特大コマの数の画像を前記特大コマに配置する、請求項13に記載の画像処理装置。
  15. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記特大コマの次に大きい大コマに配置する画像として、前記第1候補画像グループ、前記第2候補画像グループおよび前記第4候補画像グループに含まれる画像のうちの前記表紙ページに配置する1枚の画像および前記特大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記大コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記大コマの数の画像を前記大コマに配置する、請求項14に記載の画像処理装置。
  16. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記大コマよりも小さい通常コマに配置する画像として、前記第1候補画像グループ、前記第2候補画像グループおよび前記第4候補画像グループに含まれる画像のうちの前記表紙ページに配置する1枚の画像、前記特大コマの数の画像および前記大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記通常コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記通常コマの数の画像を前記通常コマに配置する、請求項15に記載の画像処理装置。
  17. 前記画像抽出部は、前記テンプレートに含まれるコマのうち、前記サイズが前記大コマよりも小さい通常コマに配置する画像として、前記第4肯定的評価が付与された画像よりも前記第3肯定的評価が付与された画像を優先的に抽出する場合に、前記第1候補画像グループ、前記第2候補画像グループおよび前記第3候補画像グループに含まれる画像のうち、前記表紙ページに配置する1枚の画像、前記特大コマの数の画像および前記大コマの数の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記通常コマの数以下の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記通常コマの数以下の画像を前記通常コマに配置する、請求項15に記載の画像処理装置。
  18. 前記画像抽出部は、前記通常コマに配置する画像として、前記通常コマの数未満の画像を抽出した場合に、前記通常コマのうちの前記通常コマの数未満の通常コマ以外の残りの通常コマに配置する画像として、前記第1候補画像グループ、前記第2候補画像グループ、前記第3候補画像グループおよび前記第4候補画像グループに含まれる画像のうち、前記表紙ページに配置する1枚の画像、前記特大コマの数の画像、前記大コマの数の画像、および、前記通常コマの数未満の画像以外の画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の前記順位が高い順に、前記残りの通常コマの数の画像を抽出し、
    前記合成画像作成部は、前記画像抽出部によって抽出された前記残りの通常コマの数の画像を前記残りの通常コマに配置する、請求項17に記載の画像処理装置。
  19. 前記画像抽出部は、前記複数のユーザのうちの少なくとも一人の第1ユーザの指示に応じて、前記第4肯定的評価が付与された画像よりも前記第3肯定的評価が付与された画像を優先的に抽出するか否かを決定する、請求項17または18に記載の画像処理装置。
  20. 前記画像抽出部は、前記第3候補画像グループに含まれる画像の数が閾値以上である場合に、前記第4肯定的評価が付与された画像よりも前記第3肯定的評価が付与された画像を優先的に抽出する、請求項17または18に記載の画像処理装置。
  21. 前記合成画像における画像のレイアウトを決定する複数のテンプレートを記憶するテンプレート記憶部と、
    第1テンプレート決定モードの場合に、前記複数のユーザのうちの少なくとも一人の第1ユーザの指示に応じて設定された前記合成画像の商材の種類、ページ数およびテーマに基づいて、前記複数のテンプレートの中から前記合成画像を作成する時に使用するテンプレートを決定し、第2テンプレート決定モードの場合に、前記複数の画像の数および前記各々の画像に付与された肯定的評価に基づいて、前記複数のテンプレートの中から前記合成画像を作成する時に使用するテンプレートを決定するテンプレート決定部とを備え、
    前記合成画像作成部は、前記テンプレート決定部によって決定されたテンプレートを用いて前記合成画像を作成する、請求項10ないし20のいずれか一項に記載の画像処理装置。
  22. 前記テンプレート決定部は、前記第2テンプレート決定モードの場合に、前記第1候補画像グループ、前記第2候補画像グループ、前記第3候補画像グループおよび前記第4候補画像グループに含まれる画像の総数、ならびに、前記第1候補画像グループ、前記第2候補画像グループおよび前記第4候補画像グループの各々に含まれる画像の数に応じて、前記テンプレートに含まれるコマのうち、サイズが最も大きい特大コマおよび前記特大コマの次に大きい大コマの数を決定し、前記特大コマおよび前記大コマの数に応じて、前記合成画像を作成する時に使用するテンプレートを決定する、請求項21に記載の画像処理装置。
  23. 前記テンプレート決定部は、前記テンプレートに含まれるコマのうち、前記サイズが前記大コマよりも小さい通常コマに、前記第4肯定的評価が付与された画像よりも前記第3肯定的評価が付与された画像を優先的に配置する場合に、前記第3肯定的評価が付与された画像を優先的に配置しない場合よりも、前記合成画像を作成する時に使用するテンプレートを、前記通常コマの数がより多いテンプレートに変更する、請求項22に記載の画像処理装置。
  24. 前記各々の画像を解析する画像解析部を備え、
    前記評価値算出部は、さらに、前記各々の画像の解析結果に基づいて前記各々の画像の解析評価値を算出し、前記各々の画像の前記解析評価値および前記ユーザ評価値を加算して前記各々の画像の総合評価値を算出し、
    前記各々の画像の総合評価値に基づいて、前記複数の画像の少なくとも一部の画像を抽出する画像抽出部を備える、請求項1ないし23のいずれか一項に記載の画像処理装置。
  25. 複数のユーザから複数の画像を取得する画像取得部と、
    前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる2種類以上の肯定的評価の各々を付与するために指定する2以上の評価付与領域の各々を画像表示部に表示させる表示制御部と、
    前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記2以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する評価取得部と、
    前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出する評価値算出部と、
    前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成する合成画像作成部と、
    前記各々の画像を解析する画像解析部と、
    前記肯定的評価が付与された画像を前記2種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、前記2種類以上の肯定的評価の各々に対応する2以上の評価画像グループの各々を作成する評価画像グループ作成部と、
    前記各々の画像の解析結果に基づいて、前記2以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する類似画像検出部と、
    前記類似画像のグループ毎に、前記類似画像のグループに含まれる類似画像のうち、前記ユーザ評価値が最も高い第1類似画像のユーザ評価値に対して、前記第1類似画像以外の第2類似画像のユーザ評価値を加算する評価値加算部と、
    前記各々の評価画像グループに含まれる画像の中から前記各々の評価画像グループに含まれる前記第2類似画像を削除して、前記合成画像において使用する候補画像を含む、前記2以上の評価画像グループの各々に対応する2以上の候補画像グループの各々を作成する候補画像グループ作成部と、
    前記ユーザ評価値に基づいて、前記2以上の候補画像グループの各々に含まれる画像の順位を決定する順位決定部とを備える、画像処理装置。
  26. 画像取得部が、複数のユーザから複数の画像を取得するステップと、
    表示制御部が、前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる2種類以上の肯定的評価の各々を付与するために指定する2以上の評価付与領域の各々を画像表示部に表示させるステップと、
    評価取得部が、前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記2以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得するステップと、
    評価値算出部が、前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出するステップと、
    合成画像作成部が、前記各々の画像に対するユーザ評価値および前記肯定的評価の種類の選択優先度に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成するステップとを含む、画像処理方法。
  27. 画像取得部が、複数のユーザから複数の画像を取得するステップと、
    表示制御部が、前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる2種類以上の肯定的評価の各々を付与するために指定する2以上の評価付与領域の各々を画像表示部に表示させるステップと、
    評価取得部が、前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記2以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得するステップと、
    評価値算出部が、前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出するステップと、
    合成画像作成部が、前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成するステップと、
    画像解析部が、前記各々の画像を解析するステップと、
    評価画像グループ作成部が、前記肯定的評価が付与された画像を前記2種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、前記2種類以上の肯定的評価の各々に対応する2以上の評価画像グループの各々を作成するステップと、
    類似画像検出部が、前記各々の画像の解析結果に基づいて、前記2以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出するステップと、
    評価値加算部が、前記類似画像のグループ毎に、前記類似画像のグループに含まれる類似画像のうち、前記ユーザ評価値が最も高い第1類似画像のユーザ評価値に対して、前記第1類似画像以外の第2類似画像のユーザ評価値を加算するステップと、
    候補画像グループ作成部が、前記各々の評価画像グループに含まれる画像の中から前記各々の評価画像グループに含まれる前記第2類似画像を削除して、前記合成画像において使用する候補画像を含む、前記2以上の評価画像グループの各々に対応する2以上の候補画像グループの各々を作成するステップと、
    順位決定部が、前記ユーザ評価値に基づいて、前記2以上の候補画像グループの各々に含まれる画像の順位を決定するステップとを含む、画像処理方法。
  28. 請求項26または27に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
  29. 請求項26または27に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2016145454A 2016-07-25 2016-07-25 画像処理装置、画像処理方法、プログラムおよび記録媒体 Active JP6673771B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016145454A JP6673771B2 (ja) 2016-07-25 2016-07-25 画像処理装置、画像処理方法、プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016145454A JP6673771B2 (ja) 2016-07-25 2016-07-25 画像処理装置、画像処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2018018140A JP2018018140A (ja) 2018-02-01
JP6673771B2 true JP6673771B2 (ja) 2020-03-25

Family

ID=61081469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016145454A Active JP6673771B2 (ja) 2016-07-25 2016-07-25 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP6673771B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6988608B2 (ja) * 2018-03-16 2022-01-05 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
WO2021166515A1 (ja) * 2020-02-17 2021-08-26 ソニーグループ株式会社 情報処理方法、サーバ装置、プログラム

Also Published As

Publication number Publication date
JP2018018140A (ja) 2018-02-01

Similar Documents

Publication Publication Date Title
US11317139B2 (en) Control method and apparatus
US8711228B2 (en) Collaborative image capture
JP4945486B2 (ja) 画像重要度判定装置、アルバム自動レイアウト装置、プログラム、画像重要度判定方法およびアルバム自動レイアウト方法
US9336442B2 (en) Selecting images using relationship weights
JP5478999B2 (ja) 撮影装置
CN102855906A (zh) 图像处理设备和图像处理方法
US20160260460A1 (en) Information processing apparatus, method, and storage medium storing program
JP6887816B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7423444B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6660835B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7336211B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2022123207A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017117410A (ja) 画像処理システム、情報処理装置およびその制御方法
JP2022123211A (ja) プログラム、画像処理装置、及び画像処理方法
JP6673771B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7336209B2 (ja) 画像処理装置、制御方法、及びプログラム
JP6586402B2 (ja) 画像分類装置、画像分類方法及びプログラム
CN109597910A (zh) 用于显示图像的信息处理方法、信息处理设备和存储介质
WO2021166583A1 (ja) 情報処理装置、情報処理方法、プログラム
JP5513539B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP6586009B2 (ja) 情報処理装置、処理方法、およびプログラム
JP7566502B2 (ja) 撮像装置、画像撮影処理方法、プログラムおよび記憶媒体
US11240384B2 (en) Information processing apparatus, method for information processing, and storage medium
US20220254079A1 (en) Image generation device, image generation method, and program
JP4953895B2 (ja) 写真集作成装置、写真集作成方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200305

R150 Certificate of patent or registration of utility model

Ref document number: 6673771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250