JP6650364B2 - Image processing apparatus, image processing method, program, and recording medium - Google Patents
Image processing apparatus, image processing method, program, and recording medium Download PDFInfo
- Publication number
- JP6650364B2 JP6650364B2 JP2016145437A JP2016145437A JP6650364B2 JP 6650364 B2 JP6650364 B2 JP 6650364B2 JP 2016145437 A JP2016145437 A JP 2016145437A JP 2016145437 A JP2016145437 A JP 2016145437A JP 6650364 B2 JP6650364 B2 JP 6650364B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- composite image
- images
- unit
- composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 60
- 238000003672 processing method Methods 0.000 title claims description 8
- 239000002131 composite material Substances 0.000 claims description 822
- 238000011156 evaluation Methods 0.000 claims description 688
- 238000010191 image analysis Methods 0.000 claims description 133
- 230000008859 change Effects 0.000 claims description 111
- 230000015572 biosynthetic process Effects 0.000 claims description 65
- 238000003786 synthesis reaction Methods 0.000 claims description 65
- 238000000605 extraction Methods 0.000 claims description 59
- 238000004458 analytical method Methods 0.000 claims description 25
- 230000002194 synthesizing effect Effects 0.000 claims description 18
- 239000000203 mixture Substances 0.000 claims description 15
- 238000013459 approach Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 7
- 238000002360 preparation method Methods 0.000 claims 1
- 238000012790 confirmation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、複数のユーザから取得された複数の画像を用いて、合成画像を作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。 The present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium that create a composite image using a plurality of images obtained from a plurality of users.
現在、ユーザが所有する複数の画像(画像データ)を、インターネット等を経由して取得し、ユーザから取得した複数の画像を用いてユーザが希望するレイアウトのフォトアルバムを作成するサービスが提供されている。 Currently, a service is provided that acquires a plurality of images (image data) owned by a user via the Internet or the like and creates a photo album having a layout desired by the user using the plurality of images acquired from the user. I have.
近年では、一人のユーザが所有する複数の画像だけを用いてフォトアルバムを作成するだけでなく、複数のユーザが所有する複数の画像を用いて1つのフォトアルバムを作成するもの(特許文献1および2参照)が知られている。 In recent years, in addition to creating a photo album using only a plurality of images owned by one user, one photo album is created using a plurality of images owned by a plurality of users (Patent Documents 1 and 2). 2) are known.
また、ネットワークを利用した画像サービスの登録情報に基づいて、同一のグループに属する複数のユーザの画像群を抽出して合成画像に使用するもの(特許文献3)、複数の参加者からのメッセージを受け付けて寄せ書きを作成するもの(特許文献4)、および、評価対象に対する特定ユーザの評価を受け、特定ユーザの評価と一般ユーザの評価基準とを比較して特定ユーザの評価基準を同定し、特定ユーザに高く評価される評価対象を作成するもの(特許文献5)が知られている。 Further, based on registration information of an image service using a network, an image group of a plurality of users belonging to the same group is extracted and used for a composite image (Patent Document 3), and messages from a plurality of participants are used. A method of accepting and creating a side note (Patent Document 4) and receiving an evaluation of a specific user with respect to an evaluation target, comparing the evaluation of the specific user with an evaluation standard of a general user, and identifying and specifying the evaluation criterion of the specific user A device that creates an evaluation target that is highly evaluated by a user (Patent Document 5) is known.
しかし、複数のユーザが共同で1つのフォトアルバム等の合成画像を作成する際に、複数のユーザによるレイアウトの同時編集が可能である場合、複数のユーザが同時にレイアウトを編集すると収集がつかなくなる恐れがある。 However, when a plurality of users can simultaneously edit a layout when a plurality of users jointly create a composite image such as a photo album, if a plurality of users edit the layout at the same time, collection may become impossible. There is.
例えば、レイアウトを編集するユーザの数が増えるほど、レイアウトが頻繁に変更されるため、レイアウトを編集することが難しくなる。また、複数のユーザが相反するレイアウトの編集を行った場合に同期をとることができない。最終的なレイアウトの編集のゴールが分かりづらく、複数のユーザのうちのフォトアルバム等の合成画像を作成する場合のまとめ役となる幹事のユーザの負担が大きい等の問題がある。 For example, as the number of users who edit the layout increases, the layout is frequently changed, so that it becomes difficult to edit the layout. Further, when a plurality of users edit conflicting layouts, synchronization cannot be achieved. It is difficult to understand the goal of editing the final layout, and there is a problem that the burden on a secretary user who is a coordinator when creating a composite image such as a photo album among a plurality of users is large.
本発明の目的は、ユーザがレイアウトを編集することなく、複数のユーザから取得された複数の画像を用いて大多数のユーザが納得できる合成画像を作成することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。 An object of the present invention is to provide an image processing apparatus and an image processing method capable of creating a composite image that can be satisfied by a large number of users by using a plurality of images obtained from a plurality of users without editing the layout by the user. , A program and a recording medium.
上記目的を達成するために、本発明は、複数のユーザから複数の画像を取得する画像取得部と、
複数の画像の各々を解析する個別画像解析部と、
各々の画像の解析結果に基づいて、各々の画像を1以上の個別画像評価条件について評価した個別画像評価値を算出する個別画像評価値算出部と、
各々の画像の個別画像評価値に基づいて、複数の画像の中から1以上の画像抽出条件に対応する1以上の画像を抽出する画像抽出部と、
1以上の合成画像作成条件に基づいて、1以上の画像を合成した合成画像を作成する合成画像作成部と、
合成画像を解析する合成画像解析部と、
合成画像の解析結果に基づいて、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像解析評価値の各々を算出する合成画像評価値算出部と、
複数のユーザから、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々を取得する合成画像ユーザ評価値取得部と、
各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算する合成画像ユーザ評価値演算部と、
各々の合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを差に応じて変更した変更条件を作成する合成条件変更部とを備え、
合成画像作成部は、合成条件変更部によって作成された変更条件に基づいて合成画像を作成し直す、画像処理装置を提供する。
In order to achieve the above object, the present invention provides an image acquisition unit that acquires a plurality of images from a plurality of users,
An individual image analysis unit that analyzes each of the plurality of images,
An individual image evaluation value calculation unit that calculates an individual image evaluation value obtained by evaluating each image with respect to one or more individual image evaluation conditions based on an analysis result of each image;
An image extraction unit that extracts one or more images corresponding to one or more image extraction conditions from a plurality of images based on an individual image evaluation value of each image;
A composite image creation unit that creates a composite image obtained by combining one or more images based on one or more composite image creation conditions;
A composite image analysis unit that analyzes the composite image;
A composite image evaluation value calculation unit that calculates each of one or more composite image analysis evaluation values that evaluate the composite image for each of one or more composite image evaluation items based on the analysis result of the composite image;
A composite image user evaluation value acquisition unit configured to acquire one or more composite image user evaluation values obtained by evaluating the composite image for each of the one or more composite image evaluation items from a plurality of users;
For each composite image evaluation item, a composite image user evaluation value calculation unit that calculates a composite image user evaluation total value based on composite image user evaluation values from a plurality of users;
For each composite image evaluation item, when the difference between the composite image user evaluation total value and the composite image analysis evaluation value is larger than the threshold, the individual image is calculated so that the composite image analysis evaluation value approaches the composite image user evaluation total value. A synthesizing condition changing unit that creates a changing condition in which at least one of the evaluation condition, the image extraction condition, and the synthesized image creating condition is changed according to the difference;
The combined image creating unit provides an image processing device that re-creates a combined image based on the change condition created by the combining condition changing unit.
ここで、合成条件変更部は、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更した変更条件を作成することが好ましい。 Here, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value, the combining condition changing unit may reduce the combined image analysis evaluation value according to the combined image user evaluation total value. Or, when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the individual image evaluation condition, such that the combined image analysis evaluation value increases according to the combined image user evaluation total value. It is preferable to create a change condition by changing at least one of the image extraction condition and the composite image creation condition.
また、合成画像ユーザ評価値取得部は、合成画像において使用されている画像数について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、合成画像の作成に使用するテンプレートにおける配置画像数を変更し、
合成画像作成部は、合成条件変更部によって配置画像数が変更されたテンプレートを用いて合成画像を作成し直すことが好ましい。
The composite image user evaluation value obtaining unit obtains a composite image user evaluation value obtained by evaluating the composite image for the number of images used in the composite image,
The combining condition changing unit is configured such that, when the combined image user evaluation total value is larger than the threshold value for the combined image analysis evaluation value, the combined image analysis evaluation value is reduced according to the combined image user evaluation total value, or A template used to create a composite image so that when the composite image user evaluation total value is smaller than the threshold value for the composite image analysis evaluation value, the composite image analysis evaluation value increases in accordance with the composite image user evaluation total value. Change the number of placed images in,
It is preferable that the composite image creating unit re-creates the composite image using the template whose number of arranged images has been changed by the combining condition changing unit.
また、合成画像ユーザ評価値取得部は、合成画像において使用されている人物画像数について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、複数の画像の中から1以上の画像を抽出する時の人物画像の重みを変更し、
合成画像作成部は、合成条件変更部によって変更された人物画像の重みに応じて複数の画像の中から抽出された1以上の画像を用いて合成画像を作成し直すことが好ましい。
Further, the composite image user evaluation value obtaining unit obtains a composite image user evaluation value obtained by evaluating the composite image for the number of human images used in the composite image,
The combining condition changing unit is configured such that, when the combined image user evaluation total value is larger than the threshold value for the combined image analysis evaluation value, the combined image analysis evaluation value is reduced according to the combined image user evaluation total value, or When the composite image user evaluation total value is smaller than the threshold value for the composite image analysis evaluation value, one or more of the plurality of images are set so that the composite image analysis evaluation value increases in accordance with the composite image user evaluation total value. Change the weight of the person image when extracting the image of
It is preferable that the composite image creation unit re-creates a composite image using one or more images extracted from the plurality of images according to the weight of the person image changed by the synthesis condition change unit.
また、合成画像ユーザ評価値取得部は、合成画像の雰囲気について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、合成画像の作成に使用するテンプレートの背景画像を変更し、
合成画像作成部は、合成条件変更部によって背景画像が変更されたテンプレートを用いて合成画像を作成し直すことが好ましい。
The composite image user evaluation value acquisition unit acquires a composite image user evaluation value that evaluates the composite image for the atmosphere of the composite image,
The combining condition changing unit is configured such that, when the combined image user evaluation total value is larger than the threshold value for the combined image analysis evaluation value, the combined image analysis evaluation value is reduced according to the combined image user evaluation total value, or A template used to create a composite image so that when the composite image user evaluation total value is smaller than the threshold value for the composite image analysis evaluation value, the composite image analysis evaluation value increases in accordance with the composite image user evaluation total value. Change the background image of
It is preferable that the composite image creation unit re-creates the composite image using the template whose background image has been changed by the synthesis condition changing unit.
また、合成画像ユーザ評価値演算部は、合成画像ユーザ評価総合値として、複数のユーザからの合成画像ユーザ評価値の和、平均または積を演算することが好ましい。 Further, it is preferable that the composite image user evaluation value calculation unit calculates the sum, average, or product of the composite image user evaluation values from a plurality of users as the composite image user evaluation total value.
また、複数のユーザの各々の重みを算出する重み算出部を備え、
合成画像ユーザ評価値演算部は、合成画像ユーザ評価総合値として、各々のユーザの重みに応じて重み付けされた複数のユーザからの合成画像ユーザ評価値の和、平均または積を演算することが好ましい。
Further, a weight calculation unit that calculates the weight of each of the plurality of users,
The composite image user evaluation value calculation unit preferably calculates, as the composite image user evaluation total value, the sum, average, or product of the composite image user evaluation values from a plurality of users weighted according to the weight of each user. .
また、各々のユーザの個人情報を取得する個人情報取得部を備え、
重み算出部は、各々のユーザの個人情報に基づいて、複数のユーザの各々の重みを算出することが好ましい。
In addition, a personal information acquisition unit that acquires personal information of each user is provided,
It is preferable that the weight calculator calculates the weight of each of the plurality of users based on the personal information of each user.
また、重み算出部は、画像取得部によってより多くの画像が取得されたユーザの重みがより重くなるように、複数のユーザの各々の重みを算出することが好ましい。 In addition, it is preferable that the weight calculation unit calculates the weight of each of the plurality of users so that the weight of the user from which more images have been obtained by the image obtaining unit becomes heavier.
また、重み算出部は、合成画像ユーザ評価値取得部によってより早いタイミングで合成画像ユーザ評価値が取得されたユーザの重みがより重くなるように、複数のユーザの各々の重みを算出することが好ましい。 The weight calculation unit may calculate the weight of each of the plurality of users such that the weight of the user whose composite image user evaluation value is acquired earlier by the composite image user evaluation value acquisition unit is heavier. preferable.
また、差に応じて個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更した複数の変更条件を記憶する合成条件記憶部と、
合成条件記憶部に記憶された複数の変更条件の中から、差が閾値よりも大きい合成画像評価項目に対応する1つの変更条件を選択する合成条件選択部とを備え、
合成画像作成部は、合成条件選択部によって選択された変更条件に基づいて合成画像を作成し直すことが好ましい。
A combining condition storage unit that stores a plurality of changing conditions obtained by changing at least one of the individual image evaluation condition, the image extracting condition, and the combined image creating condition according to the difference;
A combining condition selecting unit that selects one changing condition corresponding to a combined image evaluation item having a difference greater than the threshold from a plurality of changing conditions stored in the combining condition storage unit;
It is preferable that the composite image creation unit re-creates the composite image based on the change condition selected by the combination condition selection unit.
また、差に応じて個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更した複数の変更条件を記憶する合成条件記憶部を備え、
合成画像作成部は、合成条件記憶部に記憶された複数の変更条件の中から、複数のユーザの各々によって選択された1つの変更条件に基づいて合成画像を作成し直すことが好ましい。
A synthesizing condition storage unit for storing a plurality of changing conditions obtained by changing at least one of the individual image evaluation condition, the image extracting condition, and the synthesized image creating condition according to the difference;
It is preferable that the composite image creation unit re-creates a composite image based on one change condition selected by each of the plurality of users from the plurality of change conditions stored in the synthesis condition storage unit.
また、合成条件変更部は、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを差に応じて変更した2以上の変更条件を作成し、
合成画像作成部は、合成条件変更部によって作成された2以上の変更条件に基づいて2以上の合成画像を作成し直し、
2以上の合成画像に対し、複数のユーザによって選択された2以上の合成画像の各々の数を取得する合成画像選択数取得部と、
2以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部を備えることが好ましい。
The combining condition changing unit creates two or more changing conditions in which at least one of the individual image evaluation condition, the image extraction condition, and the combined image creating condition is changed according to the difference.
The composite image creation unit re-creates two or more composite images based on the two or more change conditions created by the synthesis condition change unit,
A composite image selection number acquisition unit that acquires the number of each of the two or more composite images selected by a plurality of users for two or more composite images;
It is preferable to include a composite image information acquisition unit that acquires information of a selected composite image having the largest number selected by a plurality of users from two or more composite images.
また、合成画像ユーザ評価値演算部は、さらに、複数のユーザからの合成画像ユーザ評価値の標準偏差を演算し、
合成条件変更部は、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを差および標準偏差に応じて変更した2以上の変更条件を作成し、
合成画像作成部は、合成条件変更部によって作成された2以上の変更条件に基づいて2以上の合成画像を作成し直し、
2以上の合成画像に対し、複数のユーザによって選択された2以上の合成画像の各々の数を取得する合成画像選択数取得部と、
2以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部とを備えることが好ましい。
Further, the composite image user evaluation value calculation unit further calculates a standard deviation of the composite image user evaluation values from a plurality of users,
The combining condition changing unit creates two or more changing conditions in which at least one of the individual image evaluation condition, the image extraction condition, and the combined image creating condition is changed according to the difference and the standard deviation,
The composite image creation unit re-creates two or more composite images based on the two or more change conditions created by the synthesis condition change unit,
A composite image selection number acquisition unit that acquires the number of each of the two or more composite images selected by a plurality of users for two or more composite images;
It is preferable that the image processing apparatus further includes a composite image information acquisition unit that acquires information on a selected composite image having the largest number selected by a plurality of users from two or more composite images.
また、本発明は、複数のユーザから複数の画像を取得する画像取得部と、
複数の画像の各々を解析する個別画像解析部と、
各々の画像の解析結果に基づいて、各々の画像を1以上の個別画像評価条件について評価した個別画像評価値を算出する個別画像評価値算出部と、
各々の画像の個別画像評価値に基づいて、複数の画像の中から1以上の画像抽出条件に対応する1以上の画像を抽出する画像抽出部と、
1以上の合成画像作成条件に基づいて、1以上の画像を合成した合成画像を作成する合成画像作成部と、
複数のユーザから、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々を取得する合成画像ユーザ評価値取得部と、
各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の標準偏差を演算する合成画像ユーザ評価値演算部と、
各々の合成画像評価項目について、標準偏差が閾値よりも大きい場合に、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを標準偏差に応じて変更した2以上の変更条件を作成する合成条件変更部と、
合成画像作成部によって2以上の変更条件に基づいて作成し直された2以上の合成画像に対し、複数のユーザによって選択された2以上の合成画像の各々の数を取得する合成画像選択数取得部と、
2以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部を備える、画像処理装置を提供する。
Further, the present invention, an image acquisition unit for acquiring a plurality of images from a plurality of users,
An individual image analysis unit that analyzes each of the plurality of images,
An individual image evaluation value calculation unit that calculates an individual image evaluation value obtained by evaluating each image with respect to one or more individual image evaluation conditions based on an analysis result of each image;
An image extraction unit that extracts one or more images corresponding to one or more image extraction conditions from a plurality of images based on an individual image evaluation value of each image;
A composite image creation unit that creates a composite image obtained by combining one or more images based on one or more composite image creation conditions;
A composite image user evaluation value acquisition unit configured to acquire one or more composite image user evaluation values obtained by evaluating the composite image for each of the one or more composite image evaluation items from a plurality of users;
For each composite image evaluation item, a composite image user evaluation value calculation unit that calculates the standard deviation of the composite image user evaluation values from a plurality of users,
For each composite image evaluation item, when the standard deviation is greater than a threshold, two or more change conditions that change at least one of the individual image evaluation condition, the image extraction condition, and the composite image creation condition according to the standard deviation. A synthesis condition changing unit for creating
Acquisition of the number of selected composite images for obtaining the number of each of the two or more composite images selected by a plurality of users for two or more composite images recreated based on two or more change conditions by the composite image creation unit Department and
Provided is an image processing apparatus including a composite image information acquisition unit that acquires information of a selected composite image having the largest number selected by a plurality of users from two or more composite images.
ここで、合成画像ユーザ評価値取得部は、合成画像において使用されている画像数について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、標準偏差が閾値よりも大きい場合に、合成画像の作成に使用するテンプレートにおける配置画像数を標準偏差に応じて変更し、
合成画像作成部は、合成条件変更部によって配置画像数が変更されたテンプレートを用いて合成画像を作成し直すことが好ましい。
Here, the composite image user evaluation value obtaining unit obtains a composite image user evaluation value obtained by evaluating the composite image for the number of images used in the composite image,
When the standard deviation is larger than the threshold, the combining condition changing unit changes the number of arranged images in the template used to create the combined image according to the standard deviation,
It is preferable that the composite image creating unit re-creates the composite image using the template whose number of arranged images has been changed by the combining condition changing unit.
また、合成画像ユーザ評価値取得部は、合成画像において使用されている人物画像数について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、標準偏差が閾値よりも大きい場合に、複数の画像の中から1以上の画像を抽出する時の人物画像の重みを標準偏差に応じて変更し、
合成画像作成部は、合成条件変更部によって変更された人物画像の重みに応じて複数の画像の中から抽出された1以上の画像を用いて合成画像を作成し直すことが好ましい。
Further, the composite image user evaluation value obtaining unit obtains a composite image user evaluation value obtained by evaluating the composite image for the number of human images used in the composite image,
When the standard deviation is larger than the threshold, the synthesis condition changing unit changes the weight of the human image when extracting one or more images from the plurality of images according to the standard deviation,
It is preferable that the composite image creation unit re-creates a composite image using one or more images extracted from the plurality of images according to the weight of the person image changed by the synthesis condition change unit.
また、合成画像ユーザ評価値取得部は、合成画像の雰囲気について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、標準偏差が閾値よりも大きい場合に、合成画像の作成に使用するテンプレートの背景画像を標準偏差に応じて変更し、
合成画像作成部は、合成条件変更部によって背景画像が変更されたテンプレートを用いて合成画像を作成し直すことが好ましい。
The composite image user evaluation value acquisition unit acquires a composite image user evaluation value that evaluates the composite image for the atmosphere of the composite image,
The synthesis condition changing unit changes the background image of the template used to create the synthesized image according to the standard deviation when the standard deviation is larger than the threshold,
It is preferable that the composite image creation unit re-creates the composite image using the template whose background image has been changed by the synthesis condition changing unit.
また、標準偏差に応じて個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更した複数の変更条件を記憶する合成条件記憶部と、
合成条件記憶部に記憶された複数の変更条件の中から、標準偏差が閾値よりも大きい合成画像評価項目に対応する2以上の変更条件を選択する合成条件選択部とを備え、
合成画像作成部は、合成条件選択部によって選択された変更条件に基づいて合成画像を作成し直すことが好ましい。
A combining condition storage unit that stores a plurality of change conditions obtained by changing at least one of the individual image evaluation condition, the image extraction condition, and the combined image creation condition according to the standard deviation;
A combining condition selecting unit that selects two or more changing conditions corresponding to a combined image evaluation item whose standard deviation is larger than a threshold from a plurality of changing conditions stored in the combining condition storage unit;
It is preferable that the composite image creation unit re-creates the composite image based on the change condition selected by the combination condition selection unit.
また、標準偏差に応じて個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更した複数の変更条件を記憶する合成条件記憶部を備え、
合成画像作成部は、合成条件記憶部に記憶された複数の変更条件の中から複数のユーザの各々によって選択された2以上の変更条件に基づいて合成画像を作成し直すことが好ましい。
A synthesis condition storage unit that stores a plurality of change conditions obtained by changing at least one of the individual image evaluation condition, the image extraction condition, and the synthesized image creation condition according to the standard deviation;
It is preferable that the composite image creation unit recreates a composite image based on two or more change conditions selected by each of the plurality of users from the plurality of change conditions stored in the synthesis condition storage unit.
また、各々の画像の解析結果に基づいて、各々の画像に写っている人物以外のオブジェクトを検出し、複数の画像に写っているオブジェクトのリストを作成するオブジェクト検出部と、
オブジェクトのリストの中から複数のユーザによって選択された各々のオブジェクトの数を取得するオブジェクト数取得部とを備え、
合成条件変更部は、さらに、オブジェクトのリストの中から複数のユーザによって選択された各々のオブジェクトの数に応じて、複数の画像の中から1以上の画像を抽出する時の各々のオブジェクトが写っている画像の重みを変更し、
合成画像作成部は、合成条件変更部によって変更されたオブジェクトの重みに応じて複数の画像の中から抽出された1以上の画像を用いて合成画像を作成し直すことが好ましい。
Also, based on the analysis results of each image, an object detection unit that detects objects other than the person appearing in each image, and creates a list of objects that appear in a plurality of images,
An object number acquisition unit that acquires the number of each object selected by a plurality of users from a list of objects,
The synthesizing condition changing unit further includes an object for extracting one or more images from the plurality of images according to the number of each object selected by the plurality of users from the list of objects. Change the weight of the image
It is preferable that the composite image creation unit recreates a composite image using one or more images extracted from the plurality of images according to the weight of the object changed by the synthesis condition change unit.
また、1以上の合成画像評価項目を記憶する合成画像評価項目記憶部を備え、
合成画像ユーザ評価値取得部は、合成画像評価項目記憶部に記憶された1以上の合成画像評価項目の各々について合成画像を評価した合成画像ユーザ評価値を取得することが好ましい。
A composite image evaluation item storage unit that stores one or more composite image evaluation items;
It is preferable that the composite image user evaluation value obtaining unit obtains a composite image user evaluation value obtained by evaluating the composite image for each of one or more composite image evaluation items stored in the composite image evaluation item storage unit.
また、1以上の合成画像評価項目を記憶する合成画像評価項目記憶部を備え、
合成画像ユーザ評価値取得部は、合成画像評価項目記憶部に記憶された1以上の合成画像評価項目の中から複数のユーザの各々によって選択された合成画像評価項目について合成画像を評価した合成画像ユーザ評価値を取得することが好ましい。
A composite image evaluation item storage unit that stores one or more composite image evaluation items;
The composite image user evaluation value acquisition unit is configured to evaluate the composite image for the composite image evaluation item selected by each of the plurality of users from one or more composite image evaluation items stored in the composite image evaluation item storage unit. Preferably, a user evaluation value is obtained.
また、合成画像評価値算出部は、合成画像解析評価値が閾値を超えている場合に、閾値を超えている合成画像評価項目について合成画像を評価することを、複数のユーザのうちの少なくとも一人のユーザにリコメンドすることが好ましい。 In addition, when the composite image analysis evaluation value exceeds the threshold, the composite image evaluation value calculation unit evaluates the composite image for the composite image evaluation item exceeding the threshold by at least one of the plurality of users. It is preferable to recommend to users.
また、各々の画像の個別画像評価値に基づいて、1以上のオブジェクトの中から、合成画像における登場回数が閾値よりも大きいオブジェクトについての合成画像評価項目を作成する合成画像評価項目作成部を備え、
合成画像ユーザ評価値取得部は、合成画像評価項目作成部によって作成された合成画像評価項目について合成画像を評価した合成画像ユーザ評価値を取得することが好ましい。
The image processing apparatus further includes a composite image evaluation item creating unit that creates a composite image evaluation item for an object whose appearance frequency in the composite image is greater than a threshold from one or more objects based on the individual image evaluation value of each image. ,
The composite image user evaluation value acquisition unit preferably acquires a composite image user evaluation value obtained by evaluating the composite image for the composite image evaluation item created by the composite image evaluation item creation unit.
また、選択合成画像の情報を記憶する合成画像情報記憶部を備え、
合成条件変更部は、合成画像情報記憶部に記憶された選択合成画像の情報に基づいて、複数のユーザによる合成画像の選択の傾向に合致するように、次の合成画像の作成に用いられる個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更することが好ましい。
A composite image information storage unit that stores information on the selected composite image;
The combining condition changing unit is configured to use the individual combined image information stored in the combined image information storage unit so as to match the tendency of a plurality of users to select a combined image to be used for creating the next combined image. It is preferable to change at least one of the image evaluation condition, the image extraction condition, and the composite image creation condition.
また、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の平均を記憶する合成画像ユーザ評価値記憶部を備え、
合成画像作成部は、各々の合成画像評価項目について、合成画像解析評価値が合成画像ユーザ評価値記憶部に記憶された複数のユーザからの合成画像ユーザ評価値の平均に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つの値が決定された条件で次の合成画像を作成することが好ましい。
In addition, for each composite image evaluation item, a composite image user evaluation value storage unit that stores an average of composite image user evaluation values from a plurality of users,
The composite image creation unit is configured to generate, for each composite image evaluation item, an individual image so that the composite image analysis evaluation value approaches the average of the composite image user evaluation values from a plurality of users stored in the composite image user evaluation value storage unit. It is preferable to create the next composite image under the condition that at least one of the evaluation condition, the image extraction condition, and the composite image creation condition is determined.
また、本発明は、画像取得部が、複数のユーザから複数の画像を取得するステップと、
個別画像解析部が、複数の画像の各々を解析するステップと、
個別画像評価値算出部が、各々の画像の解析結果に基づいて、各々の画像を1以上の個別画像評価条件について評価した個別画像評価値を算出するステップと、
画像抽出部が、各々の画像の個別画像評価値に基づいて、複数の画像の中から1以上の画像抽出条件に対応する1以上の画像を抽出するステップと、
合成画像作成部が、1以上の合成画像作成条件に基づいて、1以上の画像を合成した合成画像を作成するステップと、
合成画像解析部が、合成画像を解析するステップと、
合成画像評価値算出部が、合成画像の解析結果に基づいて、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像解析評価値の各々を算出するステップと、
合成画像ユーザ評価値取得部が、複数のユーザから、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々を取得するステップと、
合成画像ユーザ評価値演算部が、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算するステップと、
合成条件変更部が、各々の合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを差に応じて変更した変更条件を作成するステップと、
合成画像作成部が、変更条件を作成するステップによって作成された変更条件に基づいて合成画像を作成し直すステップとを含む、画像処理方法を提供する。
Further, according to the present invention, the image acquisition unit acquires a plurality of images from a plurality of users,
An individual image analysis unit for analyzing each of the plurality of images;
An individual image evaluation value calculating unit that calculates an individual image evaluation value that evaluates each image with respect to one or more individual image evaluation conditions based on an analysis result of each image;
An image extracting unit for extracting one or more images corresponding to one or more image extraction conditions from the plurality of images based on an individual image evaluation value of each image;
A step in which the combined image creating unit creates a combined image obtained by combining one or more images based on one or more combined image creation conditions;
A composite image analysis unit for analyzing the composite image;
A step in which the composite image evaluation value calculation unit calculates each of one or more composite image analysis evaluation values obtained by evaluating the composite image for each of the one or more composite image evaluation items based on the analysis result of the composite image;
A step in which the synthesized image user evaluation value obtaining unit obtains, from the plurality of users, each of one or more synthesized image user evaluation values obtained by evaluating the synthesized image for each of the one or more synthesized image evaluation items;
A step of calculating a combined image user evaluation value based on the combined image user evaluation values from a plurality of users, for each combined image evaluation item,
When the difference between the composite image user evaluation total value and the composite image analysis evaluation value is greater than the threshold for each composite image evaluation item, the composite condition changing unit sets the composite image analysis evaluation value to the composite image user evaluation total value. Creating a change condition in which at least one of the individual image evaluation condition, the image extraction condition, and the composite image creation condition is changed according to the difference,
A step of re-creating a composite image based on the change condition created by the step of creating the change condition.
また、本発明は、画像取得部が、複数のユーザから複数の画像を取得するステップと、
個別画像解析部が、複数の画像の各々を解析するステップと、
個別画像評価値算出部が、各々の画像の解析結果に基づいて、各々の画像を1以上の個別画像評価条件について評価した個別画像評価値を算出するステップと、
画像抽出部が、各々の画像の個別画像評価値に基づいて、複数の画像の中から1以上の画像抽出条件に対応する1以上の画像を抽出するステップと、
合成画像作成部が、1以上の合成画像作成条件に基づいて、1以上の画像を合成した合成画像を作成するステップと、
合成画像ユーザ評価値取得部が、複数のユーザから、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々を取得するステップと、
合成画像ユーザ評価値演算部が、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の標準偏差を演算するステップと、
各々の合成画像評価項目について、標準偏差が閾値よりも大きい場合に、合成条件変更部が、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを標準偏差に応じて変更した2以上の変更条件を作成するステップと、
合成画像選択数取得部が、合成画像を作成するステップによって2以上の変更条件に基づいて作成し直された2以上の合成画像に対し、複数のユーザによって選択された2以上の合成画像の各々の数を取得するステップと、
合成画像情報取得部が、2以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報を取得するステップとを含む、画像処理方法を提供する。
Further, according to the present invention, the image acquisition unit acquires a plurality of images from a plurality of users,
An individual image analysis unit for analyzing each of the plurality of images;
An individual image evaluation value calculating unit that calculates an individual image evaluation value that evaluates each image with respect to one or more individual image evaluation conditions based on an analysis result of each image;
An image extracting unit for extracting one or more images corresponding to one or more image extraction conditions from the plurality of images based on an individual image evaluation value of each image;
A step in which the combined image creating unit creates a combined image obtained by combining one or more images based on one or more combined image creation conditions;
A step in which the synthesized image user evaluation value obtaining unit obtains, from the plurality of users, each of one or more synthesized image user evaluation values obtained by evaluating the synthesized image for each of the one or more synthesized image evaluation items;
A step of calculating a standard deviation of a composite image user evaluation value from a plurality of users for each composite image evaluation item,
For each composite image evaluation item, when the standard deviation is larger than the threshold, the composition condition changing unit changes at least one of the individual image evaluation condition, the image extraction condition, and the composite image creation condition according to the standard deviation. Creating two or more change conditions,
Each of the two or more composite images selected by the plurality of users is compared with the two or more composite images recreated based on the two or more change conditions by the composite image selection number acquiring unit in the step of creating the composite image. Obtaining the number of
A step of acquiring information on a selected composite image selected by a plurality of users from two or more composite images, the number being the largest among the two or more composite images.
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。 Further, the present invention provides a program for causing a computer to execute each step of the image processing method described above.
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。 The present invention also provides a computer-readable recording medium on which a program for causing a computer to execute each step of the image processing method described above is recorded.
本発明においては、複数のユーザから取得された複数の画像を用いて作成された合成画像のレイアウトを複数のユーザが直接編集するのではなく、合成画像解析評価値を算出し、かつ各々のユーザから合成画像ユーザ評価値を取得して合成画像ユーザ評価総合値を演算し、合成画像ユーザ評価総合値と合成画像解析評価値との差に基づいて合成画像を作成し直す。 In the present invention, instead of a plurality of users directly editing a layout of a composite image created using a plurality of images obtained from a plurality of users, a composite image analysis evaluation value is calculated, and each user , The composite image user evaluation value is obtained from the data, the composite image user evaluation total value is calculated, and the composite image is re-created based on the difference between the composite image user evaluation total value and the composite image analysis evaluation value.
このように、本発明によれば、複数のユーザが合成画像のレイアウトを直接編集しないため、ユーザ数が増えた場合であっても、合成画像を作成し直す、つまり、合成画像のレイアウトを編集することができる。また、ユーザではなく画像処理装置が合成画像を作成し直すため、幹事のユーザに大きな負担をかけることなく、大多数のユーザが平均的に納得できる合成画像を作成することができる。 As described above, according to the present invention, since the plurality of users do not directly edit the layout of the composite image, even when the number of users increases, the composite image is re-created, that is, the layout of the composite image is edited. can do. Further, since the image processing apparatus, not the user, re-creates the composite image, it is possible to create a composite image that can be satisfied by the majority of users on average without putting a large burden on the secretary user.
また、本発明においては、各々のユーザから合成画像ユーザ評価値を取得し、複数のユーザからの合成画像ユーザ評価総合値の標準偏差を算出し、標準偏差に基づいて2以上の合成画像を作成し直す。そして、2以上の合成画像の中から複数のユーザによって選択された数が最も多い合成画像である選択合成画像の情報を取得し、2以上の合成画像の中から選択合成画像を採用する。 Further, in the present invention, a composite image user evaluation value is obtained from each user, a standard deviation of a composite image user evaluation total value from a plurality of users is calculated, and two or more composite images are created based on the standard deviation. Do it again. Then, information on a selected combined image that is the largest number of combined images selected by a plurality of users from the two or more combined images is acquired, and the selected combined image is adopted from the two or more combined images.
このように、標準偏差に基づいて合成画像を作成し直すことにより、本発明によれば、複数のユーザからの合成画像ユーザ評価値の分布がばらついている場合であっても、大多数のユーザが平均的に納得できる合成画像を作成することができる。 As described above, by re-creating the composite image based on the standard deviation, according to the present invention, even if the distribution of the composite image user evaluation values from a plurality of users varies, a large number of users Can generate a composite image that can be satisfied on average.
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。 Hereinafter, an image processing apparatus, an image processing method, a program, and a recording medium of the present invention will be described in detail based on preferred embodiments shown in the accompanying drawings.
図1は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。図1に示す画像処理装置10は、サーバ12と、ネットワーク16を介してサーバ12に接続された複数のユーザの端末装置(クライアント)14とを備えている。画像処理装置10は、複数のユーザの各々の端末装置14からネットワーク16を介して取得された複数のユーザの複数の画像を用いてフォトアルバム等の合成画像を作成する。 FIG. 1 is a block diagram of an embodiment showing a configuration of an image processing apparatus according to the present invention. The image processing apparatus 10 shown in FIG. 1 includes a server 12 and terminal devices (clients) 14 of a plurality of users connected to the server 12 via a network 16. The image processing device 10 creates a composite image such as a photo album by using a plurality of images of a plurality of users obtained from the terminal device 14 of each of the plurality of users via the network 16.
サーバ12は、端末装置14からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC(Personal Computer:パーソナルコンピュータ)またはワークステーション等により構成される。 The server 12 performs various data processing for creating a composite image based on an instruction from the terminal device 14, and is configured by, for example, a desktop PC (Personal Computer) or a workstation. .
端末装置14は、サーバ12に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPCまたはノートPC等により構成される。 The terminal device 14 gives various instructions to the server 12 to perform various data processing, and is configured by, for example, a smartphone, a tablet PC, a notebook PC, or the like.
ネットワーク16は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ12と端末装置14との間を相互に接続し、双方向の通信が可能である。 The network 16 is, for example, a telephone line or an Internet line, and interconnects the server 12 and the terminal device 14 by wire or wirelessly, and is capable of two-way communication.
図2は、図1に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ12は、画像取得部18と、個別画像解析部20と、個別画像評価値算出部22と、画像抽出部24と、合成画像作成部26と、合成画像解析部28と、合成画像評価値算出部30と、合成画像ユーザ評価値取得部32と、合成画像ユーザ評価値演算部34と、合成条件変更部36と、個人情報取得部38と、重み算出部40と、合成条件記憶部42と、合成条件選択部44と、合成画像選択数取得部46と、合成画像情報取得部48と、合成画像情報記憶部50と、オブジェクト検出部52と、オブジェクト数取得部54と、合成画像評価項目記憶部56と、合成画像評価項目作成部58と、合成画像ユーザ評価値記憶部59とを備えている。 FIG. 2 is a block diagram of one embodiment showing the configuration of the server shown in FIG. The server 12 shown in the figure includes an image acquisition unit 18, an individual image analysis unit 20, an individual image evaluation value calculation unit 22, an image extraction unit 24, a composite image creation unit 26, a composite image analysis unit 28, A combined image evaluation value calculation unit 30, a combined image user evaluation value acquisition unit 32, a combined image user evaluation value calculation unit 34, a combination condition change unit 36, a personal information acquisition unit 38, a weight calculation unit 40, The condition storage unit 42, the combination condition selection unit 44, the combination image selection number acquisition unit 46, the combination image information acquisition unit 48, the combination image information storage unit 50, the object detection unit 52, and the object number acquisition unit 54 , A composite image evaluation item storage unit 56, a composite image evaluation item creation unit 58, and a composite image user evaluation value storage unit 59.
サーバ12において、画像取得部18は、複数のユーザの端末装置14から、ネットワーク16を介して、複数の画像を取得する。 In the server 12, the image acquisition unit 18 acquires a plurality of images from the terminal devices 14 of a plurality of users via the network 16.
続いて、個別画像解析部20は、画像取得部18によって取得された複数の画像の各々を解析する。 Subsequently, the individual image analysis unit 20 analyzes each of the plurality of images acquired by the image acquisition unit 18.
個別画像解析部20は、例えば、画像の明るさ、色合い、ボケおよびブレの程度等の画質の解析、画像のサイズの解析の他、Exif(Exchangeable Image File Format:エクスチェンジャブル・イメージ・ファイル・フォーマット)などの画像の付帯情報に含まれる撮影日時、撮影場所等の解析、画像に写っている人物および人物以外のオブジェクトの解析、画像に写っている人物の顔認識、主人公および重要人物の特定、画像のシーンの解析等を行う。 The individual image analysis unit 20 analyzes, for example, image quality such as image brightness, color tone, blur and blur, and image size analysis, as well as Exif (Exchangeable Image File Format). Format), analysis of the shooting date and time, shooting location, etc. included in the supplementary information of the image, analysis of the person and other objects in the image, face recognition of the person in the image, identification of the hero and important persons And analysis of image scenes.
続いて、個別画像評価値算出部22は、個別画像解析部20による各々の画像の解析結果に基づいて、各々の画像を1以上の個別画像評価条件について評価した個別画像評価値を算出する。 Subsequently, the individual image evaluation value calculation unit 22 calculates an individual image evaluation value that evaluates each image under one or more individual image evaluation conditions based on the analysis result of each image by the individual image analysis unit 20.
個別画像評価条件は、各々の画像を評価するための条件であり、画像の画質、つまり、画像の明るさ、色合い、ボケおよびブレの程度等である。個別画像評価値算出部22は、例えば、画像のボケおよびブレの程度の解析結果に基づいて、合成画像を画像のボケおよびブレの程度について評価した個別画像評価値を算出する。例えば、画像のボケおよびブレの程度が小さいほど、画像のボケおよびブレの程度の個別画像評価値がより高くなるように算出する。 The individual image evaluation conditions are conditions for evaluating each image, and include the image quality of the image, that is, the brightness, hue, blur, blur degree of the image, and the like. The individual image evaluation value calculation unit 22 calculates, for example, an individual image evaluation value obtained by evaluating the combined image for the degree of blur and blur of the image based on the analysis result of the degree of blur and blur of the image. For example, the calculation is performed such that the smaller the degree of blur and blur of the image, the higher the individual image evaluation value of the degree of blur and blur of the image.
続いて、画像抽出部24は、個別画像評価値算出部22によって算出された各々の画像の個別画像評価値に基づいて、複数の画像の中から1以上の画像抽出条件に対応する1以上の画像を抽出する。なお、複数の画像の全てを抽出することも画像抽出に含まれる。 Subsequently, based on the individual image evaluation value of each image calculated by the individual image evaluation value calculation unit 22, the image extraction unit 24 selects one or more images corresponding to one or more image extraction conditions from the plurality of images. Extract the image. Note that extracting all of the plurality of images is also included in the image extraction.
画像抽出条件は、複数の画像の中から1以上の画像を抽出するための条件であり、画像の画質、つまり、画像の明るさ、色合い、ボケおよびブレの程度等である。画像抽出部24は、例えば、画像のボケおよびブレの程度の個別画像評価値に基づいて、複数の画像の中から、ボケおよびブレの程度の個別画像評価値が閾値よりも高い1以上の画像を抽出する。 The image extraction condition is a condition for extracting one or more images from a plurality of images, and includes image quality, that is, brightness, hue, degree of blur and blur of the image, and the like. The image extracting unit 24 may, for example, select one or more images from among a plurality of images whose individual image evaluation values of the degree of blur and blur are higher than the threshold based on the individual image evaluation values of the degree of blur and blur of the image. Is extracted.
続いて、合成画像作成部26は、1以上の合成画像作成条件に基づいて、画像抽出部24によって抽出された1以上の画像を合成した合成画像を作成する。
また、合成画像作成部26は、後述する合成条件変更部36によって作成された変更条件、および、合成条件選択部44によって選択された変更条件のうちの少なくとも一方に基づいて合成画像を作成し直す。
Subsequently, the composite image creation unit 26 creates a composite image in which one or more images extracted by the image extraction unit 24 are combined based on one or more composite image creation conditions.
Further, the composite image creation unit 26 re-creates a composite image based on at least one of a change condition created by a synthesis condition change unit 36 described later and a change condition selected by the synthesis condition selection unit 44. .
合成画像作成条件は、合成画像を作成するための条件であり、例えば、合成画像において使用する画像数、合成画像において使用する人物画像数、合成画像において使用する画像に写っている人物以外のオブジェクト、および、合成画像において使用するテンプレート等である。 The composite image creation condition is a condition for creating a composite image, and includes, for example, the number of images used in the composite image, the number of person images used in the composite image, and objects other than the person appearing in the image used in the composite image. , And a template used in the composite image.
テンプレートは、合成画像において使用する画像数、画像の配置位置、背景画像等があらかじめ決定されたものである。例えば、5枚の画像を用いて合成画像を作成する場合、5枚の画像を、テンプレートのあらかじめ決定された位置に配置することにより合成画像を作成することができる。また、テンプレートの背景画像を変更することによって、合成画像の雰囲気を変えることができる。 In the template, the number of images used in the composite image, the arrangement position of the images, the background image, and the like are determined in advance. For example, when a composite image is created using five images, the composite image can be created by arranging the five images at predetermined positions of the template. Also, by changing the background image of the template, the atmosphere of the composite image can be changed.
合成画像作成部26は、例えば、1以上の画像をテンプレートに配置して合成した合成画像、および、1枚の画像を合成した画像付きポストカード等を作成する。また、合成画像作成部26は、画像だけでなく、スタンプおよびユーザのコメント等を合成した合成画像を作成することができる。 The composite image creating unit 26 creates, for example, a composite image obtained by arranging one or more images in a template, and a postcard with an image obtained by combining one image. Further, the composite image creation unit 26 can create a composite image in which not only an image but also a stamp, a user comment, and the like are combined.
続いて、合成画像解析部28は、合成画像作成部26によって作成された合成画像を解析する。 Subsequently, the composite image analysis unit 28 analyzes the composite image created by the composite image creation unit 26.
合成画像解析部28は、例えば、合成画像において使用されている画像数、合成画像において使用されている人物画像数、合成画像において使用されている画像に写っている人物以外のオブジェクト、および、合成画像の雰囲気等を解析する。
また、合成画像の雰囲気としては、例えば、雰囲気が明るいか暗いか、あるいは、雰囲気がポップかシックな等のように、様々な雰囲気を想定することができる。
The composite image analysis unit 28 includes, for example, the number of images used in the composite image, the number of person images used in the composite image, objects other than the person appearing in the image used in the composite image, and the composite Analyze the atmosphere of the image.
Further, as the atmosphere of the composite image, various atmospheres can be assumed, for example, whether the atmosphere is bright or dark, or the atmosphere is pop or chic.
続いて、合成画像評価値算出部30は、合成画像解析部28による合成画像の解析結果に基づいて、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像解析評価値の各々を算出する。 Subsequently, the composite image evaluation value calculation unit 30 evaluates the composite image for one or more composite image evaluation items based on the analysis result of the composite image by the composite image analysis unit 28. Is calculated.
合成画像評価項目は、例えば、合成画像において使用されている画像数、合成画像において使用されている人物画像数、合成画像の雰囲気、および、合成画像において使用されている画像に写っている人物以外のオブジェクトの種類等である。
例えば、合成画像評価項目が、合成画像において使用されている画像数であり、かつ合成画像の画像解析の結果、合成画像において使用されている画像数が5枚であった場合、5枚に対応する合成画像解析評価値が算出される。
The composite image evaluation items include, for example, the number of images used in the composite image, the number of person images used in the composite image, the atmosphere of the composite image, and a person other than the person appearing in the image used in the composite image. And the like of the object.
For example, if the composite image evaluation item is the number of images used in the composite image, and the result of image analysis of the composite image indicates that the number of images used in the composite image is 5, this corresponds to 5 images. Is calculated.
続いて、合成画像ユーザ評価値取得部32は、複数のユーザの端末装置14から、ネットワーク16を介して、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々を取得する。 Subsequently, the composite image user evaluation value acquisition unit 32 evaluates the composite image for each of the one or more composite image evaluation items from the plurality of user terminal devices 14 via the network 16. Get each of the values.
例えば、合成画像評価項目が、合成画像において使用されている画像数である場合、ユーザは、「少な過ぎ」なのか、「少ない」のか、「ちょうどよい」のか、「多い」のか、または、「多過ぎ」なのかを評価する。なお、評価は2段階以上であればよい。
合成画像において使用されている画像数の合成画像解析評価値が5枚であり、かつ画像数が多いと評価された場合、画像数が多いに対応する合成画像ユーザ評価値が取得される。
For example, when the composite image evaluation item is the number of images used in the composite image, the user can select “too little”, “small”, “just right”, “large”, or “ To evaluate if it is too much. The evaluation may be at least two stages.
When the composite image analysis evaluation value of the number of images used in the composite image is five and it is evaluated that the number of images is large, a composite image user evaluation value corresponding to the large number of images is obtained.
続いて、合成画像ユーザ評価値演算部34は、各々の合成画像評価項目について、合成画像ユーザ評価値取得部32によって取得された複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算する。
また、合成画像ユーザ評価値演算部34は、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の標準偏差を演算する。
Subsequently, the composite image user evaluation value calculation unit 34 calculates a composite image user evaluation value for each composite image evaluation item based on the composite image user evaluation values from a plurality of users acquired by the composite image user evaluation value acquisition unit 32. Calculate the total value.
The composite image user evaluation value calculation unit 34 calculates the standard deviation of the composite image user evaluation values from a plurality of users for each composite image evaluation item.
合成画像ユーザ評価総合値は、複数のユーザからの合成画像ユーザ評価値の総合値であり、例えば、複数のユーザからの合成画像ユーザ評価値の和、平均または積である。また、合成画像ユーザ評価総合値は、後述する重み算出部40によって算出される各々のユーザの重みに応じて重み付けされた複数のユーザからの合成画像ユーザ評価値の和、平均または積でもよい。 The composite image user evaluation total value is a total value of composite image user evaluation values from a plurality of users, and is, for example, a sum, an average, or a product of composite image user evaluation values from a plurality of users. The composite image user evaluation total value may be the sum, average, or product of composite image user evaluation values from a plurality of users weighted according to the weight of each user calculated by the weight calculation unit 40 described later.
続いて、合成条件変更部36は、各々の合成画像評価項目について、合成画像ユーザ評価値演算部34によって演算された合成画像ユーザ評価総合値と、合成画像評価値算出部30によって算出された合成画像解析評価値との差が閾値(閾値が0の場合を含む)よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを、合成画像ユーザ評価総合値と合成画像解析評価値との差に応じて変更した変更条件を作成する。 Subsequently, the synthesizing condition changing unit 36 calculates the synthesized image user evaluation total value calculated by the synthesized image user evaluation value calculating unit 34 and the synthesized image calculated by the synthesized image evaluation value calculating unit 30 for each synthesized image evaluation item. When the difference from the image analysis evaluation value is larger than a threshold value (including the case where the threshold value is 0), the individual image evaluation condition, the image extraction condition, and the A change condition is created by changing at least one of the synthetic image creation conditions according to a difference between the synthetic image user evaluation total value and the synthetic image analysis evaluation value.
また、合成条件変更部36は、各々の合成画像評価項目について、合成画像ユーザ評価値演算部34によって演算された標準偏差が閾値よりも大きい場合に、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを標準偏差に応じて変更した2以上の変更条件を作成する。 When the standard deviation calculated by the synthesized image user evaluation value calculation unit 34 is larger than the threshold for each synthesized image evaluation item, the synthesis condition changing unit 36 sets the individual image evaluation condition, the image extraction condition, and the synthesized image At least one of the creation conditions is changed according to the standard deviation, and two or more change conditions are created.
合成条件変更部36によって作成された変更条件は、合成画像作成部26が合成画像を作成し直す場合に使用される。 The change condition created by the combining condition changing unit 36 is used when the combined image creating unit 26 creates a combined image again.
続いて、個人情報取得部38は、複数のユーザの各々の端末装置14から、ネットワーク16を介して、各々のユーザの個人情報を取得する。 Subsequently, the personal information acquisition unit 38 acquires personal information of each user from the terminal device 14 of each of the plurality of users via the network 16.
個人情報は、例えば、ユーザの氏名、年齢、顔画像、趣味等の情報を含む、各々のユーザの個人的な情報であり、後述する重み算出部40が各々のユーザの重みを算出する際に使用される。
個人情報取得部38は、個人情報として、例えば、画像取得部18が各々の画像を取得した端末装置14のユーザのSNS(Social Networking Service:ソーシャルネットワークシステム)における登録情報を取得してもよい。
The personal information is, for example, personal information of each user including information such as the name, age, face image, and hobby of the user. When the weight calculating unit 40 described later calculates the weight of each user, used.
The personal information acquisition unit 38 may acquire, for example, registration information in the SNS (Social Networking Service: social network system) of the user of the terminal device 14 from which the image acquisition unit 18 has acquired each image as the personal information.
続いて、重み算出部40は、複数のユーザの各々の重みを算出する。 Subsequently, the weight calculator 40 calculates the weight of each of the plurality of users.
重み算出部40は、例えば、個人情報取得部38によって取得された各々のユーザの個人情報に基づいて、複数のユーザの各々の重みを算出することができる。例えば、個人情報に基づいて、ユーザAの趣味が写真であり、ユーザBの趣味が写真ではない場合、つまり、ユーザAはユーザBよりも写真について詳しい知識を持っていると考えられる場合、ユーザAの重みをユーザBの重みよりも重くする。 The weight calculation unit 40 can calculate the weight of each of the plurality of users based on the personal information of each user acquired by the personal information acquisition unit 38, for example. For example, based on personal information, if the hobby of user A is a photograph and the hobby of user B is not a photo, that is, if user A is considered to have more detailed knowledge of a photo than user B, The weight of A is made heavier than the weight of user B.
また、重み算出部40は、画像取得部18によってより多くの画像が取得されたユーザの重みがより重くなるように、複数のユーザの各々の重みを算出することができる。
また、重み算出部40は、合成画像ユーザ評価値取得部32によってより早いタイミングで合成画像ユーザ評価値が取得されたユーザの重みがより重くなるように、複数のユーザの各々の重みを算出することができる。
In addition, the weight calculation unit 40 can calculate the weight of each of the plurality of users such that the weight of the user from which more images have been obtained by the image obtaining unit 18 becomes heavier.
Further, the weight calculation unit 40 calculates the weight of each of the plurality of users such that the weight of the user whose composite image user evaluation value is acquired at an earlier timing by the composite image user evaluation value acquisition unit 32 becomes heavier. be able to.
各々のユーザの重みは、前述のように、合成画像ユーザ評価総合値として、各々のユーザの重みに応じて重み付けされた複数のユーザからの合成画像評価値の和、平均または積を算出する場合に使用される。 As described above, when calculating the sum, average, or product of the composite image evaluation values from a plurality of users weighted according to the weight of each user as the composite image user evaluation total value, as described above. Used for
続いて、合成条件記憶部42は、合成画像ユーザ評価総合値と合成画像解析評価値との差に応じて、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更した複数の変更条件を記憶する。
また、合成条件記憶部42は、標準偏差に応じて、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更した複数の変更条件を記憶する。
Subsequently, the combination condition storage unit 42 changes at least one of the individual image evaluation condition, the image extraction condition, and the combination image creation condition according to the difference between the combined image user evaluation total value and the combined image analysis evaluation value. The plurality of changed conditions are stored.
Further, the synthesis condition storage unit 42 stores a plurality of change conditions in which at least one of the individual image evaluation condition, the image extraction condition, and the synthesized image creation condition is changed according to the standard deviation.
合成条件記憶部42に記憶された変更条件は、合成画像作成部26が、合成画像を作成し直す場合の条件として使用される。 The change condition stored in the combination condition storage unit 42 is used as a condition when the combined image creation unit 26 creates a combined image again.
続いて、合成条件選択部44は、合成条件記憶部42に記憶された複数の変更条件の中から、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい合成画像評価項目に対応する1つの変更条件を選択する。
また、合成条件選択部44は、合成条件記憶部42に記憶された複数の変更条件の中から、標準偏差が閾値よりも大きい合成画像評価項目に対応する2以上の変更条件を選択する。
Subsequently, the synthesizing condition selecting unit 44 selects, from the plurality of changing conditions stored in the synthesizing condition storage unit 42, the synthesized image evaluation result in which the difference between the synthesized image user evaluation total value and the synthesized image analysis evaluation value is larger than the threshold. Select one change condition corresponding to the item.
In addition, the combining condition selecting unit 44 selects two or more changing conditions corresponding to the combined image evaluation items whose standard deviation is larger than the threshold from the plurality of changing conditions stored in the combining condition storage unit 42.
合成条件選択部44によって選択された変更条件は、合成画像作成部26が、合成画像を作成し直す場合に使用される。 The change condition selected by the combination condition selection unit 44 is used when the combined image creation unit 26 creates a combined image again.
続いて、合成画像選択数取得部46は、合成画像作成部26によって2以上の変更条件に基づいて作成し直された2以上の合成画像に対し、各々のユーザによって選択された合成画像の情報に基づいて、複数のユーザによって選択された2以上の合成画像の各々の数を取得する。 Subsequently, the composite image selection number acquiring unit 46 outputs information on the composite image selected by each user to the two or more composite images recreated based on the two or more change conditions by the composite image creation unit 26. , The number of each of two or more composite images selected by a plurality of users is obtained.
続いて、合成画像情報取得部48は、合成画像選択数取得部46によって取得された、複数のユーザによって選択された2以上の合成画像の各々の数に基づいて、合成画像作成部26によって2以上の変更条件に基づいて作成し直された2以上の合成画像の中から複数のユーザによって選択された数が最も多い合成画像である選択合成画像の情報を取得する。 Subsequently, based on the number of each of the two or more synthesized images selected by the plurality of users, the synthesized image information obtaining unit 48 obtains 2 The information of the selected composite image that is the composite image selected by the plurality of users from the two or more composite images recreated based on the above change conditions is acquired.
続いて、合成画像情報記憶部50は、合成画像情報取得部48によって取得された選択合成画像の情報を記憶する。 Subsequently, the composite image information storage unit 50 stores the information of the selected composite image acquired by the composite image information acquisition unit 48.
合成画像情報記憶部50に記憶された選択合成画像の情報は、合成条件変更部36が、複数のユーザによる合成画像の選択の傾向に合致するように、次の合成画像の作成に用いられる個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更するために使用される。 The information of the selected synthesized image stored in the synthesized image information storage unit 50 is used by the synthesizing condition changing unit 36 to generate the individual synthesized image used for creating the next synthesized image so as to match the tendency of a plurality of users to select the synthesized image. It is used to change at least one of the image evaluation condition, the image extraction condition, and the composite image creation condition.
続いて、オブジェクト検出部52は、各々の画像の解析結果に基づいて、各々の画像に写っている人物以外のオブジェクトを検出し、複数の画像に写っているオブジェクトのリストを作成する。 Subsequently, based on the analysis result of each image, the object detection unit 52 detects objects other than the person appearing in each image, and creates a list of objects appearing in a plurality of images.
続いて、オブジェクト数取得部54は、オブジェクト検出部52によって作成されたオブジェクトのリストの中から、各々のユーザによって選択されたオブジェクトの情報に基づいて、複数のユーザによって選択された各々のオブジェクトの数を取得する。 Subsequently, the object number acquiring unit 54 determines, for each object selected by a plurality of users, from the list of objects created by the object detecting unit 52, based on information on the object selected by each user. Get the number.
オブジェクト数取得部54によって取得されたオブジェクトの数は、合成条件変更部36が、複数の画像の中から1以上の画像を抽出する時の各々のオブジェクトが写っている画像の重みを変更する際に使用される。 The number of objects acquired by the number-of-objects acquiring unit 54 is determined by the combination condition changing unit 36 when changing the weight of an image in which each object appears when extracting one or more images from a plurality of images. Used for
続いて、合成画像評価項目記憶部56は、1以上の合成画像評価項目を記憶する。 Subsequently, the composite image evaluation item storage unit 56 stores one or more composite image evaluation items.
合成画像評価項目記憶部56に記憶された1以上の合成画像評価項目は、合成画像ユーザ評価値取得部32が、合成画像ユーザ評価値を取得する場合の合成画像評価項目として使用される。 One or more composite image evaluation items stored in the composite image evaluation item storage unit 56 are used as composite image evaluation items when the composite image user evaluation value acquisition unit 32 acquires a composite image user evaluation value.
続いて、合成画像評価項目作成部58は、各々の画像の個別画像評価値に基づいて、1以上のオブジェクトの中から、合成画像における登場回数が閾値よりも大きいオブジェクトについての合成画像評価項目を作成する。 Subsequently, based on the individual image evaluation value of each image, the composite image evaluation item creation unit 58 selects, from the one or more objects, a composite image evaluation item for an object whose appearance frequency in the composite image is greater than the threshold. create.
合成画像評価項目作成部58によって作成された合成画像評価項目は、合成画像ユーザ評価値取得部32が、合成画像ユーザ評価値を取得する場合の合成画像評価項目として使用される。 The composite image evaluation item created by the composite image evaluation item creation unit 58 is used as a composite image evaluation item when the composite image user evaluation value acquisition unit 32 acquires a composite image user evaluation value.
最後に、合成画像ユーザ評価値記憶部59は、各々の合成画像評価項目について、合成画像ユーザ評価総合値として、合成画像ユーザ評価値演算部34によって演算された複数のユーザからの合成画像ユーザ評価値の平均を記憶する。 Finally, the composite image user evaluation value storage unit 59 stores the composite image user evaluation values from the plurality of users calculated by the composite image user evaluation value calculation unit 34 as the composite image user evaluation total value for each composite image evaluation item. Store the average of the values.
合成画像ユーザ評価値記憶部59に記憶された複数のユーザからの合成画像ユーザ評価値の平均は、合成画像作成部26が次の合成画像を作成する場合に、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つの値を決定するために使用される。 The average of the composite image user evaluation values from a plurality of users stored in the composite image user evaluation value storage unit 59 is determined by the individual image evaluation condition and the image extraction condition when the composite image creation unit 26 creates the next composite image. And at least one of the composite image creation conditions.
画像取得部18、個別画像解析部20、個別画像評価値算出部22、画像抽出部24、合成画像作成部26、合成画像解析部28、合成画像評価値算出部30、合成画像ユーザ評価値取得部32、合成画像ユーザ評価値演算部34、合成条件変更部36、個人情報取得部38、重み算出部40、合成条件記憶部42、合成条件選択部44、合成画像選択数取得部46、合成画像情報取得部48、合成画像情報記憶部50、オブジェクト検出部52、オブジェクト数取得部54、合成画像評価項目記憶部56、合成画像評価項目作成部58および合成画像ユーザ評価値記憶部59は、例えば、CPU(Central Processing Unit:中央処理装置)等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD(Hard Disk Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、SD(Secure Digital:セキュア・デジタル)カード等の記憶装置に保存される。 Image acquisition unit 18, individual image analysis unit 20, individual image evaluation value calculation unit 22, image extraction unit 24, composite image creation unit 26, composite image analysis unit 28, composite image evaluation value calculation unit 30, acquisition of composite image user evaluation value Unit 32, composite image user evaluation value calculation unit 34, composition condition changing unit 36, personal information acquisition unit 38, weight calculation unit 40, composition condition storage unit 42, composition condition selection unit 44, composition image selection number acquisition unit 46, composition The image information acquisition unit 48, the composite image information storage unit 50, the object detection unit 52, the number of objects acquisition unit 54, the composite image evaluation item storage unit 56, the composite image evaluation item creation unit 58, and the composite image user evaluation value storage unit 59 For example, it is realized by a control device such as a CPU (Central Processing Unit) executing a program loaded in the memory. The data stored by each part is stored in a storage device such as a hard disk drive (HDD), a solid state drive (SSD), and a secure digital (SD) card. Is done.
次に、図3は、図1に示すユーザの端末装置の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置14は、画像表示部60と、指示入力部62とを備えている。 Next, FIG. 3 is a block diagram of one embodiment showing the configuration of the user terminal device shown in FIG. The user terminal device 14 shown in FIG. 1 includes an image display unit 60 and an instruction input unit 62.
端末装置14において、画像表示部60は、各種の画像、設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。 In the terminal device 14, the image display unit 60 displays various images, a setting screen, a selection screen, a confirmation screen, an input screen, a creation screen, and the like, and includes, for example, a display device such as a liquid crystal display.
続いて、指示入力部62は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。 Subsequently, the instruction input unit 62 acquires various setting instructions, selection instructions, confirmation instructions, input instructions, creation instructions, and the like input by the user, and includes, for example, input devices such as a keyboard and a mouse. You.
本実施形態の場合、画像表示部60および指示入力部62は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。 In the case of the present embodiment, the image display unit 60 and the instruction input unit 62 are configured by a device in which a display device and an input device are integrated, such as a touch panel.
図示省略しているが、サーバ12および端末装置14は、例えば、サーバ12と端末装置14との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。 Although not shown, the server 12 and the terminal device 14 include, for example, a transmitting and receiving unit such as a communication device for transmitting and receiving various data between the server 12 and the terminal device 14, a CPU for controlling the operation of each unit, and the like. And the like.
次に、図4に示すフローチャートを参照しながら、合成画像ユーザ評価総合値と合成画像解析評価値との差に基づいて合成画像を作成し直す場合の画像処理装置10の動作を説明する。 Next, the operation of the image processing apparatus 10 when re-creating a composite image based on the difference between the composite image user evaluation total value and the composite image analysis evaluation value will be described with reference to the flowchart shown in FIG.
まず、画像取得部18により、複数のユーザの端末装置14から、ネットワーク16を介して、複数の画像が取得される(ステップS1)。 First, the image acquisition unit 18 acquires a plurality of images from the terminal devices 14 of a plurality of users via the network 16 (step S1).
続いて、個別画像解析部20により、画像取得部18によって取得された複数の画像の各々が解析される(ステップS2)。 Subsequently, each of the plurality of images acquired by the image acquiring unit 18 is analyzed by the individual image analyzing unit 20 (Step S2).
続いて、個別画像評価値算出部22により、各々の画像の解析結果に基づいて、各々の画像を1以上の個別画像評価条件について評価した個別画像評価値が算出される(ステップS3)。 Subsequently, the individual image evaluation value calculating unit 22 calculates an individual image evaluation value obtained by evaluating each image under one or more individual image evaluation conditions based on the analysis result of each image (step S3).
続いて、画像抽出部24により、各々の画像の個別画像評価値に基づいて、複数の画像の中から1以上の画像抽出条件に対応する1以上の画像が抽出される(ステップS4)。 Subsequently, the image extraction unit 24 extracts one or more images corresponding to one or more image extraction conditions from the plurality of images based on the individual image evaluation values of each image (Step S4).
続いて、合成画像作成部26により、1以上の合成画像作成条件に基づいて、画像抽出部24によって抽出された1以上の画像を合成した合成画像が作成される(ステップS5)。 Subsequently, the combined image creating unit 26 creates a combined image in which one or more images extracted by the image extracting unit 24 are combined based on one or more combined image creation conditions (step S5).
続いて、合成画像作成部26によって作成された合成画像が、ネットワーク16を介して、各々のユーザの端末装置14に送付され、画像表示部60に表示される。 Subsequently, the composite image created by the composite image creation unit 26 is sent to the terminal device 14 of each user via the network 16 and displayed on the image display unit 60.
各々のユーザは、各々のユーザの端末装置14の画像表示部60に表示された合成画像を参照し、指示入力部62を介して、各々の合成画像評価項目について合成画像を評価する。 Each user refers to the composite image displayed on the image display unit 60 of the terminal device 14 of each user, and evaluates the composite image for each composite image evaluation item via the instruction input unit 62.
一方、サーバ12において、合成画像解析部28により、合成画像作成部26によって作成された合成画像が解析される(ステップS6)。 On the other hand, in the server 12, the combined image created by the combined image creation unit 26 is analyzed by the combined image analysis unit 28 (step S6).
続いて、合成画像評価値算出部30により、合成画像の解析結果に基づいて、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像解析評価値の各々が算出される(ステップS7)。 Subsequently, the composite image evaluation value calculating unit 30 calculates one or more composite image analysis evaluation values obtained by evaluating the composite image for each of the one or more composite image evaluation items based on the analysis result of the composite image. (Step S7).
ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部32により、複数のユーザの端末装置14から、ネットワーク16を介して、合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々が取得される(ステップS8)。 When the evaluation of the synthesized image by the user is completed, the synthesized image user evaluation value acquiring unit 32 evaluates the synthesized image for each of one or more synthesized image evaluation items from the terminal devices 14 of a plurality of users via the network 16. Each of one or more composite image user evaluation values is obtained (step S8).
なお、ユーザから、特定の合成画像評価項目についての合成画像の評価が得られない場合、例えば、その合成画像評価項目についての合成画像の評価を無視してもよいし、あるいは、「ちょうどよい」という評価であると見なしてもよい。 If the user does not obtain an evaluation of the composite image for the specific composite image evaluation item, for example, the evaluation of the composite image for the composite image evaluation item may be ignored, or “just right”. May be considered as an evaluation.
続いて、合成画像ユーザ評価値演算部34により、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値が演算される(ステップS9)。 Subsequently, the composite image user evaluation value calculation unit 34 calculates a composite image user evaluation total value for each composite image evaluation item based on the composite image user evaluation values from a plurality of users (step S9).
続いて、合成条件変更部36により、各々の合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かが確認される(ステップS10)。 Subsequently, the combining condition changing unit 36 checks whether or not the difference between the combined image user evaluation total value and the combined image analysis evaluation value is greater than a threshold value for each combined image evaluation item (step S10).
その結果、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい場合(ステップS10において、Yes)、合成条件変更部36により、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを、合成画像ユーザ評価総合値と合成画像解析評価値との差に応じて変更した変更条件が作成される(ステップS11)。 As a result, when the difference between the composite image user evaluation total value and the composite image analysis evaluation value is larger than the threshold value (Yes in step S10), the individual image evaluation condition, the image extraction condition, and the composite image A change condition is created in which at least one of the creation conditions is changed according to the difference between the composite image user evaluation total value and the composite image analysis evaluation value (step S11).
合成条件変更部36は、例えば、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更した変更条件を作成する。 For example, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value, the combining condition changing unit 36 reduces the combined image analysis evaluation value according to the combined image user evaluation total value. Or, when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the individual image evaluation condition, such that the combined image analysis evaluation value increases according to the combined image user evaluation total value. A change condition is created by changing at least one of the image extraction condition and the composite image creation condition.
一方、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値以下である場合(ステップS10において、No)、全ての合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かの確認が終了したか否かが確認される(ステップS12)。 On the other hand, if the difference between the composite image user evaluation total value and the composite image analysis evaluation value is equal to or smaller than the threshold (No in step S10), the composite image user evaluation total value and the composite image analysis evaluation It is confirmed whether the confirmation as to whether the difference from the value is larger than the threshold value has been completed or not (step S12).
その結果、全ての合成画像評価項目について確認が終了していない場合(ステップS11において、No)、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かの確認が引き続き行われる。 As a result, if the confirmation has not been completed for all the composite image evaluation items (No in step S11), it is confirmed whether the difference between the composite image user evaluation total value and the composite image analysis evaluation value is larger than a threshold value. Will continue.
一方、全ての合成画像評価項目について確認が終了すると(ステップS11において、Yes)、合成画像作成部26により、合成条件変更部36によって作成された変更条件に基づいて合成画像が作成し直される(ステップS13)。
なお、合成条件変更部36によって変更条件が作成されていない場合、合成画像の作成し直しは行われない。
On the other hand, when confirmation of all the composite image evaluation items is completed (Yes in step S11), the composite image is re-created by the composite image creation unit 26 based on the change condition created by the synthesis condition change unit 36 ( Step S13).
If the change condition has not been created by the synthesis condition changing unit 36, the synthesis image is not re-created.
例えば、合成画像評価項目が、合成画像において使用されている画像数である場合、各々のユーザは、図5に示すように、スライダーバー64を用いて、合成画像において使用されている画像数について合成画像を評価することができる。 For example, when the composite image evaluation item is the number of images used in the composite image, each user uses the slider bar 64 to determine the number of images used in the composite image as shown in FIG. The composite image can be evaluated.
図5の例の場合、スライダーバー64の左端から右端の方向へ向かって、「少な過ぎ」、「少ない」、「ちょうどよい」、「多い」および「多過ぎ」という5段階の評価(評価値)が配置されている。各々のユーザは、スライダー66をスライダーバー64に沿って左右に移動させ、5段階の評価の中から1つを選択することによって、合成画像において使用されている画像数を評価する。 In the case of the example of FIG. 5, from the left end to the right end of the slider bar 64, there are five levels of evaluations (evaluation values: "too little", "less", "just right", "too much", and "too much". ) Is arranged. Each user evaluates the number of images used in the composite image by moving the slider 66 left and right along the slider bar 64 and selecting one of five levels of evaluation.
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部32により、複数のユーザの端末装置14から、ネットワーク16を介して、合成画像において使用されている画像数について合成画像を評価した合成画像ユーザ評価値が取得される。 In this case, when the evaluation of the composite image by the user is completed, the composite image user evaluation value acquisition unit 32 obtains the number of images used in the composite image from the terminal devices 14 of a plurality of users via the network 16. Is obtained.
続いて、合成画像ユーザ評価値演算部34により、合成画像において使用されている画像数について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値が演算される。 Subsequently, the composite image user evaluation value calculation unit 34 calculates a composite image user evaluation total value based on composite image user evaluation values from a plurality of users for the number of images used in the composite image.
続いて、合成条件変更部36により、合成画像において使用されている画像数について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かが確認される。 Subsequently, the synthesizing condition changing unit 36 checks whether or not the difference between the synthesized image user evaluation total value and the synthesized image analysis evaluation value is larger than a threshold value for the number of images used in the synthesized image.
その結果、合成条件変更部36により、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、合成画像の作成に使用するテンプレートにおける配置画像数が変更される。 As a result, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value by the combining condition changing unit 36, the combined image analysis evaluation value is reduced according to the combined image user evaluation total value. Or when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the combined image analysis evaluation value is increased in accordance with the combined image user evaluation total value. The number of arranged images in the template to be used is changed.
そして、合成画像作成部26により、合成条件変更部36によって配置画像数が変更されたテンプレートを用いて合成画像が作成し直される。 Then, the combined image creating unit 26 creates a combined image again using the template whose number of arranged images has been changed by the combining condition changing unit 36.
合成画像評価項目が、合成画像において使用されている人物画像数である場合も、図5の例の場合と同様に、各々のユーザは、スライダーバーを用いて、合成画像において使用されている人物画像数について合成画像を評価することができる。 When the composite image evaluation item is the number of person images used in the composite image, similarly to the case of the example in FIG. 5, each user uses the slider bar to change the person used in the composite image. The composite image can be evaluated for the number of images.
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部32により、複数のユーザの端末装置14から、ネットワーク16を介して、合成画像において使用されている人物画像数について合成画像を評価した合成画像ユーザ評価値が取得される。 In this case, when the evaluation of the synthesized image by the user is completed, the synthesized image user evaluation value acquisition unit 32 synthesizes the number of person images used in the synthesized image from the terminal devices 14 of a plurality of users via the network 16. A composite image user evaluation value obtained by evaluating the image is obtained.
続いて、合成画像ユーザ評価値演算部34により、合成画像において使用されている人物画像数について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値が演算される。 Subsequently, the composite image user evaluation value calculation unit 34 calculates a composite image user evaluation total value based on the composite image user evaluation values from a plurality of users for the number of human images used in the composite image.
続いて、合成条件変更部36により、合成画像において使用されている人物画像数について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かが確認される。 Subsequently, the synthesizing condition changing unit 36 checks whether or not the difference between the synthetic image user evaluation total value and the synthetic image analysis evaluation value is greater than a threshold value for the number of human images used in the synthetic image.
その結果、合成条件変更部36により、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、複数の画像の中から1以上の画像を抽出する時の人物画像の重みが変更される。 As a result, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value by the combining condition changing unit 36, the combined image analysis evaluation value is reduced according to the combined image user evaluation total value. Or when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, so that the combined image analysis evaluation value increases in accordance with the combined image user evaluation total value. The weight of the person image when one or more images are extracted from the image is changed.
そして、合成画像作成部26により、合成条件変更部36によって変更された人物画像の重みに応じて複数の画像の中から抽出された1以上の画像を用いて合成画像が作成し直される。 Then, the combined image creating unit 26 creates a combined image again using one or more images extracted from the plurality of images according to the weight of the human image changed by the combining condition changing unit 36.
合成画像評価項目が、合成画像の雰囲気である場合も同様に、各々のユーザは、図6に示すように、スライダーバーを用いて、合成画像の雰囲気について合成画像を評価することができる。 Similarly, when the composite image evaluation item is the atmosphere of the composite image, each user can evaluate the composite image for the atmosphere of the composite image using the slider bar as shown in FIG.
図6の例の場合、スライダーバー64の左端から右端の方向へ向かって、「暗過ぎ」、「暗い」、「ちょうどよい」、「明るい」および「明る過ぎ」という5段階の評価が配置される。同様に、各々のユーザは、スライダー66をスライダーバー64に沿って左右に移動させ、5段階の評価の中から1つを選択することによって、合成画像の雰囲気を評価する。 In the case of the example of FIG. 6, five-level evaluations of “too dark”, “dark”, “just right”, “bright” and “too bright” are arranged from the left end to the right end of the slider bar 64. You. Similarly, each user evaluates the atmosphere of the composite image by moving the slider 66 left and right along the slider bar 64 and selecting one of the five levels of evaluation.
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部32により、複数のユーザの端末装置14から、ネットワーク16を介して、合成画像の雰囲気について合成画像を評価した合成画像ユーザ評価値が取得される。 In this case, when the evaluation of the composite image by the user is completed, the composite image user evaluation value acquiring unit 32 evaluates the composite image for the atmosphere of the composite image from the terminal devices 14 of a plurality of users via the network 16. A user evaluation value is obtained.
続いて、合成画像ユーザ評価値演算部34により、合成画像の雰囲気について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値が演算される。 Subsequently, the composite image user evaluation value calculation unit 34 calculates a composite image user evaluation total value for the atmosphere of the composite image based on the composite image user evaluation values from a plurality of users.
続いて、合成条件変更部36により、合成画像の雰囲気について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かが確認される。 Subsequently, the synthesizing condition changing unit 36 checks whether or not the difference between the synthetic image user evaluation total value and the synthetic image analysis evaluation value is larger than a threshold value for the atmosphere of the synthetic image.
その結果、合成条件変更部36により、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、合成画像の作成に使用するテンプレートの背景画像が変更される。 As a result, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value by the combining condition changing unit 36, the combined image analysis evaluation value is reduced according to the combined image user evaluation total value. When the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the combined image analysis evaluation value is increased in accordance with the combined image user evaluation total value. The background image of the template used for is changed.
そして、合成画像作成部26により、合成条件変更部36によって背景画像が変更されたテンプレートを用いて合成画像が作成し直される。 Then, the combined image creating unit 26 creates a combined image again using the template whose background image has been changed by the combining condition changing unit 36.
合成画像評価項目が、合成画像において使用されている画像に写っている人物以外のオブジェクトの種類である場合、オブジェクトのアノテーションを利用して、オブジェクト検出部52により、各々の画像の解析結果に基づいて、各々の画像に写っている人物以外のオブジェクトが検出され、複数の画像に写っているオブジェクトのリストが作成されて、各々のユーザの端末装置14の画像表示部60に表示される。 When the composite image evaluation item is a type of an object other than a person appearing in an image used in the composite image, the object detection unit 52 uses the annotation of the object based on an analysis result of each image. Then, objects other than the person appearing in each image are detected, a list of objects appearing in a plurality of images is created, and displayed on the image display unit 60 of the terminal device 14 of each user.
各々のユーザは、各々のユーザの端末装置14の画像表示部60に表示されたリストを参照し、オブジェクトのリストの中から、合成画像において積極的に使用したい画像に写っているオブジェクトを選択する。 Each user refers to the list displayed on the image display unit 60 of the terminal device 14 of each user, and selects an object appearing in the image that the user wants to use actively in the composite image from the list of objects. .
各々のユーザによってオブジェクトが選択されると、オブジェクト数取得部54により、オブジェクトのリストの中から複数のユーザによって選択された各々のオブジェクトの数が取得される。 When the object is selected by each user, the number-of-objects obtaining unit 54 obtains the number of each object selected by the plurality of users from the list of objects.
続いて、合成条件変更部36により、オブジェクトのリストの中から複数のユーザによって選択された各々のオブジェクトの数に応じて、例えば、複数のユーザによって選択された数が多いオブジェクトであるほど、そのオブジェクトが写っている画像の重みが重くなるように、複数の画像の中から1以上の画像を抽出する時の各々のオブジェクトが写っている画像の重みが変更される。 Subsequently, according to the number of objects selected by a plurality of users from the list of objects, for example, as the number of objects selected by a plurality of users increases, the When one or more images are extracted from a plurality of images, the weight of the image in which each object is captured is changed so that the weight of the image in which the object is captured is increased.
そして、合成画像作成部26により、合成条件変更部36によって変更されたオブジェクトの重みに応じて複数の画像の中から抽出された1以上の画像を用いて合成画像が作成し直される。 Then, the combined image creating unit 26 creates a combined image again using one or more images extracted from the plurality of images according to the weight of the object changed by the combining condition changing unit 36.
また、特定のオブジェクトについての登場頻度に関する複数のユーザの評価を取得してもよい。例えば、食べ歩きの同好会で作成するフォトアルバムについて、オブジェクトを「料理」と指定し、評価項目として、料理の画像が「少な過ぎ」から「多過ぎ」までのいずれに該当するか複数のユーザの評価を取得する。この場合、平均値が「多過ぎ」のほうに偏っていれば、料理の画像を少なくするように条件を変更して合成画像を作成し直すことで、複数のユーザの大多数が納得する合成画像を作成することができる。 Further, evaluations of a plurality of users regarding the appearance frequency of a specific object may be acquired. For example, for a photo album created at a food-and-dining club, the user specifies the object as “cooking” and evaluates whether the image of the cooking corresponds to “too little” or “too much” as a plurality of users. Get an evaluation of. In this case, if the average value is biased toward “too much”, the composition is changed by changing the conditions so as to reduce the number of images of the dish, and the composite image is re-created, so that the majority of the plurality of users are satisfied. Images can be created.
本実施形態においては、複数のユーザから取得された複数の画像を用いて作成された合成画像のレイアウトを複数のユーザが直接編集するのではなく、合成画像解析評価値を算出し、かつ各々のユーザから合成画像ユーザ評価値を取得して合成画像ユーザ評価総合値を演算し、合成画像ユーザ評価総合値と合成画像解析評価値との差に基づいて合成画像を作成し直す。 In the present embodiment, a plurality of users do not directly edit the layout of a composite image created using a plurality of images obtained from a plurality of users, but calculate a composite image analysis evaluation value, and The composite image user evaluation value is obtained from the user, the composite image user evaluation total value is calculated, and the composite image is re-created based on the difference between the composite image user evaluation total value and the composite image analysis evaluation value.
このように、複数のユーザが合成画像のレイアウトを直接編集しないため、ユーザ数が増えた場合であっても、合成画像を作成し直す、つまり、合成画像のレイアウトを編集することができる。また、ユーザではなく画像処理装置10が合成画像を作成し直すため、幹事のユーザに大きな負担をかけることなく、大多数のユーザが平均的に納得できる合成画像を作成することができる。 As described above, since a plurality of users do not directly edit the layout of the composite image, even when the number of users increases, the composite image can be re-created, that is, the layout of the composite image can be edited. In addition, since the image processing apparatus 10 recreates the composite image instead of the user, it is possible to create a composite image that can be satisfied by the majority of users on average without putting a large burden on the secretary user.
なお、合成条件変更部36が変更条件を作成する代わりに、合成条件選択部44が、合成条件記憶部42に記憶された複数の変更条件の中から、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい合成画像評価項目に対応する1つの変更条件を選択してもよい。
この場合、合成画像作成部26により、合成条件選択部44によって選択された変更条件に基づいて合成画像が作成し直される。
Note that, instead of the synthesis condition changing unit 36 creating a change condition, the synthesis condition selection unit 44 selects a synthesis image user evaluation total value and a synthesis image analysis value from a plurality of change conditions stored in the synthesis condition storage unit 42. One change condition corresponding to the composite image evaluation item whose difference from the evaluation value is larger than the threshold value may be selected.
In this case, the combined image is re-created by the combined image creation unit 26 based on the change condition selected by the combination condition selection unit 44.
あるいは、複数のユーザの各々が、合成条件記憶部42に記憶された複数の変更条件の中から、1つの変更条件を選択してもよい。
この場合、合成画像作成部26により、合成条件記憶部42に記憶された複数の変更条件の中から、複数のユーザの各々によって選択された1つの変更条件に基づいて合成画像が作成し直される。
Alternatively, each of the plurality of users may select one change condition from the plurality of change conditions stored in the synthesis condition storage unit 42.
In this case, the composite image creation unit 26 recreates a composite image based on one change condition selected by each of the plurality of users from the plurality of change conditions stored in the synthesis condition storage unit 42. .
また、合成条件変更部36は、1つの変更条件だけでなく、2以上の変更条件を作成してもよい。
この場合、合成画像作成部26により、合成条件変更部36によって作成された2以上の変更条件に基づいて2以上の合成画像が作成し直される。
続いて、合成画像選択数取得部46により、合成画像作成部26によって作成し直された2以上の合成画像に対し、複数のユーザによって選択された2以上の合成画像の各々の数が取得される。
そして、合成画像情報取得部48により、合成画像選択数取得部46によって取得された、2以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報が取得される。
Further, the synthesizing condition changing unit 36 may create not only one changing condition but also two or more changing conditions.
In this case, the composite image creation unit 26 recreates two or more composite images based on the two or more change conditions created by the composite condition change unit 36.
Subsequently, for the two or more composite images recreated by the composite image creation unit 26, the number of each of the two or more composite images selected by the plurality of users is acquired by the composite image selection number acquisition unit 46. You.
Then, the synthesized image information obtaining unit 48 obtains the information of the selected synthesized image having the largest number selected by the plurality of users from the two or more synthesized images obtained by the synthesized image selection number obtaining unit 46. .
次に、図7に示すフローチャートを参照しながら、標準偏差に基づいて合成画像を作成し直す場合の画像処理装置10の動作を説明する。 Next, the operation of the image processing apparatus 10 when re-creating a composite image based on the standard deviation will be described with reference to the flowchart shown in FIG.
ステップS21〜S25およびステップS26の動作は、図4のフローチャートに示すステップS1〜S5およびステップS8の動作と同じである。 The operations of steps S21 to S25 and step S26 are the same as the operations of steps S1 to S5 and step S8 shown in the flowchart of FIG.
続いて、合成画像ユーザ評価値演算部34により、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の標準偏差が演算される(ステップS27)。 Subsequently, the standard deviation of the composite image user evaluation values from a plurality of users is calculated for each composite image evaluation item by the composite image user evaluation value calculation unit 34 (step S27).
続いて、合成条件変更部36により、各々の合成画像評価項目について、合成画像ユーザ評価値演算部34によって演算された標準偏差が閾値よりも大きいか否かが確認される(ステップS28)。 Subsequently, the combining condition changing unit 36 confirms whether or not the standard deviation calculated by the combined image user evaluation value calculating unit 34 is larger than the threshold for each of the combined image evaluation items (step S28).
その結果、標準偏差が閾値よりも大きい場合に(ステップS28において、Yes)、合成条件変更部36により、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを標準偏差に応じて変更した2以上の変更条件が作成される(ステップS29)。 As a result, when the standard deviation is larger than the threshold value (Yes in step S28), the combining condition changing unit 36 sets at least one of the individual image evaluation condition, the image extraction condition, and the combined image creation condition to the standard deviation. Two or more change conditions changed accordingly are created (step S29).
合成条件変更部36は、例えば、複数のユーザからの合成画像ユーザ評価値の分布が大きく2つのグループに分かれている場合に、これら2つのグループの各々について、合成画像解析評価値が各々のグループの合成画像ユーザ評価総合値、例えば、複数のユーザからの合成画像ユーザ評価値の平均に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを標準偏差に応じて変更した2つの変更条件を作成する。 For example, when the distribution of synthesized image user evaluation values from a plurality of users is largely divided into two groups, the synthesis condition changing unit 36 sets the synthesized image analysis evaluation value for each of the two groups. , At least one of the individual image evaluation condition, the image extraction condition, and the composite image creation condition is set to the standard deviation so as to approach the average of the composite image user evaluation values from a plurality of users. Two change conditions changed accordingly are created.
一方、標準偏差が閾値以下である場合(ステップS28において、No)、全ての合成画像評価項目について、標準偏差が閾値よりも大きいか否かの確認が終了したか否かが確認される(ステップS30)。 On the other hand, if the standard deviation is equal to or smaller than the threshold (No in step S28), it is confirmed whether the confirmation as to whether the standard deviation is larger than the threshold has been completed for all the composite image evaluation items (step S28) S30).
その結果、全ての合成画像評価項目について確認が終了していない場合(ステップS30において、No)、標準偏差が閾値よりも大きいか否かの確認が引き続き行われる。 As a result, if the confirmation has not been completed for all the composite image evaluation items (No in Step S30), the confirmation as to whether or not the standard deviation is larger than the threshold is continuously performed.
一方、全ての合成画像評価項目について確認が終了すると(ステップS30において、Yes)、合成画像作成部26により、合成条件変更部36によって作成された2以上の変更条件に基づいて2以上の合成画像が作成し直される(ステップS31)。
なお、合成条件変更部36によって変更条件が作成されていない場合、合成画像の作成し直しは行われない。
On the other hand, when the confirmation has been completed for all the composite image evaluation items (Yes in step S30), the composite image creation unit 26 sets the two or more composite images based on the two or more change conditions created by the composite condition change unit 36. Is re-created (step S31).
If the change condition has not been created by the synthesis condition changing unit 36, the synthesis image is not re-created.
続いて、合成画像作成部26によって作成し直された2以上の合成画像が、ネットワーク16を介して、各々のユーザの端末装置14に送付され、画像表示部60に表示される。 Subsequently, the two or more composite images recreated by the composite image creation unit 26 are sent to the terminal devices 14 of the respective users via the network 16 and displayed on the image display unit 60.
各々のユーザは、各々のユーザの端末装置14の画像表示部60に表示された2以上の合成画像を参照し、指示入力部62を介して、2以上の合成画像の中から1つの合成画像を選択する。 Each user refers to two or more composite images displayed on the image display unit 60 of the terminal device 14 of each user, and via the instruction input unit 62, selects one composite image from the two or more composite images. Select
続いて、合成画像選択数取得部46により、2以上の合成画像に対し、複数のユーザによって選択された2以上の合成画像の各々の数が取得される(ステップS32)。 Subsequently, for the two or more composite images, the number of each of the two or more composite images selected by a plurality of users is acquired by the composite image selection number acquisition unit 46 (step S32).
続いて、合成画像情報取得部48により、2以上の合成画像の中から複数のユーザによって選択された数が最も多い合成画像である選択合成画像の情報が取得される(ステップS33)。 Subsequently, the synthesized image information obtaining unit 48 obtains information of a selected synthesized image that is the synthesized image selected by a plurality of users from among the two or more synthesized images (Step S33).
例えば、合成画像評価項目が、合成画像において使用されている画像数である場合、図5の例の場合と同様に、各々のユーザは、スライダーバーを用いて、合成画像において使用されている画像数について合成画像を評価することができる。 For example, when the composite image evaluation item is the number of images used in the composite image, as in the case of the example in FIG. 5, each user uses the slider bar to select the image used in the composite image. The composite image can be evaluated for a number.
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部32により、複数のユーザの端末装置14から、ネットワーク16を介して、合成画像において使用されている画像数について合成画像を評価した合成画像ユーザ評価値が取得される。 In this case, when the evaluation of the composite image by the user is completed, the composite image user evaluation value acquisition unit 32 obtains the number of images used in the composite image from the terminal devices 14 of a plurality of users via the network 16. Is obtained.
続いて、合成画像ユーザ評価値演算部34により、合成画像において使用されている画像数について、複数のユーザからの合成画像ユーザ評価値の標準偏差が演算される。 Subsequently, the standard deviation of the composite image user evaluation values from a plurality of users is calculated by the composite image user evaluation value calculation unit 34 for the number of images used in the composite image.
続いて、合成条件変更部36により、合成画像において使用されている画像数について、標準偏差が閾値よりも大きいか否かが確認される。 Subsequently, the synthesizing condition changing unit 36 checks whether or not the standard deviation of the number of images used in the synthesized image is larger than a threshold.
その結果、合成条件変更部36により、標準偏差が閾値よりも大きい場合に、合成画像の作成に使用するテンプレートにおける配置画像数が標準偏差に応じて変更される。 As a result, when the standard deviation is larger than the threshold, the number of arranged images in the template used to create the composite image is changed by the synthesis condition changing unit 36 according to the standard deviation.
そして、合成画像作成部26により、合成条件変更部36によって配置画像数が変更されたテンプレートを用いて合成画像が作成し直される。 Then, the combined image creating unit 26 creates a combined image again using the template whose number of arranged images has been changed by the combining condition changing unit 36.
合成画像評価項目が、合成画像において使用されている人物画像数である場合も、図5に示す例の場合と同様に、各々のユーザは、スライダーバーを用いて、合成画像において使用されている人物画像数について合成画像を評価することができる。 When the composite image evaluation item is the number of human images used in the composite image, as in the case of the example shown in FIG. 5, each user is used in the composite image using the slider bar. The composite image can be evaluated for the number of portrait images.
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部32により、複数のユーザの端末装置14から、ネットワーク16を介して、合成画像において使用されている人物画像数について合成画像を評価した合成画像ユーザ評価値が取得される。 In this case, when the evaluation of the synthesized image by the user is completed, the synthesized image user evaluation value acquisition unit 32 synthesizes the number of person images used in the synthesized image from the terminal devices 14 of a plurality of users via the network 16. A composite image user evaluation value obtained by evaluating the image is obtained.
続いて、合成画像ユーザ評価値演算部34により、合成画像において使用されている人物画像数について、複数のユーザからの合成画像ユーザ評価値の標準偏差が演算される。 Subsequently, the standard deviation of the composite image user evaluation values from a plurality of users is calculated by the composite image user evaluation value calculation unit 34 for the number of human images used in the composite image.
続いて、合成条件変更部36により、合成画像において使用されている人物画像数について、標準偏差が閾値よりも大きいか否かが確認される。 Subsequently, the synthesizing condition changing unit 36 checks whether the standard deviation of the number of human images used in the synthesized image is larger than a threshold value.
その結果、合成条件変更部36により、標準偏差が閾値よりも大きい場合に、複数の画像の中から1以上の画像を抽出する時の人物画像の重みが変更される。 As a result, when the standard deviation is larger than the threshold, the combining condition changing unit 36 changes the weight of the person image when extracting one or more images from the plurality of images.
そして、合成画像作成部26により、合成条件変更部36によって変更された人物画像の重みに応じて複数の画像の中から抽出された1以上の画像を用いて合成画像が作成し直される。 Then, the combined image creating unit 26 creates a combined image again using one or more images extracted from the plurality of images according to the weight of the human image changed by the combining condition changing unit 36.
合成画像評価項目が、合成画像の雰囲気である場合も、図6に示す例の場合と同様に、各々のユーザは、スライダーバーを用いて、合成画像の雰囲気について合成画像を評価することができる。 When the composite image evaluation item is the atmosphere of the composite image, similarly to the example shown in FIG. 6, each user can evaluate the composite image for the atmosphere of the composite image using the slider bar. .
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部32により、複数のユーザの端末装置14から、ネットワーク16を介して、合成画像の雰囲気について合成画像を評価した合成画像ユーザ評価値が取得される。 In this case, when the evaluation of the composite image by the user is completed, the composite image user evaluation value acquiring unit 32 evaluates the composite image for the atmosphere of the composite image from the terminal devices 14 of a plurality of users via the network 16. A user evaluation value is obtained.
続いて、合成画像ユーザ評価値演算部34により、合成画像の雰囲気について、複数のユーザからの合成画像ユーザ評価値の標準偏差が演算される。 Subsequently, the standard deviation of the composite image user evaluation values from a plurality of users is calculated by the composite image user evaluation value calculation unit 34 for the atmosphere of the composite image.
続いて、合成条件変更部36により、合成画像の雰囲気について、標準偏差が閾値よりも大きいか否かが確認される。 Subsequently, the combining condition changing unit 36 checks whether the standard deviation of the atmosphere of the combined image is larger than a threshold value.
その結果、合成条件変更部36により、標準偏差が閾値よりも大きい場合に、合成画像の作成に使用するテンプレートの背景画像が標準偏差に応じて変更される。 As a result, when the standard deviation is larger than the threshold, the background image of the template used to create the composite image is changed by the synthesis condition changing unit 36 according to the standard deviation.
そして、合成画像作成部26により、合成条件変更部36によって背景画像が変更されたテンプレートを用いて合成画像が作成し直される。 Then, the combined image creating unit 26 creates a combined image again using the template whose background image has been changed by the combining condition changing unit 36.
本実施形態においては、各々のユーザから合成画像ユーザ評価値を取得し、複数のユーザからの合成画像ユーザ評価値の標準偏差を算出し、標準偏差に基づいて2以上の合成画像を作成し直す。そして、2以上の合成画像の中から複数のユーザによって選択された数が最も多い合成画像である選択合成画像の情報を取得し、2以上の合成画像の中から選択合成画像を採用する。 In the present embodiment, a composite image user evaluation value is obtained from each user, a standard deviation of the composite image user evaluation values from a plurality of users is calculated, and two or more composite images are re-created based on the standard deviation. . Then, information on a selected combined image that is the largest number of combined images selected by a plurality of users from the two or more combined images is acquired, and the selected combined image is adopted from the two or more combined images.
このように、標準偏差に基づいて合成画像を作成し直すことにより、複数のユーザからの合成画像ユーザ評価値の分布がばらついている場合であっても、大多数のユーザが平均的に納得できる合成画像を作成することができる。
例えば、合成画像の雰囲気について、複数のユーザからの評価の平均が「明る過ぎ」であった場合、合成画像の明るさを決定する条件の値を具体的にどのように変更すれば、「ちょうどよい」明るさにすることができるかは当然には分からない。例えば、合成画像の明るさを下げる場合であっても、明るさを下げ過ぎたり、明るさの下げ幅が少な過ぎたりする可能性がある。
従って、合成画像の明るさを決定する条件の値を変更した2以上の合成画像を作成し直し、複数のユーザによる多数決によって採用する合成画像を決定することにより、複数のユーザのうちの大多数が希望する明るさを知ることができ、かつ、大多数のユーザにとって合成画像を「ちょうどよい」明るさにすることができる、合成画像の明るさを決定する条件の値も明らかにすることができる。
As described above, by re-creating the composite image based on the standard deviation, even when the distribution of the composite image user evaluation values from a plurality of users varies, the majority of users can be satisfied on average. A composite image can be created.
For example, if the average of the evaluations from a plurality of users regarding the atmosphere of the composite image is “too bright”, how to specifically change the value of the condition for determining the brightness of the composite image is “just I don't know for sure how good it can be. For example, even when lowering the brightness of the composite image, there is a possibility that the brightness will be lowered too much or the amount of reduction in the brightness will be too small.
Therefore, by re-creating two or more composite images in which the values of the conditions for determining the brightness of the composite image have been changed and determining the composite image to be adopted by majority decision by a plurality of users, the majority of the plurality of users can be determined. It is also possible to clarify the value of the condition that determines the brightness of the synthesized image, which can know the desired brightness and can make the synthesized image “just right” for the majority of users. it can.
なお、合成条件変更部36が変更条件を作成する代わりに、合成条件選択部44が、合成条件記憶部42に記憶された複数の変更条件の中から、標準偏差が閾値よりも大きい合成画像評価項目に対応する2以上の変更条件を選択してもよい。
この場合、合成画像作成部26により、合成条件選択部44によって選択された変更条件に基づいて合成画像が作成し直される。
It should be noted that instead of the synthesizing condition changing unit 36 creating the changing condition, the synthesizing condition selecting unit 44 selects the synthesizing image evaluation standard deviation larger than the threshold value from the plurality of changing conditions stored in the synthesizing condition storage unit 42. Two or more change conditions corresponding to the item may be selected.
In this case, the combined image is re-created by the combined image creation unit 26 based on the change condition selected by the combination condition selection unit 44.
あるいは、複数のユーザの各々が、合成条件記憶部42に記憶された複数の変更条件の中から、2以上の変更条件を選択してもよい。
この場合、合成画像作成部26により、合成条件記憶部42に記憶された複数の変更条件の中から、複数のユーザの各々によって選択された2以上の変更条件に基づいて合成画像が作成し直される。
Alternatively, each of the plurality of users may select two or more change conditions from the plurality of change conditions stored in the synthesis condition storage unit 42.
In this case, the composite image creation unit 26 re-creates the composite image based on two or more change conditions selected by each of the plurality of users from the plurality of change conditions stored in the synthesis condition storage unit 42. It is.
なお、合成条件変更部36は、合成画像ユーザ評価総合値と合成画像解析評価値との差、および、標準偏差の両方に基づいて変更条件を作成してもよい。
例えば、合成画像の雰囲気について評価する場合、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値以下であっても、複数のユーザからの評価は、「暗過ぎ」および「明る過ぎ」が多数である場合がある。この場合、合成画像は作成し直されないため、合成画像ユーザ評価総合値と合成画像解析評価値との差に基づいて合成画像の作成し直しを決定すると、大多数のユーザを満足させることができない虞がある。
これに対し、合成画像ユーザ評価総合値として、複数のユーザからの合成画像ユーザ評価値の平均を演算する場合に、例えば、平均、平均+標準偏差、および、平均−標準偏差に対応する3つの合成画像を作成し直し、複数のユーザによる多数決によって採用する合成画像を決定することにより、ある程度、複数のユーザの意見を取り入れた合成画像を作成することができる。
Note that the combining condition changing unit 36 may create the changing condition based on both the difference between the combined image user evaluation total value and the combined image analysis evaluation value and the standard deviation.
For example, when evaluating the atmosphere of a composite image, even if the difference between the composite image user evaluation total value and the composite image analysis evaluation value is equal to or smaller than the threshold, the evaluations from a plurality of users are “too dark” and “too bright”. May be numerous. In this case, since the composite image is not re-created, the majority of users cannot be satisfied if re-creation of the composite image is determined based on the difference between the composite image user evaluation total value and the composite image analysis evaluation value. There is a fear.
On the other hand, when calculating the average of the composite image user evaluation values from a plurality of users as the composite image user evaluation total value, for example, three values corresponding to the average, the average + standard deviation, and the average-standard deviation By recreating the composite image and determining the composite image to be adopted by majority decision by a plurality of users, it is possible to create a composite image incorporating opinions of a plurality of users to some extent.
また、各々のユーザが、各々の合成画像評価項目について、合成画像作成部26によって作成し直された合成画像を評価し、合成画像をさらに作成し直してもよい。つまり、2回以上、合成画像を作成し直してもよい。 In addition, each user may evaluate the combined image recreated by the combined image creation unit 26 for each combined image evaluation item, and may further create the combined image again. That is, the composite image may be recreated two or more times.
また、1以上の合成画像評価項目は、幹事のユーザが指定(入力)してもよい。
この場合、合成画像ユーザ評価値取得部32により、幹事のユーザによって指定された1以上の合成画像評価項目の各々について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
The one or more composite image evaluation items may be designated (input) by a secretary user.
In this case, the composite image user evaluation value acquisition unit 32 acquires a composite image user evaluation value obtained by each user evaluating the composite image for each of one or more composite image evaluation items designated by the secretary user.
また、1以上の合成画像評価項目を合成画像評価項目記憶部56に記憶してもよい。
この場合、合成画像ユーザ評価値取得部32により、合成画像評価項目記憶部56に記憶された1以上の合成画像評価項目の各々について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
Further, one or more composite image evaluation items may be stored in the composite image evaluation item storage unit 56.
In this case, the composite image user evaluation value acquisition unit 32 acquires a composite image user evaluation value obtained by each user evaluating the composite image for each of one or more composite image evaluation items stored in the composite image evaluation item storage unit 56. Is done.
また、複数のユーザの各々は、合成画像評価項目記憶部56に記憶された1以上の合成画像評価項目の中から、評価する合成画像評価項目を選択してもよい。
この場合、合成画像ユーザ評価値取得部32により、合成画像評価項目記憶部56に記憶された1以上の合成画像評価項目の中から複数のユーザの各々によって選択された合成画像評価項目について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
例えば、幹事のユーザが、評価する合成画像評価項目を選択する場合、合成画像ユーザ評価値取得部32により、合成画像評価項目記憶部56に記憶された1以上の合成画像評価項目の中から幹事のユーザによって選択された合成画像評価項目について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
また、合成画像解析評価値が閾値を超えている場合に、合成画像評価値算出部30により、閾値を超えている合成画像評価項目について合成画像を評価することを幹事のユーザにリコメンドしてもよい。なお、幹事のユーザは一人に限定されず、複数のユーザのうちの少なくとも一人のユーザであってもよい。
Further, each of the plurality of users may select a composite image evaluation item to be evaluated from one or more composite image evaluation items stored in the composite image evaluation item storage unit 56.
In this case, the synthesized image user evaluation value acquisition unit 32 sets each of the synthesized image evaluation items selected by the plurality of users from one or more synthesized image evaluation items stored in the synthesized image evaluation item storage unit 56. A composite image user evaluation value obtained by the user evaluating the composite image is obtained.
For example, when the secretary user selects a composite image evaluation item to be evaluated, the composite image user evaluation value acquisition unit 32 selects one or more composite image evaluation items stored in the composite image evaluation item storage unit 56 from the secretary. For each of the composite image evaluation items selected by the user, the composite image user evaluation value obtained by each user evaluating the composite image is obtained.
In addition, when the composite image analysis evaluation value exceeds the threshold, the composite image evaluation value calculation unit 30 recommends that the composite image evaluation item be evaluated for the composite image evaluation item exceeding the threshold to the secretary user. Good. In addition, the user of the secretary is not limited to one user, and may be at least one user among a plurality of users.
また、合成画像評価項目作成部58により、各々の画像の個別画像評価値に基づいて、1以上のオブジェクトの中から、合成画像における登場回数が閾値よりも大きいオブジェクトについての合成画像評価項目を自動で作成してもよい。
この場合、合成画像ユーザ評価値取得部32により、合成画像評価項目作成部58によって作成された合成画像評価項目について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
In addition, the composite image evaluation item creation unit 58 automatically selects, from one or more objects, a composite image evaluation item for an object in which the number of appearances in the composite image is larger than a threshold, based on the individual image evaluation value of each image. May be created.
In this case, the composite image user evaluation value acquisition unit 32 acquires a composite image user evaluation value obtained by each user evaluating the composite image for the composite image evaluation item created by the composite image evaluation item creation unit 58.
また、選択合成画像の情報を合成画像情報記憶部50に記憶しておき、合成条件変更部36により、合成画像情報記憶部50に記憶された選択合成画像の情報に基づいて、複数のユーザによる合成画像の選択の傾向に合致するように、次の合成画像の作成に用いられる個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つを変更してもよい。 In addition, the information of the selected combined image is stored in the combined image information storage unit 50, and the combining condition changing unit 36 allows a plurality of users to perform the selection based on the information of the selected combined image stored in the combined image information storage unit 50. At least one of the individual image evaluation condition, the image extraction condition, and the composite image creation condition used for creating the next composite image may be changed so as to match the tendency of selection of the composite image.
また、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の平均を合成画像ユーザ評価値記憶部に記憶しておき、合成画像作成部26により、各々の合成画像評価項目について、合成画像解析評価値が合成画像ユーザ評価値記憶部に記憶された複数のユーザからの合成画像ユーザ評価値の平均に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも1つの値が決定された条件で次回の合成画像を作成してもよい。 In addition, for each composite image evaluation item, the average of the composite image user evaluation values from a plurality of users is stored in the composite image user evaluation value storage unit, and the composite image creation unit 26 sets each composite image evaluation item for each composite image evaluation item. The individual image evaluation condition, the image extraction condition, and the composite image creation condition so that the composite image analysis evaluation value approaches the average of the composite image user evaluation values from a plurality of users stored in the composite image user evaluation value storage unit. The next composite image may be created under the condition that at least one value of is determined.
ある条件で作成された合成画像と、この合成画像を各々の合成画像評価項目について評価した複数のユーザからの合成画像ユーザ評価値の平均が分かれば、条件の値をどの程度に決定すれば、複数のユーザの平均的な満足が得られる合成画像を作成できるのかを学習することができる。従って、複数のユーザからの合成画像ユーザ評価値の平均を合成画像ユーザ評価値記憶部に記憶しておくことにより、次回の合成画像は、より複数のユーザの評価の平均に近いものを、精度よく、かつ、素早く作成することができる。 If the average of the composite image created under a certain condition and the composite image user evaluation value from a plurality of users who evaluated this composite image for each composite image evaluation item is known, It is possible to learn whether a composite image that can provide average satisfaction of a plurality of users can be created. Therefore, by storing the average of the composite image user evaluation value from a plurality of users in the composite image user evaluation value storage unit, the next composite image, the one closer to the average rating of the plurality of users, accuracy Can be created well and quickly.
なお、合成画像を作成し直した場合に、各々の合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値以下となる条件、つまり、複数のユーザからの評価の平均が「ちょうどよい」となる条件の値を合成画像ユーザ評価値記憶部に記憶しておき、合成画像ユーザ評価値記憶部に記憶された合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値以下となる条件で次回の合成画像を作成してもよい。 When the composite image is re-created, for each composite image evaluation item, the condition that the difference between the composite image user evaluation total value and the composite image analysis evaluation value is equal to or less than the threshold value, that is, the evaluation from multiple users Is stored in the composite image user evaluation value storage unit, and the composite image user evaluation total value and the composite image analysis evaluation value stored in the composite image user evaluation value storage unit are stored. The next composite image may be created under the condition that the difference is equal to or less than the threshold.
画像処理装置10は、プリントし、製本することにより、紙媒体のフォトアルバム(フォトブック)等の合成画像を作成してもよいし、これに限らず、テンプレート上に静止画および動画を含む画像を配置し、ディスプレイ上において閲覧する電子アルバム等の合成画像を作成してもよい。さらに、テンプレートを利用することなく、ユーザから取得された静止画や動画などを含む各種のコンテンツを順次表示するスライドショー等の合成画像を作成してもよい。 The image processing apparatus 10 may create a composite image such as a photo album (photo book) on a paper medium by printing and binding, or the image processing apparatus 10 may include an image including a still image and a moving image on a template. May be arranged to create a composite image such as an electronic album to be viewed on a display. Furthermore, without using a template, a composite image such as a slide show that sequentially displays various contents including still images and moving images acquired from the user may be created.
画像処理装置10が、サーバ12および複数のユーザの端末装置14を備えることは必須ではなく、例えば、サーバ12および端末装置14の全ての構成要素を備える装置を構成することもできる。この場合、ネットワーク16、および、サーバ12とユーザの端末装置14との間のやり取りは不要であり、例えば、ユーザから画像処理装置10へ、あるいは、画像処理装置10からユーザに対して直接やり取りを行うことができる。 It is not essential that the image processing apparatus 10 includes the server 12 and the terminal devices 14 of a plurality of users. For example, an apparatus including all the components of the server 12 and the terminal device 14 may be configured. In this case, the exchange between the network 16 and the server 12 and the user's terminal device 14 is unnecessary. For example, the exchange from the user to the image processing apparatus 10 or directly from the image processing apparatus 10 to the user is not necessary. It can be carried out.
画像取得部18、個別画像解析部20、個別画像評価値算出部22、画像抽出部24、合成画像作成部26、合成画像解析部28、合成画像評価値算出部30、合成画像ユーザ評価値取得部32、合成画像ユーザ評価値演算部34、合成条件変更部36、個人情報取得部38、重み算出部40、合成条件記憶部42、合成条件選択部44、合成画像選択数取得部46、合成画像情報取得部48、合成画像情報記憶部50、オブジェクト検出部52、オブジェクト数取得部54、合成画像評価項目記憶部56、合成画像評価項目作成部58および合成画像ユーザ評価値記憶部59の全てをサーバ12が備えることは必須ではなく、そのうちの少なくとも1つが、ユーザの端末装置14内に備えられていてもよい。 Image acquisition unit 18, individual image analysis unit 20, individual image evaluation value calculation unit 22, image extraction unit 24, composite image creation unit 26, composite image analysis unit 28, composite image evaluation value calculation unit 30, acquisition of composite image user evaluation value Unit 32, composite image user evaluation value calculation unit 34, composition condition changing unit 36, personal information acquisition unit 38, weight calculation unit 40, composition condition storage unit 42, composition condition selection unit 44, composition image selection number acquisition unit 46, composition The image information acquisition unit 48, the composite image information storage unit 50, the object detection unit 52, the number of objects acquisition unit 54, the composite image evaluation item storage unit 56, the composite image evaluation item creation unit 58, and the composite image user evaluation value storage unit 59 Is not essential to the server 12, and at least one of them may be provided in the terminal device 14 of the user.
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたプロセッサおよびプロセッサを備えるコンピュータ等によって構成してもよい。本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。 In the device of the present invention, each component included in the device may be configured by dedicated hardware, or each component may be configured by a programmed processor, a computer including the processor, or the like. The method of the present invention can be implemented, for example, by a program for causing a computer to execute each step. Further, a computer-readable recording medium on which the program is recorded can be provided.
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。 As described above, the present invention has been described in detail. However, the present invention is not limited to the above embodiment, and various improvements and modifications may be made without departing from the gist of the present invention.
10 画像処理装置
12 サーバ
14 端末装置(クライアント)
16 ネットワーク
18 画像取得部
20 個別画像解析部
22 個別画像評価値算出部
24 画像抽出部
26 合成画像作成部
28 合成画像解析部
30 合成画像評価値算出部
32 合成画像ユーザ評価値取得部
34 合成画像ユーザ評価値演算部
36 合成条件変更部
38 個人情報取得部
40 重み算出部
42 合成条件記憶部
44 合成条件選択部
46 合成画像選択数取得部
48 合成画像情報取得部
50 合成画像情報記憶部
52 オブジェクト検出部
54 オブジェクト数取得部
56 合成画像評価項目記憶部
58 合成画像評価項目作成部
59 合成画像ユーザ評価値記憶部
60 画像表示部
62 指示入力部
64 スライダーバー
66 スライダー
10 image processing device 12 server 14 terminal device (client)
Reference Signs List 16 Network 18 Image acquisition unit 20 Individual image analysis unit 22 Individual image evaluation value calculation unit 24 Image extraction unit 26 Synthetic image creation unit 28 Synthetic image analysis unit 30 Synthetic image evaluation value calculation unit 32 Synthetic image user evaluation value acquisition unit 34 Synthetic image User evaluation value calculation unit 36 Synthesis condition change unit 38 Personal information acquisition unit 40 Weight calculation unit 42 Synthesis condition storage unit 44 Synthesis condition selection unit 46 Synthetic image selection number acquisition unit 48 Synthetic image information acquisition unit 50 Synthetic image information storage unit 52 Object Detecting unit 54 Object number acquiring unit 56 Synthetic image evaluation item storage unit 58 Synthetic image evaluation item creation unit 59 Synthetic image user evaluation value storage unit 60 Image display unit 62 Instruction input unit 64 Slider bar 66 Slider
Claims (37)
前記複数の画像の各々を解析する個別画像解析部と、
前記各々の画像の解析結果に基づいて、前記各々の画像を1以上の個別画像評価条件について評価した個別画像評価値を算出する個別画像評価値算出部と、
前記各々の画像の個別画像評価値に基づいて、前記複数の画像の中から1以上の画像抽出条件に対応する1以上の画像を抽出する画像抽出部と、
1以上の合成画像作成条件に基づいて、前記1以上の画像を合成した合成画像を作成する合成画像作成部と、
前記合成画像を解析する合成画像解析部と、
前記合成画像の解析結果に基づいて、前記合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像解析評価値の各々を算出する合成画像評価値算出部と、
前記複数のユーザから、前記合成画像を前記1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々を取得する合成画像ユーザ評価値取得部と、
前記各々の合成画像評価項目について、前記複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算する合成画像ユーザ評価値演算部と、
前記各々の合成画像評価項目について、前記合成画像ユーザ評価総合値と前記合成画像解析評価値との差が閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に近づくように、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも1つを前記差に応じて変更した変更条件を作成する合成条件変更部とを備え、
前記合成画像作成部は、前記合成条件変更部によって作成された変更条件に基づいて前記合成画像を作成し直す、画像処理装置。 An image acquisition unit that acquires a plurality of images from a plurality of users;
An individual image analysis unit that analyzes each of the plurality of images,
An individual image evaluation value calculation unit that calculates an individual image evaluation value obtained by evaluating each of the images with respect to one or more individual image evaluation conditions, based on an analysis result of each of the images;
An image extraction unit that extracts one or more images corresponding to one or more image extraction conditions from the plurality of images based on an individual image evaluation value of each of the images;
A composite image creation unit that creates a composite image combining the one or more images based on one or more composite image creation conditions;
A composite image analysis unit for analyzing the composite image,
A composite image evaluation value calculation unit that calculates each of one or more composite image analysis evaluation values obtained by evaluating the composite image for each of one or more composite image evaluation items based on the analysis result of the composite image;
A composite image user evaluation value obtaining unit configured to obtain each of one or more composite image user evaluation values obtained by evaluating the composite image for each of the one or more composite image evaluation items from the plurality of users;
For each of the composite image evaluation items, a composite image user evaluation value calculation unit that calculates a composite image user evaluation total value based on composite image user evaluation values from the plurality of users,
For each of the composite image evaluation items, when the difference between the composite image user evaluation total value and the composite image analysis evaluation value is greater than a threshold, the composite image analysis evaluation value approaches the composite image user evaluation total value. A combination condition changing unit that creates a change condition in which at least one of the individual image evaluation condition, the image extraction condition, and the combined image creation condition is changed according to the difference,
The image processing device, wherein the combined image creating unit re-creates the combined image based on the change condition created by the combining condition changing unit.
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記合成画像の作成に使用するテンプレートにおける配置画像数を変更し、
前記合成画像作成部は、前記合成条件変更部によって前記配置画像数が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項1または2に記載の画像処理装置。 The composite image user evaluation value acquisition unit acquires a composite image user evaluation value that evaluates the composite image for the number of images used in the composite image,
The combining condition changing unit, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value, decreases the combined image analysis evaluation value according to the combined image user evaluation total value. Or when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the combined image analysis evaluation value increases according to the combined image user evaluation total value. In such a manner, the number of arranged images in the template used to create the composite image is changed,
The image processing apparatus according to claim 1, wherein the composite image creating unit re-creates the composite image using a template whose number of arranged images has been changed by the synthesis condition changing unit.
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記複数の画像の中から前記1以上の画像を抽出する時の人物画像の重みを変更し、
前記合成画像作成部は、前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された1以上の画像を用いて前記合成画像を作成し直す、請求項1または2に記載の画像処理装置。 The composite image user evaluation value obtaining unit obtains a composite image user evaluation value obtained by evaluating the composite image for the number of human images used in the composite image,
The combining condition changing unit, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value, decreases the combined image analysis evaluation value according to the combined image user evaluation total value. Or when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the combined image analysis evaluation value increases according to the combined image user evaluation total value. Changing the weight of the person image when extracting the one or more images from the plurality of images,
The composite image creating unit re-creates the composite image using one or more images extracted from the plurality of images according to the weight of the person image changed by the synthesis condition changing unit. Item 3. The image processing device according to item 1 or 2 .
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記合成画像の作成に使用するテンプレートの背景画像を変更し、
前記合成画像作成部は、前記合成条件変更部によって前記背景画像が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項1または2に記載の画像処理装置。 The composite image user evaluation value acquisition unit acquires a composite image user evaluation value that evaluates the composite image for the atmosphere of the composite image,
The combining condition changing unit, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value, decreases the combined image analysis evaluation value according to the combined image user evaluation total value. Or when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the combined image analysis evaluation value increases according to the combined image user evaluation total value. To change the background image of the template used to create the composite image,
The composite image creation unit may re-create the composite image using the background image is changed template by the synthesis condition changing unit, an image processing apparatus according to claim 1 or 2.
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記合成画像の作成に使用するテンプレートにおける配置画像数および前記複数の画像の中から前記1以上の画像を抽出する時の人物画像の重みを変更し、The combining condition changing unit, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value, decreases the combined image analysis evaluation value according to the combined image user evaluation total value. Or when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the combined image analysis evaluation value increases according to the combined image user evaluation total value. Changing the weight of the person image when extracting the one or more images from the plurality of images and the number of arranged images in the template used to create the composite image,
前記合成画像作成部は、前記合成条件変更部によって前記配置画像数が変更されたテンプレートおよび前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された1以上の画像を用いて前記合成画像を作成し直す、請求項1または2に記載の画像処理装置。The composite image creation unit is extracted from the plurality of images according to the template whose number of arranged images has been changed by the synthesis condition change unit and the weight of the person image changed by the synthesis condition change unit. The image processing apparatus according to claim 1, wherein the composite image is re-created using one or more images.
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記合成画像の作成に使用するテンプレートにおける配置画像数、前記複数の画像の中から前記1以上の画像を抽出する時の人物画像の重みおよび前記合成画像の作成に使用するテンプレートの背景画像を変更し、The combining condition changing unit, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value, decreases the combined image analysis evaluation value according to the combined image user evaluation total value. Or when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the combined image analysis evaluation value increases according to the combined image user evaluation total value. As described above, the number of arranged images in the template used for creating the composite image, the weight of the person image when extracting the one or more images from the plurality of images, and the background of the template used for creating the composite image Change the image,
前記合成画像作成部は、前記合成条件変更部によって前記配置画像数および前記背景画像が変更されたテンプレート、ならびに、前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された1以上の画像を用いて前記合成画像を作成し直す、請求項1または2に記載の画像処理装置。The composite image creating unit may include a template in which the number of arranged images and the background image are changed by the synthesis condition changing unit, and the plurality of images according to a weight of the person image changed by the synthesis condition changing unit. The image processing apparatus according to claim 1, wherein the composite image is re-created using one or more images extracted from among the images.
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記複数の画像の中から前記1以上の画像を抽出する時の人物画像の重みおよび前記合成画像の作成に使用するテンプレートの背景画像を変更し、The combining condition changing unit, when the combined image user evaluation total value is larger than the threshold value with respect to the combined image analysis evaluation value, decreases the combined image analysis evaluation value according to the combined image user evaluation total value. Or when the combined image user evaluation total value is smaller than the threshold value with respect to the combined image analysis evaluation value, the combined image analysis evaluation value increases according to the combined image user evaluation total value. Changing the background image of the template used for creating the composite image and the weight of the human image when extracting the one or more images from the plurality of images,
前記合成画像作成部は、前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された1以上の画像および前記合成条件変更部によって前記背景画像が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項1または2に記載の画像処理装置。The composite image creating unit changes one or more images extracted from the plurality of images according to the weight of the person image changed by the synthesis condition changing unit and the background image is changed by the synthesis condition changing unit. The image processing apparatus according to claim 1, wherein the composite image is re-created using the template.
前記合成画像ユーザ評価値演算部は、前記合成画像ユーザ評価総合値として、前記各々のユーザの重みに応じて重み付けされた前記複数のユーザからの合成画像ユーザ評価値の和、平均または積を演算する、請求項1ないし8のいずれか一項に記載の画像処理装置。 Comprising a weight calculation unit for calculating the weight of each of the plurality of users,
The composite image user evaluation value calculation unit calculates, as the composite image user evaluation total value, a sum, an average, or a product of the composite image user evaluation values from the plurality of users weighted according to the weight of each user. to image processing apparatus according to any one of claims 1 to 8.
前記重み算出部は、前記各々のユーザの個人情報に基づいて、前記複数のユーザの各々の重みを算出する、請求項10に記載の画像処理装置。 Comprising a personal information acquisition unit for acquiring personal information of each of the users,
The image processing apparatus according to claim 10 , wherein the weight calculation unit calculates a weight of each of the plurality of users based on personal information of each of the users.
前記合成条件記憶部に記憶された複数の変更条件の中から、前記差が前記閾値よりも大きい合成画像評価項目に対応する1つの変更条件を選択する合成条件選択部とを備え、
前記合成画像作成部は、前記合成条件選択部によって選択された変更条件に基づいて前記合成画像を作成し直す、請求項1ないし13のいずれか一項に記載の画像処理装置。 A combination condition storage unit that stores a plurality of change conditions obtained by changing at least one of the individual image evaluation condition, the image extraction condition, and the combination image creation condition according to the difference;
A combination condition selection unit that selects one change condition corresponding to a combination image evaluation item whose difference is greater than the threshold from among a plurality of change conditions stored in the combination condition storage unit;
The composite image creation unit, the re-create the composite image based on the selected change condition by the synthesis condition selection unit, an image processing apparatus according to any one of claims 1 to 13.
前記合成画像作成部は、前記合成条件記憶部に記憶された複数の変更条件の中から、前記複数のユーザの各々によって選択された1つの変更条件に基づいて前記合成画像を作成し直す、請求項1ないし13のいずれか一項に記載の画像処理装置。 A synthesis condition storage unit that stores a plurality of change conditions obtained by changing at least one of the individual image evaluation condition, the image extraction condition, and the synthesized image creation condition according to the difference,
The composite image creation unit re-creates the composite image based on one change condition selected by each of the plurality of users from a plurality of change conditions stored in the combination condition storage unit. Item 14. The image processing device according to any one of Items 1 to 13 .
前記合成画像作成部は、前記合成条件変更部によって作成された2以上の変更条件に基づいて2以上の合成画像を作成し直し、
前記2以上の合成画像に対し、前記複数のユーザによって選択された前記2以上の合成画像の各々の数を取得する合成画像選択数取得部と、
前記2以上の合成画像の中から前記複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部を備える、請求項1ないし15のいずれか一項に記載の画像処理装置。 The combining condition changing unit creates two or more changing conditions in which at least one of the individual image evaluation condition, the image extraction condition, and the combined image creating condition is changed according to the difference,
The composite image creation unit re-creates two or more composite images based on the two or more change conditions created by the composite condition change unit,
For the two or more composite images, a composite image selection number acquisition unit that acquires the number of each of the two or more composite images selected by the plurality of users,
The composite image information acquisition unit according to any one of claims 1 to 15 , further comprising: a composite image information acquisition unit configured to acquire information on a selected composite image having the largest number selected by the plurality of users from the two or more composite images. Image processing device.
前記合成条件変更部は、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも1つを前記差および前記標準偏差に応じて変更した2以上の変更条件を作成し、
前記合成画像作成部は、前記合成条件変更部によって作成された2以上の変更条件に基づいて2以上の合成画像を作成し直し、
前記2以上の合成画像に対し、前記複数のユーザによって選択された前記2以上の合成画像の各々の数を取得する合成画像選択数取得部と、
前記2以上の合成画像の中から前記複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部とを備える、請求項1ないし16のいずれか一項に記載の画像処理装置。 The composite image user evaluation value calculation unit further calculates a standard deviation of the composite image user evaluation values from the plurality of users,
The combining condition changing unit creates two or more changing conditions in which at least one of the individual image evaluation condition, the image extraction condition, and the combined image creating condition is changed according to the difference and the standard deviation,
The composite image creation unit re-creates two or more composite images based on the two or more change conditions created by the composite condition change unit,
For the two or more composite images, a composite image selection number acquisition unit that acquires the number of each of the two or more composite images selected by the plurality of users,
And a composite image information acquisition unit that acquires information of the selected largest number selected composite image by the plurality of users from among the two or more composite images, according to any one of claims 1 to 16 Image processing device.
前記複数の画像の各々を解析する個別画像解析部と、
前記各々の画像の解析結果に基づいて、前記各々の画像を1以上の個別画像評価条件について評価した個別画像評価値を算出する個別画像評価値算出部と、
前記各々の画像の個別画像評価値に基づいて、前記複数の画像の中から1以上の画像抽出条件に対応する1以上の画像を抽出する画像抽出部と、
1以上の合成画像作成条件に基づいて、前記1以上の画像を合成した合成画像を作成する合成画像作成部と、
前記複数のユーザから、前記合成画像を前記1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々を取得する合成画像ユーザ評価値取得部と、
前記各々の合成画像評価項目について、前記複数のユーザからの合成画像ユーザ評価値の標準偏差を演算する合成画像ユーザ評価値演算部と、
前記各々の合成画像評価項目について、前記標準偏差が閾値よりも大きい場合に、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも1つを前記標準偏差に応じて変更した2以上の変更条件を作成する合成条件変更部と、
前記合成画像作成部によって前記2以上の変更条件に基づいて作成し直された2以上の合成画像に対し、前記複数のユーザによって選択された前記2以上の合成画像の各々の数を取得する合成画像選択数取得部と、
前記2以上の合成画像の中から前記複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部を備える、画像処理装置。 An image acquisition unit that acquires a plurality of images from a plurality of users;
An individual image analysis unit that analyzes each of the plurality of images,
An individual image evaluation value calculation unit that calculates an individual image evaluation value obtained by evaluating each of the images with respect to one or more individual image evaluation conditions, based on an analysis result of each of the images;
An image extraction unit that extracts one or more images corresponding to one or more image extraction conditions from the plurality of images based on an individual image evaluation value of each of the images;
A composite image creation unit that creates a composite image combining the one or more images based on one or more composite image creation conditions;
A composite image user evaluation value acquisition unit configured to acquire each of one or more composite image user evaluation values obtained by evaluating the composite image for each of the one or more composite image evaluation items from the plurality of users;
For each of the composite image evaluation items, a composite image user evaluation value calculation unit that calculates a standard deviation of composite image user evaluation values from the plurality of users,
For each of the composite image evaluation items, when the standard deviation is greater than a threshold, change at least one of the individual image evaluation condition, the image extraction condition, and the composite image creation condition according to the standard deviation. A combining condition changing unit for creating two or more changing conditions,
For each of the two or more composite images recreated based on the two or more change conditions by the composite image creation unit, the number of each of the two or more composite images selected by the plurality of users is obtained. An image selection number acquisition unit,
An image processing apparatus, comprising: a composite image information acquisition unit configured to acquire information of a selected composite image having the largest number selected by the plurality of users from the two or more composite images.
前記合成条件変更部は、前記標準偏差が前記閾値よりも大きい場合に、前記合成画像の作成に使用するテンプレートにおける配置画像数を前記標準偏差に応じて変更し、
前記合成画像作成部は、前記合成条件変更部によって前記配置画像数が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項18に記載の画像処理装置。 The composite image user evaluation value acquisition unit acquires a composite image user evaluation value that evaluates the composite image for the number of images used in the composite image,
The composition condition changing unit, when the standard deviation is larger than the threshold value, changes the number of arranged images in the template used to create the composite image according to the standard deviation,
19. The image processing apparatus according to claim 18 , wherein the composite image creating unit re-creates the composite image using a template whose number of arranged images has been changed by the synthesis condition changing unit.
前記合成条件変更部は、前記標準偏差が前記閾値よりも大きい場合に、前記複数の画像の中から前記1以上の画像を抽出する時の人物画像の重みを前記標準偏差に応じて変更し、
前記合成画像作成部は、前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された1以上の画像を用いて前記合成画像を作成し直す、請求項18に記載の画像処理装置。 The composite image user evaluation value obtaining unit obtains a composite image user evaluation value obtained by evaluating the composite image for the number of human images used in the composite image,
The synthesis condition changing unit, when the standard deviation is greater than the threshold, changes the weight of the person image when extracting the one or more images from the plurality of images according to the standard deviation,
The composite image creating unit re-creates the composite image using one or more images extracted from the plurality of images according to the weight of the person image changed by the synthesis condition changing unit. Item 19. The image processing device according to item 18 .
前記合成条件変更部は、前記標準偏差が前記閾値よりも大きい場合に、前記合成画像の作成に使用するテンプレートの背景画像を前記標準偏差に応じて変更し、
前記合成画像作成部は、前記合成条件変更部によって前記背景画像が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項18に記載の画像処理装置。 The composite image user evaluation value acquisition unit acquires a composite image user evaluation value that evaluates the composite image for the atmosphere of the composite image,
The synthesis condition changing unit, when the standard deviation is greater than the threshold, changes the background image of the template used to create the synthesized image according to the standard deviation,
19. The image processing apparatus according to claim 18 , wherein the composite image creating unit re-creates the composite image using a template whose background image has been changed by the synthesis condition changing unit.
前記合成条件変更部は、前記標準偏差が前記閾値よりも大きい場合に、前記合成画像の作成に使用するテンプレートにおける配置画像数および前記複数の画像の中から前記1以上の画像を抽出する時の人物画像の重みを前記標準偏差に応じて変更し、When the standard deviation is larger than the threshold value, the combining condition changing unit is configured to extract the one or more images from the number of arranged images in the template used for creating the combined image and the plurality of images. Change the weight of the person image according to the standard deviation,
前記合成画像作成部は、前記合成条件変更部によって前記配置画像数が変更されたテンプレートおよび前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された1以上の画像を用いて前記合成画像を作成し直す、請求項18に記載の画像処理装置。The composite image creation unit is extracted from the plurality of images according to the template whose number of arranged images has been changed by the synthesis condition change unit and the weight of the person image changed by the synthesis condition change unit. The image processing apparatus according to claim 18, wherein the composite image is re-created using one or more images.
前記合成条件変更部は、前記標準偏差が前記閾値よりも大きい場合に、前記合成画像の作成に使用するテンプレートにおける配置画像数、前記複数の画像の中から前記1以上の画像を抽出する時の人物画像の重みおよび前記合成画像の作成に使用するテンプレートの背景画像を前記標準偏差に応じて変更し、The composition condition changing unit is configured to, when the standard deviation is larger than the threshold value, extract the one or more images from the plurality of images, the number of arranged images in a template used to create the composite image. Change the weight of the person image and the background image of the template used to create the composite image according to the standard deviation,
前記合成画像作成部は、前記合成条件変更部によって前記配置画像数および前記背景画像が変更されたテンプレート、ならびに、前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された1以上の画像を用いて前記合成画像を作成し直す、請求項18に記載の画像処理装置。The composite image creating unit may include a template in which the number of arranged images and the background image are changed by the synthesis condition changing unit, and the plurality of images according to a weight of the person image changed by the synthesis condition changing unit. The image processing apparatus according to claim 18, wherein the composite image is re-created using one or more images extracted from among the images.
前記合成条件変更部は、前記標準偏差が前記閾値よりも大きい場合に、前記複数の画像の中から前記1以上の画像を抽出する時の人物画像の重みおよび前記合成画像の作成に使用するテンプレートの背景画像を前記標準偏差に応じて変更し、The combining condition changing unit is configured to, when the standard deviation is larger than the threshold value, weigh a person image when extracting the one or more images from the plurality of images and a template used for creating the combined image. Change the background image according to the standard deviation,
前記合成画像作成部は、前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された1以上の画像および前記合成条件変更部によって前記背景画像が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項18に記載の画像処理装置。The composite image creating unit changes one or more images extracted from the plurality of images according to the weight of the person image changed by the synthesis condition changing unit and the background image is changed by the synthesis condition changing unit. 19. The image processing apparatus according to claim 18, wherein the composite image is re-created using the template obtained.
前記合成条件記憶部に記憶された複数の変更条件の中から、前記標準偏差が前記閾値よりも大きい合成画像評価項目に対応する2以上の変更条件を選択する合成条件選択部とを備え、
前記合成画像作成部は、前記合成条件選択部によって選択された変更条件に基づいて前記合成画像を作成し直す、請求項18ないし24のいずれか一項に記載の画像処理装置。 A synthesis condition storage unit that stores a plurality of change conditions obtained by changing at least one of the individual image evaluation condition, the image extraction condition, and the synthesized image creation condition according to the standard deviation;
A synthesis condition selection unit that selects two or more change conditions corresponding to a synthesized image evaluation item in which the standard deviation is larger than the threshold, from a plurality of change conditions stored in the synthesis condition storage unit;
The composite image creation unit, the synthesis conditions recreate the composite image on the basis of the selected change condition by the selection unit, an image processing apparatus according to any one of claims 18 to 24.
前記合成画像作成部は、前記合成条件記憶部に記憶された複数の変更条件の中から前記複数のユーザの各々によって選択された2以上の変更条件に基づいて前記合成画像を作成し直す、請求項18ないし24のいずれか一項に記載の画像処理装置。 A synthesis condition storage unit that stores a plurality of change conditions obtained by changing at least one of the individual image evaluation condition, the image extraction condition, and the synthesized image creation condition according to the standard deviation,
The composite image creating unit re-creates the composite image based on two or more change conditions selected by each of the plurality of users from a plurality of change conditions stored in the composite condition storage unit. Item 25. The image processing device according to any one of Items 18 to 24 .
前記オブジェクトのリストの中から前記複数のユーザによって選択された各々のオブジェクトの数を取得するオブジェクト数取得部とを備え、
前記合成条件変更部は、さらに、前記オブジェクトのリストの中から前記複数のユーザによって選択された各々のオブジェクトの数に応じて、前記複数の画像の中から前記1以上の画像を抽出する時の前記各々のオブジェクトが写っている画像の重みを変更し、
前記合成画像作成部は、前記合成条件変更部によって変更された前記オブジェクトの重みに応じて前記複数の画像の中から抽出された1以上の画像を用いて前記合成画像を作成し直す、請求項1ないし26のいずれか一項に記載の画像処理装置。 Based on the analysis result of each of the images, an object detection unit that detects an object other than a person appearing in each of the images, and creates a list of objects that appear in the plurality of images,
An object number acquisition unit that acquires the number of each object selected by the plurality of users from the list of objects,
The synthesizing condition changing unit may further include extracting the one or more images from the plurality of images according to the number of each object selected by the plurality of users from the list of objects. Changing the weight of the image in which each of the objects is captured,
The said composite image preparation part re-creates the composite image using one or more images extracted from the plurality of images according to the weight of the object changed by the synthesis condition change part. The image processing device according to any one of 1 to 26 .
前記合成画像ユーザ評価値取得部は、前記合成画像評価項目記憶部に記憶された前記1以上の合成画像評価項目の各々について前記合成画像を評価した合成画像ユーザ評価値を取得する、請求項1ないし27のいずれか一項に記載の画像処理装置。 A composite image evaluation item storage unit that stores the one or more composite image evaluation items;
The composite image user evaluation value acquisition unit acquires a composite image user evaluation value that evaluates the composite image for each of the one or more composite image evaluation items stored in the composite image evaluation item storage unit. 28. The image processing device according to any one of claims 27 to 27 .
前記合成画像ユーザ評価値取得部は、前記合成画像評価項目記憶部に記憶された前記1以上の合成画像評価項目の中から前記複数のユーザの各々によって選択された合成画像評価項目について前記合成画像を評価した合成画像ユーザ評価値を取得する、請求項1ないし27のいずれか一項に記載の画像処理装置。 A composite image evaluation item storage unit that stores the one or more composite image evaluation items;
The composite image user evaluation value acquisition unit is configured to select the composite image evaluation item selected by each of the plurality of users from the one or more composite image evaluation items stored in the composite image evaluation item storage unit. The image processing apparatus according to any one of claims 1 to 27 , wherein a composite image user evaluation value obtained by evaluating is obtained.
前記合成画像ユーザ評価値取得部は、前記合成画像評価項目作成部によって作成された合成画像評価項目について前記合成画像を評価した合成画像ユーザ評価値を取得する、請求項1ないし27のいずれか一項に記載の画像処理装置。 A composite image evaluation item creation unit that creates the composite image evaluation item for an object whose appearance frequency in the composite image is greater than a threshold from among one or more objects based on the individual image evaluation value of each image; Prepared,
The composite image user evaluation value acquiring unit, the synthesized image evaluation to obtain a composite image user evaluation value of the evaluation of the composite image for the composite image evaluation items created by item creation unit, any one of claims 1 to 27 An image processing apparatus according to the item.
前記合成条件変更部は、前記合成画像情報記憶部に記憶された選択合成画像の情報に基づいて、前記複数のユーザによる前記合成画像の選択の傾向に合致するように、次の合成画像の作成に用いられる前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも1つを変更する、請求項16ないし18のいずれか一項に記載の画像処理装置。 A composite image information storage unit that stores information on the selected composite image,
The combining condition changing unit creates a next combined image based on the information of the selected combined image stored in the combined image information storage unit so as to match the tendency of the plurality of users to select the combined image. The image processing apparatus according to any one of claims 16 to 18 , wherein at least one of the individual image evaluation condition, the image extraction condition, and the composite image creation condition used for (i) is changed.
前記合成画像作成部は、前記各々の合成画像評価項目について、前記合成画像解析評価値が前記合成画像ユーザ評価値記憶部に記憶された前記複数のユーザからの合成画像ユーザ評価値の平均に近づくように、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも1つの値が決定された条件で次の合成画像を作成する、請求項1ないし17および30のいずれか一項に記載の画像処理装置。 For each of the composite image evaluation items, a composite image user evaluation value storage unit that stores an average of composite image user evaluation values from the plurality of users,
The composite image creation unit is configured such that, for each of the composite image evaluation items, the composite image analysis evaluation value approaches an average of composite image user evaluation values from the plurality of users stored in the composite image user evaluation value storage unit. The method according to any one of claims 1 to 17, and wherein the next composite image is generated under a condition in which at least one of the individual image evaluation condition, the image extraction condition, and the composite image generation condition is determined. The image processing device according to claim 1.
個別画像解析部が、前記複数の画像の各々を解析するステップと、
個別画像評価値算出部が、前記各々の画像の解析結果に基づいて、前記各々の画像を1以上の個別画像評価条件について評価した個別画像評価値を算出するステップと、
画像抽出部が、前記各々の画像の個別画像評価値に基づいて、前記複数の画像の中から1以上の画像抽出条件に対応する1以上の画像を抽出するステップと、
合成画像作成部が、1以上の合成画像作成条件に基づいて、前記1以上の画像を合成した合成画像を作成するステップと、
合成画像解析部が、前記合成画像を解析するステップと、
合成画像評価値算出部が、前記合成画像の解析結果に基づいて、前記合成画像を1以上の合成画像評価項目の各々について評価した1以上の合成画像解析評価値の各々を算出するステップと、
合成画像ユーザ評価値取得部が、前記複数のユーザから、前記合成画像を前記1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々を取得するステップと、
合成画像ユーザ評価値演算部が、前記各々の合成画像評価項目について、前記複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算するステップと、
合成条件変更部が、前記各々の合成画像評価項目について、前記合成画像ユーザ評価総合値と前記合成画像解析評価値との差が閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に近づくように、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも1つを前記差に応じて変更した変更条件を作成するステップと、
前記合成画像作成部が、前記変更条件を作成するステップによって作成された変更条件に基づいて前記合成画像を作成し直すステップとを含む、画像処理方法。 An image acquiring unit acquiring a plurality of images from a plurality of users;
An individual image analysis unit for analyzing each of the plurality of images;
An individual image evaluation value calculating unit that calculates an individual image evaluation value obtained by evaluating each of the images with respect to one or more individual image evaluation conditions, based on an analysis result of each of the images;
An image extracting unit for extracting one or more images corresponding to one or more image extraction conditions from the plurality of images based on an individual image evaluation value of each of the images;
A step in which the combined image creation unit creates a combined image by combining the one or more images based on one or more combined image creation conditions;
A composite image analysis unit that analyzes the composite image;
A step in which the composite image evaluation value calculation unit calculates each of one or more composite image analysis evaluation values obtained by evaluating the composite image for each of one or more composite image evaluation items based on the analysis result of the composite image;
A step of acquiring, from the plurality of users, one or more composite image user evaluation values obtained by evaluating the composite image for each of the one or more composite image evaluation items;
A composite image user evaluation value calculation unit for each of the composite image evaluation items, calculating a composite image user evaluation total value based on composite image user evaluation values from the plurality of users;
A combining condition changing unit that, for each of the combined image evaluation items, when the difference between the combined image user evaluation total value and the combined image analysis evaluation value is greater than a threshold, the combined image analysis evaluation value is the combined image Creating a change condition in which at least one of the individual image evaluation condition, the image extraction condition, and the composite image creation condition is changed according to the difference so as to approach the user evaluation total value;
A step of re-creating the composite image based on the change condition created by the step of creating the change condition.
個別画像解析部が、前記複数の画像の各々を解析するステップと、
個別画像評価値算出部が、前記各々の画像の解析結果に基づいて、前記各々の画像を1以上の個別画像評価条件について評価した個別画像評価値を算出するステップと、
画像抽出部が、前記各々の画像の個別画像評価値に基づいて、前記複数の画像の中から1以上の画像抽出条件に対応する1以上の画像を抽出するステップと、
合成画像作成部が、1以上の合成画像作成条件に基づいて、前記1以上の画像を合成した合成画像を作成するステップと、
合成画像ユーザ評価値取得部が、前記複数のユーザから、前記合成画像を前記1以上の合成画像評価項目の各々について評価した1以上の合成画像ユーザ評価値の各々を取得するステップと、
合成画像ユーザ評価値演算部が、前記各々の合成画像評価項目について、前記複数のユーザからの合成画像ユーザ評価値の標準偏差を演算するステップと、
前記各々の合成画像評価項目について、前記標準偏差が閾値よりも大きい場合に、合成条件変更部が、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも1つを前記標準偏差に応じて変更した2以上の変更条件を作成するステップと、
合成画像選択数取得部が、前記合成画像を作成するステップによって前記2以上の変更条件に基づいて作成し直された2以上の合成画像に対し、前記複数のユーザによって選択された前記2以上の合成画像の各々の数を取得するステップと、
合成画像情報取得部が、前記2以上の合成画像の中から前記複数のユーザによって選択された数が最も多い選択合成画像の情報を取得するステップとを含む、画像処理方法。 An image acquiring unit acquiring a plurality of images from a plurality of users;
An individual image analysis unit for analyzing each of the plurality of images;
An individual image evaluation value calculating unit that calculates an individual image evaluation value obtained by evaluating each of the images with respect to one or more individual image evaluation conditions, based on an analysis result of each of the images;
An image extracting unit for extracting one or more images corresponding to one or more image extraction conditions from the plurality of images based on an individual image evaluation value of each of the images;
A step in which the combined image creation unit creates a combined image by combining the one or more images based on one or more combined image creation conditions;
A step of acquiring, from the plurality of users, one or more composite image user evaluation values obtained by evaluating the composite image for each of the one or more composite image evaluation items;
A step of calculating a standard deviation of composite image user evaluation values from the plurality of users, for each of the composite image evaluation items,
For each of the composite image evaluation items, when the standard deviation is greater than a threshold, the composition condition changing unit sets at least one of the individual image evaluation condition, the image extraction condition, and the composite image creation condition to the Creating two or more change conditions changed according to the standard deviation;
The two or more synthesized images selected by the plurality of users are selected by the plurality of users for the two or more synthesized images re-created based on the two or more change conditions by the step of creating the synthesized image. Obtaining a number of each of the composite images;
A composite image information acquisition unit acquiring information on a selected composite image selected by the plurality of users from the two or more composite images, the number being the largest.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016145437A JP6650364B2 (en) | 2016-07-25 | 2016-07-25 | Image processing apparatus, image processing method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016145437A JP6650364B2 (en) | 2016-07-25 | 2016-07-25 | Image processing apparatus, image processing method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018018137A JP2018018137A (en) | 2018-02-01 |
JP6650364B2 true JP6650364B2 (en) | 2020-02-19 |
Family
ID=61076564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016145437A Active JP6650364B2 (en) | 2016-07-25 | 2016-07-25 | Image processing apparatus, image processing method, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6650364B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4415378B2 (en) * | 2004-06-29 | 2010-02-17 | セイコーエプソン株式会社 | Image composition system, image composition program, and image composition method |
JP2013255171A (en) * | 2012-06-08 | 2013-12-19 | Canon Inc | Image distribution apparatus and image display apparatus |
JP2015153357A (en) * | 2014-02-19 | 2015-08-24 | 富士フイルム株式会社 | Composite image generating server and composite image generation method, program therefor, and recording medium storing the program |
JP2015162850A (en) * | 2014-02-28 | 2015-09-07 | 富士フイルム株式会社 | Image synthesizer, and method thereof, program thereof, and recording medium storing program thereof |
JP6033821B2 (en) * | 2014-09-12 | 2016-11-30 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
-
2016
- 2016-07-25 JP JP2016145437A patent/JP6650364B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018018137A (en) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8903200B2 (en) | Image processing device, image processing method, and image processing program | |
JP5009577B2 (en) | Image search apparatus and method, and program | |
US10359927B2 (en) | Methods and systems for photo, page, and spread arrangement on space-constrained user devices | |
US20130262988A1 (en) | Layout apparatus, layout method, and computer-readable recording medium | |
JP6033821B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6719206B2 (en) | Image processing apparatus, image processing method, and program | |
CN107621966B (en) | Graphical user interface display method and device and terminal equipment | |
US9449411B2 (en) | Ranking image importance with a photo-collage | |
US20130182963A1 (en) | Selecting images using relationship weights | |
CN108228114A (en) | Control method and storage medium | |
JP7076974B2 (en) | Image processing equipment, control methods and programs | |
US10853980B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6660835B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6887816B2 (en) | Image processing equipment, control methods, and programs | |
JPWO2019230275A1 (en) | An image processing device, an image processing method, an image processing program, and a recording medium containing the program. | |
JP2022123209A (en) | Image processing apparatus, image processing method, and program | |
JP7336209B2 (en) | Image processing device, control method, and program | |
US11775618B2 (en) | Image processing device, image processing method, and image processing program for deciding a similarity between a captured image and a sample image | |
US20170061642A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP6367169B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6650364B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6673771B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6622662B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP7451242B2 (en) | Image processing device, image processing method, and program | |
US10783355B2 (en) | Image processing system, image processing method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180730 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6650364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |