WO2020195188A1 - 画像処理装置，画像処理方法および画像処理プログラム - Google Patents

画像処理装置，画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2020195188A1
WO2020195188A1 PCT/JP2020/004148 JP2020004148W WO2020195188A1 WO 2020195188 A1 WO2020195188 A1 WO 2020195188A1 JP 2020004148 W JP2020004148 W JP 2020004148W WO 2020195188 A1 WO2020195188 A1 WO 2020195188A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
sample
model
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/004148
Other languages
English (en)
French (fr)
Inventor
野口　幸典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021508180A priority Critical patent/JP7135200B2/ja
Priority to CN202080011256.6A priority patent/CN113366537B/zh
Publication of WO2020195188A1 publication Critical patent/WO2020195188A1/ja
Priority to US17/470,440 priority patent/US11775618B2/en
Anticipated expiration legal-status Critical
Priority to JP2022138231A priority patent/JP7377325B2/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00196—Creation of a photo-montage, e.g. photoalbum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • the image group can include an image containing an object of a type desired by the user (Patent Document 1), and an image of a specific person is displayed in time series. It is also conceivable that the image can be displayed on the image (Patent Document 2), and the image can be supported to identify what the photographed image is (Patent Document 3). ing.
  • the image of the last bride and groom's greeting of the wedding is an album. It may be pasted on the first page of.
  • Cited Document 1 it is divided into a plurality of image groups based on time information, and there is no idea that it is a model image.
  • Cited Document 2 a specific person is displayed in chronological order, and there is no idea that it is a model image.
  • Cited Document 3 the flow of images pasted on the album is not considered.
  • An object of the present invention is to make it possible to determine a captured image that is similar to a plurality of sample images and that follows the flow of the plurality of sample images.
  • the image processing apparatus is a first combination of a sample image having a similarity equal to or higher than a first threshold value and a captured image among a plurality of sample images and a plurality of captured images, each of which has a predetermined order.
  • the difference between the rank of the sample image in the plurality of sample images and the rank of the captured image in the plurality of captured images among the first detection means and the first combination for detecting the above is within the second threshold value.
  • the sample image group including the sample image and the captured image considered to be the same scene as the sample image group are included.
  • the first determining means for determining the combination with the captured image group, and the captured image having a similarity with one sample image included in the sample image group equal to or higher than the third threshold value is provided with a second determination means for determining.
  • the present invention also provides an image processing method suitable for an image processing apparatus. That is, in this image processing method, the first detection means captures a sample image having a similarity equal to or higher than the first threshold value among a plurality of sample images and a plurality of captured images, each of which has a predetermined order.
  • the first combination with the image is detected, and the second detection means is the difference between the order of the sample images in the plurality of sample images and the order of the captured images in the plurality of captured images in the first combination.
  • the second combination of the sample image and the captured image within the second threshold is detected, and the first determination means is based on the second combination, the sample image group including the sample image and the sample image.
  • the combination of the group and the captured image group including the captured image considered to be the same scene is determined, and the second determination means is that the similarity with one sample image included in the sample image group is the third threshold value.
  • the above captured images are determined from the captured image group.
  • the present invention also provides a program that controls a computer of an image processing apparatus and a recording medium that stores the program.
  • the image processing device is provided with a processor, and the sample image and the captured image having a similarity equal to or higher than the first threshold value among the plurality of sample images and the plurality of captured images in which the ranking is determined respectively.
  • the first combination with and is detected, and among the first combinations, the difference between the order of the sample images in the plurality of sample images and the order of the captured images in the plurality of captured images is within the second threshold value.
  • a second combination of a sample image and a captured image is detected, and based on the second combination, a sample image group containing the sample image and a captured image group including a captured image considered to be the same scene as the sample image group.
  • the combination of images may be determined, and a photographed image having a similarity with one sample image included in the sample image group having a degree of similarity equal to or greater than a third threshold value may be determined from the photographed image group.
  • a plurality of sample images and a plurality of photographed images follow a series of flows constituting one event such as a wedding ceremony.
  • the ranking of the plurality of sample images and the plurality of photographed images be continuous for the images of items in the event such as the entrance of the bride and groom and the greeting of the guest of honor. Therefore, it is preferable that the images of the same scene are ranked so as to be continuous.
  • a display device for displaying a captured image determined by the second determination means may be further provided.
  • One sample image is adopted in a sample photo book from among a plurality of sample images, for example.
  • the photographed image determined by the second determination means is one sample image whose similarity with the photographed image is equal to or higher than the third threshold value. Further positioning means for positioning at the positioned position may be provided.
  • the first detection means is, for example, a third combination of the sample image having the maximum similarity and the captured image among the plurality of sample images and the plurality of captured images, and the similarity is the first threshold value.
  • the first combination of the above sample image and the captured image is detected.
  • the first determination means is, for example, two or more sample images and two or more captures existing between two second combinations having different ranks among the second combinations detected by the second detection means.
  • the images are determined as a sample image group and a captured image group.
  • the first determining means is, for example, two or more sample images and two presenting between two second combinations having adjacent ranks among the second combinations detected by the second detecting means.
  • the above captured images are determined as a sample image group and a captured image group.
  • the first determining means is, for example, two or more of the second combinations detected by the second detecting means, the rank of which exists between the second combinations before and after the first second combination.
  • the sample image and two or more captured images may be determined as a sample image group and a captured image group.
  • the second determining means is, for example, a captured image having the maximum similarity with one sample image included in the sample image group determined by the first determining means, and a captured image determined by the first determining means. Decide from within the group.
  • the present invention it is possible to determine a captured image that is similar to a plurality of sample images and follows the flow of the plurality of sample images.
  • FIG. 1 It is a block diagram which shows the electrical structure of an image processing apparatus. This is an example of a model album. It is a flowchart which shows the processing procedure of an image processing apparatus. It is a flowchart which shows the processing procedure of an image processing apparatus. This is an example of a model image and a user image. This is an example of a model image and a user image. This is an example of a model image and a user image. This is an example of an album display window. This is an example of an album display window. This is an example of an album display window. This is an example of an album display window. This is an example of an album display window. This is an example of an album display window. This is an example of an album display window.
  • FIG. 1 shows an embodiment of the present invention, and is a block diagram showing an electrical configuration of the image processing apparatus 1.
  • the overall operation of the image processing device 1 is controlled by the CPU (Central Processing Unit) 2.
  • CPU Central Processing Unit
  • the image processing device 1 includes a display device 3 that displays images and other information on a display screen, and a communication device 4 that connects to the Internet and other networks to communicate with devices other than the image processing device 1.
  • the image processing device 1 also includes a hard disk 5, a hard disk drive for accessing the hard disk 5, a memory 7 for storing data, a keyboard 8 for inputting commands, and a mouse 9. There is. Further, the image processing device 1 also includes a compact disk drive 10 for accessing the compact disk 11 and a memory card reader / writer 12 for accessing the memory card 13.
  • the operation program of the image processing device 1 described later is received by the communication device 4 via the Internet.
  • the received operation program is installed in the image processing device 1.
  • the operation program is received by the image processing device 1 via a network such as the Internet, is recorded on a portable recording medium such as a compact disk 11 without being installed in the image processing device 1, and is recorded from the portable recording medium. It may be read. In that case, the operation program read from the portable recording medium is installed in the image processing device 1.
  • the operation program can be read by the CPU 2 (computer) of the image processing device 1.
  • Figure 2 is an example of a model album (an example of a sample photo book).
  • the model album 20 shown in FIG. 2 is a wedding album (not limited to a wedding album).
  • the model album 20 was created by a professional photographer (not necessarily a professional photographer), and is an album that an amateur can use as a model, such as the composition of the model image and the selection criteria of the image.
  • the image processing device 1 From a large number of images taken at the user's wedding (called user images, which is an example of captured images), the image processing device 1 has the same composition and scene image as the model image pasted on the model album 20.
  • the user images found and found by are pasted into the album in the same order as the model images I20, I65, I132, I151, I201, I280 and I351 attached to the model album 20.
  • a user's image similar to the model album 20 is created.
  • the model album 20 shown in FIG. 2 is composed of pages 1 to 7, but may be a model album of 8 pages or more, or a model album 20 of less than 7 pages.
  • the order of each item is "Bride and groom admission", "Greetings from the guest of honor”, “Cake sword”, “Talks, meals”, “Sideshow”, “Acknowledgments to parents” and "Greetings from the bride and groom” It's a wedding ceremony that goes on.
  • the first, second, third, fourth, fifth, sixth, and seventh pages of the model album 20 are model images I20 of "Bride and Bride Admission” and "Greetings from the Guest”.
  • Model image I65, "Cake sword” model image I132, “Talk, meal” model image I151, “Entertainment” model image I201, "Thanks to parents” image I280 and “Bride and groom greeting” image I351 is pasted (model images I20, I65, I132, I151, I201, I280 and I351 are examples of sample images).
  • model images I20, I65, I132, I151, I201, I280 and I351 are examples of sample images.
  • the model album 20 shown in FIG. 2 one image is pasted on one page, but a plurality of images may be pasted on one page. Further, in the model album 20, the scene of the image is changed for each page, but the image of the same scene may be pasted on a plurality of pages.
  • 3 and 4 are flowcharts showing the processing procedure of the image processing device 1.
  • Image data representing a plurality of model images is recorded on the compact disk 11 (image data representing the model image may be recorded on a recording medium other than the compact disk 11 or received via a network.
  • the image data representing the model image is read from the compact disk 11 (step 21).
  • image data representing a plurality of user images is recorded on the memory card 13 (image data representing the user image may be recorded on a recording medium other than the memory card 13 or via a network.
  • the image data representing the user image is read from the memory card 13 (step 22).
  • FIG. 5 shows an example of a plurality of model images and an example of a plurality of user images.
  • model images I1 to I351 There are 351 multiple model images of model images I1 to I351 (there may be 352 or more model images, or less than 351 model images), and 120 user images P1 to P120. There are multiple user images (there may be 121 or more user images, or less than 120 user images).
  • the image data representing these model images I1 to I351 are read from the compact disc 11, and the image data representing these user images P1 to P120 are read from the memory card 13.
  • the model images I1 to I50 are images of the scene of "the bride and groom entering", and the model image I20 is selected from these model images I1 to I50 and pasted on the model album 20.
  • the model images I51 to I100 are images of the scene of the "guest greeting", and the model image I65 is selected from these model images I51 to I100 and pasted on the model album 20.
  • the model images I101 to I150 are images of the scene of the "wedding cake sword", and the model image I132 is selected from these model images I101 to I150 and pasted on the model album 20.
  • the model images I151 to I200 are images of the scene of "challenge, meal”, and the model image 151 is selected from these model images I151 to I200 and pasted on the model album 20.
  • the model images I201 to I250 are images of the scene of "sideshow”, and the model image 201 is selected from these model images I201 to I250 and pasted on the model album 20.
  • the model images I251 to I300 are images of the scene of "Acknowledgment to parents”, and the model image 280 is selected from these model images I251 to I300 and pasted on the model album 20.
  • the model images I301 to I351 are images of the scene of "Greetings from the bride and groom”, and the model images I351 are selected from these model images I301 to I351 and pasted on the model album 20.
  • the fact that the model images I1 to I50 are the same scene as the "bride and groom entrance” scene means that the text "bride and groom entrance" is recorded in the header of each image file of the model images I1 to I50. (Recording in the text is done by the creator when creating an album from the model image). That is, the image processing device 1 recognizes that the model images I1 to I50 represent the same scene from the recording of the header of the image file.
  • the machine does not necessarily have to understand like a human being that the target scene is the scene of entering the bride and groom. By different texts, it is sufficient to distinguish between scenes.
  • the model images I1 to I351 are ranked in the order of I1 to I351 (in this embodiment, the model images I1 to I351 are images of an event such as a wedding ceremony, and the "groom” performed at that event.
  • the order of the images is determined for each item such as "Bride admission” and "Greetings from the guest of honor", and the ranking means the order in which the images of the same scene are continuous.
  • the order of each item is also determined for each event. ing). For example, from relative time t0 to t1, the order of the scenes of "bride and groom entrance" I1 to I50 is continuous, and from relative time t1 to t2, the image I51 of the scene of "guest greeting".
  • the order from to I100 is continuous, and the relative times t2 to t3 are the images of the "wedding cake sword” scene.
  • the order from I101 to I150 is continuous, and the relative times t3 to t4.
  • the order of images I151 to I200 of "challenge, meal” is continuous, and the order of images I201 to I250 of "entertainment” is continuous from relative time t4 to t5, which is relative. From time t5 to t6, the order of images I251 to I300 of "thanks to parents” is continuous, and from relative time t6 to t7, the order of images I301 to I351 of "greetings of the bride and groom” is continuous. are doing.
  • the order may be determined according to the image-taking time, or the image-taking time itself may be set as the order.
  • the user images P1 to P120 are also ranked in the shooting order at the event.
  • the ranking may be determined according to the shooting time, or the shooting time itself may be the ranking.
  • the similarity of the images is calculated for each combination of the model images I1 to I351 and the user images P1 to P120 (step 23).
  • the first combination of the model image and the user image in which the calculated similarity becomes equal to or higher than the first threshold value is detected by the CPU 2 (first detection means) (step 24).
  • the model image and the user image which are the third combination having the maximum similarity and the similarity is equal to or higher than the first threshold value.
  • the first combination of may be detected.
  • the first threshold value is the degree to which the combination of the model image and the user image becomes a predetermined number (for example, the degree of the number of model images pasted on the model album 20 or the event. It is adjusted to a little more than the item). If the number of the first combinations detected is large, the detection of the first combination is repeated while the CPU 2 adjusts the first threshold value to the extent that the number is a predetermined number. May be good. Further, the number of the first combinations may be adjusted to a predetermined number so that the relative time intervals of the first combinations are separated by a certain amount or more.
  • the first combination of the model image and the user image whose time is close to the model image pasted on the model album 20 may be detected, or multiple pages on the spread page or one side page of the model album 20. If the model image is pasted, the first combination including the user image taken at the time corresponding to the relative time of the multiple images pasted on the spread page or one page. May be detected.
  • a combination of the model image I2 and the user image P3 a combination of the model image I51 and the user image P21, a combination of the model image I150 and the user image P49, and the model image I198 and the user image P79.
  • the combination of the model image I201 and the user image P30, the combination of the model image I249 and the user image P99, the combination of the model image I300 and the user image P101, and the combination of the model image I301 and the user image P112. Is detected as the first combination.
  • Each of the model images included in the detected first combination may or may not be included in the model image group attached to the model album 20.
  • the CPU (second detection means) 2 detects the second combination in which the relative rank difference is within the second threshold value from the detected first combinations (step 25).
  • the ranks of the model images I1 to I351 and the ranks of the user images P1 to P120 are standardized (in this case, the standardization is the first of the model images I1 to I351 and the user images P1 to P120.
  • Image I1 and the first image P1 of the user image are set to 0, the last image I351 of the model image and the last image P120 of the user image are set to 1, and the scale is set so that the ranks of the respective images can be compared even if the number of images is different.
  • the difference between the model image and the user image in the first combination detected among the standardized ranks of the model images I1 to I351 and the ranks of the user images P1 to P120 is common. It suffices if the second combination within the second threshold value is detected. For example, the combination of the model image I2 and the user image P3, the combination of the model image I51 and the user image P21, the combination of the model image I150 and the user image P49, the combination of the model image I198 and the user image P79, and the model image I201.
  • the model image I2 Of the first combination of the user image P30, the model image I249 and the user image P99, the model image I300 and the user image P101, and the model image I301 and the user image P112, the model image I2 And the user image P3, the model image I51 and the user image P21, the model image I150 and the user image P49, the model image I198 and the user image P79, the model image I249 and the user image P99.
  • the combination of the model image I300 and the user image P101, and the combination of the model image I301 and the user image P112 the ranking difference between the model image and the user image is within the second threshold value.
  • the first combination of these is detected as the second combination.
  • the ranking difference between the model image and the user image does not fall within the second threshold value, so that the second combination is not used.
  • the combination is eliminated.
  • a new first combination may be searched for.
  • the model image group including a plurality of model images is divided by CPU2 (first grouping means).
  • the CPU 2 (second grouping means) divides the user image group into a user image group including a plurality of user images similar to the model image included in the model image group.
  • a model image group an example of a sample image group
  • a user image group including a user image considered to be the same scene as the model image scene included in the model image group an example of a captured image group.
  • the combination of and is determined by the CPU 2 (first determination means) (step 26 in FIG. 4).
  • the model images I2 to I50 are set as the first model image group of the same scene (the combination of the model image I2 and the user image P3 which is the first combination, and the model images I51 and the user image P21 which are the next combinations.
  • I2 and I51 are extracted as the model images with the earliest rankings used in the combination of and.
  • the model image I2 to the model image I50 immediately before the model image I51 are the first model images of the same scene.
  • the group is defined as the first user image group in which the user images P3 to P20 are regarded as the same scene as the same scene (the same applies to other model image groups), and the combination of the croup is determined (first).
  • P3 and P21 are used as the earliest user images used in the combination of the model image I2 and the user image P3, which is a combination of the above, and the combination of the model image I51 and the user image P21, which are the following combinations. Extract.
  • the user image P3 to the user image P20 immediately before the user image P21 is regarded as the first user image group of the same scene. The same applies to other user image groups).
  • the model images I51 to I149 are set as the second model image group of the same scene
  • the user images P21 to P48 are set as the second user image group
  • the combination of the groups is determined
  • the model images I150 to I197 are the second.
  • the model image group of 3 is set, the user images P49 to P78 are set as the third user image group, and the combination of the groups is determined.
  • the model images I198 to I248 are set as the fourth model image group, and the user images P79 to P98. Is designated as the fourth user image group and the combination of groups is determined, the model images I249 to I299 are designated as the fifth model image group, and the user images P99 to P100 are designated as the fifth user image group. Is determined, the model image I300 is designated as the sixth model image group, the user images P101 to P111 are designated as the sixth user image group, and the combination of the groups is determined, and the model images I301 to I351 are the seventh model image.
  • the group is set, and the user images P112 to P200 are set as the seventh user image group, and the combination of the groups is determined. If the number of images included in the group is less than the predetermined threshold value, the detection of the first combination and the detection of the second combination described above are repeated so that the number of images exceeds the threshold value. It is advisable to determine the combination of groups.
  • a user image (which may be a user image with the highest similarity) constitutes a combination with a model image group that includes each of the model images I20, I65, I132, I151, I201, 280, and I351. It is determined by the CPU 2 (second determination means) from the user image group (step 27).
  • the user images P13, P23, P38, P51, P81, P108 and P120 are determined from the model images I20, I65, I132, I151, I201, I280 and I351, respectively.
  • the images included in the fifth user image group are the image P99 and the image P100. There are only two. Even if an image similar to the model image I280 is to be found in these images P99 and P100, it may not be found in only two images.
  • the user images P99 and the user images close to P100 included in the fifth user image group are also included in the fifth user image group.
  • 22 images including P89 to P98 (10 images taken immediately before P99) and P101 to P110 (10 images taken immediately after P100) are set as the fifth user image group. From this, a user image P108 similar to the model image I280 attached to the model album 20 is determined.
  • a user album is created by CPU2 (user album creation means) with reference to the model album 20 (step). 28). Since the user image P13 is similar to the model image I20, it is at the same position where the model image I20 (an example of one sample image) is pasted, which is the same position as the user album (photobook template). It is positioned and attached to the first page of (an example) by the CPU 2 (positioning means).
  • the user image P23 is pasted on the second page of the model album 20 because it is similar to the model image I65
  • the user image P38 is pasted on the third page of the model album 20 because it is similar to the model image I132.
  • Attached the user image P51 is pasted on the 4th page of the model album 20 because it is similar to the model image I151
  • the user image P81 is pasted on the 5th page of the model album 20 because it is similar to the model image I201.
  • the user image P108 is pasted on page 6 of the model album 20 because it is similar to the model image I280
  • the user image P120 is pasted on page 7 of the model album 20 because it is similar to the model image I351. Can be attached.
  • the created user album and model album are displayed on the display screen of the display device 3 (step 29).
  • FIG. 8 is an example of the album display window 40 displayed on the display screen of the display device 3.
  • the album display window 40 includes a model album list display area 41, a user album list display area 42, a model album page display area 51, a user album page display area 55, and a user image display area 60.
  • model album list display area 41 all the pages of the model album 20 are displayed, and the model images I20, I65, I132, I151, I201, I280, and I351 attached to the model album 20 are displayed.
  • user album list display area 42 all pages of the user album are displayed, and user images P13, P23, P38, P51, P81, P108 and P120 pasted on the user album are displayed. ..
  • each of the user images P13, P23, P38, P51, P81, P108 and P120 pasted on the user album is model images I20, I65, I132, which are pasted on the model album 20. It is similar to each of I151, I201, I280 and I351, and has the same scene image.
  • Each of the user images P13, P23, P38, P51, P81, P108 and P120 corresponds to each page of the model album 20 to which the model images I20, I65, I132, I151, I201, I280 and I351 are attached. It is pasted on each page of the user album.
  • a scroll button 43 is formed at the bottom of the user / album list display area 42.
  • By scrolling the scroll button 43 left and right if there are model images and user images that are not displayed in the model album list display area 41 and the user album list display area 42, those model images and user images are displayed. It is displayed in the model album list display area 41 and the user / album list display area 42.
  • By scrolling the scroll button 43 left and right each page of the model album 20 displayed in the model album list display area 41 and each page of the user album displayed in the user album list display area 42 are displayed. It moves left and right in conjunction, but it does not have to be linked.
  • model album page display area 51 shown in FIG. 8, the model image I20 pasted on the first page of the model album 20 is displayed.
  • a next page button 53 in which the character string "to the next page" is displayed is formed.
  • the next page button 53 is clicked, the next page of the model album 20 is displayed in the model album page display area 51.
  • the user image pasted on the user album page is displayed in the user album page display area 55.
  • the user image P13 displayed on the first page of the user album is displayed in the user album page display area 55.
  • the next page button 57 is also formed at the lower right of the user album page display area 55. When the next page button 57 is clicked, the next page of the user album is displayed in the user album page display area 55.
  • the next page of the page displayed in the model album page display area 51 and the user album page display area 55 is linked to be a model. It may be displayed in the album page display area 51 and the user album page display area 55. The user can compare and confirm the corresponding pages of the model album 20 and the user album.
  • the user image 61 (user images P1 to P120) is displayed in the user image display area 60.
  • a scroll button 62 that can be moved up and down is formed on the right side of the user image display area 60. When the scroll button 62 is moved up and down, the user image 61 that is not displayed in the user image display area 60 appears in the user image display area 60.
  • the model image I65 pasted on the second page of the model album 20 and the model image I132 pasted on the third page of the model album 20 are displayed. It is displayed.
  • a previous page button 52 in which the character string "to the previous page" is displayed is formed.
  • the user image P23 pasted on the second page of the user album and the user image P38 pasted on the third page of the user album are displayed.
  • the previous page button 56 is also formed at the lower left of the user album page display area 55.
  • the previous page of the page displayed in the model album page display area 51 and the user album page display area 55 is linked to be a model. It may be displayed in the album page display area 51 and the user album page display area 55. In this case as well, the user can compare and confirm the corresponding pages of the model album 20 and the user album.
  • the model images I151 and I201 pasted on the 4th and 5th pages of the model album 20 are displayed.
  • the user images P51 and P81 pasted on the fourth and fifth pages of the user album are displayed.
  • the model images I280 and I351 pasted on the 6th and 7th pages of the model album 20 are displayed.
  • the user images P108 and P120 pasted on the sixth and seventh pages of the user album are displayed.
  • the page of the user album whose user image is to be changed is displayed in the user album page display area 55.
  • a desired user image is selected from the user image 61 displayed in the user image display area 60, and is dragged and dropped onto the user image to be changed. As a result, the user image is changed (step 31).
  • a second combination whose rank difference is within the second threshold value is detected from the first combination, and a model image group and a user image group are generated based on the second combination.
  • the user images P13, P23, P38, P51, P81, P108 and P120 similar to the model images I20, I65, I132, I151, I201, I280 and I351 attached to the model album 20 are detected. It is possible to prevent user images of different scenes from being detected as images similar to the model image pasted on the model album 20.
  • the model image group includes the model image to the model image immediately before the model image constituting the next second combination.
  • the user image group is from the user image to the user image immediately before the user image constituting the next second combination.
  • the two or more model images and the two or more user images existing between the two second combinations whose ranks are adjacent to each other among the detected second combinations are combined with the model image group. It may be determined as a user image group, but among the detected second combinations, two or more model images and 2 having a rank between the second combination before and after the first second combination and 2
  • One or more user images may be determined as a model image group and a user image group.
  • the first and second combination is the combination of the model image I51 and the user image P21
  • the second combination before and after is the combination of the model image I2 and the user image P3 and the model. It is a combination of the image I150 and the user image P49.
  • the combination of the model image I51 and the user image P21 and the model The model images up to the model image I100 existing between the combination of the image I150 and the user image P49 form the model image group.
  • the user images P11 to P36 are the user image groups corresponding to the model image groups.
  • model images and two or more user images existing between two second combinations having different ranks among the detected second combinations are determined as a model image group and a user image group. You may.
  • the first second combination is the combination of the model image I2 and the user image P3, and the second second combination is the model image.
  • the model image I2 (or I3) existing between the combination of the model image I2 and the user image P3 and the combination of the model image I150 and the user image P49 to the model image I149
  • the model images up to (or I150) are the model image group.
  • the user images P3 (or P4) to P48 (or P49) are the user image groups corresponding to the model image groups.
  • the model image group is, for example, a model image. Any two or more images of I2 to I149 may be used, and similarly, the user image group may be any two or more images of user images P3 to P48, for example.
  • the model image group and the user image group can be appropriately determined, and a user album closer to the model album can be created.
  • the image processing device 1 in the above-described embodiment may be configured by using a dedicated device, but may also be configured by using a smartphone, a personal computer, a tablet terminal, or the like.
  • the processing unit that executes the above processing is programmable, such as FPGA (field-programmable gate array), which can change the circuit configuration after manufacturing.
  • FPGA field-programmable gate array
  • -It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed to execute a specific process such as a logic device or an ASIC (application specific integrated circuit).
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs, a CPU and an FPGA). May be done.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client computer or a server.
  • this processor functions as multiple processing units.
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (integrated circuit) chip is used.
  • various processing units are configured by using one or more various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit that combines circuit elements such as semiconductor elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

複数のお手本画像に類似し，かつ複数のお手本画像の流れに沿ったユーザ画像を決定できる画像処理装置，画像処理方法および画像処理プログラムを提供する。お手本画像とユーザ画像との類似度が第１のしきい値以上の組み合わせ（Ｉ２）と（Ｐ３），（Ｉ51）と（Ｐ21），（Ｉ150）と（Ｐ49），（Ｉ198）と（Ｐ79），（Ｉ201）と（Ｐ30），（Ｉ249）と（Ｐ99），（Ｉ300）と（Ｐ101）および（Ｉ301）と（Ｐ112）が検出される。相対的な撮影時刻の時間差が第２のしきい値以上の組み合わせとなる（Ｉ201）と（Ｐ30）とは，組み合わせが解消され，残りが第２の組み合わせとなる。第２の組み合わせから，類似する画像同士の集まりであるお手本画像グループとユーザ画像グループとが決定され，お手本アルバムに貼り付けられているお手本画像に類似するユーザ画像がユーザ画像グループから決定する。決定したユーザ画像からユーザ・アルバムが作成される。

Description

画像処理装置，画像処理方法および画像処理プログラム
　この発明は，画像処理装置，画像処理方法および画像処理プログラムに関する。
　一般のカメラユーザが結婚式の写真を撮影し，撮影した写真から結婚式のアルバムを作成しようとしても，アルバム専門業者が作成したアルバムの完成度には及ばない。このために一般のカメラユーザが結婚式などのアルバムなどを作成する場合に完成度を上げる必要がある。
　画像処理の分野では，複数の画像群をレイアウトする場合に，ユーザ所望の種類のオブジェクトを含む画像を画像群に含ませることができるもの（特許文献１），特定の人物の画像を時系列的に表示できるようにするもの（特許文献２），撮影画像が何であるか特定するためにどのような撮影を行えばよいかの支援を行うことができるもの（特許文献３）などについても考えられている。
特開2018-097484号公報 特開2012-120007号公報 特開2011-223250号公報
　プロが作成したお手本のアルバムを参考にしてアルバムを作成しようとすると，多くの画像の中からアルバムに使用する画像を選んだり，画像のレイアウトを考える必要があったりするので，かなり煩雑な作業となってしまう。このために，お手本のアルバムに使用されている画像と類似している画像をユーザが撮影した画像の中から自動的に見つけ，お手本に貼り付けられている画像の位置と同じ位置にユーザが撮影した画像を自動的にアルバムに貼り付けるようにすると，画像としては類似しているが，結婚式全体の流れと合わない位置に画像が貼り付けられてしまうことがある。たとえば，お手本の新郎新婦の入場の画像とユーザが撮影した結婚式の最後の新郎新婦のあいさつの画像とが，たまたま類似していた場合に，結婚式の最後の新郎新婦のあいさつの画像がアルバムの最初の頁に貼り付けられてしまうことがある。
　引用文献１においては時間情報にもとづいて複数の画像群に分割するもので，お手本画像という考えが無い。引用文献２においては特定の人物を時系列的に表示するもので，やはりお手本画像という考えがない。引用文献３においてはアルバムに貼り付けられる画像の流れについては考えられていない。
　この発明は，複数のサンプル画像に類似し，かつ複数のサンプル画像の流れに沿った撮影画像を決定できるようにすることを目的とする。
　この発明による画像処理装置は，それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有するサンプル画像と撮影画像との第１の組み合わせを検出する第１の検出手段，第１の組み合わせのうち，複数のサンプル画像におけるサンプル画像の順位と，複数の撮影画像における撮影画像の順位と，の差が第２のしきい値以内であるサンプル画像と撮影画像との第２の組み合わせを検出する第２の検出手段，第２の組み合わせにもとづいて，サンプル画像を含むサンプル画像グループと，サンプル画像グループと同一シーンと見なされる撮影画像を含む撮影画像グループとの組み合わせ，を決定する第１の決定手段，ならびにサンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の撮影画像を，撮影画像グループの中から決定する第２の決定手段を備えていることを特徴とする。
　この発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この画像処理方法は，第１の検出手段が，それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有するサンプル画像と撮影画像との第１の組み合わせを検出し，第２の検出手段が，第１の組み合わせのうち，複数のサンプル画像におけるサンプル画像の順位と，複数の撮影画像における撮影画像の順位と，の差が第２のしきい値以内であるサンプル画像と撮影画像との第２の組み合わせを検出し，第１の決定手段が，第２の組み合わせにもとづいて，サンプル画像を含むサンプル画像グループと，サンプル画像グループと同一シーンと見なされる撮影画像を含む撮影画像グループと，の組み合わせを決定し，第２の決定手段が，サンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の撮影画像を，撮影画像グループの中から決定する。
　この発明は，画像処理装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。
　また，画像処理装置にプロセッサを備え，そのプロセッサが，それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有するサンプル画像と撮影画像との第１の組み合わせを検出し，第１の組み合わせのうち，複数のサンプル画像におけるサンプル画像の順位と，複数の撮影画像における撮影画像の順位と，の差が第２のしきい値以内であるサンプル画像と撮影画像との第２の組み合わせを検出し，第２の組み合わせにもとづいて，サンプル画像を含むサンプル画像グループと，サンプル画像グループと同一シーンと見なされる撮影画像を含む撮影画像グループとの組み合わせ，を決定し，サンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の撮影画像を，撮影画像グループの中から決定してもよい。
　複数のサンプル画像および複数の撮影画像は，結婚式などのように一つのイベントを構成する一連の流れに沿っていることが好ましい。また，複数のサンプル画像および複数の撮影画像のいずれも，新郎新婦の入場，主賓の挨拶などのようなイベントの中の項目の画像については連続するように順位が定められていることが好ましい。したがって，同一シーンの画像については連続するように順位が定められていることが好ましい。
　第２の組み合わせにもとづいて，複数のサンプル画像を複数のサンプル画像グループに分ける第１のグループ分け手段，および第２の組み合わせにもとづいて，複数の撮影画像を複数の撮影画像グループに分ける第２のグループ分け手段をさらに備えてもよい。
　第２の決定手段によって決定した撮影画像を表示する表示装置をさらに備えてもよい。
　一のサンプル画像は，たとえば，複数のサンプル画像の中からサンプル写真集に採用されている。
　第２の決定手段によって決定した撮影画像を，サンプル写真集に対応する写真集を生成する写真集のひな形において，撮影画像との類似度が第３のしきい値以上の一のサンプル画像が位置決めされている位置に位置決めする位置決め手段をさらに備えてもよい。
　第１の検出手段は，たとえば，複数のサンプル画像および複数の撮影画像のうち，類似度が最大のサンプル画像と撮影画像との第３の組み合わせのであって，類似度が第１のしきい値以上のサンプル画像と撮影画像との第１の組み合わせを検出する。
　第１の決定手段は，たとえば，第２の検出手段によって検出された第２の組み合わせのうち順位が異なる２つの第２の組み合わせの間に存在する２つ以上のサンプル画像と２つ以上の撮影画像とを，サンプル画像グループと撮影画像グループと決定する。
　第１の決定手段は，たとえば，第２の検出手段によって検出された第２の組み合わせのうち順位が隣接している２つの第２の組み合わせの間に存在する２つ以上のサンプル画像と２つ以上の撮影画像とを，サンプル画像グループと撮影画像グループと決定する。
　第１の決定手段は，たとえば，第２の検出手段によって検出された第２の組み合わせのうち，順位が，一の第２の組み合わせの前後の第２の組み合わせの間に存在する２つ以上のサンプル画像と２つ以上の撮影画像とを，サンプル画像グループと撮影画像グループとに決定するものでもよい。
　第２の決定手段は，たとえば，第１の決定手段によって決定されたサンプル画像グループに含まれる一のサンプル画像との類似度が最大の撮影画像を，第１の決定手段により決定された撮影画像グループの中から決定する。
　この発明によると，複数のサンプル画像に類似し，かつ複数のサンプル画像の流れに沿った撮影画像を決定できる。
画像処理装置の電気的構成を示すブロック図である。 お手本アルバムの一例である。 画像処理装置の処理手順を示すフローチャートである。 画像処理装置の処理手順を示すフローチャートである。 お手本画像とユーザ画像との一例である。 お手本画像とユーザ画像との一例である。 お手本画像とユーザ画像との一例である。 アルバム表示ウインドウの一例である。 アルバム表示ウインドウの一例である。 アルバム表示ウインドウの一例である。 アルバム表示ウインドウの一例である。
［第１実施例］
　図１は，この発明の実施例を示すもので，画像処理装置１の電気的構成を示すブロック図である。
　画像処理装置１の全体の動作は，ＣＰＵ(Central Processing Unit)２によって統括される。
　画像処理装置１には，画像その他の情報を表示画面に表示する表示装置３およびインターネットその他のネットワークに接続して画像処理装置１以外の装置等と通信する通信装置４が含まれている。また，画像処理装置１には，ハード・ディスク５，ハード・ディスク５にアクセスするハード・ディスク・ドライブ６，データ等を記憶するメモリ７，コマンド等を入力するキーボード８およびマウス９も含まれている。さらに，画像処理装置１には，コンパクト・ディスク11にアクセスするコンパクト・ディスク・ドライブ10およびメモリ・カード13にアクセスするメモリ・カード・リーダ・ライタ12も含まれている。
　後述する画像処理装置１の動作プログラムは，インターネットを介して通信装置４において受信される。受信された動作プログラムが画像処理装置１にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して画像処理装置１に受信されて画像処理装置１にインストールされずに，コンパクト・ディスク11などの可搬型記録媒体に記録され，その可搬型記録媒体から読み取られてもよい。その場合には，可搬型記録媒体から読み取られた動作プログラムが画像処理装置１にインストールされる。動作プログラムは，画像処理装置１のＣＰＵ２(コンピュータ)が読み取り可能である。
　図２は，お手本アルバム（サンプル写真集の一例である）の一例である。
　図２に示すお手本アルバム20は，結婚式のアルバム（結婚式のアルバムに限らない）である。お手本アルバム20は，プロの写真家（プロの写真家でなくともよい）によって作成されたものであり，お手本画像の構図，画像の選択基準など素人がお手本とするようなアルバムとなっている。ユーザの結婚式で撮影された多数の画像（ユーザ画像という。撮影画像の一例である）の中からお手本アルバム20に貼られているお手本画像と同じような構図，シーンの画像が画像処理装置１によって見つけ出され，見つけられたユーザ画像が，お手本アルバム20に貼られているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351の順位と同じような順位でアルバムに貼り付けられることにより，お手本アルバム20と同じようなユーザのアルバムが作成される。複数のお手本アルバム20があり，それらの複数のお手本アルバム20の中からユーザが所望のお手本アルバム20を選択し，選択したお手本アルバム20と同じようなユーザのアルバムが作成されるようにしてもよい。
　図２に示すお手本アルバム20は，第１頁から第７頁から構成されているが，第８頁以上のお手本アルバムでもよいし，第７頁未満のお手本アルバム20でもよい。お手本アルバム20は，「新郎新婦入場」，「主賓のあいさつ」，「ケーキ入刀」，「歓談，食事」，「余興」，「両親への謝辞」および「新郎新婦あいさつ」の各項目の順番で進む結婚式のものである。お手本アルバム20の第１頁，第２頁，第３頁，第４頁，第５頁，第６頁および第７頁のそれぞれには「新郎新婦入場」のお手本画像Ｉ20，「主賓のあいさつ」のお手本画像Ｉ65，「ケーキ入刀」のお手本画像Ｉ132，「歓談，食事」のお手本画像Ｉ151，「余興」のお手本画像Ｉ201，「両親への謝辞」の画像Ｉ280および「新郎新婦あいさつ」の画像Ｉ351が貼り付けられている（お手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351はサンプル画像の一例である）。図２に示すお手本アルバム20では，１頁に１枚の画像が貼り付けられているが１頁に複数枚の画像が貼り付けられていてもよい。また，お手本アルバム20では１頁ごとに画像のシーンが変わっているが複数ページに同じシーンの画像が貼り付けられていてもよい。
　図３および図４は，画像処理装置１の処理手順を示すフローチャートである。
　コンパクト・ディスク11には，複数のお手本画像を表す画像データが記録されており（コンパクト・ディスク11以外の記録媒体にお手本画像を表す画像データが記録されていてもよいし，ネットワークを介して受信してもよい），そのコンパクト・ディスク11からお手本画像を表す画像データが読み取られる（ステップ21）。また，メモリ・カード13には，複数のユーザ画像を表す画像データが記録されており（メモリ・カード13以外の記録媒体にユーザ画像を表す画像データが記録されていてもよいし，ネットワークを介して受信してもよい），そのメモリ・カード13からユーザ画像を表す画像データが読み取られる（ステップ22）。
　図５は，複数のお手本画像の一例と複数のユーザ画像の一例とを示している。
　お手本画像Ｉ１からＩ351の351枚の複数のお手本画像があり（352枚以上のお手本画像があってもよいし，351枚未満のお手本画像があってもよい），ユーザ画像Ｐ１からＰ120の120枚の複数のユーザ画像がある（121枚以上のユーザ画像があってもよいし，120枚未満のユーザ画像があってもよい）。これらのお手本画像Ｉ１からＩ351を表す画像データがコンパクト・ディスク11から読み取られ，これらのユーザ画像Ｐ１からＰ120を表す画像データがメモリ・カード13から読み取られる。
　お手本画像Ｉ１からＩ50は，「新郎新婦入場」のシーンの画像であり，これらのお手本画像Ｉ１からＩ50の中からお手本画像Ｉ20が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ51からＩ100は，「主賓あいさつ」のシーンの画像であり，これらのお手本画像Ｉ51からＩ100の中からお手本画像I65が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ101からＩ150は，「ウェディング・ケーキ入刀」のシーンの画像であり，これらのお手本画像Ｉ101からＩ150の中からお手本画像Ｉ132が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ151からＩ200は，「歓談，食事」のシーンの画像であり，これらのお手本画像Ｉ151からＩ200の中からお手本画像151が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ201からＩ250は，「余興」のシーンの画像であり，これらのお手本画像Ｉ201からＩ250の中からお手本画像201が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ251からＩ300は，「両親への謝辞」のシーンの画像であり，これらのお手本画像Ｉ251からＩ300の中からお手本画像280が選択されてお手本アルバム20に貼り付けられている。お手本画像Ｉ301からＩ351は，「新郎新婦あいさつ」のシーンの画像であり，これらのお手本画像Ｉ301からＩ351の中からお手本画像Ｉ351が選択されてお手本アルバム20に貼り付けられている。
　たとえば，お手本画像Ｉ１からＩ50が「新郎新婦入場」のシーンとして同一シーンであることは，お手本画像Ｉ１からＩ50のそれぞれの画像ファイルのヘッダに「新郎新婦入場」とのテキストが記録されていることから判定できる（テキストへの記録は，お手本画像からアルバムを作成する際に作成者により行われる）。すなわち，画像処理装置１は，画像ファイルのヘッダの記録から，お手本画像Ｉ１からＩ50が同一シーンを表していることを認識する。もっとも，この実施例において，機械は必ずしも対象のシーンが新郎新婦入場のシーンであると人間のように理解している必要はない。テキストが異なることにより，シーン同士の区別がつけばよい。
　たとえば，別の態様においては，お手本画像Ｉ１からＩ50のそれぞれの画像ファイルのヘッダの所定領域には「１」が記録されており，お手本画像Ｉ51以降の画像ファイルのヘッダの所定領域には「２」など他のテキストが記録されている。これによりお手本画像Ｉ１からＩ50は同一シーンであり，一方お手本画像Ｉ51以降の画像は別のシーンである，と認識できる。シーンに対して「新郎新婦入場」というテキストが関連付けられている必要はなく，シーン同士の区別が付けばよい。
　以下においては，本発明の説明の便宜上，お手本画像Ｉ１からＩ50「新郎新婦」のテキストがヘッダに記録されており，他のシーンと区別されているものとする。「新郎新婦」入場のシーンに限らず，その他のシーンについても同様である。
　お手本画像Ｉ１からＩ351には，Ｉ１からＩ351の順番で順位が定められている（この実施例において，お手本画像Ｉ１からＩ351は，結婚式などのイベントの画像であり，そのイベントにおいて行われる「新郎新婦入場」，「主賓あいさつ」などの項目ごとに画像の順番が決められており，順位とは，同一シーンの画像については連続している順番をいう。各項目の順番もイベントごとに定められている）。たとえば，相対的な時刻ｔ０からｔ１までは「新郎新婦入場」のシーンの画像Ｉ１からＩ50までの順番が連続しており，相対的な時刻ｔ１からｔ２までは「主賓あいさつ」のシーンの画像Ｉ51からＩ100までの順番が連続しており，相対的な時刻ｔ２からｔ３までは「ウェディング・ケーキ入刀」のシーンの画像Ｉ101からＩ150までの順番が連続しており，相対的な時刻ｔ３からｔ４までは「歓談，食事」の画像Ｉ151からＩ200までの順番が連続しており，相対的な時刻ｔ４からｔ５までは「余興」の画像Ｉ201からＩ250までの順番が連続しており，相対的な時刻ｔ５からｔ６までは「両親への謝辞」の画像Ｉ251からＩ300までの順番が連続しており，相対的な時刻ｔ６からｔ７までは「新郎新婦あいさつ」の画像Ｉ301からＩ351までの順番が連続している。お手本画像Ｉ１からＩ351がイベントの項目順に項目ごとに連続して撮影されている場合には，撮影時刻にしたがって順位が決定してもよいし，撮影時刻自体を順位としてもよい。ユーザ画像Ｐ１からＰ120についてもイベントにおいて撮影順に順位がつけられている。ユーザ画像についてもイベントの項目順に項目ごとに連続して撮影されている場合には，撮影時刻にしたがって順位が決定してもよいし，撮影時刻自体を順位としてもよい。
　図３に戻って，お手本画像Ｉ１からＩ351のそれぞれとユーザ画像Ｐ１からＰ120のそれぞれの組み合わせにおいて画像の類似度が算出される（ステップ23）。その後，算出された類似度が第１のしきい値以上となる，お手本画像とユーザ画像との第１の組み合わせがＣＰＵ２（第１の検出手段）によって検出される（ステップ24）。お手本画像Ｉ１からＩ351のそれぞれとユーザ画像Ｐ１からＰ120のそれぞれのうち，類似度が最大の第３の組み合わせであって，類似度が第１のしきい値以上となる，お手本画像とユーザ画像との第１の組み合わせが検出されてもよい。
　第１のしきい値は，お手本画像とユーザ画像との組み合わせが，あらかじめ決められた数となる程度（たとえば，お手本アルバム20に貼り付けられているお手本画像の数の程度または，イベントで行われる項目より少し多い程度）に調整されている。また，検出された第１の組み合わせの数が多かった場合には，あらかじめ決められた数となる程度にＣＰＵ２によって第１のしきい値が調整されながら，第１の組み合わせの検出が繰り返されてもよい。さらに，第１の組み合わせの相対的な時間の間隔が一定以上離れるように，あらかじめ決められた数となる程度に第１の組み合わせの数が調整されてもよい。お手本アルバム20に貼り付けられているお手本画像に相対的な時間が近いお手本画像とユーザ画像との第１の組み合わせを検出してもよいし，お手本アルバム20の見開きページまたは片側のページに複数枚のお手本画像が貼り付けられている場合には見開きページまたは片側のページに貼り付けられている複数枚の画像の相対的な時刻に対応する時刻に撮影されているユーザ画像を含む第１の組み合わせを検出するようにしてもよい。
　図５に示すように，たとえば，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせ，お手本画像Ｉ51とユーザ画像Ｐ21との組み合わせ，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせ，お手本画像Ｉ198とユーザ画像Ｐ79との組み合わせ，お手本画像Ｉ201とユーザ画像Ｐ30との組み合わせ，お手本画像Ｉ249とユーザ画像Ｐ99との組み合わせ，お手本画像Ｉ300とユーザ画像Ｐ101との組み合わせおよびお手本画像Ｉ301とユーザ画像Ｐ112との組み合わせの８つの組み合わせが第１の組み合わせとして検出される。検出された第１の組み合わせに含まれるお手本画像のそれぞれはお手本アルバム20に貼り付けられているお手本画像群に含まれていても含まれていなくてもよい。
　つづいて，検出された第１の組み合わせの中から相対的な順位差が第２のしきい値以内の第２の組み合わせがＣＰＵ（第２の検出手段）２によって検出される（ステップ25）。たとえば，お手本画像Ｉ１からＩ351の順位およびユーザ画像Ｐ１からＰ120の順位までを，それぞれ規格化（この場合の規格化とは，お手本画像Ｉ１からＩ351およびユーザ画像Ｐ１からＰ120のうち，お手本画像の最初の画像Ｉ１およびユーザ画像の最初の画像Ｐ１を０，お手本画像の最後の画像Ｉ351およびユーザ画像の最後の画像Ｐ120を１とし，異なる画像枚数でも，それぞれの画像の順位を比較できるように尺度を共通化することをいう。）し，規格化されたお手本画像Ｉ１からＩ351の順位とユーザ画像Ｐ１からＰ120の順位とのうち，検出された第１の組み合わせにおけるお手本画像とユーザ画像との差が第２のしきい値以内となる第２の組み合わせが検出されればよい。たとえば，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせ，お手本画像Ｉ51とユーザ画像Ｐ21との組み合わせ，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせ，お手本画像Ｉ198とユーザ画像Ｐ79との組み合わせ，お手本画像Ｉ201とユーザ画像Ｐ30との組み合わせ，お手本画像Ｉ249とユーザ画像Ｐ99との組み合わせ，お手本画像Ｉ300とユーザ画像Ｐ101との組み合わせおよびお手本画像Ｉ301とユーザ画像Ｐ112との組み合わせの第１の組み合わせのうち，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせ，お手本画像Ｉ51とユーザ画像Ｐ21との組み合わせ，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせ，お手本画像Ｉ198とユーザ画像Ｐ79との組み合わせ，お手本画像Ｉ249とユーザ画像Ｐ99との組み合わせ，お手本画像Ｉ300とユーザ画像Ｐ101との組み合わせおよびお手本画像Ｉ301とユーザ画像Ｐ112との組み合わせの第１の組み合わせでは，お手本画像とユーザ画像との順位差は第２のしきい値以内となるので，これらの第１の組み合わせが第２の組み合わせとして検出される。これに対して，お手本画像Ｉ201とユーザ画像Ｐ30との第１の組み合わせでは，お手本画像とユーザ画像との順位差は第２のしきい値以内とならないので，第２の組み合わせとならずに，図６に示すように組み合わせが解消される。第１の組み合わせが解消されると，新たに第１の組み合わせを探すようにしてもよい。
　次に，検出された第２の組み合わせにもとづいて，複数のお手本画像が含まれるお手本画像グループにＣＰＵ２（第１のグループ分け手段）によって分けられる。同様に，検出された第２の組み合わせにもとづいて，お手本画像グループに含まれるお手本画像に類似した複数のユーザ画像が含まれるユーザ画像グループにＣＰＵ２（第２のグループ分け手段）によって分けられる。すると，お手本画像グループ（サンプル画像グループの一例である）と，そのお手本画像グループに含まれるお手本画像のシーンと同じシーンと見なされるユーザ画像が含まれるユーザ画像グループ（撮影画像グループの一例である）と，の組み合わせがＣＰＵ２（第１の決定手段）によって決定される（図４ステップ26）。
　たとえば，お手本画像Ｉ２からＩ50が同一シーンの第１のお手本画像グループとされ（最初の組み合わせであるお手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，次の組み合わせであるお手本画像Ｉ51とユーザ画像Ｐ21との組み合わせと，に用いられているそれぞれ順位が最も早いお手本画像としてＩ２およびＩ51を抽出する。お手本画像Ｉ２からお手本画像Ｉ51の一つ前のお手本画像Ｉ50までが，同一シーンの第１のお手本画像グループとされる。他のお手本画像グループについても同様である)，ユーザ画像Ｐ３からＰ20がその同一シーンと同じシーンと見なされる第１のユーザ画像グループとされてクループの組み合わせが決定される（最初の組み合わせであるお手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，次の組み合わせであるお手本画像Ｉ51とユーザ画像Ｐ21との組み合わせと，に用いられているそれぞれ順位が最も早いユーザ画像としてＰ３およびＰ21を抽出する。ユーザ画像Ｐ３からユーザ画像Ｐ21の一つ前のユーザ画像Ｐ20までが，同一シーンの第１のユーザ画像グループとされる。他のユーザ画像グループについても同様である)。同様に，お手本画像Ｉ51からＩ149が同一シーンの第２のお手本画像グループとされ，ユーザ画像Ｐ21からＰ48が第２のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ150からＩ197が第３のお手本画像グループとされ，ユーザ画像Ｐ49からＰ78が第３のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ198からＩ248が第４のお手本画像グループとされ，ユーザ画像Ｐ79からＰ98が第４のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ249からＩ299が第５のお手本画像グループとされ，ユーザ画像Ｐ99からＰ100が第５のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ300が第６のお手本画像グループとされ，ユーザ画像Ｐ101からＰ111が第６のユーザ画像グループとされてグループの組み合わせが決定され，お手本画像Ｉ301からＩ351が第７のお手本画像グループとされ，ユーザ画像Ｐ112からＰ200が第７のユーザ画像グループとされてグループの組み合わせが決定される。グループに含まれる画像の数が所定のしきい値未満の場合には，上述した第１の組み合わせの検出および第２の組み合わせの検出をやり直して，しきい値以上の画像の数となるようにグループの組み合わせが決定されるようにするとよい。
　つづいて，お手本アルバム20に貼り付けられているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，280およびＩ351(一のサンプル画像の一例である)との類似度が第３のしきい値以上であるユーザ画像（類似度が最大であるユーザ画像でもよい）が，お手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，280およびＩ351のそれぞれが含まれているお手本画像グループとの組み合わせを構成しているユーザ画像グループの中からＣＰＵ２（第２の決定手段）によって決定される（ステップ27）。
　図７に示すように，たとえば，お手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351のそれぞれからユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120が決定される。お手本画像Ｉ249からＩ299の第５のお手本画像グループと，ユーザ画像Ｐ99からＰ100が第５のユーザ画像グループとのグループの組み合わせの場合，第５のユーザ画像グループに含まれる画像が画像Ｐ99および画像Ｐ100の２つしかない。これらの画像Ｐ99およびＰ100の中からお手本画像Ｉ280に類似した画像を見つけようとしても，わずか２枚の中から見つけることができない場合がある。このような場合には，第５のユーザ画像グループに含まれるユーザ画像Ｐ99およびＰ100に近いユーザ画像も第５のユーザ画像グループに含める。たとえば，P89からP98まで(P99の直前に撮影された10枚)およびP101からP110まで(P100の直後に撮影された10枚)も含めた22枚を第５のユーザ画像グループとする。この中から，お手本アルバム20に貼り付けられているお手本画像Ｉ280に類似したユーザ画像Ｐ108が決定される。
　このようにして決定したユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120を用いて，お手本アルバム20を参考にしてユーザ・アルバムがＣＰＵ２（ユーザ・アルバム作成手段）によって作成される（ステップ28）。ユーザ画像Ｐ13は，お手本画像Ｉ20に類似しているからお手本画像Ｉ20（一のサンプル画像の一例である）が貼り付けられている位置と同じ位置である，ユーザ・アルバム（写真集のひな形の一例である）の第１頁にＣＰＵ２(位置決め手段)によって位置決めされて貼り付けられる。同様に，ユーザ画像Ｐ23はお手本画像Ｉ65に類似しているからお手本アルバム20の第２頁に貼り付けられ，ユーザ画像Ｐ38はお手本画像Ｉ132に類似しているからお手本アルバム20の第３頁に貼り付けられ，ユーザ画像Ｐ51はお手本画像Ｉ151に類似しているからお手本アルバム20の第４頁に貼り付けられ，ユーザ画像Ｐ81はお手本画像Ｉ201に類似しているからお手本アルバム20の第５頁に貼り付けられ，ユーザ画像Ｐ108はお手本画像Ｉ280に類似しているからお手本アルバム20の第６頁に貼り付けられ，ユーザ画像Ｐ120はお手本画像Ｉ351に類似しているからお手本アルバム20の第７頁に貼り付けられる。
　作成されたユーザ・アルバムおよびお手本アルバムが表示装置３の表示画面に表示される（ステップ29）。
　図８は，表示装置３の表示画面に表示されるアルバム表示ウインドウ40の一例である。
　アルバム表示ウインドウ40には，お手本アルバム一覧表示領域41，ユーザ・アルバム一覧表示領域42，お手本アルバム頁表示領域51，ユーザ・アルバム頁表示領域55およびユーザ画像表示領域60が含まれている。
　お手本アルバム一覧表示領域41には，お手本アルバム20のすべての頁が表示され，お手本アルバム20に貼り付けられているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351が表示されている。ユーザ・アルバム一覧表示領域42には，ユーザ・アルバムのすべての頁が表示され，ユーザ・アルバムに貼り付けられているユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120が表示されている。上述のように，ユーザ・アルバムに貼り付けられているユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120のそれぞれは，お手本アルバム20に貼り付けられているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351のそれぞれに類似しており，かつ同じシーンの画像となっている。ユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120のそれぞれはお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351のそれぞれが貼り付けられているお手本アルバム20の各頁に対応するユーザ・アルバムの各頁に貼り付けられている。
　ユーザ・アルバム一覧表示領域42の下部にはスクロール・ボタン43が形成されている。スクロール・ボタン43を左右にスクロールすることにより，お手本アルバム一覧表示領域41およびユーザ・アルバム一覧表示領域42に表示されていないお手本画像およびユーザ画像がある場合には，それらのお手本画像およびユーザ画像がお手本アルバム一覧表示領域41およびユーザ・アルバム一覧表示領域42に表示される。スクロール・ボタン43が左右にスクロールされることにより，お手本アルバム一覧表示領域41に表示されているお手本アルバム20の各頁およびユーザ・アルバム一覧表示領域42に表示されているユーザ・アルバムの各頁が連動して左右に動くが，連動させなくともよい。
　図８に示すお手本アルバム頁表示領域51には，お手本アルバム20の第１頁に貼り付けられているお手本画像Ｉ20が表示されている。お手本アルバム頁表示領域51の右下には「次頁へ」の文字列が表示されている次頁ボタン53が形成されている。次頁ボタン53がクリックされると，お手本アルバム20の次の頁がお手本アルバム頁表示領域51に表示される。
　ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの頁に貼り付けられているユーザ画像が表示される。図８に示す例では，ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの第１頁に表示されているユーザ画像Ｐ13が表示されている。ユーザ・アルバム頁表示領域55の右下にも次頁ボタン57が形成されている。次頁ボタン57がクリックされると，ユーザ・アルバムの次の頁がユーザ・アルバム頁表示領域55に表示される。
　次頁ボタン53および57のいずれかのみ形成し，いずれかのクリックに応じて，お手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されている頁の次の頁が連動してお手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されるようにしてもよい。お手本アルバム20とユーザ・アルバムとの対応する頁をユーザが比較して確認できる。
　ユーザ画像表示領域60には，ユーザ画像61（ユーザ画像Ｐ１からＰ120）が表示されている。ユーザ画像表示領域60の右側には上下に移動可能なスクロール・ボタン62が形成されている。スクロール・ボタン62が上下されることにより，ユーザ画像表示領域60に表示されていないユーザ画像61がユーザ画像表示領域60に現れる。
　次頁ボタン53および57がクリックされると，アルバム表示ウインドウ40は，図９に示すものとなる。
　図９を参照して，お手本アルバム頁表示領域51には，お手本アルバム20の第２頁に貼り付けられているお手本画像Ｉ65およびお手本アルバム20の第３頁に貼り付けられているお手本画像Ｉ132が表示されている。お手本アルバム頁表示領域51の左下には「前頁へ」の文字列が表示されている前頁ボタン52が形成されている。
　ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの第２頁に貼り付けられているユーザ画像Ｐ23およびユーザ・アルバムの第３頁に貼り付けられているユーザ画像Ｐ38が表示されている。ユーザ・アルバム頁表示領域55の左下にも前頁ボタン56が形成されている。
　前頁ボタン52および56のいずれかのみ形成し，いずれかのクリックに応じて，お手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されている頁の前の頁が連動してお手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されるようにしてもよい。この場合も，お手本アルバム20とユーザ・アルバムとの対応する頁をユーザが比較して確認できる。
　次頁ボタン53および57がクリックされると，アルバム表示ウインドウ40は，図10に示すものとなる。
　図10を参照して，お手本アルバム頁表示領域51には，お手本アルバム20の第４頁および第５頁に貼り付けられているお手本画像Ｉ151およびＩ201が表示されている。ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの第４頁および第５頁に貼り付けられているユーザ画像Ｐ51およびＰ81が表示されている。
　次頁ボタン53および57がクリックされると，アルバム表示ウインドウ40は，図11に示すものとなる。
　図11を参照して，お手本アルバム頁表示領域51には，お手本アルバム20の第６頁および第７頁に貼り付けられているお手本画像Ｉ280およびＩ351が表示されている。ユーザ・アルバム頁表示領域55には，ユーザ・アルバムの第６頁および第７頁に貼り付けられているユーザ画像Ｐ108およびＰ120が表示されている。
　ユーザ・アルバムに貼り付けられているユーザ画像を変更したい場合には（図４ステップ30でＹＥＳ），ユーザ画像を変更したいユーザ・アルバムの頁がユーザ・アルバム頁表示領域55に表示される。ユーザ画像表示領域60に表示されているユーザ画像61の中から所望のユーザ画像が選択され，変更したいユーザ画像上にドラッグ・アンド・ドロップされる。これにより，ユーザ画像の変更が行われる（ステップ31）。
　第１実施例では，第１の組み合わせの中から順位差が第２のしきい値以内の第２の組み合わせを検出し，その第２の組み合わせにもとづいてお手本画像グループおよびユーザ画像グループが生成され，お手本アルバム20に貼り付けられているお手本画像Ｉ20，Ｉ65，Ｉ132，Ｉ151，Ｉ201，Ｉ280およびＩ351に類似したユーザ画像Ｐ13，Ｐ23，Ｐ38，Ｐ51，Ｐ81，Ｐ108およびＰ120を検出しているから，お手本アルバム20に貼り付けられているお手本画像に類似した画像として異なるシーンのユーザ画像が検出されてしまうことが未然に防止される。
　［変形例］
　第１実施例においては，第２の組み合わせを構成するお手本画像とユーザ画像とのうち，お手本画像から，次の第２の組み合わせを構成するお手本画像の一つ前のお手本画像までをお手本画像グループとし，ユーザ画像から，次の第２の組み合わせを構成するユーザ画像の一つ前のユーザ画像までをユーザ画像グループとしている。このように，検出された第２の組み合わせのうち順位が隣接している２つの第２の組み合わせの間に存在する２つ以上のお手本画像と２つ以上のユーザ画像とを，お手本画像グループとユーザ画像グループと決定してもよいが，検出された第２の組み合わせのうち，順位が，一の第２の組み合わせの前後の第２の組み合わせの間に存在する２つ以上のお手本画像と２つ以上のユーザ画像とを，お手本画像グループとユーザ画像グループとに決定してもよい。
　たとえば，図６を参照して，一の第２の組み合わせをお手本画像Ｉ51とユーザ画像Ｐ21との組み合わせとすると，前後の第２の組み合わせは，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせとなる。お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，お手本画像Ｉ51とユーザ画像Ｐ21との一の組み合わせとの間に存在するお手本画像Ｉ25から，お手本画像Ｉ51とユーザ画像Ｐ21との一の組み合わせと，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせの間に存在するお手本画像Ｉ100までのお手本画像がお手本画像グループとなる。同様に，ユーザ画像Ｐ11からＰ36までのユーザ画像が，お手本画像グループに対応するユーザ画像グループとなる。
　また，検出された第２の組み合わせのうち順位が異なる２つの第２の組み合わせの間に存在する２つ以上のお手本画像と２つ以上のユーザ画像とを，お手本画像グループとユーザ画像グループと決定してもよい。
　たとえば，図６を参照して，２つの第２の組み合わせのうち，一つ目の第２の組み合わせをお手本画像Ｉ２とユーザ画像Ｐ３との組み合わせとし，二つ目の第２の組み合わせをお手本画像Ｉ150とユーザ画像Ｐ49との組み合わせとすると，お手本画像Ｉ２とユーザ画像Ｐ３との組み合わせと，お手本画像Ｉ150とユーザ画像Ｐ49との組み合わせとの間に存在するお手本画像Ｉ２（またはＩ３）からお手本画像Ｉ149（またはＩ150）までのお手本画像がお手本画像グループとなる。同様に，ユーザ画像Ｐ３（またはＰ４）からＰ48（またはＰ49）までのユーザ画像が，お手本画像グループに対応するユーザ画像グループとなる。２つの第２の組み合わせの間に存在する２つ以上のお手本画像と２つ以上のユーザ画像とを，お手本画像グループとユーザ画像グループと決定すればよいから，お手本画像グループは，たとえば，お手本画像Ｉ２からＩ149のうち任意の２つ以上の画像であればよく，同様に，ユーザ画像グループも，たとえば，ユーザ画像Ｐ３からＰ48のうち任意の２つ以上の画像であればよい。
　お手本画像グループとユーザ画像グループとを適切に決定することができ，よりお手本アルバムに近いユーザ・アルバムが作成できるようになる。
　上述した実施例における画像処理装置１は，専用装置を用いて構成してもよいが，スマートフォン，パーソナル・コンピュータ，タブレット端末などを利用して構成することもできる。
　上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するＣＰＵ２のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。
　さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。
１：画像処理装置，２：ＣＰＵ，３：表示装置，４：通信装置，５：ハード・ディスク，６：ハード・ディスク・ドライブ，７：メモリ，８：キーボード，９：マウス，10：コンパクト・ディスク・ドライブ，11：コンパクト・ディスク，12：メモリ・カード・リーダ・ライタ，13：メモリ・カード，20：お手本アルバム，40：アルバム表示ウインドウ，41：お手本アルバム一覧表示領域，42：ユーザ・アルバム一覧表示領域，43：スクロール・ボタン，51：お手本アルバム頁表示領域，52：前頁ボタン，53：次頁ボタン，55　　　：アルバム頁表示領域，56：前頁ボタン，57：次頁ボタン，60：ユーザ画像表示領域，61：ユーザ画像，62：スクロール・ボタン，Ｉ１-Ｉ351：お手本画像，Ｐ１-Ｐ120：ユーザ画像

Claims (13)

  1. 　それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有する上記サンプル画像と上記撮影画像との第１の組み合わせを検出する第１の検出手段，
    　上記第１の組み合わせのうち，上記複数のサンプル画像における上記サンプル画像の順位と，上記複数の撮影画像における上記撮影画像の順位と，の差が第２のしきい値以内である上記サンプル画像と上記撮影画像との第２の組み合わせを検出する第２の検出手段，
    　上記第２の組み合わせにもとづいて，上記サンプル画像を含むサンプル画像グループと，上記サンプル画像グループと同一シーンと見なされる上記撮影画像を含む撮影画像グループとの組み合わせ，を決定する第１の決定手段，ならびに
    　上記サンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の上記撮影画像を，上記撮影画像グループの中から決定する第２の決定手段，
    　を備えた画像処理装置。
  2. 　上記第２の組み合わせにもとづいて，上記複数のサンプル画像を複数のサンプル画像グループに分ける第１のグループ分け手段，および
    　上記第２の組み合わせにもとづいて，上記複数の撮影画像を複数の撮影画像グループに分ける第２のグループ分け手段，
    　をさらに備えた請求項１に記載の画像処理装置。
  3. 　上記第２の決定手段によって決定した上記撮影画像を表示する表示装置，
    　をさらに備えた請求項１または２に記載の画像処理装置。
  4. 　上記一のサンプル画像は，
    　上記複数のサンプル画像の中からサンプル写真集に採用されているものである，
    　請求項１から３のうち，いずれか一項に記載の画像処理装置。
  5. 　上記第２の決定手段によって決定した上記撮影画像を，上記サンプル写真集に対応する写真集を生成する写真集のひな形において，上記撮影画像との類似度が上記第３のしきい値以上の上記一のサンプル画像が位置決めされている位置に位置決めする位置決め手段，
    　をさらに備えた請求項４に記載の画像処理装置。
  6. 　上記第１の検出手段は，
    　上記複数のサンプル画像および上記複数の撮影画像のうち，類似度が最大の上記サンプル画像と上記撮影画像との第３の組み合わせであって，類似度が第１のしきい値以上の上記サンプル画像と上記撮影画像との第１の組み合わせを検出する，
    　請求項１から５のうち，いずれか一項に記載の画像処理装置。
  7. 　上記第１の決定手段は，
    　上記第２の検出手段によって検出された上記第２の組み合わせのうち順位が異なる２つの第２の組み合わせの間に存在する２つ以上の上記サンプル画像と２つ以上の上記撮影画像とを，上記サンプル画像グループと上記撮影画像グループと決定する，
    　請求項１から６のうち，いずれか一項に記載の画像処理装置。
  8. 　上記第１の決定手段は，
    　上記第２の検出手段によって検出された上記第２の組み合わせのうち順位が隣接している２つの第２の組み合わせの間に存在する２つ以上の上記サンプル画像と２つ以上の上記撮影画像とを，上記サンプル画像グループと上記撮影画像グループと決定する，
    　請求項１から７のうち，いずれか一項に記載の画像処理装置。
  9. 　上記第１の決定手段は，
    　上記第２の検出手段によって検出された上記第２の組み合わせのうち，順位が，一の第２の組み合わせの前後の上記第２の組み合わせの間に存在する２つ以上の上記サンプル画像と２つ以上の上記撮影画像とを，上記サンプル画像グループと上記撮影画像グループとに決定する，
    　請求項１から７のうち，いずれか一項に記載の画像処理装置。
  10. 　上記第２の決定手段は，
    　上記第１の決定手段によって決定された上記サンプル画像グループに含まれる一のサンプル画像との類似度が最大の上記撮影画像を，上記第１の決定手段により決定された上記撮影画像グループの中から決定する，
    　請求項１から９のうち，いずれか一項に記載の画像処理装置。
  11. 　第１の検出手段が，それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有する上記サンプル画像と上記撮影画像との第１の組み合わせを検出し，
    　第２の検出手段が，上記第１の組み合わせのうち，上記複数のサンプル画像における上記サンプル画像の順位と，上記複数の撮影画像における上記撮影画像の順位と，の差が第２のしきい値以内である上記サンプル画像と上記撮影画像との第２の組み合わせを検出し，
    　第１の決定手段が，上記第２の組み合わせにもとづいて，上記サンプル画像を含むサンプル画像グループと，上記サンプル画像グループと同一シーンと見なされる上記撮影画像を含む撮影画像グループとの組み合わせ，を決定し，
    　第２の決定手段が，上記サンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の上記撮影画像を，上記撮影画像グループの中から決定する，
    　画像処理方法。
  12. 　それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち，第１のしきい値以上の類似度を有する上記サンプル画像と上記撮影画像との第１の組み合わせを検出させ，
    　上記第１の組み合わせのうち，上記複数のサンプル画像における上記サンプル画像の順位と，上記複数の撮影画像における上記撮影画像の順位と，の差が第２のしきい値以内である上記サンプル画像と上記撮影画像との第２の組み合わせを検出させ，
    　上記第２の組み合わせにもとづいて，上記サンプル画像を含むサンプル画像グループと，上記サンプル画像グループと同一シーンと見なされる上記撮影画像を含む撮影画像グループとの組み合わせ，を決定させ，
    　上記サンプル画像グループに含まれる一のサンプル画像との類似度が第３のしきい値以上の上記撮影画像を，上記撮影画像グループの中から決定させるように画像処理装置のコンピュータを制御し，かつ上記コンピュータが読み取り可能なプログラム。
  13. 　請求項１２に記載のプログラムを格納した記録媒体。
PCT/JP2020/004148 2019-03-26 2020-02-04 画像処理装置，画像処理方法および画像処理プログラム Ceased WO2020195188A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021508180A JP7135200B2 (ja) 2019-03-26 2020-02-04 画像処理装置，画像処理方法および画像処理プログラム
CN202080011256.6A CN113366537B (zh) 2019-03-26 2020-02-04 图像处理装置、图像处理方法和记录介质
US17/470,440 US11775618B2 (en) 2019-03-26 2021-09-09 Image processing device, image processing method, and image processing program for deciding a similarity between a captured image and a sample image
JP2022138231A JP7377325B2 (ja) 2019-03-26 2022-08-31 画像処理装置，画像処理方法および画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019058866 2019-03-26
JP2019-058866 2019-03-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/470,440 Continuation US11775618B2 (en) 2019-03-26 2021-09-09 Image processing device, image processing method, and image processing program for deciding a similarity between a captured image and a sample image

Publications (1)

Publication Number Publication Date
WO2020195188A1 true WO2020195188A1 (ja) 2020-10-01

Family

ID=72611741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004148 Ceased WO2020195188A1 (ja) 2019-03-26 2020-02-04 画像処理装置，画像処理方法および画像処理プログラム

Country Status (4)

Country Link
US (1) US11775618B2 (ja)
JP (2) JP7135200B2 (ja)
CN (1) CN113366537B (ja)
WO (1) WO2020195188A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149193A (ja) * 2020-03-16 2021-09-27 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7451242B2 (ja) * 2020-03-13 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184791A (ja) * 2003-11-27 2005-07-07 Fuji Photo Film Co Ltd 画像編集装置および方法並びにプログラム
JP2007221498A (ja) * 2006-02-17 2007-08-30 Olympus Imaging Corp カメラ、音楽画像装置、音楽画像再生方法、プログラム
JP2018097484A (ja) * 2016-12-09 2018-06-21 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7340676B2 (en) * 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
US7298895B2 (en) * 2003-04-15 2007-11-20 Eastman Kodak Company Method for automatically classifying images into events
US7831599B2 (en) * 2005-03-04 2010-11-09 Eastman Kodak Company Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
JP2006293986A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4704225B2 (ja) * 2006-01-30 2011-06-15 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2009088687A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp アルバム作成装置
JP2011223250A (ja) 2010-04-08 2011-11-04 Nec Corp 撮影支援装置、撮影支援方法並びにそのプログラム
JP2012120007A (ja) 2010-12-02 2012-06-21 Casio Comput Co Ltd 画像表示装置、画像表示方法及び画像表示制御プログラム
JP5699595B2 (ja) * 2010-12-24 2015-04-15 株式会社ニコン 画像処理装置、画像分類プログラム、及び、画像表示プログラム
US8949253B1 (en) * 2012-05-24 2015-02-03 Google Inc. Low-overhead image search result generation
US8861804B1 (en) * 2012-06-15 2014-10-14 Shutterfly, Inc. Assisted photo-tagging with facial recognition models
JP2015008385A (ja) * 2013-06-25 2015-01-15 株式会社ニコン 画像選択装置、撮像装置および画像選択プログラム
JP6081323B2 (ja) * 2013-09-05 2017-02-15 富士フイルム株式会社 イベントの撮像画像配置装置ならびにその制御方法およびその制御プログラム
JP6636406B2 (ja) * 2016-09-16 2020-01-29 富士フイルム株式会社 画像抽出システム，画像抽出方法およびそのプログラム
JP6723909B2 (ja) * 2016-12-09 2020-07-15 キヤノン株式会社 画像処理方法、画像処理装置、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184791A (ja) * 2003-11-27 2005-07-07 Fuji Photo Film Co Ltd 画像編集装置および方法並びにプログラム
JP2007221498A (ja) * 2006-02-17 2007-08-30 Olympus Imaging Corp カメラ、音楽画像装置、音楽画像再生方法、プログラム
JP2018097484A (ja) * 2016-12-09 2018-06-21 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149193A (ja) * 2020-03-16 2021-09-27 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7443107B2 (ja) 2020-03-16 2024-03-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20210406588A1 (en) 2021-12-30
CN113366537B (zh) 2024-08-06
CN113366537A (zh) 2021-09-07
JP7377325B2 (ja) 2023-11-09
JP7135200B2 (ja) 2022-09-12
US11775618B2 (en) 2023-10-03
JPWO2020195188A1 (ja) 2020-10-01
JP2022164837A (ja) 2022-10-27

Similar Documents

Publication Publication Date Title
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
US11768597B2 (en) Method and system for editing video on basis of context obtained using artificial intelligence
JP7610047B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
EP3005055B1 (en) Apparatus and method for representing and manipulating metadata
CN110377789A (zh) 用于将文本概要与内容媒体关联的系统和方法
WO2019230275A1 (ja) 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体
JP7736900B2 (ja) 画像処理装置，画像処理方法および画像処理プログラム
US11120071B2 (en) Reverse image search using portion of image but not entirety of image
JP7377325B2 (ja) 画像処理装置，画像処理方法および画像処理プログラム
CN109598748B (zh) 图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质
JP2020046902A (ja) 画像処理装置，画像処理方法および画像処理プログラム
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
KR20150096552A (ko) 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법
US11086923B2 (en) Communication apparatus, control method, and storage medium
JP7203877B2 (ja) 画像抽出装置，画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体
JP7588257B2 (ja) 画像判別装置，画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
KR102302607B1 (ko) 전자문서를 생성하는 서버 및 그 방법
JP7188478B2 (ja) 検索装置、検索方法、およびプログラム
JP2023021054A (ja) 人物情報を利用した写真分類機能を提供する方法、コンピュータ装置、およびコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20777691

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508180

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20777691

Country of ref document: EP

Kind code of ref document: A1