WO2019130823A1 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2019130823A1
WO2019130823A1 PCT/JP2018/040976 JP2018040976W WO2019130823A1 WO 2019130823 A1 WO2019130823 A1 WO 2019130823A1 JP 2018040976 W JP2018040976 W JP 2018040976W WO 2019130823 A1 WO2019130823 A1 WO 2019130823A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
common
unit
individual
images
Prior art date
Application number
PCT/JP2018/040976
Other languages
English (en)
French (fr)
Inventor
啓 山路
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019562808A priority Critical patent/JP6906636B2/ja
Publication of WO2019130823A1 publication Critical patent/WO2019130823A1/ja
Priority to US16/895,026 priority patent/US11250605B2/en
Priority to US17/569,718 priority patent/US11436778B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium for creating a photo album using a plurality of images in which a plurality of persons are photographed.
  • the graduation album is composed of a plurality of common pages commonly used by all the children.
  • Patent Documents 1 and 2 are prior art documents relevant to the present invention.
  • the object of the present invention is to make it possible to create an individual page used only by a specific individual of a plurality of persons when creating a photo album using a plurality of images in which a plurality of persons are shown,
  • An image processing apparatus, an image processing method, a program, and a recording medium which can equalize the appearance frequency of each person in an image included in a common page commonly used by a plurality of people.
  • the present invention provides a photo album having one or more individual pages used only by a specific individual, and one or more common pages commonly used by a plurality of persons including the specific individual.
  • An image processing device to create An instruction acquisition unit that acquires an instruction input from a user; A name registration unit for registering names of a plurality of persons; An image acquisition unit for acquiring a plurality of images in which a plurality of persons are shown; An image analysis unit that analyzes a plurality of images; An image classification unit that classifies the plurality of images into a plurality of groups including an image including each of a plurality of persons based on analysis results of the plurality of images; An associating unit that associates the name of each person with each of a plurality of groups including an image showing a person corresponding to each person's name; A personal designation unit that designates the name of a specific person from among the names of a plurality of persons according to the user's instruction; An image selection unit for selecting an individual image used in the individual page and a common
  • the image selection unit preferentially selects an image including two or less persons including a person corresponding to a specific individual's name as an individual image, and is an image other than the individual image as a common image, and An image processing apparatus is provided, which selects an image in which three or more persons appear, such that the appearance frequency of each person is an average of the appearance frequency of a plurality of persons.
  • the individual page laid out by the layout unit is displayed on the image display unit as a display individual page according to the user's instruction, the layout of the display individual page is edited, and the common page laid out by the layout unit according to the user's instruction.
  • a page editing unit that edits the layout of the display common page is preferably provided.
  • the personal designation unit designates the name of one person selected according to the user's instruction from the list of names of a plurality of persons displayed on the image display unit as the name of a specific person
  • the page editing unit preferably displays an individual page of a person corresponding to the name of one person on the image display unit as a display individual page.
  • the page editing unit selects an image including a person corresponding to the name of one person among a plurality of images, and gives priority to the image display unit as an editing candidate image for editing a display individual page. Is preferably displayed.
  • the image analysis unit detects the face of the person appearing in the individual image laid out on the display individual page; It is preferable that the page editing unit displays the face frame surrounding the face area of the person separately for each person based on the face detection result in the individual images laid out on the display individual page.
  • the page editing unit displays, on the display common page, the appearance count of each person in the entire photo album and the display common page on the image display unit.
  • the page editing unit displays the number of appearances of each person in the entire photo album and each of one or more common pages on the image display unit.
  • the page editing unit displays a list of names of a plurality of persons on the image display unit, and the names of persons corresponding to the persons shown in the individual image or the common image selected according to the instruction of the user are displayed in the list. It is preferable to identify and display.
  • the page editing unit displays on the image display unit a list of names of persons corresponding to the individual appearing in the individual image or the common image selected according to the user's instruction.
  • an image evaluation unit that evaluates each image and calculates a score based on analysis results of the plurality of images.
  • the page editing unit selects a common image having a score less than the threshold from among the common images in which the specific person appears It is preferable to select and display the deletion candidate image as the deletion candidate image on the image display unit, and delete the deletion candidate image selected from the deletion candidate images displayed on the image display unit according to the user's instruction from the display common page.
  • the “specific person” may be the same person as the “specific individual” who uses the individual page, or may be a different person.
  • the page editing unit deletes one common image from among the common images in which the specific person appears. If the number of appearances of another person less than the average appearance frequency of a plurality of persons appearing in one common image is further reduced, the other person is selected from among the common images in which the specific person appears A common image not appearing is selected and displayed as a deletion candidate image on the image display unit, and the deletion candidate image selected according to the user's instruction is deleted from the display common page from among the deletion candidate images displayed on the image display unit Is preferred.
  • a warning generation unit that issues a warning for confirming whether or not the deletion candidate image may be deleted before the deletion candidate image is deleted.
  • an image evaluation unit that evaluates each image and calculates a score based on analysis results of the plurality of images.
  • the page editing unit selects a common image having a score equal to or higher than the threshold from the common images in which the specific person appears. It is preferable to select and display the adopted candidate image as the adopted candidate image on the image display unit, and lay out the adopted candidate image selected from the adopted candidate images displayed on the image display unit in accordance with the user's instruction on the display common page.
  • the page editing unit adds one common image from among the common images in which the specific person appears.
  • the number of appearances of other persons appearing in one common image that is larger than the average of the appearance times of a plurality of persons is further increased, among the common images in which a specific person appears, other than the other persons
  • a common image including a person is selected and displayed as an adopted candidate image on the image display unit, and an adopted candidate image selected according to the user's instruction from among the adopted candidate images displayed on the image display unit is displayed on the displayed common page. It is preferable to lay out.
  • the page editing unit trims the common image in which the specific person appears, and the specific person is photographed. It is preferable to delete a specific person from the common image.
  • the image analysis unit detects the size of the face of the person appearing in the common image
  • the appearance number counting unit counts the number of appearances of each person whose face size is equal to or larger than the threshold in the common image as the main appearance number
  • the page editor uses the main appearance frequency of a specific person instead of the appearance frequency of a specific person, and uses the average main appearance frequency of a plurality of people instead of the average appearance frequency of a plurality of people Is preferred.
  • the threshold of the face size is preferably determined by the ratio of the size of the face to the size of the page of the photo album, or the ratio of the size of the face to the size of the common image laid out on the display common page.
  • the image processing apparatus further includes an intimacy calculation unit that calculates an intimacy degree between a specific individual and each person other than the specific individual based on analysis results of the plurality of images, the name and the association of the specific individual,
  • the page editing unit selects an image for editing the display individual page from among the plurality of images and displays the image as an editing candidate image on the image display unit, and in the editing candidate image, the intimacy with a specific individual is It is preferable to preferentially display editing candidate images in which a person who is equal to or higher than the threshold is shown.
  • the image processing apparatus further includes an intimacy calculation unit that calculates an intimacy degree between a specific individual and each person other than the specific individual based on analysis results of the plurality of images, the name and the association of the specific individual, It is preferable that the image selection unit preferentially selects, as an individual image, an image in which a person whose intimacy degree with a specific individual is equal to or more than a threshold is taken from among a plurality of images.
  • a trimming information storage unit for storing trimming information of the image ordered for printing after trimming is performed from among the plurality of images.
  • the page editing unit separates the same trimming as the print ordered image based on the trimming information when the individual image laid out on the display individual page is an image ordered for printing after trimming in the past Preferably it is done on the image.
  • the page editing unit selects an image for editing the display common page from among the plurality of images and displays it on the image display unit as an editing candidate image, and the editing candidate images displayed on the image display unit are displayed in the past. It is preferable to identify and display an edit candidate image in which the number of ordered images of the print ordered image is equal to or more than a threshold.
  • an order quantity information storage unit for storing information on the order quantity of the image ordered for printing out of the plurality of images.
  • the image selection unit preferentially selects, as a common image, an image in which the number of ordered images of images ordered for printing in the past is equal to or greater than a threshold value from among a plurality of images.
  • the layout unit lays out the common image so that the common image laid out in the large size area has more persons in the common page than the common image laid out in the small size area. It is preferable to do.
  • the layout unit lays out an image of a character string representing the name of a specific person on an individual page.
  • the present invention is an image processing method for creating a photo album having one or more individual pages used only by a specific individual, and one or more common pages commonly used by a plurality of persons including the specific individual.
  • a step of the instruction acquisition unit acquiring an instruction input from a user;
  • the name registration unit registers the names of a plurality of persons;
  • the image acquisition unit acquires a plurality of images in which a plurality of persons are shown;
  • the image analysis unit analyzes a plurality of images;
  • the image classification unit classifies the plurality of images into a plurality of groups including an image including each of a plurality of persons based on analysis results of the plurality of images;
  • the personal designation unit designates a specific personal name among names of a plurality of persons according to a user's instruction;
  • the image selection unit selects a common image to be used in an
  • Step and The appearance frequency counting section counts the appearance frequency of each person in the common image based on analysis results of the plurality of images;
  • the layout unit lays out the individual image on the individual page and the common image on the common page based on the layout information.
  • an image in which two or less persons including a person corresponding to a specific individual's name are preferentially selected as an individual image, and other than the individual image is selected as a common image
  • An image processing method is provided, in which an image including three or more persons is selected such that the number of appearances of each person is an average of the appearance times of a plurality of persons.
  • the present invention also provides a program for causing a computer to execute the steps of the above-described image processing method.
  • the present invention also provides a computer-readable recording medium having recorded thereon a program for causing a computer to execute the steps of the above-described image processing method.
  • the present invention is an image processing apparatus for creating a photo album having one or more individual pages used only by a specific individual, and one or more common pages commonly used by a plurality of persons including the specific individual.
  • An instruction acquisition unit that acquires an instruction input from a user;
  • a name registration unit for registering names of a plurality of persons;
  • An image acquisition unit for acquiring a plurality of images in which a plurality of persons are shown;
  • An image analysis unit that analyzes a plurality of images;
  • An image classification unit that classifies the plurality of images into a plurality of groups including an image including each of a plurality of persons based on analysis results of the plurality of images;
  • An associating unit that associates the name of each person with each of a plurality of groups including an image showing a person corresponding to each person's name;
  • a personal designation unit that designates the name of a specific person from among the names of a plurality of persons according to the user's instruction;
  • An image selection unit for selecting an
  • the instruction acquisition unit, the name registration unit, the image acquisition unit, the image analysis unit, the image classification unit, the association unit, the personal designation unit, the image selection unit, the appearance count unit and the layout unit are hardware or a processor that executes a program
  • the image selection unit preferentially selects an image including two or less persons including a person corresponding to a specific individual's name as an individual image, and is an image other than the individual image as a common image
  • An image processing apparatus is provided, which selects an image in which three or more persons appear, such that the appearance frequency of each person is an average of the appearance frequency of a plurality of persons.
  • the present invention since it is possible to create a photo album having individual pages, it is possible to create a photo album customized according to a specific individual of a plurality of persons, that is, each person. Moreover, since the appearance frequency of each person in the common image included in the common page can be equalized, it is possible to eliminate the sense of unfairness among a plurality of persons.
  • wrist of the name of several persons it is a conceptual diagram showing the state in which the name of the person corresponding to the person who is reflected to the image was identified and displayed. It is a conceptual diagram showing the state where a specific person was deleted by trimming from a common picture in which a specific person is shown. It is a conceptual diagram showing the image ordered by printing after trimming was performed in the past.
  • FIG. 1 is a block diagram of an embodiment showing the configuration of the image processing apparatus of the present invention.
  • the image processing apparatus 10 shown in FIG. 1 creates a photo album (photo book) using a plurality of images in which a plurality of persons are shown. More specifically, a photo album having one or more individual pages used only by a specific individual, and one or more common pages commonly used by a plurality of persons including the specific individual is created.
  • a plurality of persons are a plurality of children
  • a specific individual is a single child designated from among a plurality of children. That is, a specific individual is each kindergarten child designated from among a plurality of kindergarten children.
  • the image processing apparatus 10 creates, as a photo album, a graduation album customized for each child, including a common page common to individual pages of a specific individual and a plurality of children.
  • the image processing apparatus 10 associates the instruction acquisition unit 12, the name registration unit 14, the image acquisition unit 16, the image analysis unit 18, the image evaluation unit 20, and the image classification unit 22.
  • Unit 24 personal specification unit 26, closeness calculation unit 28, image selection unit 30, appearance count unit 32, layout unit 34, page editing unit 36, warning generation unit 38, order quantity information A storage unit 40 and a trimming information storage unit 42 are provided.
  • the instruction acquisition unit 12 acquires various instructions input from the user.
  • the name registration unit 14 registers the names of a plurality of persons, for example, in accordance with the user's instruction acquired by the instruction acquisition unit 12.
  • the name registration unit 14 may register the names of a plurality of persons based on information etc. of a list of the names of a plurality of persons.
  • the image acquisition unit 16 acquires a plurality of images in which a plurality of persons used in the photo album are photographed, for example, in accordance with a user's instruction.
  • the image acquisition unit 16 may acquire a plurality of images stored in a preset storage location.
  • the image analysis unit 18 analyzes the plurality of images acquired by the image acquisition unit 16.
  • Analysis items of the image are not particularly limited, but subject detection (person detection and object detection) detecting a subject appearing in the image, face detection and face recognition of a person, face size detection detecting a face size of a person, Analysis of image content such as distance detection to detect the distance between persons in the image, analysis of image quality such as image brightness, color tone, contrast and degree of blur, Exif (Exchangeable Image File Format), etc. It includes analysis of time information (shooting date and time) and position information (shooting location) included in the additional information of the image.
  • the image evaluation unit 20 evaluates each image to calculate a score based on the analysis result of the plurality of images by the image analysis unit 18.
  • calculation method of the score of an image is not specifically limited, For example, about each image, you may calculate the score for every analysis item by the image analysis part 18, and the total score of all the analysis items.
  • the calculation method of the score for each analysis item is also not particularly limited. For example, the score in the case where the size of the face of the person appearing in the image is large is higher than in the case where the degree of blur of the image is large. You may raise the score of the case. The same applies to analysis items other than this.
  • the image classification unit 22 divides the plurality of images into a plurality of groups including images in which each of a plurality of persons is photographed. Classify.
  • the associating unit 24 shows the names of the persons registered in the name registration unit 14 and the persons corresponding to the names of the persons classified by the image classification unit 22. Associating with each of a plurality of groups including an image is performed.
  • the association unit 24 may perform association based on information on the association between each person's name and each image group.
  • the individual specifying unit 26 specifies a name of a specific individual from among the names of a plurality of persons registered in the name registration unit 14 according to the instruction of the user.
  • the intimacy calculation unit 28 analyzes the analysis results of the plurality of images, the names of specific individuals designated by the individual designation unit 26, and the names of the respective persons performed by the association unit 24 and the respective images. Based on the association with the group, the intimacy between the specific individual and each person other than the specific individual is calculated.
  • the method of calculating the intimacy degree is not particularly limited.
  • a person having a large number of images appearing together with a specific individual a person having a small number of persons appearing together in an image appearing together with a specific individual
  • a person or the like who is close to a specific individual is considered to be a person having a high intimacy with the specific individual, and thus that person and the specific individual Intimacy can be higher than intimacy with other individuals and specific individuals.
  • the image selecting unit 30 determines the analysis results of the plurality of images, the names of specific individuals designated by the individual designating unit 26, the association of the names of the respective persons with the respective groups, and the closeness calculating unit 28. Are used in individual images and common pages used in individual pages among a plurality of images based on at least one of the closeness between a specific individual and each other person calculated by Select a common image.
  • the appearance frequency counting unit 32 displays the appearance frequency of each person in the common image selected by the image selection unit 30 based on the analysis result of the plurality of images by the image analysis unit 18, for example, the analysis result of human detection. Count.
  • the layout unit 34 lays out the individual image selected by the image selection unit 30 on an individual page, and lays out the common image on a common page, based on layout information for specifying the layout of the photo album.
  • the layout unit 34 also creates a photo album including a cover page, an individual page, a common page, a special page, a back cover page, and the like.
  • the page editing unit 36 displays the individual page laid out by the layout unit 34 as a display individual page on an image display unit such as a liquid crystal display according to the user's instruction, and edits the layout of the display individual page. Further, the page editing unit 36 displays the common page laid out by the layout unit 34 as a display common page on the image display unit in accordance with the user's instruction, and edits the layout of the display common page.
  • the warning generation unit 38 issues a warning for confirming whether the deletion candidate image may be deleted before the deletion candidate image described later is deleted from the display common page by the page editing unit 36.
  • the deletion candidate image is a deletion target image from the common image in which the specific person appears in the display common page when the appearance number of the specific person in the common image is larger than the average of the appearance times of the plurality of persons.
  • the order quantity information storage unit 40 stores information on the order quantity of the image ordered for printing out of the plurality of images.
  • the trimming information storage unit 42 stores trimming information of the image ordered for printing after trimming is performed from among the plurality of images.
  • the user of the image processing apparatus 10 inputs an instruction to specify the names of a plurality of persons via, for example, the instruction acquiring unit 12 as shown in FIG.
  • the user of the image processing apparatus 10 is, for example, a teacher.
  • the names of a plurality of children for example, AAA, BBB, CCC,... are input by the teacher on the name input screen of the children.
  • the name registration unit 14 registers the names of the plurality of persons input according to the instruction of the user (step S1).
  • the user inputs an instruction to specify a plurality of images via, for example, the instruction acquisition unit 12.
  • the image acquisition unit 16 acquires a plurality of images designated in accordance with the user's instruction (step S2).
  • the image acquisition unit 16 is not particularly limited, but various types of images such as images taken by teachers and professional photographers at kindergarten and nursery events, and images taken by parents of kindergarten children at each kindergarten home Images can be acquired.
  • the image analysis unit 18 analyzes the plurality of images (step S3).
  • each image is evaluated by the image evaluation unit 20 based on the analysis results of the plurality of images, and the score is calculated (step S4).
  • the image classification unit 22 classifies a plurality of images into a plurality of groups including images in which each of a plurality of persons is photographed based on the analysis result of the plurality of images (FIG. 4) Step S5).
  • FIG. 4 a plurality of images in which children are shown (left side in FIG. 4) includes images in which each child is shown, classified into group 1, group 2, group 3 ... (right side in FIG. 4) It is done.
  • the images are classified into groups for each person, as shown in FIG. 5, the list of names of a plurality of persons registered in the name registration unit 14, the number of images of each person, and the persons are classified. Images and the like of each group are displayed on the image display unit.
  • FIG. 5 a list of a plurality of children (the left side of FIG. 5), the number of images of each child (the center of FIG. 5), and groups 1, 2, 3, ... of images in which each child is shown Right of 5) is displayed.
  • the user for example, via the instruction acquisition unit 12, the name of each person displayed on the image display unit and each group including an image in which a person corresponding to each person's name is shown Enter an instruction to specify the association.
  • the association unit 24 When an instruction to associate the person's name with the image group is input, the association unit 24 causes the image showing the person corresponding to each person's name and the person's name according to the user's instruction. An association with each included group is performed (step S6).
  • the association between the person's name and the image group may be performed, for example, on a monthly basis, or may be performed before the photo album is created.
  • the image analysis unit 18 detects the person shown in the image
  • the image classification unit 22 detects a plurality of images taken thereafter. Is automatically classified into a group including an image showing the person based on the analysis result of the image of.
  • the user inputs, via the instruction acquisition unit 12, information specifying the name of one person among the names of a plurality of persons registered in the name registration unit 14 as the name of a specific individual.
  • the individual specification unit 26 specifies the name of the specific individual from among the names of a plurality of persons registered in the name registration unit 14 according to the instruction of the user (step S7) ).
  • the method of specifying the name of a specific person is not particularly limited, for example, the user selects the name of one person from a list of the names of a plurality of persons displayed on the image display unit and It can be specified as a name.
  • the personal designation unit 26 designates the name of one person selected according to the user's instruction from the list of names of a plurality of persons displayed on the image display unit as the name of a specific person.
  • the intimacy calculation unit 28 Familiarity with the person is calculated (step S8).
  • the image selection unit 30 selects an individual image and a common image from among the plurality of images based on analysis results of the plurality of images, names of specific individuals, associations, familiarity, etc. (step S9) .
  • the image selection unit 30 preferentially selects an image including two or less persons including a person corresponding to the name of a specific individual as an individual image in order to select an image including a specific individual. Do. Further, as the common image, an image other than the individual image and including three or more persons is selected. There is no upper limit on the number of people in the common image.
  • the common image is preferably an image in which a specific person among a plurality of persons is inconspicuous.
  • the appearance frequency counting section 32 counts the appearance frequency of each person in the common image based on the analysis result of the plurality of images (step S10).
  • the image selection unit 30 selects an image other than the individual image from among the plurality of images in order to select the image as the common image without feeling of inequity among the plurality of persons.
  • An image in which three or more persons are photographed is selected such that the number of appearances of each person is an average of the appearance times of a plurality of persons. This makes it possible to equalize the number of appearances of each person in the common image.
  • the user inputs layout information via the instruction acquisition unit 12.
  • the layout information is not particularly limited, but as shown in Table 1, the page size of the photo album, the number of pages, the number of images for each page, the presence / absence of special pages and their page positions, and information on the image shooting period etc. Is included.
  • the special pages include a children list page for displaying the face images of the children, a teacher list page for displaying the face images of the teachers, and other special pages.
  • the page size of the photo album is information indicating the page size of the photo album, such as A4, A5, and so on.
  • the number of pages is information indicating the number of pages of the entire photo album, such as 10 P (pages), 15 P, 20 P, and so on.
  • the number of images per page is information indicating the number of images to be laid out on each page, such as small, normal, and large.
  • the presence or absence of an individual page and its page position are information such as "Yes, 3-4 pages" indicating whether or not the photo album includes an individual page, and when the photo album includes an individual page, individual It is information indicating the page position of the page.
  • the presence or absence of the children list page and the page position are information indicating whether or not the children's photo album page is included in the photo album, such as "presence, 1-2 pages", and the children list page is included in the photo album In the case, it is information indicating the page position of the children list page.
  • the image shooting period is information indicating a period in which an image included in the photo album is shot, such as one year, two years, three years, and so on.
  • the layout unit 34 lays out the individual images on an individual page and the common image on a common page based on the layout information. Then, as shown in FIG. 6, for example, as a graduation album, a photo album including a cover page, an individual page for each kindergarten, a common page for all kindergartens, a special page, a back cover page, etc. is created (step S11).
  • the user can display and edit each page of the photo album on the image display unit according to the user's instruction. For example, when editing an individual page, the user inputs an instruction to specify the individual page to be edited.
  • the page editing unit 36 displays the individual page as a display individual page on the image display unit according to the instruction of the user.
  • FIG. 7 is an example of an individual page editing screen.
  • individual pages which are spread pages of two pages of the photo album are displayed.
  • edit buttons such as "replace” and "remove” the image are displayed.
  • buttons for displaying the next and previous individual pages are displayed. It is displayed.
  • the layout unit 34 lays out an image of a character string representing the name (AAA) of a specific individual corresponding to the individual page and a comment (XXXX).
  • the user inputs an instruction to edit the display individual page such as image replacement, deletion, scaling, trimming, and the like.
  • the page editing unit 36 edits the layout of the display individual page according to the instruction of the user (step S12).
  • the page editing unit 36 displays the common page as a display common page on the image display unit according to the user's instruction.
  • the user inputs an instruction to edit the display common page.
  • the page editing unit 36 edits the layout of the display common page according to the instruction of the user (step S12).
  • the processing is ended.
  • editing of the photo album is basically performed by teachers of kindergartens and nursery schools, for example, editing of only individual pages may be made possible not only by the teacher but also by parents of each kindergarten. For example, after accessing and logging in to the image processing apparatus 10 using an application of a smartphone for using the image processing apparatus 10, only the individual page of one's own child may be made editable.
  • the user can order prints of photo albums of a plurality of persons.
  • the prints of the photo albums of all the persons may be ordered at one time, or each time the creation of the photo album of each person is completed, the photo of each person The prints of the album may be ordered individually.
  • the image processing apparatus 10 since it is possible to create a photo album having individual pages, it is possible to create a photo album customized according to a specific individual of a plurality of persons, that is, each person. . Moreover, since the appearance frequency of each person in the common image included in the common page can be equalized, it is possible to eliminate the sense of unfairness among a plurality of persons.
  • the page editing unit 36 displays an individual page of a person corresponding to the name of one person designated by the individual designation unit 26 on the image display unit as a display individual page. Therefore, the user can display and browse the individual page of the desired person on the image display unit by selecting the name of the desired person from the list of names of a plurality of persons.
  • the page editing unit 36 selects an image in which a person corresponding to the name of one person designated by the individual designation unit 26 is taken from the plurality of images, and as shown in FIG. It may be preferentially displayed on the image display unit as an editing candidate image for editing an individual page.
  • the user can easily select and use an image in which a person corresponding to the displayed individual page is taken from a plurality of images.
  • the image analysis unit 18 detects the face of a person appearing in the individual image laid out on the display individual page, and as shown in FIG.
  • the part 36 may display the face frame surrounding the face area of the person separately for each person based on the detection result of the face. For example, the color, thickness and line type of face frame may be changed for each person. As a result, the user can easily distinguish the person corresponding to the display individual page from the other persons in the individual image.
  • the page editing unit 36 displays the entire photo album and each person in the display common page, that is, AAA, BBB, The number of appearances of CCC, ... may be displayed on the image display unit.
  • each person in the entire photo album and each of one or more common pages for example, 1-2P (page), 3-4P, 5-6P,. That is, the number of appearances of AAA, BBB, CCC, ... may be displayed on the image display unit.
  • the user can easily grasp the appearance frequency of each person in the common image of the entire photo album and each common page, for example, even if the appearance frequency is high, only the appearance appears on a specific page, etc. You can easily check whether there is a bias for each page like.
  • the page editing unit 36 displays a list of names of a plurality of persons on the image display unit, and an individual image or a common image selected according to a user's instruction (a finger mark in FIG.
  • the name of the person corresponding to the person shown in) may be identified and displayed in the list.
  • identification display is performed by marking the beginning of the name of the person corresponding to the person with a mark such as a star or changing the color of the person's name.
  • the page editing unit 36 may display on the image display unit a list of names of persons appearing in the individual images or the common image selected according to the user's instruction.
  • the user can easily know the names of persons appearing in the individual images and the common image.
  • the image evaluation unit 20 evaluates each image to calculate a score based on the analysis result of the plurality of images, and the page editing unit 36 calculates a specific person in the common image. If the number of appearances of is greater than the average of the number of appearances of a plurality of persons, a common image having a score less than the threshold is selected from among the common images in which a specific person appears, A deletion candidate image selected according to the user's instruction from among the deletion candidate images displayed and displayed on the image display unit may be deleted from the display common page. Thereby, the user can know a common image having a score less than the threshold among common images in which a specific person is shown, and can delete, for example, common images in descending order of score.
  • the threshold may be set automatically or may be set by the user.
  • the page editing unit 36 deletes one common image from among the common images in which the specific person appears. If the number of appearances of another person less than the average of the appearance frequency of a plurality of persons in one common image is further reduced, the other person is selected from among the common images in which the specific person is photographed Select a common image that does not appear and display it on the image display as a deletion candidate image, and delete the deletion candidate image selected from the deletion candidate images displayed on the image display according to the user's instruction from the display common page You may As a result, the user can know the deletion candidate image in the same manner as described above, and can prevent the appearance frequency of the person whose appearance frequency in the common image is small.
  • a warning may be issued by the warning generation unit 38 to confirm whether the deletion candidate image may be deleted.
  • the warning may be voice or a warning message.
  • the page editing unit 36 selects the common image in which the specific person appears From among them, a common image whose score calculated by evaluating each image based on the analysis results of a plurality of images by the image evaluation unit 20 is selected and displayed on the image display unit as an adoption candidate image
  • the adoption candidate image selected according to the user's instruction from among the adoption candidate images displayed on the display unit may be laid out on the display common page.
  • the user can know a common image having a score equal to or higher than a threshold value in common images in which a specific person is shown, and can lay out, for example, common images in order of good score.
  • the threshold may be set automatically or may be set by the user.
  • the page editing unit 36 adds one common image from among the common images in which the number of appearances of a specific person in the common image is smaller than the average of the appearance numbers of a plurality of persons and the specific person appears. If the number of appearances of other persons appearing in one common image and larger than the average of the appearance times of a plurality of persons is further increased, the common image in which the specific person appears may be other than the other persons.
  • the common image in which the person of the person is shown is selected and displayed on the image display unit as the adopted candidate image, and the adopted candidate image selected according to the user's instruction from among the adopted candidate images displayed on the image display unit is displayed common page You may lay out. As a result, the user can know the adoption candidate image in the same manner as described above, and can prevent the appearance frequency of the person who frequently appears in the common image from increasing further.
  • the page editing unit 36 trims the common image in which the specific person appears Then, the specific person may be deleted from the common image in which the specific person is shown.
  • FIG. 9 it is assumed that one person enclosed by a circle, that is, a specific person is removed by trimming, and two persons enclosed by a broken line in a square are shown. This makes it possible to easily reduce the number of appearances of a specific person who has a large number of appearances in the common image.
  • the image analysis unit 18 detects the size of the face of the person appearing in the common image, and is shown in Table 4.
  • the appearance number counting unit 32 may count the number of appearances of each person whose face size is equal to or larger than the threshold in the common image as the main appearance number. Further, the number of appearances of each person whose face size is less than the threshold in the common image may be counted as the number of appearances of the sub, or the number of appearances of the main and the sub may be counted for the entire photo album.
  • the page editing unit 36 uses the main appearance frequency of the specific person instead of the appearance frequency of the specific person, and the main appearance frequency of the plurality of persons instead of the average appearance frequency of the plurality of persons.
  • the average of can be used. Even if the number of appearances is large, if the size of the child's face in the common image is small, the child's parents feel dissatisfied.
  • the main appearance frequency By using the main appearance frequency, the appearance frequency in a common image in which a person whose face size is equal to or larger than the threshold can be made uniform.
  • the threshold may be set automatically or may be set by the user.
  • the face size threshold may be determined by the ratio of the face size to the page size of the photo album or the ratio of the face size to the size of the common image laid out on the display common page. Good.
  • the intimacy calculation unit 28 calculates intimacy between a specific individual and each person other than the specific individual based on the analysis results of the plurality of images
  • the page editing unit 36 selects an image for editing a display individual page from a plurality of images and displays it as an editing candidate image on the image display unit, and in the editing candidate image, the closeness to a specific individual is equal to or more than a threshold
  • the edit candidate image in which the person who is is photographed may be displayed preferentially.
  • the user can easily use an image in which another person having a high degree of intimacy with a specific individual is taken as an editing candidate image.
  • a list of names of persons whose intimacy with a specific individual is equal to or more than a threshold may be displayed on the image display unit.
  • the user can select an image showing a person having a close relationship with a specific individual by selecting a desired person from a list of names of persons whose intimacy with a specific individual is equal to or higher than the threshold. It can be displayed on the image display unit as an image.
  • the intimacy calculation unit 28 calculates the intimacy between a specific individual and each person other than the specific individual based on the analysis results of the plurality of images, and the image selection unit An image in which a person whose intimacy with a specific individual is greater than or equal to a threshold may be preferentially selected as the individual image from among the plurality of images.
  • the page editing unit 36 edits the display common page by storing the order number information of the image ordered for printing
  • the page editing unit 36 as shown in FIG.
  • An image for editing the display common page is selected from the plurality of images and displayed on the image display unit as an edit candidate image, and the print order of the past is ordered for the edit candidate image displayed on the image display unit.
  • the threshold may be set automatically or may be set by the user.
  • the image selection unit 30 selects the common image from among the plurality of images even when the common image is selected. It is possible to preferentially select, as a common image, an image in which the number of ordered images of a print ordered in the past is equal to or more than a threshold. Thereby, when the layout section 34 automatically lays out the common page, it is possible to preferentially use an image which is important to the children and their parents in common as the common image.
  • the page editing unit 36 If the individual image laid out on the display individual page is an image ordered for printing after trimming in the past, the same trimming as the image ordered for printing is performed on the individual image based on the trimming information be able to.
  • FIG. 10 an image in which two persons surrounded by broken lines in a square are extracted by trimming. A person who trims an image and makes a print order is considered to prefer the image after trimming to the image before trimming. Therefore, the individual page can be made more desirable for the person by applying the same trimming to the individual image as the image ordered for printing.
  • the layout unit 34 sets the common image so that the number of persons in the common image laid out in the large size area is larger than the common image laid out in the small size area in the common page. You may lay out.
  • the image selection unit 30 selects, as a common image, an image in which three or more persons are taken from a plurality of images. However, if there are many people in the image, the size of each person's face will be smaller, so the number of people in the image will be adjusted according to the size of the image when placed on a common page. It is desirable to do.
  • the size of the face of the person appearing in the common image is larger in the case where the same common image is laid out in a larger area than in the case where the same common image is laid out in a small area. Therefore, by laying out the common image as described above, the size of the face of the person appearing in the common image can be made more preferable.
  • the present invention is not limited to kindergartens and nursery schools, and uses a plurality of images showing a plurality of persons in a group of a plurality of persons, such as a plurality of students of a school and a plurality of business associates of a company. It can be used similarly when creating various photo albums.
  • a processing unit that executes various processing such as image selection unit 30, appearance count unit 32, layout unit 34, page editing unit 36, warning generation unit 38, order quantity information storage unit 40, trimming information storage unit 42, etc.
  • the hardware configuration of Unit may be dedicated hardware or may be various processors or computers that execute programs.
  • circuit configuration after manufacturing a central processing unit (CPU) or a field programmable gate array (FPGA) that is a general-purpose processor that executes software (program) and functions as various processing units for various processors.
  • Logic circuit Programmable Logic Device: PLD
  • ASIC Application Specific Integrated Circuit
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same or different types, for example, a combination of multiple FPGAs, or a combination of FPGA and CPU You may comprise by etc. Further, the plurality of processing units may be configured by one of various processors, or two or more of the plurality of processing units may be configured together using one processor.
  • processors are configured by a combination of one or more CPUs and software, and this processor functions as a plurality of processing units.
  • SoC system on chip
  • IC Integrated Circuit
  • circuitry an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the method of the present invention can be implemented by, for example, a program for causing a computer to execute the respective steps. It is also possible to provide a computer readable recording medium in which the program is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

フォトアルバムを作成する際に、個別ページを作成することができ、共通ページに含まれる画像における各人物の登場回数を均等にする。本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体においては、画像の解析結果、特定の個人の名前、および、人物の名前と人物の画像のグループとの関連付けに基づいて、複数の画像の中から、個別画像および共通画像を選択し、個別画像を個別ページにレイアウトし、かつ共通画像を共通ページにレイアウトする。個別画像として、特定の個人の名前に対応する人物を含む２人以下の人物が写っている画像を優先的に選択し、共通画像として、個別画像以外の画像であり、かつ各々の人物の登場回数が複数の人物の登場回数の平均になるように、３人以上の人物が写っている画像を選択する。

Description

画像処理装置、画像処理方法、プログラムおよび記録媒体
　本発明は、複数の人物が写っている複数の画像を用いてフォトアルバムを作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
　例えば、幼稚園および保育園の卒園アルバムとして、全ての園児について同じ内容のアルバムが作成されている。つまり、卒園アルバムは、全ての園児が共通に使用する複数の共通ページによって構成されている。
　卒園アルバムを作成する場合、通常、複数の画像（写真）が月単位で分類されて各ページに配置されている。また、不公平感がないように多人数の園児が写っている集合画像（集合写真）が使用されている。集合画像を使うため、各画像には各園児が小さく写っている。従って、卒園アルバムを閲覧する保護者から、自分の子供が卒園アルバムの中のどこにいるのか分かりづらい、および、卒園アルバムの画像における自分の子供の登場回数を他の子どもたちの登場回数と均等にしてほしい等の要望がある。
　ここで、本発明に関連性のある先行技術文献として、特許文献１および２がある。
特許第６０７１１８９号公報 特開２０１０－５７０７３号公報
　本発明の目的は、複数の人物が写っている複数の画像を用いてフォトアルバムを作成する際に、複数の人物のうちの特定の個人のみが使用する個別ページを作成することができ、さらに複数の人物が共通に使用する共通ページに含まれる画像における各人物の登場回数を均等にすることができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
　上記目的を達成するために、本発明は、特定の個人のみが使用する１以上の個別ページ、および、特定の個人を含む複数の人物が共通に使用する１以上の共通ページを有するフォトアルバムを作成する画像処理装置であって、
　ユーザから入力される指示を取得する指示取得部と、
　複数の人物の名前を登録する名前登録部と、
　複数の人物が写っている複数の画像を取得する画像取得部と、
　複数の画像を解析する画像解析部と、
　複数の画像の解析結果に基づいて、複数の画像を、複数の人物の各々が写っている画像を含む複数のグループに分類する画像分類部と、
　各々の人物の名前と、各々の人物の名前に対応する人物が写っている画像を含む複数のグループの各々と、の関連付けを行う関連付け部と、
　ユーザの指示に従って複数の人物の名前の中から特定の個人の名前を指定する個人指定部と、
　複数の画像の解析結果、特定の個人の名前および関連付けに基づいて、複数の画像の中から、個別ページにおいて使用される個別画像および共通ページにおいて使用される共通画像を選択する画像選択部と、
　複数の画像の解析結果に基づいて、共通画像における各々の人物の登場回数をカウントする登場回数カウント部と、
　レイアウト情報に基づいて、個別画像を個別ページにレイアウトし、かつ共通画像を共通ページにレイアウトするレイアウト部と、を備え、
　画像選択部は、個別画像として、特定の個人の名前に対応する人物を含む２人以下の人物が写っている画像を優先的に選択し、共通画像として、個別画像以外の画像であり、かつ各々の人物の登場回数が複数の人物の登場回数の平均になるように、３人以上の人物が写っている画像を選択する、画像処理装置を提供する。
　さらに、ユーザの指示に従って、レイアウト部によってレイアウトされた個別ページを表示個別ページとして画像表示部に表示し、表示個別ページのレイアウトを編集し、かつユーザの指示に従って、レイアウト部によってレイアウトされた共通ページを表示共通ページとして画像表示部に表示し、表示共通ページのレイアウトを編集するページ編集部を備えることが好ましい。
　また、個人指定部は、画像表示部に表示された複数の人物の名前のリストの中から、ユーザの指示に従って選択された１人の人物の名前を特定の個人の名前として指定し、
　ページ編集部は、１人の人物の名前に対応する人物の個別ページを表示個別ページとして画像表示部に表示することが好ましい。
　また、ページ編集部は、複数の画像の中から、１人の人物の名前に対応する人物が写っている画像を選択し、表示個別ページを編集するための編集候補画像として画像表示部に優先的に表示することが好ましい。
　また、画像解析部は、表示個別ページにレイアウトされた個別画像に写っている人物の顔を検出し、
　ページ編集部は、表示個別ページにレイアウトされた個別画像において、顔の検出結果に基づいて、人物の顔領域を囲む顔枠を、人物毎に区別して表示することが好ましい。
　また、ページ編集部は、表示共通ページにおいて、フォトアルバム全体、および、表示共通ページにおける各々の人物の登場回数を画像表示部に表示することが好ましい。
　また、ページ編集部は、フォトアルバム全体、および、１以上の共通ページの各々における各々の人物の登場回数を画像表示部に表示することが好ましい。
　また、ページ編集部は、複数の人物の名前のリストを画像表示部に表示し、かつユーザの指示に従って選択された個別画像または共通画像に写っている人物に対応する人物の名前を、リストにおいて識別表示することが好ましい。
　また、ページ編集部は、ユーザの指示に従って選択された個別画像または共通画像に写っている人物に対応する人物の名前のリストを画像表示部に表示することが好ましい。
　さらに、複数の画像の解析結果に基づいて、各々の画像を評価してスコアを算出する画像評価部を備え、
　ページ編集部は、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも多い場合に、特定の人物が写っている共通画像の中から、スコアが閾値未満の共通画像を選択して削除候補画像として画像表示部に表示し、画像表示部に表示された削除候補画像の中からユーザの指示に従って選択された削除候補画像を表示共通ページから削除することが好ましい。なお、「特定の人物」は、個別ページを使用する「特定の個人」と同一人物であってもよいし、異なる人物であってもよい。
　また、ページ編集部は、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも多く、かつ特定の人物が写っている共通画像の中から１つの共通画像を削除すると、１つの共通画像に写っている、複数の人物の登場回数の平均よりも少ない他の人物の登場回数がさらに少なくなる場合に、特定の人物が写っている共通画像の中から、他の人物が写っていない共通画像を選択して削除候補画像として画像表示部に表示し、画像表示部に表示された削除候補画像の中からユーザの指示に従って選択された削除候補画像を表示共通ページから削除することが好ましい。
　さらに、削除候補画像が削除される前に、削除候補画像を削除してよいか否かを確認するための警告を発する警告発生部を備えることが好ましい。
　さらに、複数の画像の解析結果に基づいて、各々の画像を評価してスコアを算出する画像評価部を備え、
　ページ編集部は、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも少ない場合に、特定の人物が写っている共通画像の中から、スコアが閾値以上の共通画像を選択して採用候補画像として画像表示部に表示し、画像表示部に表示された採用候補画像の中からユーザの指示に従って選択された採用候補画像を表示共通ページにレイアウトすることが好ましい。
　また、ページ編集部は、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも少なく、かつ特定の人物が写っている共通画像の中から１つの共通画像を追加すると、１つの共通画像に写っている、複数の人物の登場回数の平均よりも多い他の人物の登場回数がさらに多くなる場合、特定の人物が写っている共通画像の中から、他の人物以外の人物が写っている共通画像を選択して採用候補画像として画像表示部に表示し、画像表示部に表示された採用候補画像の中からユーザの指示に従って選択された採用候補画像を表示共通ページにレイアウトすることが好ましい。
　また、ページ編集部は、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも多い場合に、特定の人物が写っている共通画像をトリミングして、特定の人物が写っている共通画像から特定の人物を削除することが好ましい。
　また、画像解析部は、共通画像に写っている人物の顔のサイズを検出し、
　登場回数カウント部は、共通画像における、顔のサイズが閾値以上である各々の人物の登場回数をメインの登場回数としてカウントし、
　ページ編集部は、特定の人物の登場回数の代わりに特定の人物のメインの登場回数を用い、かつ、複数の人物の登場回数の平均の代わりに複数の人物のメインの登場回数の平均を用いることが好ましい。
　また、顔のサイズの閾値は、フォトアルバムのページのサイズに対する顔のサイズの割合、または、表示共通ページにレイアウトされた共通画像のサイズに対する顔のサイズの割合によって決定されることが好ましい。
　さらに、複数の画像の解析結果、特定の個人の名前および関連付けに基づいて、特定の個人と特定の個人以外の各々の人物との親密度を算出する親密度算出部を備え、
　ページ編集部は、複数の画像の中から、表示個別ページを編集するための画像を選択して編集候補画像として画像表示部に表示し、かつ編集候補画像において、特定の個人との親密度が閾値以上である人物が写っている編集候補画像を優先的に表示することが好ましい。
　さらに、複数の画像の解析結果、特定の個人の名前および関連付けに基づいて、特定の個人と特定の個人以外の各々の人物との親密度を算出する親密度算出部を備え、
　画像選択部は、複数の画像の中から、特定の個人との親密度が閾値以上である人物が写っている画像を個別画像として優先的に選択することが好ましい。
　さらに、複数の画像の中からトリミングが行われた後にプリント注文された画像のトリミング情報を記憶するトリミング情報記憶部を備え、
　ページ編集部は、表示個別ページにレイアウトされた個別画像が、過去にトリミングが行われた後にプリント注文された画像である場合に、トリミング情報に基づいて、プリント注文された画像と同じトリミングを個別画像に行うことが好ましい。
　さらに、複数の画像の中からプリント注文された画像の注文枚数の情報を記憶する注文枚数情報記憶部を備え、
　ページ編集部は、複数の画像の中から、表示共通ページを編集するための画像を選択して編集候補画像として画像表示部に表示し、かつ画像表示部に表示された編集候補画像において、過去のプリント注文された画像の注文枚数が閾値以上である編集候補画像を識別表示することが好ましい。
　さらに、複数の画像の中からプリント注文された画像の注文枚数の情報を記憶する注文枚数情報記憶部を備え、
　画像選択部は、複数の画像の中から、過去のプリント注文された画像の注文枚数が閾値以上である画像を共通画像として優先的に選択することが好ましい。
　また、レイアウト部は、共通ページにおいて、サイズが小さい領域にレイアウトする共通画像よりも、サイズが大きい領域にレイアウトする共通画像の方が、写っている人物の数が多くなるように共通画像をレイアウトすることが好ましい。
　また、レイアウト部は、特定の個人の名前を表す文字列の画像を個別ページにレイアウトすることが好ましい。
　また、本発明は、特定の個人のみが使用する１以上の個別ページ、および、特定の個人を含む複数の人物が共通に使用する１以上の共通ページを有するフォトアルバムを作成する画像処理方法であって、
　指示取得部が、ユーザから入力される指示を取得するステップと、
　名前登録部が、複数の人物の名前を登録するステップと、
　画像取得部が、複数の人物が写っている複数の画像を取得するステップと、
　画像解析部が、複数の画像を解析するステップと、
　画像分類部が、複数の画像の解析結果に基づいて、複数の画像を、複数の人物の各々が写っている画像を含む複数のグループに分類するステップと、
　関連付け部が、各々の人物の名前と、各々の人物の名前に対応する人物が写っている画像を含む複数のグループの各々と、の関連付けを行うステップと、
　個人指定部が、ユーザの指示に従って複数の人物の名前の中から特定の個人の名前を指定するステップと、
　画像選択部が、複数の画像の解析結果、特定の個人の名前および関連付けに基づいて、複数の画像の中から、個別ページにおいて使用される個別画像および共通ページにおいて使用される共通画像を選択するステップと、
　登場回数カウント部が、複数の画像の解析結果に基づいて、共通画像における各々の人物の登場回数をカウントするステップと、
　レイアウト部が、レイアウト情報に基づいて、個別画像を個別ページにレイアウトし、かつ共通画像を共通ページにレイアウトするステップと、を含み、
　個別画像および共通画像を選択するステップは、個別画像として、特定の個人の名前に対応する人物を含む２人以下の人物が写っている画像を優先的に選択し、共通画像として、個別画像以外の画像であり、かつ各々の人物の登場回数が複数の人物の登場回数の平均になるように、３人以上の人物が写っている画像を選択する、画像処理方法を提供する。
　また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
　また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
　また、本発明は、特定の個人のみが使用する１以上の個別ページ、および、特定の個人を含む複数の人物が共通に使用する１以上の共通ページを有するフォトアルバムを作成する画像処理装置であって、
　ユーザから入力される指示を取得する指示取得部と、
　複数の人物の名前を登録する名前登録部と、
　複数の人物が写っている複数の画像を取得する画像取得部と、
　複数の画像を解析する画像解析部と、
　複数の画像の解析結果に基づいて、複数の画像を、複数の人物の各々が写っている画像を含む複数のグループに分類する画像分類部と、
　各々の人物の名前と、各々の人物の名前に対応する人物が写っている画像を含む複数のグループの各々と、の関連付けを行う関連付け部と、
　ユーザの指示に従って複数の人物の名前の中から特定の個人の名前を指定する個人指定部と、
　複数の画像の解析結果、特定の個人の名前および関連付けに基づいて、複数の画像の中から、個別ページにおいて使用される個別画像および共通ページにおいて使用される共通画像を選択する画像選択部と、
　複数の画像の解析結果に基づいて、共通画像における各々の人物の登場回数をカウントする登場回数カウント部と、
　レイアウト情報に基づいて、個別画像を個別ページにレイアウトし、かつ共通画像を共通ページにレイアウトするレイアウト部と、を備え、
　指示取得部、名前登録部、画像取得部、画像解析部、画像分類部、関連付け部、個人指定部、画像選択部、登場回数カウント部およびレイアウト部は、ハードウェア、または、プログラムを実行するプロセッサであり、
　画像選択部は、個別画像として、特定の個人の名前に対応する人物を含む２人以下の人物が写っている画像を優先的に選択し、共通画像として、個別画像以外の画像であり、かつ各々の人物の登場回数が複数の人物の登場回数の平均になるように、３人以上の人物が写っている画像を選択する、画像処理装置を提供する。
　本発明によれば、個別ページを有するフォトアルバムを作成することができるため、複数の人物のうちの特定の個人、つまり、各々の人物に応じてカスタマイズされたフォトアルバムを作成することができる。また、共通ページに含まれる共通画像における各人物の登場回数を均等にすることができるため、複数の人物の間において不公平感をなくすことができる。
本発明の画像処理装置の構成を表す一実施形態のブロック図である。 画像処理装置の動作を表すフローチャートである。 複数の人物の名前を指定する入力画面を表す概念図である。 複数の画像が、各々の人物が写っている画像を含む複数のグループに分類された状態を表す概念図である。 複数の人物の名前のリスト、各々の人物の画像数、および、人物毎に分類された各グループの画像数を表す概念図である。 フォトアルバムの各ページを表す概念図である。 個別ページの編集画面を表す概念図である。 複数の人物の名前のリストにおいて、画像に写っている人物に対応する人物の名前が識別表示された状態を表す概念図である。 特定の人物が写っている共通画像からトリミングによって特定の人物が削除された状態を表す概念図である。 過去にトリミングが行われた後にプリント注文された画像を表す概念図である。
　以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
　図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。図１に示す画像処理装置１０は、複数の人物が写っている複数の画像を用いてフォトアルバム（フォトブック）を作成する。さらに詳しくは、特定の個人のみが使用する１以上の個別ページ、および、特定の個人を含む複数の人物が共通に使用する１以上の共通ページを有するフォトアルバムを作成する。
　例えば、幼稚園および保育園の場合、複数の人物は複数の園児であり、特定の個人は、複数の園児の中から指定された１人の園児である。つまり、特定の個人は、複数の園児の中から指定される各々の園児である。画像処理装置１０は、フォトアルバムとして、特定の個人の個別ページおよび複数の園児について共通の共通ページを含む、園児毎にカスタマイズされた卒園アルバムを作成する。
　画像処理装置１０は、図１に示すように、指示取得部１２と、名前登録部１４と、画像取得部１６と、画像解析部１８と、画像評価部２０と、画像分類部２２と、関連付け部２４と、個人指定部２６と、親密度算出部２８と、画像選択部３０と、登場回数カウント部３２と、レイアウト部３４と、ページ編集部３６と、警告発生部３８と、注文枚数情報記憶部４０と、トリミング情報記憶部４２と、を備えている。
　画像処理装置１０において、指示取得部１２は、ユーザから入力される各種の指示を取得する。
　続いて、名前登録部１４は、例えば指示取得部１２によって取得されたユーザの指示に従って複数の人物の名前を登録する。なお、名前登録部１４は、複数の人物の名前のリストの情報等に基づいて複数の人物の名前を登録してもよい。
　続いて、画像取得部１６は、例えばユーザの指示に従って、フォトアルバムにおいて用いられる複数の人物が写っている複数の画像を取得する。なお、画像取得部１６は、あらかじめ設定された記憶場所に記憶された複数の画像を取得してもよい。
　続いて、画像解析部１８は、画像取得部１６によって取得された複数の画像を解析する。
　画像の解析項目は、特に限定されないが、画像に写っている被写体を検出する被写体検出（人物検出およびオブジェクト検出）、人物の顔検出および顔認識、人物の顔のサイズを検出する顔サイズ検出、画像に写っている人物間の距離を検出する距離検出等の画像内容の解析、画像の明るさ、色合い、コントラストおよびボケブレの程度等の画像の画質の解析、Exif（Exchangeable Image File Format）などの画像の付加情報に含まれる時間情報（撮影日時）および位置情報（撮影場所）等の解析等を含む。
　続いて、画像評価部２０は、画像解析部１８による複数の画像の解析結果に基づいて、各々の画像を評価してスコアを算出する。
　画像のスコアの算出方法は特に限定されないが、例えば各々の画像について、画像解析部１８による解析項目毎のスコア、および、全ての解析項目の総合のスコアを算出してもよい。解析項目毎のスコアの算出方法も特に限定されないが、例えば画像に写っている人物の顔のサイズが小さい場合よりも大きい場合のスコアを高くしたり、画像のボケブレの程度が大きい場合よりも小さい場合のスコアを高くしたりしてもよい。これ以外の解析項目についても同様である。
　続いて、画像分類部２２は、複数の画像の解析結果、例えば顔検出および顔認識の解析結果に基づいて、複数の画像を、複数の人物の各々が写っている画像を含む複数のグループに分類する。
　続いて、関連付け部２４は、ユーザの指示に従って、名前登録部１４に登録された各々の人物の名前と、画像分類部２２によって分類された、各々の人物の名前に対応する人物が写っている画像を含む複数のグループの各々との関連付けを行う。なお、関連付け部２４は、各々の人物の名前と各々の画像のグループとの関連付けの情報に基づいて関連付けを行ってもよい。
　続いて、個人指定部２６は、ユーザの指示に従って、名前登録部１４に登録された複数の人物の名前の中から特定の個人の名前を指定する。
　続いて、親密度算出部２８は、複数の画像の解析結果、個人指定部２６によって指定された特定の個人の名前、および、関連付け部２４によって行われた各々の人物の名前と各々の画像のグループとの関連付けに基づいて、特定の個人と特定の個人以外の各々の人物との親密度を算出する。
　親密度の算出方法は特に限定されないが、例えば特定の個人と一緒に写っている画像の枚数が多い人物、特定の個人と一緒に写っている画像において、一緒に写っている人数が少ない人物、および、特定の個人と一緒に写っている画像において、特定の個人との距離が近い人物等は、特定の個人との親密度が高い人物であると考えられるため、その人物と特定の個人との親密度を他の人物と特定の個人との親密度よりも高くすることができる。
　続いて、画像選択部３０は、複数の画像の解析結果、個人指定部２６によって指定された特定の個人の名前、各々の人物の名前と各々のグループとの関連付け、および、親密度算出部２８によって算出された特定の個人とそれ以外の各々の人物との親密度等のうち、少なくとも一つに基づいて、複数の画像の中から、個別ページにおいて使用される個別画像および共通ページにおいて使用される共通画像を選択する。
　続いて、登場回数カウント部３２は、画像解析部１８による複数の画像の解析結果、例えば人物検出の解析結果に基づいて、画像選択部３０によって選択された共通画像における各々の人物の登場回数をカウントする。
　続いて、レイアウト部３４は、フォトアルバムのレイアウトを指定するためのレイアウト情報に基づいて、画像選択部３０によって選択された個別画像を個別ページにレイアウトし、かつ共通画像を共通ページにレイアウトする。また、レイアウト部３４は、表紙ページ、個別ページ、共通ページ、特殊ページおよび裏表紙ページ等を含むフォトアルバムを作成する。
　続いて、ページ編集部３６は、ユーザの指示に従って、レイアウト部３４によってレイアウトされた個別ページを表示個別ページとして、液晶ディスプレイ等の画像表示部に表示し、表示個別ページのレイアウトを編集する。また、ページ編集部３６は、ユーザの指示に従って、レイアウト部３４によってレイアウトされた共通ページを表示共通ページとして画像表示部に表示し、表示共通ページのレイアウトを編集する。
　続いて、警告発生部３８は、ページ編集部３６によって表示共通ページから後述する削除候補画像が削除される前に、削除候補画像を削除してよいか否かを確認するための警告を発する。
　削除候補画像は、表示共通ページにおいて、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも多い場合に、特定の人物が写っている共通画像の中から削除の対象となる候補画像である。
　続いて、注文枚数情報記憶部４０は、複数の画像の中からプリント注文された画像の注文枚数の情報を記憶する。
　続いて、トリミング情報記憶部４２は、複数の画像の中からトリミングが行われた後にプリント注文された画像のトリミング情報を記憶する。
　次に、図２のフローチャートを参照して、画像処理装置１０の動作を説明する。
　なお、以下の説明においては、フォトアルバムとして、幼稚園および保育園の卒園アルバムを作成する場合を例に挙げて説明する。
　フォトアルバムを作成する場合、まず、画像処理装置１０のユーザは、図３に示すように、例えば指示取得部１２を介して複数の人物の名前を指定する指示を入力する。
　幼稚園および保育園の場合、画像処理装置１０のユーザは、例えば先生である。
　図３においては、園児の名前の入力画面において、先生により、複数の園児の名前、例えばＡＡＡちゃん、ＢＢＢちゃん、ＣＣＣちゃん、…の名前が入力されている。
　複数の人物の名前を指定する指示が入力されると、名前登録部１４により、ユーザの指示に従って入力された複数の人物の名前が登録される（ステップS1）。
　続いて、ユーザは、例えば指示取得部１２を介して複数の画像を指定する指示を入力する。
　複数の画像が指定されると、画像取得部１６により、ユーザの指示に従って指定された複数の画像が取得される（ステップS2）。
　画像取得部１６は、特に限定されないが、幼稚園および保育園の行事において先生およびプロカメラマン等によって撮影された画像、ならびに、各々の園児の家庭において園児の保護者等によって撮影された画像等の各種の画像を取得することができる。
　複数の画像が取得されると、画像解析部１８により、複数の画像が解析される（ステップS3）。
　続いて、画像評価部２０により、複数の画像の解析結果に基づいて、各々の画像が評価されてスコアが算出される（ステップS4）。
　また、画像分類部２２により、図４に示すように、複数の画像の解析結果に基づいて、複数の画像が、複数の人物の各々が写っている画像を含む複数のグループに分類される（ステップS5）。
　図４においては、園児が写っている複数の画像（図４の左側）が、各々の園児が写っている画像を含む、グループ１、グループ２、グループ３、…（図４の右側）に分類されている。
　画像が人物毎のグループに分類されると、図５に示すように、名前登録部１４に登録された複数の人物の名前のリスト、各々の人物の画像数、および、人物毎に分類された各グループの画像等が画像表示部に表示される。
　図５においては、複数の園児のリスト（図５の左側）、各々の園児の画像数（図５中央）、および、各々の園児が写っている画像のグループ１，２，３，…（図５の右側）が表示されている。
　続いて、ユーザは、例えば指示取得部１２を介して、画像表示部に表示された各々の人物の名前と、各々の人物の名前に対応する人物が写っている画像を含む各々のグループとの関連付けを指定する指示を入力する。
　人物の名前と画像のグループとの関連付けの指示が入力されると、関連付け部２４により、ユーザの指示に従って、各々の人物の名前と、各々の人物の名前に対応する人物が写っている画像を含む各々のグループとの関連付けが行われる（ステップS6）。
　人物の名前と画像のグループとの関連付けは、例えば月単位で行ってもよいし、フォトアルバムの作成前に行ってもよい。一旦、人物の名前と画像のグループとの関連付けが行われると、これ以降に撮影された画像は、画像解析部１８により、その画像に写っている人物が検出され、画像分類部２２により、複数の画像の解析結果に基づいて、その人物が写っている画像を含むグループに自動的に分類される。
　続いて、ユーザは、指示取得部１２を介して、名前登録部１４に登録された複数の人物の名前の中から１人の人物の名前を特定の個人の名前として指定する情報を入力する。
　特定の個人の名前が入力されると、個人指定部２６により、ユーザの指示に従って、名前登録部１４に登録された複数の人物の名前の中から特定の個人の名前が指定される（ステップS7）。
　特定の個人の名前を指定する方法は特に限定されないが、ユーザは、例えば画像表示部に表示された複数の人物の名前のリストの中から１人の人物の名前を選択して特定の個人の名前として指定することができる。この場合、個人指定部２６は、画像表示部に表示された複数の人物の名前のリストの中から、ユーザの指示に従って選択された１人の人物の名前を特定の個人の名前として指定する。
　続いて、親密度算出部２８により、複数の画像の解析結果、特定の個人の名前および各々の人物の名前と各々の画像のグループとの関連付けに基づいて、特定の個人とそれ以外の各々の人物との親密度が算出される（ステップS8）。
　続いて、画像選択部３０により、複数の画像の解析結果、特定の個人の名前、関連付けおよび親密度等に基づいて、複数の画像の中から個別画像および共通画像が選択される（ステップS9）。
　画像選択部３０は、個別画像として、特定の個人が写っている画像を選択するために、特定の個人の名前に対応する人物を含む２人以下の人物が写っている画像を優先的に選択する。また、共通画像として、個別画像以外の画像であり、かつ３人以上の人物が写っている画像を選択する。共通画像に写っている人物の数に上限はない。なお、共通画像は、複数の人物のうちの特定の人物が目立たない画像であるのが望ましい。
　続いて、登場回数カウント部３２により、複数の画像の解析結果に基づいて、共通画像における各々の人物の登場回数がカウントされる（ステップS10）。
　各々の人物の登場回数がカウントされると、画像選択部３０により、共通画像として、複数の人物の間において不公平感なく画像を選択するために、複数の画像の中から、個別画像以外の画像であり、かつ各々の人物の登場回数が複数の人物の登場回数の平均になるように、３人以上の人物が写っている画像が選択される。これにより、共通画像における各々の人物の登場回数を均等にすることができる。
　続いて、ユーザは、指示取得部１２を介してレイアウト情報を入力する。
Figure JPOXMLDOC01-appb-T000001
　レイアウト情報は、特に限定されないが、表１に示すように、フォトアルバムのページのサイズ、ページ数、ページ毎の画像数、特殊ページの有無とそのページ位置、および、画像の撮影期間の情報等が含まれる。また、特殊ページには、個別ページの他、園児の顔画像を一覧表示する園児一覧ページ、先生の顔画像を一覧表示する先生一覧ページ、および、その他の特殊ページが含まれる。
　また、フォトアルバムのページのサイズとは、Ａ４、Ａ５、…等の、フォトアルバムのページのサイズを示す情報である。ページ数とは、１０Ｐ（ページ）、１５Ｐ、２０Ｐ、…等の、フォトアルバム全体のページ数を示す情報である。ページ毎の画像数とは、少なめ、普通、多め等の、各ページにレイアウトされる画像の数を示す情報である。個別ページの有無とそのページ位置とは、「有、３－４ページ」等の、フォトアルバムに個別ページが含まれるか否かを示す情報、および、フォトアルバムに個別ページが含まれる場合、個別ページのページ位置を示す情報である。園児一覧ページの有無とそのページ位置とは、「有、１－２ページ」等の、フォトアルバムに園児一覧ページが含まれるか否かを示す情報、および、フォトアルバムに園児一覧ページが含まれる場合、園児一覧ページのページ位置を示す情報である。画像の撮影期間とは、１年分、２年分、３年分、…等の、フォトアルバムに含まれる画像が撮影された期間を示す情報である。
　レイアウト情報が入力されると、レイアウト部３４により、レイアウト情報に基づいて、個別画像が個別ベージにレイアウトされ、かつ共通画像が共通ページにレイアウトされる。そして、図６に示すように、例えば卒園アルバムとして、表紙ページ、園児毎の個別ページ、全園児の共通ページ、特殊ページおよび裏表紙ページ等を含むフォトアルバムが作成される（ステップS11）。
　ユーザは、ユーザの指示に従って、フォトアルバムの各ページを画像表示部に表示させ、編集することができる。例えば個別ページを編集する場合、ユーザは、編集しようとする個別ページを指定する指示を入力する。
　個別ページを指定する指示が入力されると、図７に示すように、ページ編集部３６により、ユーザの指示に従って個別ページが表示個別ページとして画像表示部に表示される。
　図７は、個別ページの編集画面の例である。
　例えば、編集画面の左上部から中央部までの領域には、フォトアルバム２ページ分の見開きページである個別ページが表示されている。個別ページの上部には、画像の「入替え」、および、画像を「はずす」等の編集ボタンが表示され、個別ページの右側および左側には、次および前の個別ページを表示させるためのボタンが表示されている。また、個別ページ内の左上部には、レイアウト部３４により、この個別ページに対応する特定の個人の名前（ＡＡＡちゃん）およびコメント（ＸＸＸＸ）を表す文字列の画像がレイアウトされている。
　また、編集画面の右上部から右中央部までの領域には、園児の名前のリスト、つまり、ＡＡＡちゃん、ＢＢＢちゃん、ＣＣＣちゃん、…が表示されている。
　編集画面の左下部から右下部までの領域には、個別ページを編集するための編集候補画像が表示されている。
　続いて、ユーザは、画像の入替え、削除、拡大縮小、トリミング等のように、表示個別ページを編集する指示を入力する。
　表示個別ページを編集する指示が入力されると、ページ編集部３６により、ユーザの指示に従って表示個別ページのレイアウトが編集される（ステップS12）。
　同様に、共通ページを編集する場合、ユーザは、編集しようとする共通ページを指定する指示を入力する。
　共通ページを指定する指示が入力されると、ページ編集部３６により、ユーザの指示に従って共通ページが表示共通ページとして画像表示部に表示される。
　続いて、ユーザは、表示共通ページを編集する指示を入力する。
　表示共通ページを編集する指示が入力されると、ページ編集部３６により、ユーザの指示に従って表示共通ページのレイアウトが編集される（ステップS12）。ユーザの指示によるレイアウトの編集が終了すると、処理を終了する。
　なお、フォトアルバムの編集は、基本的に幼稚園および保育園の先生が行うが、例えば個別ページの編集のみは、先生だけでなく、各園児の保護者も編集できるようにしてもよい。例えば、画像処理装置１０を利用するためのスマートフォンのアプリケーションを使用して、画像処理装置１０にアクセスしてログインした後、自分の子供の個別ページだけを編集可能にしてもよい。
　フォトアルバムの各ページの編集が終了すると、ユーザは、複数の人物のフォトアルバムのプリントを注文することができる。全ての人物のフォトアルバムの作成が終了した後に、全ての人物のフォトアルバムのプリントを一括で注文してもよいし、各々の人物のフォトアルバムの作成が終了する毎に、各々の人物のフォトアルバムのプリントを個別に注文してもよい。
　画像処理装置１０においては、個別ページを有するフォトアルバムを作成することができるため、複数の人物のうちの特定の個人、つまり、各々の人物に応じてカスタマイズされたフォトアルバムを作成することができる。また、共通ページに含まれる共通画像における各人物の登場回数を均等にすることができるため、複数の人物の間において不公平感をなくすことができる。
　なお、個別ページを指定する場合、図７に示すように、例えば個人指定部２６が、画像表示部に表示された複数の人物の名前のリストの中から、ユーザの指示に従って選択された１人の人物の名前を特定の個人の名前として指定することができる。
　この場合、ページ編集部３６により、個人指定部２６によって指定された１人の人物の名前に対応する人物の個別ページが表示個別ページとして画像表示部に表示される。
　従って、ユーザは、複数の人物の名前のリストの中から所望の人物の名前を選択することによって、所望の人物の個別ページを画像表示部に表示させて閲覧することができる。
　また、ページ編集部３６は、複数の画像の中から、個人指定部２６によって指定された１人の人物の名前に対応する人物が写っている画像を選択し、図７に示すように、表示個別ページを編集するための編集候補画像として画像表示部に優先的に表示してもよい。
　これにより、ユーザは、表示個別ページを編集する場合に、複数の画像の中から、その表示個別ページに対応する人物が写っている画像を容易に選択して使用することができる。
　また、表示個別ページにおいて、個別画像を表示する場合、例えば画像解析部１８が、表示個別ページにレイアウトされた個別画像に写っている人物の顔を検出し、図７に示すように、ページ編集部３６が、表示個別ページにレイアウトされた個別画像において、顔の検出結果に基づいて、人物の顔領域を囲む顔枠を、人物毎に区別して表示してもよい。例えば、顔枠の色、太さおよび線種等を人物毎に変えてもよい。
　これにより、ユーザは、個別画像において、その表示個別ページに対応する人物とその他の人物とを容易に区別することができる。
Figure JPOXMLDOC01-appb-T000002
Figure JPOXMLDOC01-appb-T000003
　また、表示共通ページを表示する場合、ページ編集部３６は、表２に示すように、表示共通ページにおいて、フォトアルバム全体、および、表示共通ページにおける各々の人物、つまり、ＡＡＡちゃん、ＢＢＢちゃん、ＣＣＣちゃん、…の登場回数を画像表示部に表示してもよい。
　あるいは、表３に示すように、表示共通ページにおいて、フォトアルバム全体、および、１以上の共通ページの各々、例えば１－２Ｐ（ページ）、３－４Ｐ、５－６Ｐ、…における各々の人物、つまり、ＡＡＡちゃん、ＢＢＢちゃん、ＣＣＣちゃん、…の登場回数を画像表示部に表示してもよい。
　これにより、ユーザは、フォトアルバム全体および各共通ページの共通画像における各々の人物の登場回数を容易に把握することができ、例えば登場回数は多くても、特定のページにしか登場していないなどのように、ページ毎の偏りがあるかないかを簡単にチェックすることができる。
　また、ページ編集部３６は、図８に示すように、複数の人物の名前のリストを画像表示部に表示し、かつユーザの指示に従って選択された個別画像または共通画像（図８において指マークで表す）に写っている人物に対応する人物の名前を、リストにおいて識別表示してもよい。例えば、人物の名前のリストにおいて、その人物に対応する人物の名前の先頭部分に星等のマークを付けたり、その人物の名前の色を変えたりして識別表示する。
　あるいは、ページ編集部３６は、ユーザの指示に従って選択された個別画像または共通画像に写っている人物の名前のリストを画像表示部に表示してもよい。
　これにより、ユーザは、個別画像および共通画像に写っている人物の名前を容易に知ることができる。
　また、表示共通ページを編集する場合、画像評価部２０が、複数の画像の解析結果に基づいて、各々の画像を評価してスコアを算出し、ページ編集部３６が、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも多い場合に、特定の人物が写っている共通画像の中から、スコアが閾値未満の共通画像を選択して削除候補画像として画像表示部に表示し、画像表示部に表示された削除候補画像の中からユーザの指示に従って選択された削除候補画像を表示共通ページから削除してもよい。
　これにより、ユーザは、特定の人物が写っている共通画像の中でスコアが閾値未満の共通画像を知ることができ、例えばスコアが悪い共通画像から順に削除することができる。なお、閾値は自動で設定してもよいし、ユーザが設定可能としてもよい。
　また、ページ編集部３６は、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも多く、かつ特定の人物が写っている共通画像の中から１つの共通画像を削除すると、１つの共通画像に写っている、複数の人物の登場回数の平均よりも少ない他の人物の登場回数がさらに少なくなる場合に、特定の人物が写っている共通画像の中から、他の人物が写っていない共通画像を選択して削除候補画像として画像表示部に表示し、画像表示部に表示された削除候補画像の中からユーザの指示に従って選択された削除候補画像を表示共通ページから削除してもよい。
　これにより、ユーザは、上記と同様に削除候補画像を知ることができ、かつ、共通画像における登場回数が少ない人物の登場回数がさらに少なくなることを防ぐことができる。
　なお、ページ編集部３６によって削除候補画像が削除される前に、警告発生部３８により、削除候補画像を削除してよいか否かを確認するための警告を発するようにしてもよい。警告は、音声でもよいし、警告メッセージでもよい。
　また、表示共通ページを編集する場合、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも少ない場合に、ページ編集部３６は、特定の人物が写っている共通画像の中から、画像評価部２０により複数の画像の解析結果に基づいて各々の画像を評価して算出されたスコアが閾値以上の共通画像を選択して採用候補画像として画像表示部に表示し、画像表示部に表示された採用候補画像の中からユーザの指示に従って選択された採用候補画像を表示共通ページにレイアウトしてもよい。
　これにより、ユーザは、特定の人物が写っている共通画像の中でスコアが閾値以上の共通画像を知ることができ、例えばスコアが良い共通画像から順にレイアウトすることができる。同様に、閾値は自動で設定してもよいし、ユーザが設定可能としてもよい。
　また、ページ編集部３６は、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも少なく、かつ特定の人物が写っている共通画像の中から１つの共通画像を追加すると、１つの共通画像に写っている、複数の人物の登場回数の平均よりも多い他の人物の登場回数がさらに多くなる場合、特定の人物が写っている共通画像の中から、他の人物以外の人物が写っている共通画像を選択して採用候補画像として画像表示部に表示し、画像表示部に表示された採用候補画像の中からユーザの指示に従って選択された採用候補画像を表示共通ページにレイアウトしてもよい。
　これにより、ユーザは、上記と同様に採用候補画像を知ることができ、かつ、共通画像における登場回数が多い人物の登場回数がさらに多くなることを防ぐことができる。
　また、ページ編集部３６は、図９に示すように、共通画像における特定の人物の登場回数が複数の人物の登場回数の平均よりも多い場合に、特定の人物が写っている共通画像をトリミングして、特定の人物が写っている共通画像から特定の人物を削除してもよい。
　図９においては、丸で囲まれた１人の人物、つまり、特定の人物がトリミングによって削除され、四角の破線で囲まれた２人の人物が写っている画像とされている。
　これにより、共通画像における登場回数が多い特定の人物の登場回数を容易に削減することができる。
Figure JPOXMLDOC01-appb-T000004
　また、表示共通ページを編集する際に、共通画像における特定の人物の登場回数をカウントする場合、画像解析部１８が、共通画像に写っている人物の顔のサイズを検出し、表４に示すように、登場回数カウント部３２が、共通画像における、顔のサイズが閾値以上である各々の人物の登場回数をメインの登場回数としてカウントしてもよい。また、共通画像における、顔のサイズが閾値未満である各々の人物の登場回数をサブの登場回数としてカウントしてもよいし、フォトアルバム全体についてメインおよびサブの登場回数をカウントしてもよい。
　この場合、ページ編集部３６は、特定の人物の登場回数の代わりに特定の人物のメインの登場回数を用い、かつ、複数の人物の登場回数の平均の代わりに複数の人物のメインの登場回数の平均を用いることができる。
　登場回数が多くても、共通画像に写っている子供の顔のサイズが小さいと、その子供の保護者は不満に感じる。メインの登場回数を用いることにより、顔のサイズが閾値以上である人物が写っている共通画像における登場回数を均等にすることができる。
　なお、閾値は、自動で設定してもよいし、ユーザが設定可能としてもよい。自動で設定する場合、顔のサイズの閾値は、フォトアルバムのページのサイズに対する顔のサイズの割合、または、表示共通ページにレイアウトされた共通画像のサイズに対する顔のサイズの割合によって決定してもよい。
　また、表示個別ページを編集する場合、親密度算出部２８が、複数の画像の解析結果に基づいて、特定の個人と特定の個人以外の各々の人物との親密度を算出し、ページ編集部３６が、複数の画像の中から、表示個別ページを編集するための画像を選択して編集候補画像として画像表示部に表示し、かつ編集候補画像において、特定の個人との親密度が閾値以上である人物が写っている編集候補画像を優先的に表示してもよい。
　これにより、ユーザは、特定の個人と親密度が高い他の人物が写っている画像を編集候補画像として容易に使用することができる。
　また、表示個別ページを編集する場合、特定の個人との親密度が閾値以上である人物の名前のリストを画像表示部に表示してもよい。
　これにより、ユーザは、特定の個人との親密度が閾値以上である人物の名前のリストの中から所望の人物を選択することにより、特定の個人と仲の良い人物が写っている画像を編集候補画像として画像表示部に表示させることができる。
　また、個別画像を選択する場合も、親密度算出部２８が、複数の画像の解析結果に基づいて、特定の個人と特定の個人以外の各々の人物との親密度を算出し、画像選択部３０が、複数の画像の中から、特定の個人との親密度が閾値以上である人物が写っている画像を個別画像として優先的に選択してもよい。
　これにより、レイアウト部３４が個別ページを自動でレイアウトする場合に、特定の個人と親密度が高い他の人物が写っている画像を個別画像として優先的に使用することができる。
　また、注文枚数情報記憶部４０が、プリント注文された画像の注文枚数の情報を記憶しておくことにより、表示共通ページを編集する場合に、ページ編集部３６は、図８に示すように、複数の画像の中から、表示共通ページを編集するための画像を選択して編集候補画像として画像表示部に表示し、かつ画像表示部に表示された編集候補画像において、過去のプリント注文された画像の注文枚数が閾値以上である編集候補画像を識別表示することができる。例えば、星等のマークを編集候補画像に付けて識別表示することができる。
　注文枚数が多い画像は、園児およびその保護者等にとって共通して大事な画像であると考えられる。従って、過去の注文枚数が閾値以上である編集候補画像を識別表示することにより、園児およびその保護者等にとって共通して大事な画像を使用して表示共通ページを編集することができる。なお、閾値は自動で設定してもよいし、ユーザが設定可能としてもよい。
　また、同様に注文枚数情報記憶部４０が、プリント注文された画像の注文枚数の情報を記憶しておくことにより、共通画像を選択する場合も、画像選択部３０が、複数の画像の中から、過去のプリント注文された画像の注文枚数が閾値以上である画像を共通画像として優先的に選択することができる。
　これにより、レイアウト部３４が共通ページを自動でレイアウトする場合に、園児およびその保護者等にとって共通して大事な画像を共通画像として優先的に使用することができる。
　また、図１０に示すように、トリミング情報記憶部４２が、トリミングが行われた後にプリント注文された画像のトリミング情報を記憶しておくことにより、表示個別ページを編集する場合、ページ編集部３６は、表示個別ページにレイアウトされた個別画像が、過去にトリミングが行われた後にプリント注文された画像である場合に、トリミング情報に基づいて、プリント注文された画像と同じトリミングを個別画像に行うことができる。
　図１０においては、トリミングによって四角の破線で囲まれた２人の人物が写っている画像が抽出されている。
　画像をトリミングしてプリント注文した人物は、トリミング前の画像よりもトリミング後の画像の方を好むと考えられる。従って、プリント注文された画像と同じトリミングを個別画像に行うことにより、個別ページを、その人物にとってより好ましいものにすることができる。
　また、レイアウト部３４は、共通ページにおいて、サイズが小さい領域にレイアウトする共通画像よりも、サイズが大きい領域にレイアウトする共通画像の方が、写っている人物の数が多くなるように共通画像をレイアウトしてもよい。
　画像選択部３０は、共通画像として、複数の画像の中から３人以上の人物が写っている画像を選択する。しかし、画像に多くの人物が写っていると、各人物の顔のサイズが小さくなるため、共通ページに配置された場合の画像のサイズに応じて、その画像に写っている人物の人数を調整するのが望ましい。同じ共通画像を、サイズが小さい領域にレイアウトする場合よりもサイズが大きい領域にレイアウトする場合の方が、共通画像に写っている人物の顔のサイズが大きくなる。従って、上記のように共通画像をレイアウトすることにより、共通画像に写っている人物の顔のサイズをより好ましいサイズにすることができる。
　なお、本発明は、幼稚園および保育園に限らず、学校の複数の生徒および会社の複数の仕事仲間等のように、複数の人物からなるグループにおいて、複数の人物が写っている複数の画像を用いて各種のフォトアルバムを作成する場合にも同様に利用可能である。
　本発明の装置において、指示取得部１２、名前登録部１４、画像取得部１６、画像解析部１８、画像評価部２０、画像分類部２２、関連付け部２４、個人指定部２６、親密度算出部２８、画像選択部３０、登場回数カウント部３２、レイアウト部３４、ページ編集部３６、警告発生部３８、注文枚数情報記憶部４０およびトリミング情報記憶部４２等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。
　各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。
　例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。
　さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。
　また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
　以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
　１０　画像処理装置
　１２　指示取得部
　１４　名前登録部
　１６　画像取得部
　１８　画像解析部
　２０　画像評価部
　２２　画像分類部
　２４　関連付け部
　２６　個人指定部
　２８　親密度算出部
　３０　画像選択部
　３２　登場回数カウント部
　３４　レイアウト部
　３６　ページ編集部
　３８　警告発生部
　４０　注文枚数情報記憶部
　４２　トリミング情報記憶部

Claims (27)

  1. 　特定の個人のみが使用する１以上の個別ページ、および、前記特定の個人を含む複数の人物が共通に使用する１以上の共通ページを有するフォトアルバムを作成する画像処理装置であって、
    　ユーザから入力される指示を取得する指示取得部と、
    　前記複数の人物の名前を登録する名前登録部と、
    　前記複数の人物が写っている複数の画像を取得する画像取得部と、
    　前記複数の画像を解析する画像解析部と、
    　前記複数の画像の解析結果に基づいて、前記複数の画像を、前記複数の人物の各々が写っている画像を含む複数のグループに分類する画像分類部と、
    　前記各々の人物の名前と、前記各々の人物の名前に対応する人物が写っている画像を含む前記複数のグループの各々と、の関連付けを行う関連付け部と、
    　前記ユーザの指示に従って前記複数の人物の名前の中から前記特定の個人の名前を指定する個人指定部と、
    　前記複数の画像の解析結果、前記特定の個人の名前および前記関連付けに基づいて、前記複数の画像の中から、前記個別ページにおいて使用される個別画像および前記共通ページにおいて使用される共通画像を選択する画像選択部と、
    　前記複数の画像の解析結果に基づいて、前記共通画像における前記各々の人物の登場回数をカウントする登場回数カウント部と、
    　レイアウト情報に基づいて、前記個別画像を前記個別ページにレイアウトし、かつ前記共通画像を前記共通ページにレイアウトするレイアウト部と、を備え、
    　前記画像選択部は、前記個別画像として、前記特定の個人の名前に対応する人物を含む２人以下の人物が写っている画像を優先的に選択し、前記共通画像として、前記個別画像以外の画像であり、かつ前記各々の人物の登場回数が前記複数の人物の登場回数の平均になるように、３人以上の人物が写っている画像を選択する、画像処理装置。
  2. 　さらに、前記ユーザの指示に従って、前記レイアウト部によってレイアウトされた個別ページを表示個別ページとして画像表示部に表示し、前記表示個別ページのレイアウトを編集し、かつ前記ユーザの指示に従って、前記レイアウト部によってレイアウトされた共通ページを表示共通ページとして前記画像表示部に表示し、前記表示共通ページのレイアウトを編集するページ編集部を備える、請求項１に記載の画像処理装置。
  3. 　前記個人指定部は、前記画像表示部に表示された前記複数の人物の名前のリストの中から、前記ユーザの指示に従って選択された１人の人物の名前を前記特定の個人の名前として指定し、
    　前記ページ編集部は、前記１人の人物の名前に対応する人物の個別ページを前記表示個別ページとして前記画像表示部に表示する、請求項２に記載の画像処理装置。
  4. 　前記ページ編集部は、前記複数の画像の中から、前記１人の人物の名前に対応する人物が写っている画像を選択し、前記表示個別ページを編集するための編集候補画像として前記画像表示部に優先的に表示する、請求項３に記載の画像処理装置。
  5. 　前記画像解析部は、前記表示個別ページにレイアウトされた個別画像に写っている人物の顔を検出し、
    　前記ページ編集部は、前記表示個別ページにレイアウトされた個別画像において、前記顔の検出結果に基づいて、前記人物の顔領域を囲む顔枠を、前記人物毎に区別して表示する、請求項２ないし４のいずれか一項に記載の画像処理装置。
  6. 　前記ページ編集部は、前記表示共通ページにおいて、前記フォトアルバム全体、および、前記表示共通ページにおける前記各々の人物の登場回数を前記画像表示部に表示する、請求項２ないし５のいずれか一項に記載の画像処理装置。
  7. 　前記ページ編集部は、前記フォトアルバム全体、および、前記１以上の共通ページの各々における前記各々の人物の登場回数を前記画像表示部に表示する、請求項２ないし６のいずれか一項に記載の画像処理装置。
  8. 　前記ページ編集部は、前記複数の人物の名前のリストを前記画像表示部に表示し、かつ前記ユーザの指示に従って選択された個別画像または共通画像に写っている人物に対応する人物の名前を、前記リストにおいて識別表示する、請求項２ないし７のいずれか一項に記載の画像処理装置。
  9. 　前記ページ編集部は、前記ユーザの指示に従って選択された個別画像または共通画像に写っている人物に対応する人物の名前のリストを前記画像表示部に表示する、請求項２ないし７のいずれか一項に記載の画像処理装置。
  10. 　さらに、前記複数の画像の解析結果に基づいて、前記各々の画像を評価してスコアを算出する画像評価部を備え、
    　前記ページ編集部は、前記共通画像における特定の人物の登場回数が前記複数の人物の登場回数の平均よりも多い場合に、前記特定の人物が写っている共通画像の中から、前記スコアが閾値未満の共通画像を選択して削除候補画像として前記画像表示部に表示し、前記画像表示部に表示された削除候補画像の中から前記ユーザの指示に従って選択された削除候補画像を前記表示共通ページから削除する、請求項２ないし９のいずれか一項に記載の画像処理装置。
  11. 　前記ページ編集部は、前記共通画像における特定の人物の登場回数が前記複数の人物の登場回数の平均よりも多く、かつ前記特定の人物が写っている共通画像の中から１つの共通画像を削除すると、前記１つの共通画像に写っている、前記複数の人物の登場回数の平均よりも少ない他の人物の登場回数がさらに少なくなる場合に、前記特定の人物が写っている共通画像の中から、前記他の人物が写っていない共通画像を選択して削除候補画像として前記画像表示部に表示し、前記画像表示部に表示された削除候補画像の中から前記ユーザの指示に従って選択された削除候補画像を前記表示共通ページから削除する、請求項２ないし９のいずれか一項に記載の画像処理装置。
  12. 　さらに、前記削除候補画像が削除される前に、前記削除候補画像を削除してよいか否かを確認するための警告を発する警告発生部を備える、請求項１０または１１に記載の画像処理装置。
  13. 　さらに、前記複数の画像の解析結果に基づいて、前記各々の画像を評価してスコアを算出する画像評価部を備え、
    　前記ページ編集部は、前記共通画像における特定の人物の登場回数が前記複数の人物の登場回数の平均よりも少ない場合に、前記特定の人物が写っている共通画像の中から、前記スコアが閾値以上の共通画像を選択して採用候補画像として前記画像表示部に表示し、前記画像表示部に表示された採用候補画像の中から前記ユーザの指示に従って選択された採用候補画像を前記表示共通ページにレイアウトする、請求項２ないし９のいずれか一項に記載の画像処理装置。
  14. 　前記ページ編集部は、前記共通画像における特定の人物の登場回数が前記複数の人物の登場回数の平均よりも少なく、かつ前記特定の人物が写っている共通画像の中から１つの共通画像を追加すると、前記１つの共通画像に写っている、前記複数の人物の登場回数の平均よりも多い他の人物の登場回数がさらに多くなる場合、前記特定の人物が写っている共通画像の中から、前記他の人物以外の人物が写っている共通画像を選択して採用候補画像として前記画像表示部に表示し、前記画像表示部に表示された採用候補画像の中から前記ユーザの指示に従って選択された採用候補画像を前記表示共通ページにレイアウトする、請求項２ないし９のいずれか一項に記載の画像処理装置。
  15. 　前記ページ編集部は、前記共通画像における特定の人物の登場回数が前記複数の人物の登場回数の平均よりも多い場合に、前記特定の人物が写っている共通画像をトリミングして、前記特定の人物が写っている共通画像から前記特定の人物を削除する、請求項２ないし９のいずれか一項に記載の画像処理装置。
  16. 　前記画像解析部は、前記共通画像に写っている人物の顔のサイズを検出し、
    　前記登場回数カウント部は、前記共通画像における、前記顔のサイズが閾値以上である前記各々の人物の登場回数をメインの登場回数としてカウントし、
    　前記ページ編集部は、前記特定の人物の登場回数の代わりに前記特定の人物のメインの登場回数を用い、かつ、前記複数の人物の登場回数の平均の代わりに前記複数の人物のメインの登場回数の平均を用いる、請求項１０ないし１５のいずれか一項に記載の画像処理装置。
  17. 　前記顔のサイズの閾値は、前記フォトアルバムのページのサイズに対する前記顔のサイズの割合、または、前記表示共通ページにレイアウトされた共通画像のサイズに対する前記顔のサイズの割合によって決定される、請求項１６に記載の画像処理装置。
  18. 　さらに、前記複数の画像の解析結果、前記特定の個人の名前および前記関連付けに基づいて、前記特定の個人と前記特定の個人以外の前記各々の人物との親密度を算出する親密度算出部を備え、
    　前記ページ編集部は、前記複数の画像の中から、前記表示個別ページを編集するための画像を選択して編集候補画像として前記画像表示部に表示し、かつ前記編集候補画像において、前記特定の個人との前記親密度が閾値以上である人物が写っている編集候補画像を優先的に表示する、請求項２ないし１７のいずれか一項に記載の画像処理装置。
  19. 　さらに、前記複数の画像の解析結果、前記特定の個人の名前および前記関連付けに基づいて、前記特定の個人と前記特定の個人以外の前記各々の人物との親密度を算出する親密度算出部を備え、
    　前記画像選択部は、前記複数の画像の中から、前記特定の個人との前記親密度が閾値以上である人物が写っている画像を前記個別画像として優先的に選択する、請求項２ないし１８のいずれか一項に記載の画像処理装置。
  20. 　さらに、前記複数の画像の中からトリミングが行われた後にプリント注文された画像のトリミング情報を記憶するトリミング情報記憶部を備え、
    　前記ページ編集部は、前記表示個別ページにレイアウトされた個別画像が、過去に前記トリミングが行われた後にプリント注文された画像である場合に、前記トリミング情報に基づいて、前記プリント注文された画像と同じトリミングを前記個別画像に行う、請求項２ないし１９のいずれか一項に記載の画像処理装置。
  21. 　さらに、前記複数の画像の中からプリント注文された画像の注文枚数の情報を記憶する注文枚数情報記憶部を備え、
    　前記ページ編集部は、前記複数の画像の中から、前記表示共通ページを編集するための画像を選択して編集候補画像として前記画像表示部に表示し、かつ前記画像表示部に表示された編集候補画像において、過去の前記プリント注文された画像の注文枚数が閾値以上である編集候補画像を識別表示する、請求項２ないし２０のいずれか一項に記載の画像処理装置。
  22. 　さらに、前記複数の画像の中からプリント注文された画像の注文枚数の情報を記憶する注文枚数情報記憶部を備え、
    　前記画像選択部は、前記複数の画像の中から、過去の前記プリント注文された画像の注文枚数が閾値以上である画像を前記共通画像として優先的に選択する、請求項１ないし２０のいずれか一項に記載の画像処理装置。
  23. 　前記レイアウト部は、前記共通ページにおいて、サイズが小さい領域にレイアウトする共通画像よりも、サイズが大きい領域にレイアウトする共通画像の方が、写っている人物の数が多くなるように前記共通画像をレイアウトする、請求項１ないし２２のいずれか一項に記載の画像処理装置。
  24. 　前記レイアウト部は、前記特定の個人の名前を表す文字列の画像を前記個別ページにレイアウトする、請求項１ないし２３のいずれか一項に記載の画像処理装置。
  25. 　特定の個人のみが使用する１以上の個別ページ、および、前記特定の個人を含む複数の人物が共通に使用する１以上の共通ページを有するフォトアルバムを作成する画像処理方法であって、
    　指示取得部が、ユーザから入力される指示を取得するステップと、
    　名前登録部が、前記複数の人物の名前を登録するステップと、
    　画像取得部が、前記複数の人物が写っている複数の画像を取得するステップと、
    　画像解析部が、前記複数の画像を解析するステップと、
    　画像分類部が、前記複数の画像の解析結果に基づいて、前記複数の画像を、前記複数の人物の各々が写っている画像を含む複数のグループに分類するステップと、
    　関連付け部が、前記各々の人物の名前と、前記各々の人物の名前に対応する人物が写っている画像を含む前記複数のグループの各々と、の関連付けを行うステップと、
    　個人指定部が、前記ユーザの指示に従って前記複数の人物の名前の中から前記特定の個人の名前を指定するステップと、
    　画像選択部が、前記複数の画像の解析結果、前記特定の個人の名前および前記関連付けに基づいて、前記複数の画像の中から、前記個別ページにおいて使用される個別画像および前記共通ページにおいて使用される共通画像を選択するステップと、
    　登場回数カウント部が、前記複数の画像の解析結果に基づいて、前記共通画像における前記各々の人物の登場回数をカウントするステップと、
    　レイアウト部が、レイアウト情報に基づいて、前記個別画像を前記個別ページにレイアウトし、かつ前記共通画像を前記共通ページにレイアウトするステップと、を含み、
    　前記個別画像および前記共通画像を選択するステップは、前記個別画像として、前記特定の個人の名前に対応する人物を含む２人以下の人物が写っている画像を優先的に選択し、前記共通画像として、前記個別画像以外の画像であり、かつ前記各々の人物の登場回数が前記複数の人物の登場回数の平均になるように、３人以上の人物が写っている画像を選択する、画像処理方法。
  26. 　請求項２５に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
  27. 　請求項２５に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
PCT/JP2018/040976 2017-12-28 2018-11-05 画像処理装置、画像処理方法、プログラムおよび記録媒体 WO2019130823A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019562808A JP6906636B2 (ja) 2017-12-28 2018-11-05 画像処理装置、画像処理方法、プログラムおよび記録媒体
US16/895,026 US11250605B2 (en) 2017-12-28 2020-06-08 Image processing device, image processing method, program, and recording medium
US17/569,718 US11436778B2 (en) 2017-12-28 2022-01-06 Image processing device, image processing method, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017254040 2017-12-28
JP2017-254040 2017-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/895,026 Continuation US11250605B2 (en) 2017-12-28 2020-06-08 Image processing device, image processing method, program, and recording medium

Publications (1)

Publication Number Publication Date
WO2019130823A1 true WO2019130823A1 (ja) 2019-07-04

Family

ID=67063426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040976 WO2019130823A1 (ja) 2017-12-28 2018-11-05 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (3)

Country Link
US (2) US11250605B2 (ja)
JP (2) JP6906636B2 (ja)
WO (1) WO2019130823A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140557A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2020140555A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2021027555A (ja) * 2019-08-08 2021-02-22 キヤノン株式会社 画像処理装置、制御方法及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7250567B2 (ja) * 2019-02-28 2023-04-03 キヤノン株式会社 装置、方法、及びプログラム
JP7341677B2 (ja) * 2019-02-28 2023-09-11 キヤノン株式会社 装置、方法、及びプログラム
JP2022123209A (ja) * 2021-02-12 2022-08-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7406757B1 (ja) * 2022-10-21 2023-12-28 株式会社エグゼック 方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223764A (ja) * 2008-03-18 2009-10-01 Fujifilm Corp 画像重要度判定方法、アルバム自動レイアウト方法、プログラムおよび装置
JP2010057073A (ja) * 2008-08-29 2010-03-11 Noritsu Koki Co Ltd アルバム作成装置及びアルバム作成プログラム
JP2013088921A (ja) * 2011-10-14 2013-05-13 Canon Inc 情報処理装置、画像選択方法およびプログラム
JP2017054523A (ja) * 2016-10-19 2017-03-16 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466996B2 (ja) * 2000-06-16 2003-11-17 キヤノン株式会社 アルバム製作システム、アルバム製作装置、アルバム製作方法および記録媒体
JP2002335487A (ja) * 2001-05-07 2002-11-22 Futaba Corp 電子アルバム作成システムならびに該電子アルバム作成システムに使用されるサーバ
JP5838752B2 (ja) * 2011-11-18 2016-01-06 大日本印刷株式会社 画像出力受付端末および画像出力受付方法、並びにプログラム
JP6071189B2 (ja) 2011-12-06 2017-02-01 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、プログラム
JP5883815B2 (ja) * 2013-03-11 2016-03-15 富士フイルム株式会社 電子アルバム装置およびその動作制御方法
JP6307964B2 (ja) * 2014-03-20 2018-04-11 フリュー株式会社 管理サーバ、写真シール作成装置、画像管理方法、制御プログラム、および記録媒体
JP6172551B1 (ja) * 2016-06-09 2017-08-02 パナソニックＩｐマネジメント株式会社 画像検索装置、画像検索システム及び画像検索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223764A (ja) * 2008-03-18 2009-10-01 Fujifilm Corp 画像重要度判定方法、アルバム自動レイアウト方法、プログラムおよび装置
JP2010057073A (ja) * 2008-08-29 2010-03-11 Noritsu Koki Co Ltd アルバム作成装置及びアルバム作成プログラム
JP2013088921A (ja) * 2011-10-14 2013-05-13 Canon Inc 情報処理装置、画像選択方法およびプログラム
JP2017054523A (ja) * 2016-10-19 2017-03-16 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法、及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140557A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2020140555A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP7336209B2 (ja) 2019-02-28 2023-08-31 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP7336211B2 (ja) 2019-02-28 2023-08-31 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2021027555A (ja) * 2019-08-08 2021-02-22 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP7541816B2 (ja) 2019-08-08 2024-08-29 キヤノン株式会社 画像処理装置、制御方法及びプログラム

Also Published As

Publication number Publication date
JP6906636B2 (ja) 2021-07-21
US20220130090A1 (en) 2022-04-28
JPWO2019130823A1 (ja) 2020-10-22
US11250605B2 (en) 2022-02-15
US20200302666A1 (en) 2020-09-24
JP7077462B2 (ja) 2022-05-30
US11436778B2 (en) 2022-09-06
JP2021152965A (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP6982013B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7077462B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20240004926A1 (en) Proactive creation of image-based products
US9721189B2 (en) Image processing apparatus, image processing method, and recording medium
JP7111632B2 (ja) 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US9030576B2 (en) Album creating apparatus, album creating method and program therefor
US9336442B2 (en) Selecting images using relationship weights
Amirshahi et al. Evaluating the rule of thirds in photographs and paintings
US9449411B2 (en) Ranking image importance with a photo-collage
JP6463231B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010057073A (ja) アルバム作成装置及びアルバム作成プログラム
JP2015065497A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2017167793A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016057901A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6393302B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2017045374A (ja) 情報処理装置及びプログラム
US11494553B2 (en) Document creation assistance apparatus and non-transitory computer readable medium
KR20100096378A (ko) 미술작품 정보제공 시스템
JP2023100112A (ja) 画像選択システム
KR101545386B1 (ko) 포토앨범 제작 방법 및 시스템
JP2019053580A (ja) 考査処理装置及び印画物作製システム
Vogt Create Your Own Photo Book: Design a Stunning Portfolio, Make a Bookstore-quality Book
KR20150031260A (ko) 포토앨범 제작 방법 및 시스템
JP2017091260A (ja) 表示装置、表示方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18894077

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019562808

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18894077

Country of ref document: EP

Kind code of ref document: A1