WO2019069606A1 - 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 - Google Patents

画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 Download PDF

Info

Publication number
WO2019069606A1
WO2019069606A1 PCT/JP2018/032593 JP2018032593W WO2019069606A1 WO 2019069606 A1 WO2019069606 A1 WO 2019069606A1 JP 2018032593 W JP2018032593 W JP 2018032593W WO 2019069606 A1 WO2019069606 A1 WO 2019069606A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
extracted
images
face
displayed
Prior art date
Application number
PCT/JP2018/032593
Other languages
English (en)
French (fr)
Inventor
野口　幸典
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP18865004.8A priority Critical patent/EP3693920A4/en
Priority to CN201880064018.4A priority patent/CN111164642A/zh
Priority to JP2019546580A priority patent/JP6956196B2/ja
Publication of WO2019069606A1 publication Critical patent/WO2019069606A1/ja
Priority to US16/819,426 priority patent/US11062122B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Definitions

  • the present invention relates to an image candidate determination apparatus, an image candidate determination method, a program for controlling the image candidate determination apparatus, and a recording medium storing the program.
  • Patent Document 1 a school photo management server capable of centrally managing, viewing and ordering all photographs and work of students taken at a school.
  • Patent Document 2 a school photo management server capable of centrally managing, viewing and ordering all photographs and work of students taken at a school.
  • Patent Document 2 a school photo management server capable of centrally managing, viewing and ordering all photographs and work of students taken at a school.
  • Patent Document 3 a school photo management server capable of centrally managing, viewing and ordering all photographs and work of students taken at a school
  • Patent Document 2 a school photo management server capable of centrally managing, viewing and ordering all photographs and work of students taken at a school.
  • an album it is also considered to prevent the number of photographic images taken by a specific individual from becoming extremely large or small.
  • an image is selected from among the list images, a person is extracted from the selected image, the number of appearances of the extracted person is counted, and a warning is displayed when the number of appearances exceeds 5 times. Is going.
  • the warning display is performed, the user selects
  • Patent Document 3 there is also considered an image publishing apparatus that can automatically determine publishing or non-disclosure according to a predetermined rule, even if the user does not make public or non-disclosure settings. Furthermore, it is also considered to shoot a plurality of subjects in a well-balanced manner (Patent Document 4).
  • An object of the present invention is to assist which image should be selected in order to make the number of images in which each person appears in the image to be made as uniform as possible.
  • An image candidate determination device receives an image, and includes an image grouping unit that groups one or more images including the same person, and an image including the integrated image evaluation value and the same person.
  • the present invention is characterized in that it comprises an image candidate determination means for determining an extracted image candidate or a non-extracted image candidate from among the images grouped by the image grouping means based on the limit value of the number of extracted images.
  • the grouping means may be any means as long as the image candidate determination device can recognize one or more images including the same person. For example, they may be stored in a certain folder, or may be given a certain flag.
  • the image candidate determination device receives a plurality of images, groups one or more images including the same person, extracts the total image evaluation value, and the number of extracted images including the same person.
  • the processor may include a processor that determines an extracted image candidate or a non-extracted image candidate out of the grouped images based on the restriction value of.
  • the present invention also provides an image candidate determination method suitable for the image candidate determination device. That is, in this method, the image grouping unit receives a plurality of images, groups one or more images including the same person, and the image candidate determination unit includes the same image and the comprehensive image evaluation value.
  • the present invention is characterized in that extracted image candidates or non-extracted image candidates are determined from among the images grouped by the image grouping means based on the extracted image number limit value of the image.
  • the present invention also provides a computer-readable program for controlling the computer of the image candidate determination apparatus and a recording medium storing the program.
  • the image candidate display control means may further include an image candidate display control means for displaying the extracted image candidate or the non-extracted image candidate determined by the image candidate determination means on the display screen.
  • the comprehensive image evaluation value is calculated based on, for example, a human image evaluation value calculated for each person appearing in the image.
  • the human image evaluation value is calculated, for example, based on at least an evaluation value on a face.
  • the image processing apparatus further comprises face image partial extraction means for extracting an image part of the face from each of the plurality of images, and the image grouping means comprises image parts of the face extracted by the face image partial extraction means
  • the image candidate determination means is grouped by the image grouping means based on, for example, the comprehensive image evaluation value and the limit value of the number of extracted images including the same person. Extracted image candidates or non-extracted image candidates are determined from the extracted images.
  • the image processing apparatus may further include a correction unit that corrects the human image evaluation value using a correction coefficient that increases the human image evaluation value as the number of images including the same person decreases.
  • the extracted image or the non-extracted image is determined from the extracted image candidates displayed by the control of the image candidate display control means, or the non-extracted image or the unextracted image among the non-extracted image candidates displayed by the control of the image candidate display control means
  • the image processing apparatus may further comprise image determination means for determining the extracted image.
  • the information processing apparatus may further include notification means for notifying the number of each of the extracted image and the non-extracted image determined by the image determination means for each person included in the image.
  • the information processing apparatus may further include notification means for updating and notifying the number of each of the non-extracted images for each person included in the image.
  • the image processing apparatus may further include image candidate stopping means for excluding one non-extracted image candidate or one extracted image candidate from the non-extracted image candidate or the extracted image candidate when the number of sheets deviates from the limit value.
  • the image grouping unit for example, regards non-identical persons as adults for adults and groups the images into groups.
  • the image processing apparatus may further include a first evaluation value calculation unit that calculates a lower person image evaluation value as the number of people included in the image is larger.
  • the image candidate determination means for example, sets the number of extracted images of the same person within the limit value based on the comprehensive image evaluation value and the limit value of the number of extracted images of the same person.
  • the extracted image candidate or the non-extracted image candidate may be determined from the images grouped by the image grouping means so as to fit.
  • Person detection means for detecting persons whose number of identical persons included in one or more images grouped by the image grouping means is less than or equal to a threshold, and photographing instruction for instructing photographing of persons detected by the person detection means It may further comprise means.
  • a plurality of images are accepted, and one or more images including the same person are grouped.
  • Candidate extracted image candidate means candidate image suitable for the user to extract from images
  • non-extracted image candidate means an image suitable for the user not to extract from images The candidate of
  • the user can know which image to extract or not to extract. Therefore, the user can designate an image to be extracted from among the images considered to be preferable to be extracted, and can designate an image not to be extracted from the images considered to be undesirable.
  • an image display window It is an example of an image display window. It is an example of an image display window. It is an example of an image display window. It is an example of an image display window. It is an example of an image display window. It is an example of an image display window. It is an example of the extraction number input window. It is an example of a photographing instruction window. It is an example of an image display window. It is an example of an image display window. It is an example of an image display window. It is an example of an image display window. It is an example of an image display window. It is an example of an image display window. It is an example of an image display window. It is an example of an image. It is an example of an image display window. It is an example of an image. It is an example of an image display window.
  • FIG. 1 shows an embodiment of the present invention, and is a block diagram showing an electrical configuration of an image candidate determination apparatus 1.
  • the entire operation of the image candidate determination device 1 is controlled by a CPU (Central Processing Unit) 2.
  • CPU Central Processing Unit
  • the image candidate determination device 1 includes a display device 3 for displaying images and other information on a display screen, and a communication device 4 for connecting to the Internet and other networks and communicating with devices other than the image candidate determination device 1 and the like. .
  • the image candidate determination device 1 also includes a hard disk 5, a hard disk drive 6 for accessing the hard disk 5, a memory 7 for storing data and the like, a keyboard 8 for inputting commands and the like, and a mouse 9. Furthermore, the image candidate determination device 1 has a memory for reading data stored in the memory card 13 and writing data to the compact disk drive 10 for accessing the compact disk 11 and the memory card 13.
  • a card reader writer 12 is also included.
  • An operation program of the image candidate determination device 1 described later is received by the communication device 4 via the Internet.
  • the received operation program is installed in the image candidate determination device 1.
  • the operation program is received by the image candidate determination device 1 via a network such as the Internet and is not installed in the image candidate determination device 1, and is recorded on a portable recording medium such as the compact disc 11 and the portable recording medium It may be read from the medium. In that case, the operation program read from the portable recording medium is installed in the image candidate determination device 1. It goes without saying that the computer (CPU 2) of the image candidate determination device 1 can read the operation program.
  • FIGS. 2 to 7 are flowcharts showing the processing procedure of the image candidate determination device 1.
  • the user of the image candidate determination device 1 registers the name of a person to be photographed in the image candidate determination device 1.
  • a large number of images are taken in a kindergarten graduation ceremony.
  • the names of the children to be photographed are registered in advance in the image candidate determination device 1 by the user (for example, a teacher of a kindergarten).
  • the image data representing the plurality of images stored in the memory card 13 is a memory card reader Read by the writer 12 (step 21 in FIG. 2).
  • the image part of the face included in the image represented by the read image data is extracted by the CPU 2 (face image part extraction means) (step 22 in FIG. 2).
  • one or more images including the same person are grouped by the CPU 2 (image grouping means) based on the extracted image part of the face (step 23 in FIG. 2).
  • the same image may belong to different groups, or the same image may belong to only one group.
  • the image part of the extracted face is also grouped by the image part of the face of the same person by the CPU 2 (image grouping means) (step 24 in FIG. 2).
  • An image display window 80 shown in FIG. 8 is displayed on the display screen of the display device 3.
  • the image display window 80 includes an image management tab 91, a face classification tab 101, and a disclosure setting tab 102.
  • the image management tab 91 is clicked.
  • a large number of images (thumbnail images) represented by the image data read from the memory card 13 are displayed in a list in the image display area 90 (step 25 in FIG. 3).
  • a character string 81 of "edit” is displayed in the image display window 80, and an event management area 82 is formed under the character string 81 of "edit”.
  • an event management area 82 is formed under the character string 81 of "edit”.
  • a character string "grading ceremony” is displayed under the character string “kindergarten.”
  • an event addition button 83 in which a character string of "event addition” is displayed and an event deletion button 84 in which a character string of "event deletion” is displayed are formed.
  • an event “graduation ceremony” has already been generated, and an image represented by image data read from the memory card 13 is managed as an event “graduation ceremony” It becomes.
  • the event addition button 83 is clicked after the character string "Kindergarten” is clicked, an event input window appears on the image display window 80, and the user uses the event input window to newly enter the window. Enter an event.
  • the user inputs the character string "grading ceremony” using the keyboard 8, the character string “grading ceremony” will be displayed below the character string "kindergarten.”
  • a left arrow button 92 and a right arrow button 93 are formed under the image management tab 91.
  • an image identification number 94 for identifying the designated image is displayed on the right side of the right arrow button 93.
  • the image represented by the image identification number 94 is designated.
  • the 11th image out of 360 images managed as the "grading type" event It shows that the image of is specified.
  • the image identification number 94 is represented by a fraction, the denominator indicates the number of sheets managed by the event, and the images in which the numerator is designated are identified in numerical order.
  • the image specified by the image specifying number 94 may be surrounded by a frame or the like so that the user can recognize the specified image.
  • a character string 95 of "list display” is displayed. If the check box on the left side of the character string 95 of "list display” is checked (it is checked in the initial state), a plurality of images are displayed in a list in the image display area 90 as shown in FIG. Ru. When the check box to the left of the character string 95 of "list display” is removed, one image specified by the image identification number 94 is displayed in the image display area 90 (see FIG. 9).
  • a disclosure status and an image file name are displayed below each image of the plurality of images displayed in the image display area 90.
  • "public” indicates a state in which the image is published
  • “private” indicates a state in which the image is private
  • "pending" is “public” or “private” "Indicates that none of the” has been decided. For example, the user produces an album using only “public” images, or prints only “public” images.
  • an up arrow button 97 At the right end of the image display area 90, an up arrow button 97, a slide bar 98 and a down arrow button 99 are formed.
  • the up arrow button 97 is clicked or the slide bar 98 is dragged upward, the image display area 90 is scrolled upward, the down arrow button 99 is clicked, or the slide bar 98 is down.
  • the image display area 90 is scrolled downward by being dragged in the direction.
  • the disclosure status of all images is set to "public” or "private” (each person included in the image is defined as an extracted image or a non-extracted image in advance), and the image is clicked (Determination with the extracted image or non-extracted image)
  • the publishing status switches to "public” or "private”.
  • FIG. 9 shows how an image is enlarged and displayed in the image display area 90.
  • FIG. 9 the same components as those shown in FIG. 8 are denoted by the same reference numerals and the description thereof will be omitted.
  • a character string 96 of “face information display” is displayed on the right side of the character string 95 of “list display”.
  • a check box is also formed on the left side of the character string 96 of “face information display”.
  • step 33 the face surrounding the face image portion included in the image displayed in the image display area 90 A frame is displayed (FIG. 3, step 33).
  • the display of the face frame is performed based on the extraction process (step 22 in FIG. 2) of the face image portion that has already been performed.
  • the name of the subject in this case, a kindergarten child
  • the image candidate determination device 1 in this case, a kindergarten teacher
  • details will be described later (see FIG. 11, FIG. 12, etc.)
  • the user specifies which face image is who.
  • the image of the face of the same person as the face of the name specified by the user is found in the image candidate determination device 1, and the found face image is also associated with the name (for example, in the header of the image file, the name of the face Is stored corresponding to the information on the position of the face).
  • the name of the person of the face is also displayed corresponding to the face frame.
  • the check box on the left side of the character string 96 of the face information display is checked, and the face image part included in the image displayed in the image display area 90 is surrounded by the face frame. It shows.
  • the faces surrounded by the face frames F1, F4, F3 and F2 are the persons (children) whose names are "Sato Taro", “Tanaka Jiro”, “Itako Hanako” and “Suzuki Haruko”, respectively
  • the respective names are displayed in the vicinity (upper part) of the frames F1, F4, F3 and F2. Since the face surrounded by the face frame F is not associated with the name by the user (unclassified), the name is not displayed.
  • the check box on the left side of the character string 96 for displaying face information the name of the person included in the image is displayed, and the user can confirm the name of the person included in the image.
  • step 34 in FIG. 3 When the check box on the left side of the character string 96 for displaying face information is unchecked (YES in step 34 in FIG. 3), the face included in the image is surrounded by a frame as shown in FIG. As for the face that is associated, the name is displayed, and as shown in FIG. 9, the name is returned to the erased state (step 35 in FIG. 3).
  • the image display window 80 displays a list of image parts of the face as shown in FIG. 11 (step 38 in FIG. 4). Also, when the disclosure setting tab 102 is clicked by the user (YES in step 37 in FIG. 3), the image display window 80 sets the disclosure and non-disclosure of the image as shown in FIG. Display (step 49 in FIG. 5).
  • FIG. 11 When the face classification tab 101 is clicked by the user, an image display window 80 shown in FIG. 11 is displayed on the display screen of the display device 3.
  • FIG. 11 the same components as those shown in FIGS. 8 to 10 are designated by the same reference numerals and the description thereof will be omitted.
  • the image portion of the face extracted in the process of step 22 of FIG. 2 is displayed in a list.
  • the image portion of the face is displayed in the image display area 90 in the order of the file name of the image including the image portion of the face, but this is not necessarily the case.
  • a subject list area 110 is formed on the left side of the image display area 90.
  • the names registered in advance in the image candidate determination device 1 by the user are displayed as a list as described above.
  • the number of images showing the person of the name is also displayed corresponding to the name.
  • the name displayed in the subject list area 110 can be selected (clicked) by the user.
  • the face classification button 111 in which the character string of "Face classification” is displayed, the character string 112 of "Selected children display”, the character string 113 of “Not selected children display”, and “Not classified”
  • the character string “of face display” is displayed.
  • a check box is formed on the left side of each of the character string 112 of “selected children display”, the character string 113 of “non-selected children display” and the character string 114 of “unclassified face display”.
  • the face classification button 111 When the face classification button 111 is clicked, the image parts of the face of the same person are displayed in the image display area 90 together (as adjacent to each other).
  • the check box on the left side of the character string 112 of “selected children display” is checked, the face image of the person of the selected name among the names displayed in the subject list area 110 is displayed in the image display area 90. Is displayed.
  • the image display area 90 is displayed. The face image of "Taro Sato” is displayed on the screen.
  • the name can be associated with the face.
  • the name information is stored in the header of the image file representing the image including the face image portion and associated with the position information of the face image portion
  • the face is associated with the name.
  • the image part of the face not associated with the name only the file name of the image including the image part of the face is displayed.
  • the image part of the face associated with the name the image part of the face is included and the file name and the name of the kind image are displayed.
  • the first image evaluation value associated with the name is calculated by the CPU 2 (step 42 in FIG. 4, the first image evaluation value corresponds to the human image evaluation value in the present invention).
  • the first image evaluation value is an evaluation value for the person with the associated name. When two persons are included in a certain image, the first image evaluation value for one person is different from the first image evaluation value for the other person, even if the images are the same.
  • the first image evaluation value is calculated according to evaluation parameters such as the number of persons included in the image, and the size of the face included in the image.
  • Table 1 is an example of a people score table according to the number of people included in the image.
  • the image is well-balanced and the person included in the image is appropriately conspicuous as the number of people included in the image is not too small or too large, and the value of the image for that person is high Be For this reason, if the number of people included in the image is about five, the score for the number of people is high, and if the number of people included in the image is small or large, the number of people is low, the CPU 2 (first image evaluation Value calculation means). However, the smaller the number of people included in the image, the higher the number of people may be, and the larger the number of people included in the image, the higher the score may be.
  • Table 2 is an example of a face size score table according to the size of the face included in the image.
  • the size of the face indicates the size of the face for the image.
  • the face size of “1/15” indicates that the face size is 1/15 of the image size.
  • the number of horizontal pixels of the image and the number of horizontal pixels of the face image part may be used, or the number of vertical pixels of the image and the face image part may be used.
  • the number of vertical pixels may be used, or the number of pixels in the entire image area and the number of pixels in the face area may be used.
  • the face size score is the highest at a moderate ratio (here 1/6), The face size score is set to be lower as the ratio gets farther.
  • the evaluation parameters include the number of persons included in the image, the size of the face included in the image, etc., the degree of focusing of the image part of the face included in the image, the degree of eye opening in the face included in the image,
  • the facial expression score calculated from the facial expression of the included face is also used to calculate the facial score. As the face in which the image part of the face is in focus, the expression score is higher, the expression score is higher as the eyes are properly opened, the expression score is higher as the facial expression is more smiling, The expression score is set corresponding to the evaluation parameter.
  • the score of the first image evaluation value is calculated by the sum of the number of people, the face size, and the expression score.
  • the image quality score may be defined and used for calculation of the score, as the quality of the entire image of one sheet is better (for example, the point is in focus), the score becomes higher.
  • the first image evaluation value is corrected according to the number of images in which a specific person is shown. For this reason, the smaller the number of images in which a specific person appears, the higher the first image evaluation value for that person, and the larger the number of images in which a specific person appears, the higher the first image for that person.
  • the image evaluation value is weighted to be low.
  • Table 3 is an example of the weighting table.
  • the maximum value in Table 3 is the maximum value of images in which the same person appears in the image to be released, and is “6”, for example.
  • the first image evaluation value for each person is calculated for each image.
  • Table 4 shows the first image evaluation value for each image of "Sato Taro".
  • Table 4 shows six images with image file names “0022.jpg”, “0019.jpg”, “0021.jpg”, “0013.jpg”, “0020.jpg” and “0018.jpg”, The first image evaluation value captured from “Sato Taro” is shown. “Sato Taro” is shown in these six images. For “Sato Taro”, for example, the raw point of the first image evaluation value of the file name "0022.jpg” is "40", and the raw points of other first image evaluation values are also shown. The scores obtained by normalizing these raw points and weighting the normalized raw points are the respective first image evaluation values for "Sato Taro".
  • the weighting factor is " ⁇ 1" for the maximum value, and after correction using the weighting factor
  • the first image evaluation value is the same as the normalized raw point.
  • the weighting coefficient is used to increase the first image evaluation value as the number of images including the same person decreases, and to decrease the first image evaluation value as the number of images including the same person increases.
  • the first image evaluation value is corrected by the CPU 2 (correction means) using the correction coefficient).
  • Table 5 shows the first image evaluation value for the person included in the six images in which “Sato Taro” is shown, and the overall image for one image
  • the second image evaluation value which is an image evaluation value, is shown (the second image evaluation value corresponds to the comprehensive image evaluation value of the present invention).
  • the image with the image file name "0022.jpg” includes “Sharuko Suzuki” in addition to “Satotaro", and the image with the image file name "0019.jpg” has “Ito Ito” in addition to “Satotaro”.
  • the image file name "0021.jpg” includes “Haruka Suzuki” and “Tanaka Jiro” in addition to “Sato Taro”, and the image file name "0013.jpg”.
  • the image of “Sato Taro” includes “Ito Hanako”, and the image with the image file name “0020.jpg” has “Satoko Haru”, “Ito Hanako”, as well as “Sato Taro”, It is understood that "Jiro Tanaka” and “Ichiro Watanabe” are included, and the image with the image file name "0018.jpg” includes “Ichiro Watanabe” in addition to "Taro Sato”.
  • the first image evaluation value of the image of the image file name "0022.jpg” is “20” for “Satotaro”, it is “200” for “Suzuki Haruko”, and the image file name "0022.
  • the second image evaluation value which is the comprehensive image evaluation value of the jpg image, is the first image evaluation value for “Sato Taro” and the first image evaluation value for “20” and “Suzuki Haruko” It becomes “220" which is the sum of "200”.
  • the second image evaluation value of the image with the image file name "0019.jpg” is "62.5"
  • the second image evaluation value of the image with the image file name "0021.jpg” is "367”
  • the second image evaluation value of the image of the image file name "0013.jpg” is "63”
  • the second image evaluation value of the image of the image file name "0020.jpg” is "1023”
  • the image file name "0018.jpg” It can be seen that the second image evaluation value of the image of is “414.5”. From these facts, among these six images, the image with the image file name “0020.jpg” having the highest second image evaluation value has the highest importance as an image, and the second image evaluation value is the highest.
  • the image with the low image file name "0019.jpg" has the lowest importance as an image.
  • the first image evaluation value different for each person included in the image is added for each image, and the sum obtained by the addition is calculated by the CPU 2 (second image evaluation value calculating means). It is preferable to set 2 image evaluation values.
  • the second image evaluation value is a calculation method such that the second image evaluation value becomes higher as the first image evaluation value becomes higher, based on the person first image evaluation value calculated for each person appearing in the image. Any method may be used so long as it is weighted, and may be calculated by summing the first image evaluation values.
  • the first image evaluation value is weighted as heavy as the upper grade children (and hence lighter as the lower grade children), taking into consideration some future photographing opportunities.
  • the second image evaluation value may be calculated by taking the total sum.
  • a non-extracted image candidate (non-extracted image candidate) is determined in order of the image with the low second image evaluation value, and released.
  • the image with the highest second image evaluation value is determined as the public image candidate (public image candidate) in the descending order.
  • the first image evaluation value and the second image evaluation value are calculated again.
  • the sum of evaluation values of the face image portions may be calculated, and the calculated sum may be used as the comprehensive image evaluation value.
  • the image of the image file name "0022.jpg” includes the image portion of the face having the name "Sato Taro”, and the evaluation value of the image portion of the face is "20".
  • the image of the image file name “0022.jpg” includes the image portion of the face having the name “Suzuki Haruko”, and the evaluation value of the image portion of the face is “200”.
  • the sum of evaluation values of the image parts of those faces can be calculated, and the sum "220" of the obtained evaluation values can be used as the comprehensive image evaluation value.
  • the designation of the image changes in response to the click of the left arrow button 92 or the right arrow button 93 (FIG. 4 steps 44).
  • the image identification number 94 also changes.
  • step 45 in FIG. 4 the image portion of the face is classified and displayed for each person as shown in FIG. 12 (step 46 in FIG. 4).
  • the face image group G1 the image portion of the face included in the image of the image file name “0021.jpg” and the image portion of the face included in the image of the image file name “0019.jpg”, The image portion of the face included in the image of the image file name “0020.jpg” and the image portion of the face included in the image of the image file name “0018.jpg” are included.
  • the face image group G1 includes the image portion of the face included in the image of the image file name “0022.jpg” and the image portion of the face included in the image of the image file name “0013.jpg”. I can not see it at 12.
  • the face image group G1 includes the face image portion of "Sato Taro".
  • the face image group G2 the image portion of the face included in the image of the image file name “0027.jpg”, the image portion of the face included in the image of the image file name “0014.jpg”, and the image file name “0028”.
  • the image portion of the face included in the image of “.jpg” is included.
  • the image portion of the face included in the face image group G2 also represents the same person.
  • the face image group G3 includes the image portion of the face included in the image of the image file name "0027.jpg” and the image portion of the face included in the image of the image file name "0014.jpg” .
  • the image portion of the face included in the face image group G3 also represents the same person.
  • the process shifts to the process shown in FIG. Further, when the disclosure setting tab 102 is clicked (YES in step 48 in FIG. 4), the image display window 80 displays the disclosure / non-disclosure setting image as shown in FIG. 13 (step 49 in FIG. 5).
  • FIG. 13 the same components as those shown in FIG. 8 to FIG.
  • the image display area 90 displays the image specified by the image specification number 94 before the disclosure setting tab 102 is clicked.
  • FIG. 13 it is assumed that the image with the image file name “0022.jpg” is identified by the image identification number.
  • an image of an image file name "0022. jpg” is displayed.
  • the image of the image file name "0022.jpg” includes "Taro Sato” and "Haruko Suzuki”.
  • the face of "Sato Taro” is surrounded by a face frame F1, and the name of "Sato Taro” is displayed at the top of the face frame F1.
  • the face of "Haruko Suzuki” is surrounded by a face frame F2, and the name of "Haruko Suzuki” is displayed at the top of the face frame F2.
  • a public / private information display area 120 is formed on the left side of the image display area 90.
  • the name of the subject is displayed in the public / private information display area 120.
  • check boxes 121-126, 129, etc. are formed on the left side of the subject's name.
  • check boxes 121-126, 129, etc. are formed on the right side of the check box 129.
  • "Teacher / Parent" is displayed as the person's name.
  • children are the main characters and teachers and parents are often supporting members, so they are treated as the same person without being divided by person.
  • adults such as teachers and parents may be regarded as the same person and grouped by the CPU 2 (image grouping means) for each image.
  • teachers and parents may be treated separately for each person without being treated as the same person.
  • a check box of a name corresponding to a person (a person whose name is displayed) included in the image displayed in the image display area 90 is checked.
  • the images displayed in the image display area 90 include "Taro Sato” and “Haruko Suzuki”, and the check box 121 to the left of the name of "Taro Sato” and " The check box 122 to the left of the name of Haruko Suzuki is checked.
  • the number of images in the state set to "private" among the images including the subject (the number of non-extracted images), the number of images in the "hold” state, "public” on the right side of the subject's name Subject list of the image display window 80 displayed on the display device 3 (notification means) under the control of the CPU 2 (display control means) for the number of sheets (the number of extracted images) set to It is displayed in area 110.
  • the disclosure status is displayed each time the image displayed in the image display area 90 is clicked. Is switched between “private” and “public”, and the number of “private” images displayed in the public / private information display area 120 and the number of “public” images are included in the image
  • the selected person is updated by the CPU 2 and displayed (notified) in the open / closed information display area 120 of the image display window 80 displayed on the display device 3 (notification means).
  • the image specification number 94 decreases or increases and the image specification changes (see FIG. 5). 5 steps 53).
  • one of six images including "Sato Taro” is displayed in the image display window 80, and the image identification number 94 is "1/6". This is because the disclosure setting tab 102 is clicked in a state in which "Taro Sato" is selected in the subject list area 110 included in the image display window 80 shown in FIG.
  • the images displayed in the image display area 90 include “Taro Sato” and "Haruko Suzuki”.
  • the face of "Sato Taro” is surrounded by a face frame F1, and the name “Sato Taro” is displayed at the top of the face frame F1.
  • the face of "Haruka Suzuki” is surrounded by a face frame F2, and the name “Haruko Suzuki” is displayed at the top of the face frame F2.
  • names other than “Sato Taro” and “Hanako Ito” are not determined (a face using FIGS. 11 and 12 or the like). Image portion and the name is not associated).
  • the face of "Sato Taro” is surrounded by a face frame F1, and the name “Sato Taro” is displayed at the top of the face frame F1.
  • the face of “Hanako Ito” is surrounded by a face frame F3, and the name “Hanako Ito” is displayed above the face frame F3.
  • the face of an unclassified person whose name has not been determined is surrounded by a face frame F.
  • the name "Jiro Tanaka” is displayed at the top of the face frame F4.
  • the face of an unclassified person whose name has not been determined is surrounded by a face frame F.
  • a character string of "unclassified” is displayed at the top of the unclassified face frame F.
  • the image identification number 94 has been changed from “2/6" to "3/6" so that it can be seen that it is the third image of the six images that include "Sato Taro". There is.
  • the face of "Suzuki Haruko” is surrounded by a face frame F2
  • the face of "Itako Hanako” is surrounded by a face frame F3
  • the face of "Tanaka Jiro” is surrounded by a face frame F4
  • the face of "Ichiro Watanabe” is surrounded by a face frame F5.
  • the face of an unclassified person whose name has not been determined is surrounded by a face frame F, and a character string of "unclassified” is displayed above the unclassified face frame F.
  • the image identification number 94 has been changed from “4/6" to "5/6" so that it is the fifth image of the six images containing "Sato Taro". There is.
  • the image displayed in image display area 90 includes "Taro Sato”, "Ichiro Watanabe” and an adult or a guardian.
  • the image displayed in the image display area 90 includes a person whose name is not determined (the image portion of the face and the name are not associated using FIG. 11, FIG. 12 or the like).
  • the face of "Sato Taro” is surrounded by a face frame F1
  • the name "Sato Taro” is displayed at the top of the face frame F1.
  • the face of "Ichiro Watanabe” is surrounded by a face frame F5
  • the face of an adult or a guardian is surrounded by a face frame F6.
  • the face of an unclassified person whose name has not been determined is surrounded by a face frame F, and a character string of "unclassified” is displayed above the unclassified face frame F. Also, the image identification number 94 has been changed from "5/6" to "6/6" so that it can be seen that it is the sixth image of the six images that include "Sato Taro" There is.
  • a person including the name of “Taro Sato” can be displayed on the image display area 90 in order.
  • the disclosure status is set to “public”, “private” or “pending” each time the image is clicked.
  • the user can specify whether the image displayed in the image display area 90 is open or closed.
  • the user can specify whether the image is to be disclosed or not disclosed for an image that does not include a person including the name of “Sato Taro”.
  • the image display window 80 is displayed (the image display window 80 may temporarily disappear) on the display screen of the display device 3 Is displayed on the extraction number input window 140 shown in FIG. 19 (step 55 in FIG. 5).
  • the extraction number input window 140 displays the minimum number and maximum number of images to be displayed for the image including the same person (the minimum and maximum numbers of images to be disclosed are the limit values of the number of extracted images. Input).
  • a character string "Please enter the number of extracted images" is displayed in the extracted number input window 140, and a minimum number input area 141 and a maximum number input area 142 are formed.
  • the minimum number input area 141 By clicking on the minimum number input area 141, the minimum number of images for the same person included in the minimum number input area 141 can be input from the keyboard 8, and the maximum number can be input by clicking on the maximum number input area 142.
  • the maximum number of images to be released for images including the same person can be input from the keyboard 8.
  • a determination button 143 At the lower right of the number-of-extractions input window 140, there is formed a determination button 143 in which a character string of "decision" is displayed.
  • the minimum number is input in the minimum number input area 141, and the maximum number is input in the maximum number input area 142 (either the minimum number or the maximum number may be input) (step 56 in FIG. 5), and the determination button 143 Is clicked (YES in step 57 in FIG. 5), the input number of extractions (minimum extraction number, maximum extraction number) is stored in the memory 7 (step 58 in FIG. 5).
  • the extraction number input window 140 disappears from the display screen of the display device 3.
  • step 61 in FIG. 6 It is confirmed by the CPU 2 whether or not there is an image in which the same person is included and the number of the published images is larger than the input maximum number (step 61 in FIG. 6). If there are more images than the inputted maximum number (YES in step 61 in FIG. 6), the first image evaluation value and the second image evaluation value are calculated by the CPU 2 for the image including the same person ( 6), the unlisted image candidate is selected by the CPU 2 (image candidate determination means) from among the disclosed images so as to be within the maximum number of images including the same person (within the limit value). It is determined (FIG. 6, step 63).
  • the image containing "Sato Taro” has the file names "0022.jpg”, “0019.jpg”, “0021.jpg”, “0013.jpg”, "0020.jpg” and "0018.jpg” It is assumed that the image has six images. Then, those six second image evaluation values are, for example, the values shown in Table 5. Also, it is assumed that the maximum number of input sheets is five. Then, one of six images as a non-public image candidate is determined by the CPU 2.
  • the image having the lowest second image evaluation value is an image having an image file name of "0019.jpg", so that "0019.jpg”
  • the CPU 2 determines an image having the image file name “as a non-disclosed image. In this manner, a non-disclosed image candidate (non-extracted image candidate) is selected from among the grouped images based on the second image evaluation value and the limit value of the number of extracted images including the same person as the second image evaluation value. It is determined.
  • step 64 a non-public image is designated (YES in step 64 in FIG. 6, step 65). If the end command is not given (NO at step 66), the processing from step 61 is repeated.
  • the non-public image candidate is determined in the above-described embodiment, the non-public image candidate may be determined instead of the non-public image candidate.
  • images of image file names "0022.jpg”, “0021.jpg”, “0013.jpg”, "0020.jpg” and "0018.jpg” may be set as the public image candidate.
  • the disclosure status is determined to be disclosed by the CPU 2 (image determination means) by clicking the image.
  • the determined non-public image candidate is set as a non-public image or the determined public image candidate is set as a public image. If the number of extracted images containing a specific person exceeds the maximum number or falls below the minimum number (one non-extracted image candidate determined is taken as a non-extracted image, or one extracted image In the case where the number of extracted images of a specific person deviates from the limit value in response to the candidate being taken as the extracted image), a non-disclosed image candidate (non-extracted image candidate) or such image for the image It is preferable that the CPU 2 (image candidate stopping means) control so as to exclude it from the public image candidate (extracted image candidate).
  • step 66 of FIG. 6 If the program end instruction is not given to the image candidate determination device 1 (NO in step 66 of FIG. 6), the process is repeated from the process of step 61 of FIG. If there is still an image that has been made public and the number of images including the same person is greater than the maximum number (YES in step 61 in FIG. 6), the image evaluation for such an image is The values are again calculated (FIG. 6, step 62).
  • step 67 shown in FIG. 7 it is checked whether there is an image that is open and contains less than the minimum number of images including the same person (step 67 in FIG. 7). ). If there are less images than the minimum number (YES in step 67 in FIG. 7), the photographing instruction window 150 shown in FIG. 20 is displayed on the display screen of the display device 3 (step 68 in FIG. 7). That is, a person whose number of identical persons included in one or more grouped images is equal to or less than a threshold is detected by the CPU 2 (person detection means), and a photographing instruction for that person is taken by the CPU 2 (photographing instruction means) Instructions will be given.
  • the shooting instruction window 150 prompts the user to shoot a person whose number of captured images is smaller than the minimum number.
  • step 69 in FIG. 7 If the program candidate determination device 1 is instructed to end the program (YES in step 69 in FIG. 7), the program is ended (YES in step 69 in FIG. 7), and if the program end instruction is not supplied (step 69 in FIG. 7). And the process from step 61 in FIG. 6 is repeated. However, if the end command is not given (NO in step 66 in FIG. 6 or NO in step 69 in FIG. 7), the process may return to step 49 in FIG.
  • step 49 in FIG. 5 When the public / private setting image is displayed (step 49 in FIG. 5), when the image management tab 91 is clicked (YES in step 59 in FIG. 5), the processing from step 25 in FIG. 3 is performed. Further, when the public / private setting image is displayed (step 49 in FIG. 5), when the face classification tab 101 is clicked (YES in step 60 in FIG. 5), the processing from step 38 in FIG. 4 is performed. .
  • the image candidate determination program ends when the program end determination process in FIG. 6 step 66 and the program end determination process in FIG. 7 are performed.
  • the image candidate determination program is ended by interrupting the end command.
  • the image data representing a plurality of images stored in the memory card 13 is read by the memory card reader / writer 12, a database different from the image candidate determination device 1 ⁇
  • the image data representing a plurality of images is stored in the server, and the database server and the image candidate determination device 1 communicate with each other to communicate the image represented by the image data transmitted from the database server As in the above, it may be displayed on the display screen of the display device 3 of the image candidate determination device 1.
  • the image data stored in the memory card 13 is read, but the communication device 4 of the image candidate determination device 1 can communicate with the digital camera (not shown) by the wireless communication means.
  • image data representing an image captured using a digital camera may be transmitted from the digital camera to the image candidate determination device 1, and the above-described processing may be performed.
  • image data representing an image captured by a smartphone may be transmitted from the smartphone to the communication device 4 of the image candidate determination device 1, and the above-described processing may be performed.
  • image data representing an image captured by a digital camera or smartphone may be transmitted to the image candidate determination device 1.
  • evaluation values regarding the face such as face size score and expression score and evaluation values regarding other than face such as number score and image quality score are used.
  • evaluation values regarding the face such as face size score and expression score and evaluation values regarding other than face such as number score and image quality score are used.
  • only the evaluation value on the face may be used as the raw point of the first image evaluation value, or only the evaluation value on other than the face may be used as the raw point of the first image evaluation value.
  • the image part of the face is associated with the name while the user looks at the image part of the face, but the image of the face and the name of the person of the face are associated in advance
  • the face image portion may be automatically associated with the name by automatically determining who's face by comparison with the face image associated with the image.
  • the name is associated using the image part of the face, if the person has attached a name tag instead of the image part of the face, the user confirms the name tag and the face
  • the image portion and the name may be associated with each other, or the name described in the name tag may be automatically analyzed to associate the image portion of the face with the name.
  • FIG. 21 to 23 show an example of the image display window 80.
  • FIG. 21 to 23 correspond to the image display window 80 shown in FIG. 11 and the like, and the same reference numerals are given to the same components and the description will be omitted.
  • the image display window 80 shown in FIG. 21 to FIG. 23 a plurality of face images of the same person and names are associated in a batch.
  • the user uses the mouse 9 to select an image for which names are to be associated in a batch. Specifically, the cursor 171 is dragged on the face image to be associated with the designation in a batch using the mouse 9. Then, the frame of the selected image becomes a thick frame 172.
  • FIG. 21 among the images displayed in three lines in the image display area 90, it is assumed that three images in the second line (middle line) are selected.
  • the name of the selected face image is selected by the user from among the names displayed in the subject list area 110.
  • the name of the selected face image is “Jiro Tanaka”, and “Jiro Tanaka” is selected. Then, the color around the selected "Jiro Tanaka” name changes.
  • FIG. 22 shows a state in which the selected name of "Jiro Tanaka” has changed.
  • the area around the name “Jiro Tanaka” is indicated by hatching 173, and the area around the name “Jiro Tanaka” selected is changed.
  • a representative face image 175 (previously registered) of the selected “Jiro Tanaka” is displayed on the subject list area 110.
  • the cursor 171 is moved onto the selected "Jiro Tanaka” name and dragged onto the selected face image.
  • the cursor 171 temporarily changes to a name display area 174 representing the name of the selected "Jiro Tanaka".
  • a name display area 176 is displayed for each of the selected images.
  • an image recognized as a face image but whose face is facing sideways or whose face image is blurred is "too sideways", “too blurred”, or "not suitable for public view”.
  • a flag such as “” may be attached to the image.
  • the images displayed in the image display area 90 in FIG. 21 to FIG. 23 are displayed upward as the appearance frequency of the subject increases, and displayed on the left side as the photographing time is earlier. , And may be displayed in the order of photographing.
  • FIG. 24 shows another example of the image display window 80. As shown in FIG. In FIG. 24, the same components as those shown in FIG.
  • a sub-event of "graduation certificate award” and a sub-event of "the teacher's words of the director” are generated under the event of "graduation ceremony".
  • Images managed as “grading ceremony” events are managed as sub-events such as "graduation certificate award” and "Chairman's words”.
  • a sub event addition button 85 in which a character string of "sub event addition” is formed.
  • a subevent input window appears on the image display window 80, and the user uses the subevent input window to newly enter the subevent input window. Input sub-events.
  • the user inputs a character string of "graduation certificate award” using the keyboard 8
  • a character string of "graduation certificate award” will be displayed under the character string of "graduation ceremony”.
  • the text "The teacher's words” is displayed below the text "Graduation ceremony”.
  • the disclosure setting tab 102 is clicked, and a large number of images 165 managed by an event named “grading type” are displayed in the image display area 90.
  • a display switching pull-down 160 is formed.
  • the display switching pull-down 160 is used when the image displayed in the image display area 90 is divided into the image capturing time and displayed.
  • a date display switching menu appears for a plurality of times such as "one-hour break” and "two-hour break", and the display break is selected by the user from among them.
  • An image is displayed in the image display area 90 in accordance with the display section designated by the display switching pull-down 160.
  • the image display area 90 is divided into areas every hour.
  • a first image display area 90A and a second image display area 90B appear.
  • the first image display area 90A and the second image display area 90B are divided by a broken line, they may be divided by another method. Areas other than these image display areas 90A and 90B also appear in the image display area 90 by moving the slide bar 98.
  • a display time 163 displayed in the first image display area 90A is displayed.
  • the characters “11:00” are displayed as the display time 163. Since the display section is an hour section, in the first image display area 90A, among the images managed by the event etc. displayed in the event management area 82, the image photographed on the 11 o'clock basis is displayed Be done.
  • a check box 162 is formed on the left side of the display time 163, and a check box 164 is also formed on the upper right of the image 165 displayed in the first image display area 90A. Both check boxes 162 and 164 specify the release of the image.
  • the check box 162 formed on the left side of the display time 163 is checked, the upper right of the image 165 (all the images 165 displayed in the first image display area 90A) specified by the display time 163 is checked.
  • the check boxes 164 formed in the are checked to specify the publication of the images 165.
  • publication of the checked image is designated.
  • the check box 164 formed at the upper right of the image 165 is unchecked, the image is closed.
  • the image 165 is surrounded by a thick frame 166. This is for the purpose of making it easier to understand the image in which the check box 164 is checked and the image in which the check box is not checked, and the color of the frame may be changed.
  • the character string "12:00” is displayed in the display time 163 of the second image display area 90B, and the image 165 photographed on the 12 o'clock basis is displayed in the second image display area 90B.
  • a check box 162 is formed on the left side of the display time 163, and a check box 164 is also formed on the upper right of the image 165. Checking the check box 162 or 164 exposes the checked image as in the case of the image displayed in the first image display area 90A.
  • FIG. 25 shows another example of the image display window 80. As shown in FIG. Also in FIG. 25, the same components as those in FIG.
  • a check box 195 is formed in the upper right, and the corresponding image is released by checking the check box 195. It is set.
  • the image in which the check box 195 is checked is surrounded by a bold frame 196. If the check box 195 is not checked, it is private.
  • a minimum disclosure number setting area 180 is formed on the left side of the image display area 90.
  • the minimum release number setting area 180 is for setting the minimum number of images to be released.
  • An up arrow button 181 and a down arrow button 182 are formed on the right side of the minimum number-of-releases setting area 180. Each time the up arrow button 181 is clicked, the number displayed in the minimum number-of-releases setting area 180 is increased by one, and each time the down arrow button 182 is clicked, the number displayed in the minimum number-of-releases setting area 180 is 1 It decreases one by one.
  • a disclosure number display area 190 is formed on the left side of the image display area 90.
  • the number-of-releases display area 190 displays the number of images to be released in correspondence with the name of a person included in the image to be released.
  • the name (for example, Taro Sato) of the subject included in the image, the number of released (for example, 6), and a representative face image 194 of the subject are displayed. Further, in the number-of-releases display area 190, a mark 191 and a line 193 are displayed, which serve as an indication of the minimum number of released images set in the minimum number-of-releases setting area 180. Furthermore, the number of released images is indicated by a bar graph (indicated by hatching) 192 for each subject name. The smaller the published number is, the shorter the length of the bar graph 192, and the larger the published number, the longer the length of the bar graph 192.
  • the bar graph 192 As the bar graph 192 extends to the right, it indicates that the number of published sheets is large. If the right end of the bar graph 192 does not exceed the line 193, the number of published objects of the subject indicated by the bar graph 192 has not reached the minimum number of published images, and if the right end of the bar graph 192 matches the line 193, the subject indicated by the bar graph 192 The number of released images corresponds to the minimum number of released images, and when the right end of the bar graph 192 exceeds the line 193, the number of released objects of the subject indicated by the bar graph 192 exceeds the minimum number of released images. By checking whether the right end of the bar graph 192 exceeds the line 193, it is possible to check, for each subject, whether it has been set to release an image of the minimum number of published images or more.
  • a mark 197 is displayed on the name of the subject corresponding to the image which is not sufficient for the minimum number of released images in order to call the user's attention.
  • an image to be published can be selected to reach the minimum number of published documents.
  • the color of the name of the subject corresponding to the image which is not sufficient for the minimum number of released images and the color of the subject corresponding to the image which is sufficient for the minimum released number may be changed.
  • a prohibition mark 170 is also displayed corresponding to the name displayed in the disclosed sheet number display area 190. It is possible to prevent in advance that an image including a non-public subject is mistakenly set as a disclosure target.
  • FIG. 26 shows an example of an image set as an open object by checking the check box 195 or the like.
  • non-disclosed subject 198 is included in the image set to be disclosed. In such a case, the unexposed subject 198 is trimmed from the image. A non-public subject 198 is excluded from the image to be released.
  • FIG. 27 shows another example of the image display window 80. As shown in FIG.
  • an image 200 is displayed.
  • the image 200 includes three persons 201, 202 and 203. If the image 200 includes the subjects 201, 202 and 203, the face images of the respective subjects 201, 202 and 203 should be recognized, and the face images should be detected corresponding to the subjects 201, 202 and 203. is there. However, face images corresponding to the number of subjects may not be detected. For example, although the face image of the subject 201 is detected and the face frame F1 is displayed, and the face image of the subject 203 is detected and the face frame F3 is displayed, the face image of the object 202 may not be displayed.
  • the subject detection number 210 is displayed on the image 200. Two persons are displayed as the number of subjects detected from the image 200. Below the image, a confirmation message 211 indicating whether the number of people detected from the image 200 is correct is displayed. By looking at the confirmation message, the user knows that the face that has not been detected is not included in the image 200. For example, by selecting the name corresponding to the name of the subject 202 of the face not detected, for example, from the names displayed in the public / private information display area 120 and selecting the corresponding face, The given name (name) and the image 200 are associated.
  • the processing unit that executes the above-described processing is a programmable circuit whose circuit configuration can be changed after manufacturing, such as a field-programmable gate array (FPGA), in addition to the CPU 2 that executes software and functions as various processing units.
  • FPGA field-programmable gate array
  • a dedicated electric circuit or the like which is a processor having a circuit configuration specially designed to execute a specific process such as a logic device or an application specific integrated circuit (ASIC).
  • One processing unit may be configured with one of these various processors, or configured with a combination of two or more processors of the same or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA) It may be done.
  • a plurality of processing units are configured by one processor
  • one processor is configured by a combination of one or more CPUs and software as represented by a computer such as a client computer or a server.
  • this processor functions as a plurality of processing units.
  • the various processing units are configured using one or more of various processors as a hardware structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit combining circuit elements such as semiconductor elements.
  • the image candidate determination device may be configured by a personal computer, may be configured by a so-called smart device such as a smart phone or a tablet device, or may be configured by a mobile phone such as a feature phone.
  • Image candidate determination device 2 CPU 3: Display device 4: Communication device 5: Hard disk 6: Hard disk drive 7: Memory 8: Keyboard 9: Mouse 10: Compact disk drive , 11: compact disc, 12: memory card reader / writer, 13: memory card, 80: image display window, 81: character string, 82: event management area, 83: add event button, 84: delete event Button, 90: Image display area, 91: Image management tab, 92: Left arrow button, 93: Right arrow button, 94: Image identification number, 95: Character string, 96: Character string, 97: Up arrow button, 98: Slide bar 99: Down arrow button 101: face classification tab 102: public setting tab 110: subject list area 111: face classification button 112: character string 113: character string 114: character string 120 : Public / private information table Area, 121-126: check box, 129: check box, 130: number input button, 140: extracted number input window, 141: minimum number input area, 142: maximum number input area, 143

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

公開される画像においてそれぞれの人物が写っている枚数をできるだけ均一化するために，どの画像を選択すればよいかをアシストする画像候補決定装置，その方法，そのプログラムおよびそのプログラムを格納した記録媒体を提供することを目的とする。複数の画像を入力すると，同一人物が含まれている画像がグループ化される。同一人物について，公開する画像の最高枚数以上の画像がある場合には（ステップ61でＹＥＳ），その同一人物が含まれている画像について総合画像評価値が算出される（ステップ62）。総合画像評価値が小さい画像について，最高枚数未満となるように非公開画像候補に決定する（ステップ63）。

Description

画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
　この発明は，画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体に関する。
　卒業式や運動会などのイベントにおいて，多数の子供たちを撮影し，アルバムなどが作成されている。このために，学校で撮影されるすべての写真や生徒の作品等を一元的に管理し，閲覧，注文が可能なスクールフォト管理サーバなどが考えられている(特許文献１)。また，アルバムを作成するに際して，特定の個人が撮影されている写真画像が極端に多くなったり少なくなったりしないようすることも考えられている。このために，一覧画像の中から画像を選択し，選択された画像の中から人物を抽出し，抽出した人物の登場回数のカウントを行い，登場回数が５回を超えた場合に警告表示を行っている。警告表示が行われるとユーザは選択された画像のうち，削除する画像を選択する(特許文献２)。さらに，ユーザが公開または非公開の設定を行わなくても，所定のルールにしたがって公開または非公開を自動的に決定できる画像公開装置も考えられている(特許文献３)。さらに，複数の被写体をバランスよく撮影することも考えられている(特許文献４)。
特開2014-102715号公報 特開2010-57073号公報 特開2013-191035号公報 特許第5616819号
　元気の良い子供や目立つ子供はたくさんの写真に写る一方で，引っ込み思案な子供や大人しい子供はあまり写真に写らない。特許文献１に記載のものにおいて，そのような状態において写真を販売すると保護者から不平等であるとの苦情を受ける可能性がある。特許文献２に記載のものでは，選択した画像の中から削除する画像を選択するときに，どの画像を選択すればいいのか判断に迷うことがある。特許文献３に記載のものは，画像解析結果にもとづいて画像の公開，非公開を決定しており，特定の人物が多くなったり少なくなったりすることがある。さらに，特許文献４に記載のものは，撮影時において複数の被写体をバランスよく撮影するにすぎない。
　この発明は，公開される画像においてそれぞれの人物が写っている枚数をできるだけ均一化するために，どの画像を選択すればよいかをアシストすることを目的とする。
　この発明による画像候補決定装置は，複数の画像を受け付けて，同一人物が含まれている１以上の画像をグループ化する画像グルーピング手段，および総合画像評価値と，同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する画像候補決定手段を備えていることを特徴とする。
　なおここでグルーピング手段とは，画像候補決定装置が，同一人物が含まれている１以上の画像を認識できるようにすることができればいかなる手段でもよい。例えば，あるフォルダに格納することであってもよいし，あるフラグを立てることであってもよい。
　また，この発明による画像候補決定装置は，複数の画像を受け付けて，同一人物が含まれている１以上の画像をグループ化し，総合画像評価値と，同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，グループ化された画像の中から抽出画像候補または非抽出画像候補を決定するプロセッサを備えていてもよい。
　この発明は，画像候補決定装置に適した画像候補決定方法も提供している。すなわち，この方法は，画像グルーピング手段が，複数の画像を受け付けて，同一人物が含まれている１以上の画像をグループ化し，画像候補決定手段が，総合画像評価値と，同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定することを特徴とする。
　この発明は，画像候補決定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。
　画像候補決定手段によって決定した抽出画像候補または非抽出画像候補を表示画面に表示させる画像候補表示制御手段をさらに備えてもよい。
　総合画像評価値は，たとえば，画像に写っている人物ごとに算出される人物画像評価値に基づいて算出される。
　人物画像評価値は，たとえば，少なくとも顔に関する評価値に基づき算出される。この場合，複数の画像のそれぞれの画像から顔の画像部分を抽出する顔画像部分抽出手段をさらに備え，画像グルーピング手段は，顔画像部分抽出手段によって抽出された顔の画像部分を，同一人物の顔の画像部分ごとにグループ化し，画像候補決定手段は，たとえば，総合画像評価値と，同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する。
　同一人物が含まれている画像の枚数が少ないほど人物画像評価値を大きくする補正係数を用いて人物画像評価値を補正する補正手段をさらに備えてもよい。
　画像候補表示制御手段の制御により表示された抽出画像候補の中から抽出画像または非抽出画像を決定する，あるいは画像候補表示制御手段の制御により表示された非抽出画像候補の中から非抽出画像または抽出画像を決定する画像決定手段をさらに備えてもよい。
　画像決定手段によって決定された抽出画像および非抽出画像のそれぞれの枚数を，画像に含まれる人物ごとに報知する報知手段をさらに備えてもよい。
　複数の画像が，画像に含まれる人物ごとにあらかじめ抽出画像または非抽出画像と規定されている場合には，画像決定手段によって抽出画像または非抽出画像と決定されたことに応じて，抽出画像および非抽出画像のそれぞれの枚数を，画像に含まれる人物ごとに更新して報知する報知手段をさらに備えてもよい。
　画像候補決定手段によって決定される一の非抽出画像候補が非抽出画像とされる，あるいは一の抽出画像候補が抽出画像とされることに応じて，特定の人物が含まれている画像の抽出枚数が制限値から外れる場合に，一の非抽出画像候補または一の抽出画像候補を非抽出画像候補または抽出画像候補から外す画像候補停止手段をさらに備えてもよい。
　画像グルーピング手段は，たとえば，大人については非同一人物を同一人物とみなして画像ごとにグループ化する。
　画像に含まれる人数が多いほど低い人物画像評価値を算出する第１の評価値算出手段をさらに備えてもよい。
　画像候補決定手段は，たとえば，総合画像評価値と，同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，同一人物が含まれている画像の抽出枚数が制限値内に収まるように，画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定してもよい。
　画像グルーピング手段によってグループ化された１以上の画像に含まれている同一人物の数が閾値以下である人物を検出する人物検出手段，および人物検出手段において検出された人物の撮影指示を行う撮影指示手段をさらに備えてもよい。
　この発明によると，複数の画像が受け付けられ，同一人物が含まれている１以上の画像がグループ化される。総合画像評価値と，同一人物が含まれている画像の抽出枚数の制限値(制限値とは上限値，下限値などをいう)と，にもとづいて，グループ化された画像の中から抽出画像候補(抽出画像候補とは画像の中からユーザが抽出するのに適した画像の候補をいう)または非抽出画像候補(非抽出画像候補とは画像の中からユーザが抽出しないのに適した画像の候補をいう)が決定される。抽出画像候補または非抽出画像候補が決定されるので，ユーザは，どの画像を抽出すると好ましいか，あるいはどの画像を抽出しないことが好ましいかが分かる。このため，ユーザは，抽出すると好ましいと考えられる画像の中から抽出する画像を指定したり，抽出すると好ましくないと考えられる画像の中から抽出しない画像を指定したりできる。
画像候補決定装置の電気的構成を示すブロック図である。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 抽出枚数入力ウインドウの一例である。 撮影指示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像の一例である。 画像表示ウインドウの一例である。
　図１は，この発明の実施例を示し，画像候補決定装置１の電気的構成を示すブロック図である。
　画像候補決定装置１の全体の動作は，ＣＰＵ(Central Processing Unit)２によって統括される。
　画像候補決定装置１には，画像その他の情報を表示画面に表示する表示装置３およびインターネットその他のネットワークに接続して画像候補決定装置１以外の装置等と通信する通信装置４が含まれている。また，画像候補決定装置１には，ハードディスク５，ハードディスク５にアクセスするハードディスク・ドライブ６，データ等を記憶するメモリ７，コマンド等を入力するキーボード８およびマウス９も含まれている。さらに，画像候補決定装置１には，コンパクト・ディスク11にアクセスするコンパクト・ディスク・ドライブ10ならびにメモリ・カード13へのデータの書き込みおよびメモリ・カード13に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ12も含まれている。
　後述する画像候補決定装置１の動作プログラムは，インターネットを介して通信装置４において受信される。受信された動作プログラムが画像候補決定装置１にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して画像候補決定装置１に受信されて画像候補決定装置１にインストールされずに，コンパクト・ディスク11などの可搬型記録媒体に記録され，その可搬型記録媒体から読み取られてもよい。その場合には，可搬型記録媒体から読み取られた動作プログラムが画像候補決定装置１にインストールされる。動作プログラムは，画像候補決定装置１のコンピュータ(ＣＰＵ２)が読み取り可能であることは言うまでもない。
　図２から図７は，画像候補決定装置１の処理手順を示すフローチャートである。
　この実施例は，人物を含む画像を多数撮像して画像を公開する場合に，特定人物の画像が多くなったり，少なくなったりするような不均衡をできるだけ解消する。
　この実施例においては，画像候補決定装置１のユーザによって撮影対象となる人物の氏名が画像候補決定装置１に登録されている。次に述べる実施例では，幼稚園の卒園式における画像を多数撮像する。この実施例では，撮影対象となる園児の氏名がユーザ(例えば，幼稚園の教諭)によって画像候補決定装置１にあらかじめ登録されている。
　複数の画像を表す画像データが格納されているメモリ・カード13が画像候補決定装置１に装填されると，メモリ・カード13に格納されている複数の画像を表す画像データがメモリ・カード・リーダ・ライタ12によって読み取られる（図２ステップ21）。読み取られた画像データによって表される画像に含まれる顔の画像部分がＣＰＵ２(顔画像部分抽出手段)によって抽出される（図２ステップ22）。また，抽出された顔の画像部分にもとづいて，ＣＰＵ２(画像グルーピング手段)によって同一人物が含まれている１以上の画像がグループ化される（図２ステップ23）。同じ画像が異なるグループに属するようにしてもよいし，同じ画像は一つのグループのみに属するようにしてもよい。また，抽出された顔の画像部分についてもＣＰＵ２(画像グルーピング手段)によって同一人物の顔の画像部分ごとにグループ化される（図２ステップ24）。
　表示装置３の表示画面には，図８に示す画像表示ウインドウ80が表示される。画像表示ウインドウ80には，画像管理タブ91，顔分類タブ101および公開設定タブ102が含まれており，最初は，画像管理タブ91がクリックされている状態である。画像表示ウインドウ80には，メモリ・カード13から読み取られた画像データによって表される多数の画像(サムネイル画像)が画像表示領域90に一覧で表示されている（図３ステップ25）。
　図８を参照して，画像表示ウインドウ80には，「編集」の文字列81が表示されており，この「編集」の文字列81の下にイベント管理領域82が形成されている。このイベント管理領域82には，「幼稚園」という文字列の下に「卒園式」という文字列が表示されている。イベント管理領域82の下には，「イベント追加」の文字列が表示されているイベント追加ボタン83および「イベント削除」の文字列が表示されているイベント削除ボタン84が形成されている。
　イベント管理領域82には，すでに「卒園式」というイベントが生成されており，メモリ・カード13から読み取られた画像データによって表される画像が，「卒園式」というイベントとして管理されることとなる。具体的には，「幼稚園」という文字列がクリックされた後に，イベント追加ボタン83がクリックされると，画像表示ウインドウ80上にイベント入力ウインドウが現れ，そのイベント入力ウインドウを用いてユーザが新たなイベントを入力する。その時に「卒園式」という文字列をユーザがキーボード８を用いて入力すると，「幼稚園」という文字列の下に「卒園式」という文字列が表示されることとなる。
　「卒園式」という文字列がクリックされた状態で，画像表示領域90に，メモリ・カード13から読み取られた画像データによって表される画像がドラッグ・アンド・ドロップされることにより，「卒園式」というイベントによってドラッグ・アンド・ドロップされた画像が管理されることとなる(この状態が図８に示す状態である)。図８においては「イベント管理領域82に表示されている「卒園式」の文字列の右側に「360」という数字が括弧内に表示されており，360枚の画像が「卒園式」のイベントの画像として管理されていることとなる。イベント管理領域82に表示されている文字列がクリックされた後にイベント削除ボタン84がクリックされると，クリックされている文字列によって特定されるイベントおよびそのイベントによって管理される画像が削除される。
　画像管理タブ91の下には左矢印ボタン92および右矢印ボタン93が形成されている。右矢印ボタン93の右側には指定された画像を特定する画像特定番号94が表示されている。この画像特定番号94によって表される数字が指定されている画像を表している。図８に示す例では，画像特定番号94には，「11/360」の文字列が表示されているから，「卒園式」のイベントとして管理されている360枚の画像のうち11枚目の画像が指定されていることを示している。画像特定番号94は分数によって表されており，分母がイベントによって管理されている枚数を示し，分子が指定されている画像を番号順で特定している。左矢印ボタン92が１回クリックされると画像特定番号94の分子が一つ減り，右矢印ボタン93が１回クリックされると画像特定番号94の分子が一つ増える。好ましくは，画像特定番号94によって特定される画像を枠で囲むなどをして特定されている画像がユーザにわかるようにするとよい。
　画像特定番号94の右には，「リスト表示」の文字列95が表示されている。「リスト表示」の文字列95の左側のチェック・ボックスにチェックが入っていると(初期状態ではチェックが入っている)図８に示すように画像表示領域90に複数の画像が一覧で表示される。「リスト表示」の文字列95の左側のチェック・ボックスが外されると画像特定番号94によって特定される一つの画像が画像表示領域90に表示される(図９参照)。
　画像表示領域90に表示されている複数の画像のそれぞれの画像の下には，公開ステータスと画像ファイル名とが表示されている。この実施例では，公開ステータスとして「公開」，「非公開」および「保留」の３種類がある。公開ステータスのうち「公開」は画像を公開する状態を示し，公開ステータスのうち「非公開」は画像を非公開とする状態を示し，公開ステータスのうち「保留」は「公開」または「非公開」のいずれも決まっていない状態を示す。たとえば，ユーザは，「公開」の画像のみを用いてアルバムを制作したり，「公開」の画像のみをプリントしたりする。
　画像表示領域90の右端部には，上矢印ボタン97，スライド・バー98および下矢印ボタン99が形成されている。上矢印ボタン97がクリックされる，あるいはスライド・バー98が上方向にドラッグされることにより画像表示領域90が上方向にスクロールされ，下矢印ボタン99がクリックされる，あるいはスライド・バー98が下方向にドラッグされることにより画像表示領域90が下方向にスクロールされる。
　画像表示領域90に表示されている画像のうち，いずれかの画像がクリックされると（図３ステップ26でＹＥＳ），クリックされた画像の公開ステータスが，クリックに応じて変えられる（図３ステップ27）。初期状態では，すべての画像の公開ステータスは「保留」とされており，公開ステータスが「保留」とされている画像が１回クリックされると公開ステータスは「公開」となり，公開ステータスが「公開」となった画像が，さらに１回クリックされると公開ステータスは「非公開」となる。公開ステータスが「非公開」となった画像が，さらに１回クリックされると公開ステータスは「保留」となる。このように画像がクリックされるごとに公開ステータスが順に変わる。もっとも，公開ステータスから「保留」を無くし，「公開」と「非公開」としてもよい。その場合には，初期状態ではすべての画像の公開ステータスは「公開」または「非公開」とされ(画像に含まれる人物ごとにあらかじめ抽出画像または非抽出画像と規定され)，画像のクリックに応じて(抽出画像または非抽出画像との決定)公開ステータスが「公開」または「非公開」に切り替わる)。
　左矢印ボタン92または右矢印ボタン93がクリックされると（図３ステップ28でＹＥＳ），左矢印ボタン92がクリックされた場合には画像特定番号94の分子が一つ減り，右矢印ボタン93がクリックされた場合には画像特定番号94の分子が一つ増えて，画像の指定が変わる（図３ステップ29）。
　リスト表示の文字列95のチェック・ボックスのチェックが外されると（図３ステップ30でＹＥＳ），画像特定番号94によって特定される画像が画像表示領域90に拡大表示される（図３ステップ31）。
　図９は，画像表示領域90に画像が拡大表示されている様子を示している。
　図９において，図８に示す構成と同一の構成については同一符号を付して説明を省略する。
　「リスト表示」の文字列95の右側には「顔情報表示」の文字列96が表示されている。「顔情報表示」の文字列96の左側にもチェック・ボックスが形成されている。
　図９に示す例は，図８において画像特定番号94には「11/360」の文字列が表示されていた場合に「リスト表示」の文字列95のチェック・ボックスのチェックが外されたものとする。すると，図９に示す画像表示領域90には，「11/360」の文字列によって特定される画像ファイル名「0011.jpg」の画像が拡大されて表示されることとなる。画像表示領域90に拡大表示されている画像の下には公開ステータス（保留）と画像ファイル名（0011.jpg）とが表示されている。
　「顔情報表示」の文字列96の左側のチェック・ボックスがチェックされると（図３ステップ32でＹＥＳ），画像表示領域90に表示されている画像に含まれている顔画像部分を囲む顔枠が表示される（図３ステップ33）。この顔枠の表示は，すでに行われている顔画像部分の抽出処理(図２ステップ22)にもとづいて行われる。画像候補決定装置１のユーザ(この場合は幼稚園の教諭)によって対象となる被写体(この場合は園児)の氏名が入力されており，詳しくは後述するように(図11，図12などを参照)，どの顔の画像が誰なのかがユーザによって特定される。ユーザによって特定された氏名の顔と同一人物の顔の画像が画像候補決定装置１において見つけられ，見つけられた顔の画像についても氏名と関連付けられる(たとえば，画像ファイルのヘッダに，その顔の氏名が顔の位置の情報に対応して格納される)。このようなユーザの処理により，顔の画像と氏名との関連付けがすでに行われている場合には，顔枠に対応して，その顔の人物の氏名も表示される。
　図10は，顔情報表示の文字列96の左側のチェック・ボックスがチェックされ，画像表示領域90に表示されている画像に含まれている顔の画像部分が顔枠により囲まれている様子を示している。
　顔枠Ｆ１，Ｆ４，Ｆ３およびＦ２によって囲まれている顔は，それぞれ「佐藤太郎」，「田中次郎」，「伊藤花子」および「鈴木春子」という氏名の人物(園児)であり，それぞれの顔枠Ｆ１，Ｆ４，Ｆ３およびＦ２の近く(上部)にそれぞれの氏名が表示されている。顔枠Ｆによって囲まれている顔は，ユーザによって氏名と関連づけがされていない(未分類)ため氏名が表示されていない。顔情報表示の文字列96の左側のチェック・ボックスがチェックされることにより，画像に含まれている人物の氏名が表示され，画像に含まれている人物の氏名をユーザが確認できる。
　顔情報表示の文字列96の左側のチェック・ボックスのチェックが外されると（図３ステップ34でＹＥＳ），図10に示すように画像に含まれる顔が枠により囲まれており，氏名が関連づけられている顔については氏名が表示されている状態から，図９に示すように氏名が消去された状態に戻される（図３ステップ35）。
　ユーザによって顔分類タブ101がクリックされると（図３ステップ36でＹＥＳ），画像表示ウインドウ80には，図11に示すように顔の画像部分が一覧で表示される（図４ステップ38）。また，ユーザによって公開設定タブ102がクリックされると（図３ステップ37でＹＥＳ），画像表示ウインドウ80は，図13に示すように画像の公開，非公開を設定する公開/非公開設定画像を表示する（図５ステップ49）。
　ユーザによって顔分類タブ101がクリックされたた場合，表示装置３の表示画面には図11に示す画像表示ウインドウ80が表示される。図11において，図８から図10に示す構成と同一の構成については同一符号を付して説明を省略する。
　画像表示領域90には，図２ステップ22の処理において抽出された顔の画像部分が一覧で表示される。顔の画像部分は，その顔の画像部分が含まれている画像のファイル名順で画像表示領域90に表示されるが，必ずしもそうでなくともよい。
　画像表示領域90の左側には被写体リスト領域110が形成されている。被写体リスト領域110には，上述のようにユーザによってあらかじめ画像候補決定装置１に登録されている氏名が一覧で表示されている。また，その氏名に対応して，その氏名の人物が写っている画像の枚数も表示されている。被写体リスト領域110に表示されている氏名はユーザが選択(クリック)できる。
　画像表示領域90の上部には，「顔分類」の文字列が表示されている顔分類ボタン111，「選択園児表示」の文字列112，「非選択園児表示」の文字列113および「未分類顔表示」の文字列114が表示されている。「選択園児表示」の文字列112，「非選択園児表示」の文字列113および「未分類顔表示」の文字列114のそれぞれの左側にはチェック・ボックスが形成されている。
　顔分類ボタン111がクリックされると，同一人物の顔の画像部分がまとまって(隣接するように)画像表示領域90に表示される。「選択園児表示」の文字列112の左側のチェック・ボックスがチェックされると，被写体リスト領域110に表示されている氏名のうち，選択されている氏名の人物の顔画像が画像表示領域90に表示される。たとえば，被写体リスト領域110に表示されている氏名のうち「佐藤太郎」が選択されている状態で「選択園児表示」の文字列112の左側のチェック・ボックスがチェックされると，画像表示領域90には
「佐藤太郎」の顔画像が表示される。
　「非選択園児表示」の文字列113の左側のチェック・ボックスがチェックされると，被写体リスト領域110に表示されている氏名のうち，選択されている氏名以外の人物の顔画像が画像表示領域90に表示される。たとえば，被写体リスト領域110に表示されている氏名のうち「佐藤太郎」が選択されている状態で「非選択園児表示」の文字列113の左側のチェック・ボックスがチェックされると，画像表示領域90には「佐藤太郎」以外の顔画像が表示される。「未分類顔表示」の文字列114の左側のチェック・ボックスがチェックされると，未分類(上述したようにユーザによって氏名と顔の画像とが関連づけられていない)の人物の顔画像が画像表示領域90に表示される。
　顔分類タブ101がクリックされ，画像表示領域90に表示されている顔の画像部分が表示されると，その顔に氏名を関連づけることができる。顔の画像部分が含まれる画像を表す画像ファイルのヘッダに顔の画像部分の位置情報と関連付けられて氏名の情報が格納されることにより顔と氏名との関連付けが行われる。画像表示領域90に表示されている顔の画像部分のうち，氏名と関連付けられていない顔の画像部分については，その顔の画像部分が含まれている画像のファイル名のみが表示される。氏名と関連付けられている顔の画像部分については，その顔の画像部分が含まれて類画像のファイル名と氏名とが表示される。
　画像表示領域90に表示されている顔の画像部分に氏名を関連付ける場合には，被写体リスト領域110に表示されている氏名のうち，いずれかの氏名がユーザによってクリックされ（図４ステップ39でＹＥＳ），その氏名の顔の画像部分がユーザによってクリックされる（図４ステップ40でＹＥＳ）。すると，上述したようにその顔の画像部分を含む画像ファイルのヘッダに顔の画像部分の位置情報とともに氏名情報が格納される。クリックされた顔の画像部分の上部に，その顔画像部分を含む画像のファイル名とともに選択された氏名が表示されるようになる（図４ステップ41）。
　つづいて，氏名が関連付けられた第１画像評価値がＣＰＵ２によって算出される（図４ステップ42，第１画像評価値が本発明における人物画像評価値に相当する）。この第１画像評価値は，関連付けられた氏名の人物にとっての評価値である。ある画像に二人の人物が含まれている場合に，同じ画像であっても，一方の人物についての第１画像評価値と，他方の人物についての第１画像評価値とは異なる。
　第１画像評価値は，画像に含まれる人数，画像に含まれる顔のサイズなどの評価パラメータにしたがって算出される。表１は，画像に含まれる人数による人数得点テーブルの一例である。
Figure JPOXMLDOC01-appb-T000001
　画像に含まれる人物の人数が少なすぎず，多すぎないほど，バランスよい画像であり画像に含まれている人物が適度に目立っていると考えられ，その人物にとっての画像の価値は高いと考えられる。このために，画像に含まれる人数が５人程度であれば人数得点が高くなり，画像に含まれる人数が少なくなったり，多くなったりすると人数得点が低くなるようにＣＰＵ２(第１の画像評価値算出手段)によって算出される。もっとも，画像に含まれる人数が少ないほど人数得点を高くし，画像に含まれる人数が多いほど得点を高くしてもよい。
　表２は画像に含まれる顔のサイズによる顔サイズ得点テーブルの一例である。表２において顔のサイズは画像に対する顔のサイズを示している。たとえば，顔のサイズが「1/15」とあるのは，顔のサイズが画像のサイズに対して1/15であることを示している。サイズは顔を矩形の枠により囲んだ場合に，画像の横の画素数と顔の画像部分の横の画素数とを利用してもよいし，画像の縦の画素数と顔の画像部分の縦の画素数とを利用してもよいし，画像全体の領域の画素数と顔の領域の画素数とを利用してもよい。
Figure JPOXMLDOC01-appb-T000002
　画像に含まれる人物の顔のサイズが大きすぎても小さすぎても，画像のバランスが良くないので，適度な比率(ここでは1/6)のときに，顔サイズ得点が一番高くなり，その比率より離れるほど顔サイズ得点が低くなるように設定されている。
　評価パラメータは，画像に含まれる人数，画像に含まれる顔のサイズなどのほかに，画像に含まれる顔の画像部分のピントの程度，画像に含まれる顔の中の目の開き具合，画像に含まれる顔の表情などから算出される表情得点も利用され，顔得点が算出される。顔の画像部分のピントが合っている顔ほど，表情得点は高くなり，目がきちんと開いているほど，表情得点は高くなり，顔の表情が笑顔であるほど，表情得点は高くなるように，評価パラメータに対応して表情得点が設定されている。
　この実施例では，人数得点，顔サイズ得点，および表情得点の和により，第１画像評価値の素点が算出される。
　この他に，１枚の画像全体の画質が良い(例えばピントが合っている)ほど，得点が高くなる，画質得点を定義して素点の算出に用いてもよい。
　さらに，この実施例では，特定の人物が写っている画像の枚数に応じて第１画像評価値が補正される。このために，特定の人物が写っている画像の枚数が少ないほど，その人物にとっての第１画像評価値は高く，特定の人物が写っている画像の枚数が多いほど，その人物にとっての第１画像評価値は低くなるように重み付けが行われる。
　表３は，重み付けテーブルの一例である。表３において最大値は，公開する画像の中で同一人物が写っている画像の最大値であり，たとえば「６」である。
Figure JPOXMLDOC01-appb-T000003
　人物ごとの第１画像評価値が画像ごとに算出されることとなる。
　表４は，「佐藤太郎」の画像ごとの第１画像評価値を示している。
Figure JPOXMLDOC01-appb-T000004
　表４には，画像ファイル名「0022.jpg」，「0019.jpg」，「0021.jpg」，「0013.jpg」，「0020.jpg」および「0018.jpg」の６枚の画像について，「佐藤太郎」からとらえた第１画像評価値が示されている。「佐藤太郎」は，これらの６枚の画像に写っていることとなる。「佐藤太郎」にとって，たとえば，ファイル名「0022.jpg」の第１画像評価値の素点は「40」であり，他の第１画像評価値の素点も示されている。これらの素点が正規化され，かつ正規化された素点に重み付けされた点数が，「佐藤太郎」についてのそれぞれの第１画像評価値である。「佐藤太郎」は，６枚の画像(重み付けテーブルに規定されている最大値と同じ枚数の画像)に写っているので，重み付け係数は最大値の「×１」となり，重み付け係数による補正後の第１画像評価値が正規化された素点と同じとなる。もちろん，重み付け係数が「×１」でなければ重み付け係数による補正後の第１画像評価値と正規化された素点とは異なることとなる。このように，同一人物が含まれている画像の枚数が少ないほど第１画像評価値を大きくし，同一人物が含まれている画像の枚数が多いほど第１画像評価値を小さくする重み付け係数(補正係数)を用いて第１画像評価値をＣＰＵ２(補正手段)によって補正することが好ましい。
　「佐藤太郎」だけでなく，他の氏名をもつ人物についても，人物にとっての画像評価値が画像ごとに算出される。
　表５は，「佐藤太郎」が写っている６枚の画像について，それらの６枚の画像に含まれている人物にとっての第１画像評価値を示し，かつ，１枚の画像についての総合的な画像評価値である第２画像評価値を示している（第２画像評価値が本発明の総合画像評価値に相当する）。
Figure JPOXMLDOC01-appb-T000005
　画像ファイル名「0022.jpg」の画像には「佐藤太郎」のほかに「鈴木春子」が含まれており，画像ファイル名「0019.jpg」の画像には「佐藤太郎」のほかに「伊藤花子」が含まれており，画像ファイル名「0021.jpg」の画像には「佐藤太郎」のほかに「鈴木春子」および「田中次郎」が含まれており，画像ファイル名「0013.jpg」の画像には「佐藤太郎」のほかに「伊藤花子」が含まれており，画像ファイル名「0020.jpg」の画像には「佐藤太郎」のほかに「鈴木春子」，「伊藤花子」，「田中次郎」および「渡辺一郎」が含まれており，画像ファイル名「0018.jpg」の画像には「佐藤太郎」のほかに「渡辺一郎」が含まれていることが分かる。
　たとえば，画像ファイル名「0022.jpg」の画像の第１画像評価値は「佐藤太郎」にとっては「20」であるが，「鈴木春子」にとっては「200」であり，画像ファイル名「0022.jpg」の画像の総合的な画像評価値である第２画像評価値は，「佐藤太郎」にとっての第１画像評価値である「20」と「鈴木春子」にとっての第１画像評価値である「200」のと和である，「220」となる。他の画像についても同様に，画像ファイル名「0019.jpg」の画像の第２画像評価値は「62.5」，画像ファイル名「0021.jpg」の画像の第２画像評価値は「367」，画像ファイル名「0013.jpg」の画像の第２画像評価値は「63」，画像ファイル名「0020.jpg」の画像の第２画像評価値は「1023」，画像ファイル名「0018.jpg」の画像の第２画像評価値は「414.5」であることが分かる。これらのことから，これらの６枚の画像のうち，第２画像評価値が最も高い画像ファイル名「0020.jpg」の画像が，画像としての重要度が最も高く，第２画像評価値が最も低い画像ファイル名「0019.jpg」の画像が，画像としての重要度が最も低いことが分かる。このように，画像に含まれる人物ごとに異なる第１画像評価値を画像ごとに加算し，加算して得られる総和をＣＰＵ２(第２の画像評価値算出手段)によって算出し，その総和を第２画像評価値とすることが好ましい。
なお，第２画像評価値は，画像に写っている人物ごとに算出される人物第１画像評価値に基づいて，第１画像評価値が高くなるほど第２画像評価値が高くなるような算出方法であればいかなる方法であってもよく，重み付けをした上で第１画像評価値を総和して算出してもよい。たとえば，全園児参加の行事における画像群について，今後の撮影機会の多少を考慮して，学年が上である園児ほど重く（したがって学年が下である園児ほど軽く）第１画像評価値に重み付けを行った上で，総和をとって第２画像評価値を算出することとしてもよい。
　この実施例では，これらの６枚の画像のうち，非公開の画像を決定する場合には，第２画像評価値の低い画像の順に非公開画像候補(非抽出画像候補)と決定し，公開の画像を決定する場合には第２画像評価値の高い画像の順に公開画像候補(公開画像候補)と決定する。画像が公開または非公開に変わった場合には，改めて第１画像評価値および第２画像評価値が算出される。
　上述の実施例において，画像に複数の顔の画像部分が含まれている場合，それらの顔の画像部分の評価値の和を算出し，算出した和を総合画像評価値としてもよい。たとえば，表５を参照して画像ファイル名「0022.jpg」の画像に「佐藤太郎」の氏名をもつ顔の画像部分が含まれ，その顔の画像部分の評価値が「20」であったとする。また，その画像ファイル名「0022.jpg」の画像に「鈴木春子」の氏名をもつ顔の画像部分が含まれ，その顔の画像部分の評価値が「200」であったとする。それらの顔の画像部分の評価値の和を算出し，得られた評価値の和「220」を総合画像評価値とすることができる。
　左矢印ボタン92または右矢印ボタン93の矢印ボタンがクリックされると（図４ステップ43でＹＥＳ），これらの左矢印ボタン92または右矢印ボタン93のクリックに応じて，画像の指定が変わる（図４ステップ44）。画像特定番号94の数字も変わる。
　顔分類ボタン111がクリックされると（図４ステップ45でＹＥＳ），図12に示すように顔の画像部分が同一人物ごとに分類して表示される（図４ステップ46）。
　図12を参照して，顔画像グループＧ１には，画像ファイル名「0021.jpg」の画像に含まれる顔の画像部分，画像ファイル名「0019.jpg」の画像に含まれる顔の画像部分，画像ファイル名「0020.jpg」の画像に含まれる顔の画像部分，画像ファイル名「0018.jpg」の画像に含まれる顔の画像部分が含まれている。顔画像グループＧ１には，画像ファイル名「0022.jpg」の画像に含まれる顔の画像部分および画像ファイル名「0013.jpg」の画像に含まれる顔の画像部分も含まれているが，図12では見えない。顔画像グループＧ１は，「佐藤太郎」の顔画像部分が含まれていることとなる。
　また，顔画像グループＧ２には，画像ファイル名「0027.jpg」の画像に含まれる顔の画像部分，画像ファイル名「0014.jpg」の画像に含まれ顔の画像部分および画像ファイル名「0028.jpg」の画像に含まれる顔の画像部分が含まれている。顔画像グループＧ２に含まれている顔の画像部分も同一人物を表している。同様に，顔画像グループＧ３には，画像ファイル名「0027.jpg」の画像に含まれる顔の画像部分および画像ファイル名「0014.jpg」の画像に含まれる顔の画像部分が含まれている。顔画像グループＧ３に含まれている顔の画像部分も同一人物を表している。
　図12に示す状態の画像表示ウインドウ80においても，図11に示す状態の画像表示ウインドウ80と同様に，被写体リスト領域110に表示されている氏名がクリックされた後に（図４ステップ39でＹＥＳ），顔の画像部分がクリックされると（図４ステップ40），クリックされた顔の画像部分と氏名とが関連づけられる（図４ステップ41）。また，図12に示すように顔画像グループに分類されている場合には，被写体リスト領域110に表示されている氏名がクリックされた後に（図４ステップ39でＹＥＳ），いずれかの顔画像グループに含まれている顔の画像部分またはいずれかの顔画像グループの領域内であって顔の画像部分以外の領域がクリックされたことにより，クリックされた部分を含む顔画像グループに含まれるすべての顔の画像部分と氏名とが関連づけられてもよい。顔画像グループに含まれるすべての顔の画像部分について氏名との関連付けが比較的簡単にできるようになる。
　また，画像管理タブ91がクリックされると（図４ステップ47でＹＥＳ），図３に示す処理に移行する。さらに，公開設定タブ102がクリックされると（図４ステップ48でＹＥＳ），画像表示ウインドウ80には図13に示すような公開/非公開設定画像が表示される（図５ステップ49）。
　図13において，図８から図12に示す構成と同一の構成については同一符号を付して説明を省略する。
　画像表示領域90には，公開設定タブ102がクリックされる前に画像特定番号94によって特定されていた画像が表示される。図13においては，画像ファイル名「0022.jpg」の画像が画像特定番号によって特定されていたものとする。画像表示領域90には，画像ファイル名「0022.jpg」の画像が表示されている。画像ファイル名「0022.jpg」の画像には，「佐藤太郎」と「鈴木春子」が含まれている。「佐藤太郎」の顔は顔枠Ｆ１により囲まれており，その顔枠Ｆ１の上部に「佐藤太郎」の氏名が表示されている。「鈴木春子」の顔は顔枠Ｆ２により囲まれており，その顔枠Ｆ２の上部に「鈴木春子」の氏名が表示されている。
　画像表示領域90の左側には公開/非公開情報表示領域120が形成されている。公開/非公開情報表示領域120には，被写体の氏名が表示されている。被写体の氏名の左側にはチェック・ボックス121-126，129などが形成されている。チェック・ボックス129の右側には人物名として「教諭・保護者」と表示されている。幼稚園の卒園式の場合，園児が主役であり，教諭や保護者は脇役であることが多いため，人物ごとに分けずに同一人物として扱っているからである。このように，教諭や保護者のような大人については，同一人物とみなして画像ごとにＣＰＵ２(画像グルーピング手段)によってグループ化してもよい。もちろん，教諭および保護者を同一人物として扱わずに人物ごとに分けて扱ってもよい。画像表示領域90に表示されている画像に含まれている人物(氏名が表示されている人物)に対応する氏名のチェック・ボックスがチェックされている。図13に示す例では，画像表示領域90に表示されている画像には「佐藤太郎」と「鈴木春子」とが含まれており，「佐藤太郎」の氏名の左側のチェック・ボックス121と「鈴木春子」の氏名の左側のチェック・ボックス122とがチェックされている。
　また，被写体の氏名の右側には，その被写体が含まれている画像のうち「非公開」に設定されている状態の枚数(非抽出画像の枚数)，「保留」の状態の枚数，「公開」に設定されている状態の枚数(抽出画像の枚数)が人物ごとにＣＰＵ２(表示制御手段)の制御のもとに表示装置３(報知手段)に表示されている画像表示ウインドウ80の被写体リスト領域110に表示されている。
　画像表示領域90に表示されている画像がクリックされると（図５ステップ50でＹＥＳ），図３ステップ27の処理と同様にクリックに応じてクリックされた画像の公開ステータスが変わる（図５ステップ51）。画像の公開ステータスが「保留」の状態で画像が一回クリックされると公開ステータスは「公開」となる。公開/非公開情報表示領域120の「佐藤太郎」および「鈴木春子」のそれぞれの氏名の「公開」の枚数が「０」から「１」に変更される。また，「佐藤太郎」の氏名の「保留」の枚数が「６」から「５」となり，「鈴木春子」の氏名の「保留」の枚数が「３」から「２」となる。画像がさらに一回クリックされると，公開ステータスは「非公開」となる。公開/非公開情報表示領域の「佐藤太郎」および「鈴木春子」のそれぞれの氏名の「公開」の枚数が「１」から「０」に戻され，かつそれぞれの「非公開」の枚数が「０」から「１」に変更される。
　公開ステータスに「保留」が含まれていず，「非公開」と「公開」との二種類の場合には，画像表示領域90に表示されている画像が一回クリックされるごとに，公開ステータスが「非公開」と「公開」との間で切り替わり，公開/非公開情報表示領域120に表示されている「非公開」の画像の枚数と「公開」の画像の枚数とが，画像に含まれる人物ごとにＣＰＵ２によって更新されて，表示装置３(報知手段)に表示されている画像表示ウインドウ80の公開/非公開情報表示領域120に表示(報知)される。
　左矢印ボタン92または右矢印ボタン93のいずれかの矢印ボタンがクリックされると（図５ステップ52でＹＥＳ），画像特定番号94が減少したり，増加したりして画像の指定が変わる（図５ステップ53）。図13においては，「佐藤太郎」が含まれている６枚の画像のうちの１枚が画像表示ウインドウ80に表示されており，画像特定番号94は「1/6」となっている。これは，図12に示す画像表示ウインドウ80に含まれる被写体リスト領域110において「佐藤太郎」が選択されている状態で公開設定タブ102がクリックされたからである。
画像表示領域90に表示されている画像には「佐藤太郎」と「鈴木春子」とが含まれている。「佐藤太郎」の顔は顔枠Ｆ１によって囲まれており，その顔枠Ｆ１の上部に「佐藤太郎」という氏名が表示されている。同様に「鈴木春子」の顔は顔枠Ｆ２によって囲まれており，その顔枠Ｆ２の上部に「鈴木春子」という氏名が表示されている。
　図13に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると，表示装置３の表示画面には図14に示す画像表示ウインドウ80が表示される。
　図14を参照して，画像表示領域90に表示されている画像には，「佐藤太郎」と「伊藤花子」との他に氏名が決定されていない(図11，図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物とが含まれている。「佐藤太郎」の顔は顔枠Ｆ１によって囲まれており，その顔枠Ｆ１の上部に「佐藤太郎」という氏名が表示されている。同様に「伊藤花子」の顔は顔枠Ｆ３によって囲まれており，その顔枠Ｆ３の上部に「伊藤花子」という氏名が表示されている。氏名が決定されていない未分類の人物の顔は顔枠Ｆによって囲まれている。未分類の顔枠Ｆの上部には顔の画像部分と氏名とが関連づけられていないことが分かるように「未分類」の文字列が表示されている。また，「佐藤太郎」が含まれている６枚の画像のうちの２枚目の画像であることが分かるように，画像特定番号94が「1/6」から「2/6」に変わっている。
　図14に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると，表示装置３の表示画面には図15に示す画像表示ウインドウ80が表示される。
　図15を参照して，画像表示領域90に表示されている画像には，「佐藤太郎」と「鈴木春子」と「田中次郎」との他に氏名が決定されていない(図11，図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物とが含まれている。「佐藤太郎」の顔は顔枠Ｆ１によって囲まれており，その顔枠Ｆ１の上部に「佐藤太郎」という氏名が表示されている。同様に「鈴木春子」の顔は顔枠Ｆ２によって囲まれており，その顔枠Ｆ２の上部に「鈴木春子」という氏名が表示されており，「田中次郎」の顔は顔枠Ｆ４によって囲まれており，その顔枠Ｆ４の上部に「田中次郎」という氏名が表示されている。氏名が決定されていない未分類の人物の顔は顔枠Ｆによって囲まれている。未分類の顔枠Ｆの上部には「未分類」の文字列が表示されている。また，「佐藤太郎」が含まれている６枚の画像のうちの３枚目の画像であることが分かるように，画像特定番号94が「2/6」から「3/6」に変わっている。
　図15に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると，表示装置３の表示画面には図16に示す画像表示ウインドウ80が表示される。
　図16を参照して，画像表示領域90に表示されている画像には，「佐藤太郎」と「伊藤花子」との他に氏名が決定されていない(図11，図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物とが含まれている。「佐藤太郎」の顔は顔枠Ｆ１によって囲まれており，その顔枠Ｆ１の上部に「佐藤太郎」という氏名が表示されている。同様に「伊藤花子」の顔は顔枠Ｆ３によって囲まれており，氏名が決定されていない未分類の人物の顔は顔枠Ｆによって囲まれている。未分類の顔枠Ｆの上部には「未分類」の文字列が表示されている。また，「佐藤太郎」が含まれている６枚の画像のうちの４枚目の画像であることが分かるように，画像特定番号94が「3/6」から「4/6」に変わっている。
　図16に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると，表示装置３の表示画面には図17に示す画像表示ウインドウ80が表示される。
　図17を参照して，画像表示領域90に表示されている画像には，「佐藤太郎」，「鈴木春子」，「伊藤花子」，「田中次郎」および「渡辺一郎」との他に氏名が決定されていない(図11，図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物とが含まれている。「佐藤太郎」の顔は顔枠Ｆ１によって囲まれており，その顔枠Ｆ１の上部に「佐藤太郎」という氏名が表示されている。同様に「鈴木春子」の顔は顔枠Ｆ２によって囲まれており，「伊藤花子」の顔は顔枠Ｆ３によって囲まれており，「田中次郎」の顔は顔枠Ｆ４によって囲まれており，「渡辺一郎」の顔は顔枠Ｆ５によって囲まれている。氏名が決定されていない未分類の人物の顔は顔枠Ｆによって囲まれており，未分類の顔枠Ｆの上部には「未分類」の文字列が表示されている。また，「佐藤太郎」が含まれている６枚の画像のうちの５枚目の画像であることが分かるように，画像特定番号94が「4/6」から「5/6」に変わっている。
　図17に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると，表示装置３の表示画面には図18に示す画像表示ウインドウ80が表示される。
　図18を参照して，画像表示領域90に表示されている画像には，「佐藤太郎」，「渡辺一郎」および大人または保護者が含まれている。また，画像表示領域90に表示されている画像には，氏名が決定されていない(図11，図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物も含まれている。「佐藤太郎」の顔は顔枠Ｆ１によって囲まれており，その顔枠Ｆ１の上部に「佐藤太郎」という氏名が表示されている。同様に「渡辺一郎」の顔は顔枠Ｆ５によって囲まれており，大人または保護者の顔は顔枠Ｆ６によって囲まれている。氏名が決定されていない未分類の人物の顔は顔枠Ｆによって囲まれており，未分類の顔枠Ｆの上部には「未分類」の文字列が表示されている。また，「佐藤太郎」が含まれている６枚の画像のうちの６枚目の画像であることが分かるように，画像特定番号94が「5/6」から「6/6」に変わっている。
　図18に示す画像表示ウインドウ80が表示されている状態で，左矢印ボタン92がクリックされると，クリックされるごとに右矢印ボタン93がクリックされる前に表示されていた画像が画像表示ウインドウ80の画像表示領域90に表示されることとなる。
　図13から図18に示すように右矢印ボタン93または左矢印ボタン92がクリックされるごとに「佐藤太郎」の氏名を含む人物を順番に画像表示領域90に表示させることができる。図13から図18に示す画像表示ウインドウ80の画像表示領域90に表示されているいずれの画像においても画像がクリックされるごとに公開ステータスが「公開」，「非公開」または「保留」に順に変わり，画像表示領域90に表示されている画像を公開とするか非公開とするかをユーザが指定できる。「佐藤太郎」の氏名を含む人物が含まれていない画像についても同様に画像を公開とするか非公開とするかをユーザが指定できる。
　たとえば，図13から図18に示すように公開設定タブ102がクリックされている状態で，被写体リスト領域110に表示されている氏名がクリックされると(選択されると)，クリックされた氏名の人物が含まれている画像が画像表示領域90に表示される。たとえば，被写体リスト領域110に表示されている氏名のうち「鈴木春子」がクリックされると，「鈴木春子」が含まれている画像のうち１枚目の画像が画像表示領域90に表示される。「鈴木春子」が含まれている画像(「鈴木春子」の氏名と画像との関連付けが行われている画像)は，３枚であるから(被写体リスト領域110の「鈴木春子」の氏名に対応して表示されている非公開の画像の数，保留の画像の数および公開の画像の数の合計が３であるから３枚となる)，画像表示領域90に「鈴木春子」の画像が表示されている状態で右矢印ボタン93をクリックすると，それらの３枚の画像が順に画像表示領域90に表示される。
　枚数入力ボタン130がクリックされると（図５ステップ54でＹＥＳ），画像表示ウインドウ80が表示されている状態で(画像表示ウインドウ80が一時的に消えてもよい)表示装置３の表示画面には，図19に示す抽出枚数入力ウインドウ140が表示される（図５ステップ55）。
　図19を参照して，抽出枚数入力ウインドウ140は，同一人物が含まれている画像について公開する最低枚数と最高枚数(公開する画像の最低枚数と最高枚数とが画像の抽出枚数の制限値である)を入力するものである。抽出枚数入力ウインドウ140には「抽出枚数を入力して下さい。」との文字列が表示されており，最低枚数入力領域141および最高枚数入力領域142が形成されている。最低枚数入力領域141をクリックすることにより最低枚数入力領域141に，同一人物が含まれている画像について公開する最低枚数をキーボード８から入力でき，最高枚数入力領域142をクリックすることにより最高枚数入力領域142に，同一人物が含まれている画像について公開する画像の最高枚数をキーボード８から入力できる。抽出枚数入力ウインドウ140の右下には「決定」の文字列が表示されている決定ボタン143が形成されている。
　最低枚数入力領域141に最低枚数が入力され，最高枚数入力領域142に最高枚数が入力され(最低枚数または最高枚数のいずれかを入力してもよい)（図５ステップ56），かつ決定ボタン143がクリックされると（図５ステップ57でＹＥＳ），入力された抽出枚数(最低抽出枚数，最高抽出枚数)がメモリ７に記憶される（図５ステップ58）。抽出枚数入力ウインドウ140は表示装置３の表示画面から消える。
　同一人物が含まれており，かつ公開とされている画像の枚数が，入力された最高枚数よりも多い画像があるかどうかがＣＰＵ２によって確認される（図６ステップ61）。入力された最高枚数よりも多い画像がある場合には（図６ステップ61でＹＥＳ），その同一人物が含まれている画像について第１画像評価値および第２画像評価値がＣＰＵ２によって算出され（図６ステップ62），同一人物が含まれている画像の最高枚数内(制限値内)に収まるように，公開とされている画像の中から非公開画像候補がＣＰＵ２(画像候補決定手段)によって決定される（図６ステップ63）。
　たとえば，「佐藤太郎」が含まれている画像が，ファイル名「0022.jpg」，「0019.jpg」，「0021.jpg」，「0013.jpg」，「0020.jpg」および「0018.jpg」をもつ６枚の画像であるとする。すると，それらの６枚の第２画像評価値はたとえば，表５に示した値となる。また，入力された最高枚数が５枚であったとする。すると，非公開画像候補として６枚の画像のうち，１枚がＣＰＵ２によって決定される。表５からわかるように６枚の画像の第２画像評価値のうち，最も第２画像評価値が低い画像は「0019.jpg」の画像ファイル名をもつ画像であるから，その「0019.jpg」の画像ファイル名をもつ画像が非公開画像としてＣＰＵ２(画像候補決定手段)決定される。このようにして，第２画像評価値と同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，グループ化された画像の中から非公開画像候補(非抽出画像候補)が決定される。
　逆に，６枚の画像の第２画像評価値のうち，第２画像評価値の高い順に５枚の画像を公開画像候補(抽出画像候補)としてＣＰＵ２(画像候補決定手段)によって決定してもよい。たとえば，「0019.jpg」の画像ファイル名をもつ画像を非公開とすることを推奨します，という文字列を含むウインドウを，その「0019.jpg」の画像ファイル名をもつ画像(非抽出画像候補)とともにＣＰＵ２(画像候補表示制御手段)の制御のもとに表示画面に表示させるとよい。逆に，ファイル名「0022.jpg」，「0019.jpg」，「0021.jpg」，「0013.jpg」，「0020.jpg」および「0018.jpg」をもつ６枚の画像のうち，画像ファイル名「0019.jpg」以外の画像ファイル名をもつ画像(抽出画像候補)を，「公開することを推奨します。」という文字列とともにＣＰＵ２(画像候補表示制御手段)の制御のもとに表示画面に表示させてもよい。ユーザは，左矢印ボタン92または右矢印ボタン93をクリックすることにより，図14に示すように画像ファイル名「0019.jpg」を持つ画像が画像表示領域90に表示されている画像表示ウインドウ80が表示装置３の表示画面に表示させられる。
　ユーザは，画像表示領域90に表示されている画像を確認して，その画像を非公開とする場合には，画像をクリックすることにより公開ステータスをＣＰＵ２(画像決定手段)によって非公開と決定する。これにより非公開画像が指定されたこととなる（図６ステップ64でＹＥＳ，ステップ65）。終了指令が与えられなければ（ステップ66でＮＯ），ステップ61からの処理が繰り返される。
　上述の実施例では，非公開画像候補を決定しているが，非公開画像候補を決定する代わりに，公開画像候補を決定するようにしてもよい。たとえば，画像ファイル名「0022.jpg」，「0021.jpg」，「0013.jpg」，「0020.jpg」および「0018.jpg」の画像を公開画像候補としてもよい。公開画像候補の中から公開する画像を決定する場合には，その画像をクリックすることにより公開ステータスをＣＰＵ２(画像決定手段)によって公開と決定する。
　また，非公開画像候補または公開画像候補を決定する場合において，その決定された非公開画像候補が非公開画像とされる，あるいは，その決定された公開画像候補が公開画像とされることに応じて，特定の人物が含まれる画像の抽出枚数が最高枚数を超える，あるいは最低枚数未満となってしまう場合(決定される一の非抽出画像候補が非抽出画像とされる，あるいは一の抽出画像候補が抽出画像とされることに応じて，特定の人物が含まれている画像の抽出枚数が制限値から外れる場合)には，そのような画像について非公開画像候補(非抽出画像候補)または公開画像候補(抽出画像候補)から外すようにＣＰＵ２(画像候補停止手段)によって制御されることが好ましい。たとえば，表５において，上述のように画像ファイル名「0019.jpg」の画像が非公開画像として決定されると，特定の人物(例えば，「伊藤花子」)の公開画像の枚数が最低枚数未満となってしまう場合には，画像ファイル名「0019.jpg」の画像を非公開画像候補とは決定しないで，他の画像を非公開画像候補と決定したり，画像ファイル名「0019.jpg」の画像を公開画像候補と決定したりすることが好ましい。
　プログラムの終了指令が画像候補決定装置１に与えられなければ（図６ステップ66でＮＯ），図６ステップ61の処理から繰り返される。公開とされている画像であって同一人物が含まれている画像の数が最高枚数よりも多いような画像が，まだあれば（図６ステップ61でＹＥＳ），そのような画像についての画像評価値が再び算出される（図６ステップ62）。
　公開とされている画像であって同一人物が含まれている画像の数が最高枚数よりも多いような画像が無ければ（図６ステップ61でＮＯ），処理は終了する。
　上述の実施例では，行事が終わった後において，公開のために使用できる画像群が確定している状態を想定している。しかしながら，行事の最中にリアルタイムで上記の処理を行い，写っている画像の数が少ない人物を撮影するようにしてもよい。この場合，図６のステップ61の処理において，入力された最高枚数よりも多い画像が無い場合には（ステップ61でＮＯ），図７に示すステップ67の処理に移行する。
　図７に示すステップ67の処理においては，公開とされている画像であって同一人物が含まれている画像の数が最低枚数よりも少ない画像があるかどうかが確認される（図７ステップ67）。最低枚数よりも少ない画像があると（図７ステップ67でＹＥＳ），表示装置３の表示画面には図20に示す撮影指示ウインドウ150が表示される（図７ステップ68）。
すなわち，グループ化された１以上の画像に含まれている同一人物の数が閾値以下である人物がＣＰＵ２(人物検出手段)によって検出され，その人物について撮影指示がＣＰＵ２(撮影指示手段)によって撮影指示が行われることとなる。
　図20を参照して，撮影指示ウインドウ150は，写っている画像の数が最低枚数よりも少ない人物の撮影をユーザに促すものである。
　撮影指示ウインドウ150には，写っている画像の数が不足している人物の氏名をユーザに知らせるために「〇〇さんの画像が足りません」(〇〇には画像の数が不足している人物の氏名が入る)の文字列および不足枚数をユーザに知らせるために「あと１枚から５枚撮影してください」(不足枚数は状況に応じて変わるが好ましくは撮影後の枚数が，上述のように入力された最低枚数以上であり最高枚数以下とする)の文字列が表されている。
撮影指示ウインドウ150の右下には「確認」の文字が表示されている確認ボタン151が形成されている。ユーザは，誰の画像がどのくらいの枚数が足りないかを確認すると，確認ボタン151をクリックする。すると，撮影指示ウインドウ150は表示装置３の表示画面から消える。
　最低撮影枚数よりも少ない画像がなければ（図７ステップ67でＮＯ），図20に示す撮影指示ウインドウ150の表示はスキップされる。
　画像候補決定装置１にプログラムの終了指令が与えられれば（図７ステップ69でＹＥＳ），プログラムは終了し（図７ステップ69でＹＥＳ），プログラムの終了指令が与えられなければ（図７ステップ69でＮＯ），図６ステップ61からの処理が繰り返される。もっとも，終了指令が与えられない場合には（図６ステップ66でＮＯまたは図７ステップ69でＮＯ），図５ステップ49の処理に戻ってもよい。
　公開/非公開設定画像が表示されている場合に（図５ステップ49），画像管理タブ91がクリックされると（図５ステップ59でＹＥＳ），図３ステップ25からの処理が行われる。また，公開/非公開設定画像が表示されている場合に（図５ステップ49），顔分類タブ101がクリックされると（図５ステップ60でＹＥＳ），図４ステップ38からの処理が行われる。
　上述の実施例において，図６ステップ66におけるプログラムの終了の判断処理および図７におけるプログラムの終了の判断処理が行われる場合に画像候補決定プログラムが終了するが，他の処理においても画像候補決定装置１に終了指令が与えられると，その終了指令が割り込むことにより画像候補決定プログラムが終了する。
　また，上述の実施例においては，メモリ・カード13に格納されている複数の画像を表す画像データをメモリ・カード・リーダ・ライタ12によって読み取っているが，画像候補決定装置１とは別のデータベース・サーバに複数の画像を表す画像データを格納しておき，そのデータベース・サーバと画像候補決定装置１とが通信することにより，データベース・サーバから送信される画像データによって表される画像を，上述のように画像候補決定装置１の表示装置３の表示画面に表示してもよい。
　さらに，上述の実施例においては，メモリ・カード13に記録されている画像データを読み取っているが，画像候補決定装置１の通信装置４が無線通信手段によりディジタル・カメラ(図示略)と通信可能であれば，ディジタル・カメラを用いて撮影した画像を表す画像データを，ディジタル・カメラから画像候補決定装置１に送信し，上述した処理が行われるようにしてもよい。同様に，スマートフォンにおいて撮影した画像を表す画像データを，スマートフォンから画像候補決定装置１の通信装置４に送信し，上述した処理が行われるようにしてもよい。ディジタル・カメラ，スマートフォンにより撮影した画像を表す画像データをリアルタイムで画像候補決定装置１に送信し，撮影しながら上述の処理を行うこともできるし，すべての撮影が終了した後にディジタル・カメラ，スマートフォンにより撮影した画像を表す画像データを画像候補決定装置１に送信するようにしてもよい。
　さらに，上述の実施例においては，第１画像評価値の素点を算出する際に，顔サイズ得点や表情得点などの顔に関する評価値と人数得点や画質得点など顔以外に関する評価値とを利用しているが，顔に関する評価値のみを利用して第１画像評価値の素点としてもよいし，顔以外に関する評価値のみを利用して第１画像評価値の素点としてもよい。
　さらに，上述の実施例においては，顔の画像部分をユーザが見ながら顔の画像部分と氏名とを関連づけているが，あらかじめ顔の画像と，その顔の人物の氏名とを関連付けておき，氏名に関連付けられた顔の画像と比較することにより自動的にだれの顔か自動的に決定して顔の画像部分と氏名とを関連づけるようにしてもよい。さらに，上述の実施例では，顔の画像部分を利用して氏名を関連づけているが，顔の画像部分ではなく，人物が名札を付けている場合には，その名札をユーザが確認して顔の画像部分と氏名とを関連づけてもよいし，名札に記載の氏名を自動的に解析して顔の画像部分と氏名とを関連づけてもよい。
　図21から図26は，変形例を示している。
　図21から図23は，画像表示ウインドウ80の一例である。図21から図23は，図11などの画像表示ウインドウ80に対応しており，同一の構成については同一符号を付して説明を省略する。図21から図23に示される画像表示ウインドウ80では，同一人物の複数の顔画像と氏名とを一括で関連付ける。
　ユーザは，一括で氏名を関連付けしようとする画像を，マウス９を用いて選択する。具体的には，カーソル171を，マウス９を用いて一括で指名を関連付けしようとする顔画像上をドラッグする。すると，選択された画像の枠が太枠172となる。図21においては，画像表示領域90に三行で表示されている画像のうち，二行目(中央の行)の３つの画像が選択されたものとする。
　つづいて，選択された顔画像の氏名が被写体リスト領域110に表示されている名前の中からユーザによって選択される。ここでは，選択された顔画像の氏名は「田中次郎」であったとし，「田中次郎」が選択されたものとする。すると，選択された「田中次郎」の名前の周りの色が変わる。
　図22は，選択された「田中次郎」の名前の周りが変わった様子を示している。図22においては，「田中次郎」の名前の周りがハッチング173により示されており，選択された「田中次郎」の名前の周りが変化している。また，選択された「田中次郎」の代表的な顔画像175(あらかじめ登録されている)が被写体リスト領域110の上に表示される。ユーザは，代表的な顔画像175と画像表示領域90に表示されている顔画像のうち選択された顔画像とを比較することにより，同一人物かどうかを確認できる。つづいて，選択した「田中次郎」の名前の上にカーソル171を移動させ，選択された顔画像上にドラッグする。すると，カーソル171が，選択した「田中次郎」の名前を表す氏名表示領域174に一時的に変化する。その後，図23に示すように，選択された画像のそれぞれに，氏名表示領域176が表示される。
　図21から図23においては，被写体リスト領域110に表示されている名前のうち，公開が禁止されている人物の名前に禁止マーク170が付されている。禁止マーク170を見ることにより，誤って公開してしまうことが未然に防止できる。
　さらに，図21から図23において，顔画像として認識されているが，顔が横向き過ぎたり，顔の画像がボケていたりする画像については，「横向き過ぎ」，「ボケ過ぎ」，「公開に不適」などのフラグを画像に付与してもよい。公開する画像として選択する場合に，そのようなフラグを参照して公開するか非公開するか判断できるようになる。
　さらに，図21から図23の画像表示領域90に表示される画像は，被写体の登場回数が多いほど上方向に表示され，かつ撮影時刻が早いほど左側側に表示されるように，登場回数順，撮影順に表示してもよい。
　図24は，画像表示ウインドウ80の他の一例である。図24において図８等に示す構成と同一の構成については同一符号を付して説明を省略する。
　イベント管理領域82には，「卒業式」というイベントの下層に「卒園証書授与」のサブイベントと「園長先生の言葉」のサブイベントとが生成されている。「卒園式」というイベントとして管理されている画像が，「卒園証書授与」，「園長先生の言葉」などのサブイベントとして管理される。また，イベント追加ボタン83の右側に「サブイベント追加」の文字列が形成されているサブイベント追加ボタン85が形成されている。
　たとえば，「卒園式」という文字列がクリックされた後に，サブイベント追加ボタン85がクリックされると画像表示ウインドウ80上にサブイベント入力ウインドウが現れ，そのサブイベント入力ウインドウを用いてユーザが新たなサブイベントを入力する。その時に「卒園証書授与」という文字列をユーザがキーボード８を用いて入力すると，「卒園式」という文字列の下に「卒園証書授与」という文字列が表示されることとなる。同様にして，「卒園式」という文字列の下に「園長先生の言葉」という文字列が表示される。
　「卒園証書授与」という文字列がクリックされた状態で，画像表示領域90に，「卒園式」のイベントとして管理されている画像がドラッグ・アンド・ドロップされることにより，「卒園証書授与」というイベントによってドラッグ・アンド・ドロップされた画像が管理されることとなる。イベント管理領域82に表示されているサブイベントを示す文字列がクリックされた後にイベント削除ボタン84がクリックされると，クリックされている文字列によって特定されるサブイベントおよびそのサブイベントによって管理される画像が削除される。
　図24に示す画像表示ウインドウ80においては公開設定タブ102がクリックされており，画像表示領域90には「卒園式」という名称のイベントにより管理されている多数の画像165が表示されている。
　画像表示領域90の右上には，表示切替プルダウン160が形成されている。表示切替プルダウン160は，画像表示領域90に表示される画像を，その撮影時間などに区切って表示するときに利用される。プルダウン・ボタン161がクリックされることにより，「１時間区切り」，「２時間区切り」などの複数の時間，日にち表示切替メニューが現われ，その中から表示の区切りがユーザによって選択される。表示切替プルダウン160によって指定された表示区切りにしたがって，画像表示領域90に画像が表示される。
　表示切替プルダウン160によって１時間区切りが選択されたものとする。すると，画像表示領域90は，１時間ごとに領域が区切られる。図24においては，第１の画像表示領域90Ａと第２の画像表示領域90Ｂが現われている。第１の画像表示領域90Ａと第２の画像表示領域90Ｂとは破線によって区切られているが，他の方法により区切られていてもよい。これらの画像表示領域90Ａおよび90Ｂ以外の領域もスライド・バー98を動かすことにより，画像表示領域90に現れる。
　第１の画像表示領域90Ａの左上には，第１の画像表示領域90Ａに表示される表示時間163が表示されている。図24においては，表示時間163として「11:00」の文字が表示されている。表示区切りは１時間区切りであるから，第１の画像表示領域90Ａには，イベント管理領域82に表示されているイベント等により管理されている画像のうち，11時台に撮影された画像が表示される。
　表示時間163の左側にはチェック・ボックス162が形成されており，第１の画像表示領域90Ａに表示されている画像165の右上にもチェック・ボックス164が形成されている。いずれのチェック・ボックス162および164も画像の公開を指定する。表示時間163の左側に形成されているチェック・ボックス162がチェックされると，その表示時間163によって特定される画像165(第１の画像表示領域90Ａに表示されているすべての画像165)の右上に形成されているチェック・ボックス164がチェックされ，それらの画像165の公開が指定される。画像165の右上に形成されているチェック・ボックス164がチェックされると，そのチェックされた画像の公開が指定される。画像165の右上に形成されているチェック・ボックス164のチェックが外されると，その画像は非公開となる。チェック・ボックス164がチェックされると，その画像165の周りは太枠166によって囲まれる。チェック・ボックス164がチェックされた画像とチェックされていない画像とが分かりやすくなるためであり，枠の色を変えてもよい。
　第２の画像表示領域90Ｂの表示時間163には「12:00」の文字列が表示されており，第２の画像表示領域90Ｂには12時台に撮影された画像165が表示される。表示時間163の左側にチェック・ボックス162が形成され，画像165の右上にもチェック・ボックス164が形成されている。これらのチェック・ボックス162または164をチェックすることにより，チェックされた画像が公開されるのは，第１の画像表示領域90Ａに表示されている画像について説明したのと同様である。
　図25は，画像表示ウインドウ80の他の一例である。図25においても図８などと同一の構成については同一符号を付して説明を省略する。
　図25に示す画像表示ウインドウ80の画像表示領域90に表示されている画像にも右上にチェック・ボックス195が形成されており，これらのチェック・ボックス195をチェックすることにより対応する画像が公開に設定される。チェック・ボックス195がチェックされている画像は太枠196により囲まれている。チェック・ボックス195がチェックされなければ非公開である。
　画像表示領域90の左側の上には，最低公開枚数設定領域180が形成されている。最低公開枚数設定領域180は，公開される画像の最低枚数を設定するものである。最低公開枚数設定領域180の右側には上矢印ボタン181および下矢印ボタン182が形成されている。上矢印ボタン181がクリックされるごとに最低公開枚数設定領域180に表示される数字が１つずつ増え，下矢印ボタン182がクリックされるごとに最低公開枚数設定領域180に表示される数字が１つずつ減る。
　画像表示領域90の左側には，公開枚数表示領域190が形成されている。公開枚数表示領域190は，公開される画像の枚数を公開される画像に含まれる人物の氏名に対応して表示するものである。
　公開枚数表示領域190には，画像に含まれる被写体の名前(たとえば，佐藤太郎)，公開枚数(たとえば，６)および被写体の代表的な顔画像194が表示されている。また，公開枚数表示領域190には，最低公開枚数設定領域180において設定された最低公開枚数の目安となるマーク191およびライン193も表示されている。さらに，被写体の名前ごとに公開枚数が棒グラフ(ハッチングで示す)192によって示されている。公開枚数が少ないほど棒グラフ192の長さが短く，公開枚数が多いほど棒グラフ192の長さが長い。棒グラフ192が右に伸びるほど公開枚数が多いことを示す。棒グラフ192の右端がライン193を超えていなければ，その棒グラフ192よって示される被写体の公開枚数は最低公開枚数に達していず，棒グラフ192の右端がライン193と合致すると，その棒グラフ192によって示される被写体の公開枚数は最低公開枚数と一致し，棒グラフ192の右端がライン193を超えると，その棒グラフ192によって示される被写体の公開枚数は最低公開枚数を超えていることとなる。棒グラフ192の右端がライン193を超えているかどうかを確認することにより，最低公開枚数以上の画像を公開するように設定したかどうかを被写体ごとに確認できる。
　さらに，最低公開枚数に足りていない画像に対応する被写体の名前にはユーザに注意を喚起するためにマーク197が表示される。マーク197を見ることにより，最低公開枚数に達するように公開する画像を選択するようになる。最低公開枚数に足りていない画像に対応する被写体の名前の色と最低公開枚数に足りている画像に対応する被写体の名前の色とを変えるようにしてもよい。さらに，公開枚数表示領域190に表示される氏名に対応して禁止マーク170も表示されている。非公開の被写体が含まれる画像を誤って公開対象に設定してしまうことが未然に防止できる。
　図26は，チェック・ボックス195がチェック等されることにより公開対象に設定された画像の一例である。
　公開対象に設定された画像の中に，非公開の被写体198が含まれていたものとする。そのような場合には，非公開の被写体198を画像からトリミングする。公開される画像からは非公開の被写体198が除かれることとなる。
　図27は，画像表示ウインドウ80の他の一例である。
　画像表示領域90には，画像200が表示されている。この画像200には，被写体201，202および203の３人が含まれている。画像200に，被写体201，202および203が含まれていれば，それぞれの被写体201，202および203の顔画像が認識され，被写体201，202および203に対応して顔画像が検出されるはずである。しかしながら，被写体の人数分に対応する顔画像が検出されないことがある。たとえば，被写体201の顔画像が検出されて顔枠Ｆ１が表示され，被写体203の顔画像が検出されて顔枠Ｆ３が表示されたが，被写体202の顔画像が表示されない場合がある。
　画像200の上には被写体検出人数210が表示されている。画像200から検出された被写体の人数として２人が表示されている。画像の下には画像200から検出された人数が合っているかの確認メッセージ211が表示されている。ユーザは，確認メッセージを見ることにより，検出されていない顔が画像200に含まれていないことが分かる。たとえば，検出されていない顔の被写体202の名前に対応する名前を，たとえば，公開/非公開情報表示領域120に表示されている名前の中から選択し，対応する顔をクリックすることにより，選択された名前(氏名)と画像200とが関連づけられる。
　上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するＣＰＵ２のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。
　さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。
　画像候補決定装置はパーソナル・コンピュータによって構成されてもよいし，スマートフォン，タブレット装置のようないわゆるスマート・デバイスによって構成されてもよいし，フィーチャーフォンのような携帯電話によって構成されてもよい。
　１：画像候補決定装置，２：ＣＰＵ，３：表示装置，４：通信装置，５：ハードディスク，６：ハードディスク・ドライブ，７：メモリ，８：キーボード，９：マウス，10：コンパクト・ディスク・ドライブ，11：コンパクト・ディスク，12：メモリ・カード・リーダ・ライタ，13：メモリ・カード，80：画像表示ウインドウ，81：文字列，82：イベント管理領域，83：イベント追加ボタン，84：イベント削除ボタン，90：画像表示領域，91：画像管理タブ，92：左矢印ボタン，93：右矢印ボタン，94：画像特定番号，95：文字列，96：文字列，97：上矢印ボタン，98：スライド・バー，99：下矢印ボタン，101：顔分類タブ，102：公開設定タブ，110：被写体リスト領域，111：顔分類ボタン，112：文字列，113：文字列，114：文字列，120：公開/非公開情報表示領域，121-126：チェック・ボックス，129：チェック・ボックス，130：枚数入力ボタン，140：抽出枚数入力ウインドウ，141：最低枚数入力領域，142：最高枚数入力領域，143：決定ボタン，150：撮影指示ウインドウ，151：確認ボタン，160：表示切替プルダウン，161：プルダウン・ボタン，162：チェック・ボックス，163：表示時間，164：チェック・ボックス，165：画像，166：太枠，170：禁止マーク，171：カーソル，172：太枠，173：ハッチング，174：氏名表示領域，175：顔画像，176：氏名表示領域，180：最低公開枚数設定領域，181：上矢印ボタン，182：下矢印ボタン，190：公開枚数表示領域，191：マーク，192：棒グラフ，193：ライン，194：顔画像，195：チェック・ボックス，196：太枠，197：マーク，198：被写体，200　：画像，201-203　：被写体，210：被写体検出人数，211：確認メッセージ，Ｆ：顔枠，Ｆ１-Ｆ６：顔枠，Ｇ１-Ｇ３：顔画像グループ

Claims (16)

  1. 　複数の画像を受け付けて，同一人物が含まれている１以上の画像をグループ化する画像グルーピング手段，および
    　総合画像評価値と，上記同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する画像候補決定手段，
    　を備えた画像候補決定装置。
  2. 　上記画像候補決定手段によって決定した抽出画像候補または非抽出画像候補を表示画面に表示させる画像候補表示制御手段，
    　をさらに備えた請求項1に記載の画像候補決定装置。
  3. 　上記総合画像評価値は，上記画像に写っている人物ごとに算出される人物画像評価値に基づいて算出される，請求項１または２に記載の画像候補決定装置。
  4. 　上記人物画像評価値は，少なくとも顔に関する評価値に基づき算出され，
    　複数の画像のそれぞれの画像から顔の画像部分を抽出する顔画像部分抽出手段をさらに備え，
    　上記画像グルーピング手段は，
    　上記顔画像部分抽出手段によって抽出された顔の画像部分を，同一人物の顔の画像部分ごとにグループ化し，
    　上記画像候補決定手段は，
    　上記総合画像評価値と，同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する，
    　請求項３に記載の画像候補決定装置。
  5. 　同一人物が含まれている画像の枚数が少ないほど上記人物画像評価値を大きくする補正係数を用いて上記人物画像評価値を補正する補正手段，
    　をさらに備えた請求項３または４に記載の画像候補決定装置。
  6. 　上記画像候補表示制御手段の制御により表示された抽出画像候補の中から抽出画像または非抽出画像を決定する，あるいは上記画像候補表示制御手段の制御により表示された非抽出画像候補の中から非抽出画像または抽出画像を決定する画像決定手段，
    　をさらに備えた請求項２に記載の画像候補決定装置。
  7. 　上記画像決定手段によって決定された抽出画像および非抽出画像のそれぞれの枚数を，画像に含まれる人物ごとに報知する報知手段，
    　をさらに備えた請求項６に記載の画像候補決定装置。
  8. 　上記複数の画像が，画像に含まれる人物ごとにあらかじめ抽出画像または非抽出画像と規定されており，
    　上記画像決定手段によって抽出画像または非抽出画像と決定されたことに応じて，抽出画像および非抽出画像のそれぞれの枚数を，画像に含まれる人物ごとに更新して報知する報知手段，
    　をさらに備えた請求項６に記載の画像候補決定装置。
  9. 　上記画像候補決定手段によって決定される一の非抽出画像候補が非抽出画像とされる，あるいは一の抽出画像候補が抽出画像とされることに応じて，特定の人物が含まれている画像の抽出枚数が制限値から外れる場合に，上記一の非抽出画像候補または上記一の抽出画像候補を非抽出画像候補または抽出画像候補から外す画像候補停止手段，
    　をさらに備えた請求項１から８のうち，いずれか一項に記載の画像候補決定装置。
  10. 　上記画像グルーピング手段は，
    　大人については非同一人物を同一人物とみなして画像ごとにグループ化する，
    　請求項１から９のうち，いずれか一項に記載の画像候補決定装置。
  11. 　画像に含まれる人数が多いほど低い人物画像評価値を算出する第１の評価値算出手段，
    　をさらに備えた請求項１から10のうち，いずれか一項に記載の画像候補決定装置。
  12. 　上記画像候補決定手段は，
    　上記総合画像評価値と，同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，同一人物が含まれている画像の抽出枚数が制限値内に収まるように，上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する，
    　請求項１から11のうち，いずれか一項に記載の画像候補決定装置。
  13. 　上記画像グルーピング手段によってグループ化された１以上の画像に含まれている同一人物の数が閾値以下である人物を検出する人物検出手段，および
    　上記人物検出手段において検出された人物の撮影指示を行う撮影指示手段，
    　をさらに備えた請求項１から12のうち，いずれか一項に記載の画像候補決定装置。
  14. 　画像グルーピング手段が，複数の画像を受け付けて，同一人物が含まれている１以上の画像をグループ化し，
    　画像候補決定手段が，総合画像評価値と，上記同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する，
    　画像候補決定方法。
  15. 　画像候補決定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    　複数の画像を受け付けて，同一人物が含まれている１以上の画像をグループ化させ，
    　総合画像評価値と，上記同一人物が含まれている画像の抽出枚数の制限値と，にもとづいて，上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定させるように画像候補決定装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
  16. 　請求項15に記載のプログラムを格納した記録媒体。
PCT/JP2018/032593 2017-10-02 2018-09-03 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 WO2019069606A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18865004.8A EP3693920A4 (en) 2017-10-02 2018-09-03 CANDIDATE IMAGE DETERMINATION DEVICE, CANDIDATE IMAGE DETERMINATION PROCESS, CANDIDATE IMAGE DETERMINATION DEVICE CONTROL PROGRAM, AND RECORD MEDIA FOR STORING SUCH PROGRAM
CN201880064018.4A CN111164642A (zh) 2017-10-02 2018-09-03 图像候选确定装置、图像候选确定方法、控制图像候选确定装置的程序以及存储该程序的记录介质
JP2019546580A JP6956196B2 (ja) 2017-10-02 2018-09-03 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US16/819,426 US11062122B2 (en) 2017-10-02 2020-03-16 Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-192890 2017-10-02
JP2017192890 2017-10-02
JP2018-073377 2018-04-05
JP2018073377 2018-04-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/819,426 Continuation US11062122B2 (en) 2017-10-02 2020-03-16 Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program

Publications (1)

Publication Number Publication Date
WO2019069606A1 true WO2019069606A1 (ja) 2019-04-11

Family

ID=65994228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032593 WO2019069606A1 (ja) 2017-10-02 2018-09-03 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体

Country Status (5)

Country Link
US (1) US11062122B2 (ja)
EP (1) EP3693920A4 (ja)
JP (4) JP6956196B2 (ja)
CN (1) CN111164642A (ja)
WO (1) WO2019069606A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3693920A4 (en) * 2017-10-02 2020-12-02 FUJIFILM Corporation CANDIDATE IMAGE DETERMINATION DEVICE, CANDIDATE IMAGE DETERMINATION PROCESS, CANDIDATE IMAGE DETERMINATION DEVICE CONTROL PROGRAM, AND RECORD MEDIA FOR STORING SUCH PROGRAM
JP7111632B2 (ja) * 2019-01-18 2022-08-02 富士フイルム株式会社 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US11792188B2 (en) * 2020-08-05 2023-10-17 Bank Of America Corporation Application for confirming multi-person authentication
CN112714258A (zh) * 2020-12-30 2021-04-27 广州极飞科技有限公司 待拍摄对象的状态调整方法、装置及拍摄设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5616819B2 (ja) 1976-06-04 1981-04-18
JP2010057073A (ja) 2008-08-29 2010-03-11 Noritsu Koki Co Ltd アルバム作成装置及びアルバム作成プログラム
JP2012023501A (ja) * 2010-07-13 2012-02-02 Canon Inc 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム
JP2013191035A (ja) 2012-03-14 2013-09-26 Fujifilm Corp 画像公開装置、画像公開方法、画像公開システム、および、プログラム
JP2014102715A (ja) 2012-11-21 2014-06-05 Dainippon Printing Co Ltd スクールフォト管理サーバ、スクールフォト管理システム、スクールフォト管理方法、プログラム、及び記録媒体
JP2014109864A (ja) * 2012-11-30 2014-06-12 Canon Marketing Japan Inc 情報処理装置、情報処理システム、その制御方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010146201A (ja) * 2008-12-17 2010-07-01 Noritsu Koki Co Ltd 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム
JP5616819B2 (ja) 2010-03-10 2014-10-29 富士フイルム株式会社 撮影アシスト方法、そのプログラム、その記録媒体、撮影装置および撮影システム
JP5744431B2 (ja) * 2010-07-16 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP6258862B2 (ja) * 2012-11-09 2018-01-10 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6606374B2 (ja) * 2015-08-07 2019-11-13 キヤノン株式会社 画像処理装置および方法およびプログラム
JP2017067945A (ja) 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6723909B2 (ja) * 2016-12-09 2020-07-15 キヤノン株式会社 画像処理方法、画像処理装置、及びプログラム
EP3693920A4 (en) * 2017-10-02 2020-12-02 FUJIFILM Corporation CANDIDATE IMAGE DETERMINATION DEVICE, CANDIDATE IMAGE DETERMINATION PROCESS, CANDIDATE IMAGE DETERMINATION DEVICE CONTROL PROGRAM, AND RECORD MEDIA FOR STORING SUCH PROGRAM
JP7111632B2 (ja) * 2019-01-18 2022-08-02 富士フイルム株式会社 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US11488290B2 (en) * 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5616819B2 (ja) 1976-06-04 1981-04-18
JP2010057073A (ja) 2008-08-29 2010-03-11 Noritsu Koki Co Ltd アルバム作成装置及びアルバム作成プログラム
JP2012023501A (ja) * 2010-07-13 2012-02-02 Canon Inc 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム
JP2013191035A (ja) 2012-03-14 2013-09-26 Fujifilm Corp 画像公開装置、画像公開方法、画像公開システム、および、プログラム
JP2014102715A (ja) 2012-11-21 2014-06-05 Dainippon Printing Co Ltd スクールフォト管理サーバ、スクールフォト管理システム、スクールフォト管理方法、プログラム、及び記録媒体
JP2014109864A (ja) * 2012-11-30 2014-06-12 Canon Marketing Japan Inc 情報処理装置、情報処理システム、その制御方法、及びプログラム

Also Published As

Publication number Publication date
US11062122B2 (en) 2021-07-13
EP3693920A1 (en) 2020-08-12
JP6956196B2 (ja) 2021-11-02
JPWO2019069606A1 (ja) 2020-10-15
EP3693920A4 (en) 2020-12-02
JP2023001178A (ja) 2023-01-04
JP2024079797A (ja) 2024-06-11
JP2022008833A (ja) 2022-01-14
JP7167283B2 (ja) 2022-11-08
JP7463473B2 (ja) 2024-04-08
US20200257887A1 (en) 2020-08-13
CN111164642A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
JP7111632B2 (ja) 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP7463473B2 (ja) 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP6009481B2 (ja) 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
US10403014B2 (en) Image processing apparatus and image processing method
JP5477017B2 (ja) 電子機器、コンテンツ送信方法及びプログラム
US9521211B2 (en) Content processing device, content processing method, computer-readable recording medium, and integrated circuit
JP2010057073A (ja) アルバム作成装置及びアルバム作成プログラム
JP2015141530A (ja) 情報処理装置、スコア算出方法、プログラム、およびシステム
JP6149015B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2020140557A (ja) 画像処理装置、制御方法、及びプログラム
JP2004280254A (ja) コンテンツ分類方法および装置
JP6318102B2 (ja) 画像表示制御装置，画像表示制御方法，および画像表示制御プログラムならびにそのプログラムを格納した記録媒体
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
JP6197063B2 (ja) 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
EP4024347A2 (en) Image processing apparatus, image processing method, and program
KR101456488B1 (ko) 이미지 파일의 공개 형식 설정방법 및 이를 채용한 장치
JP6700806B2 (ja) プログラム、情報処理装置および制御方法
JP2019200642A (ja) 画像集生成プログラム、情報処理装置、及び画像集生成方法
JP2017191596A (ja) 画像表示装置、画像表示制御方法及びプログラム
JP2015222582A (ja) 画像取扱装置、画像取扱方法、およびプログラム
JP2021163009A (ja) 画像検索装置、およびプログラム
JP2020140556A (ja) 画像処理装置、制御方法、及びプログラム
JP2020140558A (ja) 画像処理装置、制御方法、及びプログラム
JP2016143337A (ja) 画像分類装置，画像分類方法，ならびに画像分類装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体
JP2007122112A (ja) 重要度設定装置および方法並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18865004

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019546580

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018865004

Country of ref document: EP

Effective date: 20200504