WO2011099108A1 - 画像評価装置、画像評価方法、プログラム、集積回路 - Google Patents

画像評価装置、画像評価方法、プログラム、集積回路 Download PDF

Info

Publication number
WO2011099108A1
WO2011099108A1 PCT/JP2010/007300 JP2010007300W WO2011099108A1 WO 2011099108 A1 WO2011099108 A1 WO 2011099108A1 JP 2010007300 W JP2010007300 W JP 2010007300W WO 2011099108 A1 WO2011099108 A1 WO 2011099108A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
importance
calculating
indicating
Prior art date
Application number
PCT/JP2010/007300
Other languages
English (en)
French (fr)
Inventor
博史 薮
前田　和彦
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/255,324 priority Critical patent/US8660378B2/en
Priority to JP2011514937A priority patent/JP4846071B2/ja
Priority to CN201080014545.8A priority patent/CN102439630B/zh
Priority to EP10845711.0A priority patent/EP2535865A4/en
Publication of WO2011099108A1 publication Critical patent/WO2011099108A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Definitions

  • a method for evaluating and ranking individual images is known in order to assist a user in easily finding an image that he / she wants to see from such a large number of images.
  • the image that the user expects to be highly evaluated is not an image in which the face of the person being photographed is good, but an image in which a person important to the user is photographed.
  • the present invention has been made under such a background, and an object thereof is to provide an image evaluation apparatus capable of evaluating an image based on an object such as a person appearing in each image.
  • An image evaluation apparatus is an image evaluation apparatus that evaluates each image for a plurality of images including the object, and each object is associated with cluster information indicating a cluster to which the object belongs.
  • a first value calculating unit that calculates a first value based on a cluster to which the object belongs, and an object included in the one image in the one image.
  • Second value calculating means for calculating a second value indicating the appearing feature, the importance of one or more objects appearing in the one image based on the calculated first value and second value, and the one value
  • an evaluation means for calculating the importance of the image.
  • the image evaluation apparatus can evaluate an image based on an object such as a person appearing in each image.
  • the evaluation means includes an object importance degree calculating means for calculating the importance degree of the object appearing in the one image based on the calculated first value and second value, and the calculated object importance degree. And image importance calculation means for calculating the importance indicating the evaluation of the one image.
  • the first value calculating means calculates a frequency of appearance of an object of a cluster to which an object included in one image appears among all objects included in the plurality of images
  • the second value calculating means Calculates, for an object included in the one image, an occupancy indicating an area occupied by the object in the one image
  • the object importance calculating unit calculates the occupancy based on the calculated frequency and occupancy. The importance of the object may be calculated.
  • the importance is calculated using both the calculated frequency based on the object included in one image and the occupancy indicating the area occupied by the object, the importance according to the user's expectation is calculated. It can contribute to the calculation of.
  • the frequency calculation means includes a first frequency indicating the frequency of the object included in the cluster to which the first object belongs, and the second object.
  • a second occupancy level indicating an area occupied in the one image is calculated, and the object importance level calculating means is a first level of importance level of the first object based on the first frequency and the first occupancy level.
  • An importance is calculated, a second importance that is an importance of the second object is calculated based on the second frequency and the second occupancy, and the image importance Calculating means, on the basis of the first importance and the second importance may be to calculate the importance degree indicating an evaluation of the one image.
  • the importance of the image is calculated based on the importance of both objects. For example, an image in which a plurality of persons appear Can be calculated as a high value.
  • the object may be a face of a person cut out from the one image.
  • This configuration is particularly suitable when, for example, a family group photo is to be evaluated.
  • the evaluation unit may calculate the importance of both objects while propagating the importance between both objects.
  • the plurality of images including the object is P (P is a natural number)
  • the first value calculating unit is configured to calculate the Q number of clusters to which the object included in the P images belongs (Q is a natural number).
  • the second value calculating means calculates, for each object appearing in the P images, a second value indicating the feature of the object appearing in each image, and the P images.
  • An adjacency matrix that generates an adjacency matrix that represents a graph composed of link setting means that is set using a second value in the node, nodes created in the node creation means, and link values set by the link setting means
  • An eigenvector calculating unit that calculates a main eigenvector of the generated adjacent matrix; and an importance level indicating evaluation of each of the N images based on the elements of the calculated main eigenvector. And importance level calculation means.
  • the weight can be propagated between nodes constituting the graph.
  • the importance can be propagated between the image and the object based on the link between the node A of the image and the node a of the object.
  • the link setting means sets the value of the link from the node A to the node a among the values of the link between the nodes A and a using the second value, and the link from the node a to the node A. May be set without using the second value.
  • the link value from the node A (the node of the image A) to the node a (the node of the cluster a to which the object included in the image A belongs) is set. For example, when the object is displayed in the image A, it is possible to propagate the weight according to the contents of the image A by increasing the weight of the link value.
  • the second value calculated by the second value calculating means may be an occupancy indicating the area occupied by the object in each image.
  • the second value calculating means calculates the degree of occupation of the background, which is an area where no object appears in each image
  • the node creating means creates one node indicating a dummy
  • the link setting means For a node A indicating a certain image A and one node Z indicating a dummy, the value of the link from the node A to the node Z among the values of the link between the nodes AZ is represented in the image A. It may be set using the background occupancy.
  • the link setting means sets the value of the link from the node A to the node a and the value of the link from the node a to the node A using the second value for the value of the link between the nodes A and a. It does not matter.
  • Each of the plurality of images is associated with a shooting date and time, and further includes a receiving unit that receives designation of a date and time range, and the first value calculating unit and the second value calculating unit are included in the specified range.
  • the calculation is performed using the image, but the calculation may not be performed using an image that is not included in the specified range.
  • the evaluation means can calculate the importance of the object and the image corresponding to the designated range.
  • the image evaluation method is an image evaluation method for evaluating each image for a plurality of images each including an object, and obtains cluster information indicating clusters belonging to each object; and A first value calculation step of calculating a first value based on a cluster to which the object belongs for an object included in the one image; and a feature that the object appears in the one image for the object included in the one image.
  • a second value calculating step for calculating a second value to be indicated, the importance of one or more objects appearing in the one image based on the calculated first value and the second value, And an evaluation step for calculating importance.
  • the program according to the present invention is a program for causing a computer to execute an image evaluation process for evaluating each image for a plurality of images each including an object, and the image evaluation process includes a cluster belonging to each object.
  • An acquisition step of acquiring the cluster information shown a first value calculation step of calculating a first value based on a cluster to which the object belongs, and an object included in the one image, A second value calculating step of calculating a second value indicating the feature of the object appearing in the one image, and one or more objects appearing in the one image based on the calculated first value and second value And an evaluation step for calculating the importance of the one image.
  • the Rukoto is a program for causing a computer to execute an image evaluation process for evaluating each image for a plurality of images each including an object, and the image evaluation process includes a cluster belonging to each object.
  • An acquisition step of acquiring the cluster information shown a first value calculation step of calculating a first value based on a cluster to which the object belongs, and an object included
  • the integrated circuit according to the present invention is an image evaluation apparatus that evaluates each image for a plurality of images including the object, and each object is associated with cluster information indicating a cluster to which the object belongs.
  • a first value calculating means for calculating a first value for an object included in one image based on a cluster to which the object belongs; and for an object included in the one image, the object is included in the one image
  • Second value calculating means for calculating a second value indicating the feature that appears in the image, the importance of one or more objects appearing in the one image based on the calculated first value and second value,
  • an evaluation means for calculating the importance of one image.
  • the image evaluation system 1 includes an image evaluation device 2 and an SD memory card 4.
  • the image evaluation apparatus 2 includes an image acquisition unit 10, an object extraction unit 11 (including an object feature amount extraction unit 12 and a clustering unit 14), a storage unit 15 (a cluster information storage unit 16, a frequency storage unit 26, and an occupation degree storage unit 28. , Object importance level information storage unit 34a and image importance level information storage unit 34b), object appearance feature amount calculation unit 18 (including frequency calculation unit 20 and occupancy level calculation unit 22), evaluation unit 29 (object importance level calculation) A display control unit 36, and a display control unit 36.
  • the image acquisition unit 10 includes an SD card reader, and acquires image data from the SD memory card 4 inserted in the SD card slot.
  • the object feature amount extraction unit 12 extracts the image feature amount of the object appearing in the image for the image data acquired by the image acquisition unit 10 and outputs it as the object feature amount.
  • a method for extracting the image feature quantity related to the face from the image it may be calculated by an extraction method using a Gabor filter.
  • a Gabor filter For the Gabor method, see Reference 1 described later.
  • the clustering 14 performs clustering based on the object feature amount output from the object feature amount extraction unit 12 and stores the cluster information indicating the result in the cluster information storage unit 16.
  • a clustering method a k-means method (see Reference 1), which is one of non-hierarchical methods (a method of performing clustering by giving a representative to each fixed cluster), can be used.
  • the storage unit 15 includes a cluster information storage unit 16, a frequency storage unit 26, an occupancy level storage unit 28, an object importance level information storage unit 34a, and an image importance level information storage unit 34b.
  • storage part 15 can be comprised from RAM, for example.
  • the object appearance feature amount calculation unit 18 calculates an object appearance feature amount based on the cluster information stored in the cluster information storage unit 16.
  • the “object appearance feature amount” is an amount indicating how objects belonging to the same cluster appear in the image. Specifically, (1) “Frequency” indicating how many objects belonging to the same cluster appear in the total number of images, and (2) “Occupancy” indicating the ratio of objects belonging to any cluster to each image. "Degree”, composed of these two types.
  • the frequency and the occupancy are calculated by the frequency calculator 20 and the occupancy calculator 22 included in the object appearance feature amount calculator 18. The calculated frequency is stored in the frequency storage unit 26, and the calculated occupancy is stored in the occupancy storage unit 28.
  • the object importance calculation unit 30 is an object that indicates the importance of each object appearing in each image in all image data based on the object appearance feature (frequency and occupancy) stored in the object appearance feature storage. Calculate importance.
  • the object importance level information storage unit 34a is constituted by, for example, a RAM, and stores object importance level information including the object importance level calculated by the object importance level calculation unit 30.
  • the image importance calculation unit 32 calculates the importance (image importance) of each image based on the object importance.
  • the image importance level information storage unit 34b is composed of, for example, a RAM, and stores image importance level information including the image importance level calculated by the image importance level calculation unit 32.
  • the display control unit 36 displays the calculated image importance on the screen of the display 6. ⁇ Operation> Next, a flow until an image is evaluated will be described.
  • processing is performed in the order of image acquisition / clustering (S11), object appearance feature amount calculation (S12), and image evaluation (S13).
  • the image acquisition unit 10 acquires the image data stored in the SD memory card 4 from the SD memory card 4 (S21).
  • the SD memory card 4 stores image data for three images A to C, and the image acquisition unit 10 acquires the image data of the images A to C. To do.
  • the object feature quantity extraction unit 12 cuts out a face area from the image for the acquired image data, and extracts the face feature quantity as an object feature quantity (S22). Then, the clustering unit 14 performs clustering using the extracted object feature amount, and stores the cluster information, which is the clustered result, in the cluster information storage unit 16 (S23).
  • the object feature quantity extraction unit 12 extracts four faces F1 to F4 from three images A to C (FIG. 4A). Cut out and extract feature quantities of faces F1 to F4 (FIG. 4B) Then, the clustering unit 14 clusters the similar faces F1 and F2 among the four faces F1 to F4 as the person a and the faces F3 and F4 as the person b.
  • FIG. 5 is a diagram showing a data structure of cluster information indicating the result of clustering.
  • the cluster information is information indicating which cluster each face appearing in the image belongs to, and includes items of “cluster name” 17a, “face” 17b, and “image” 17c.
  • the object appearance feature amount calculation unit 18 acquires cluster information from the cluster information storage unit 16 (S31).
  • the frequency calculation unit 20 calculates the frequency by counting the number of faces belonging to the same cluster ("cluster name" 17a is the same) based on the acquired cluster information (S32). Then, frequency information including the calculated frequency is stored in the frequency storage unit 26.
  • Fig. 7 shows the data structure of frequency information.
  • the frequency information includes items of “cluster name” 27a, “image” 27b, and “frequency” 27c.
  • the value of “frequency” 27c is obtained by counting the number of images of “image” 27b.
  • the frequency of the person a is 2, and the frequency of the person b is 2.
  • the frequency is the number of faces belonging to the same cluster, it can be said that the number of members of the cluster.
  • Fig. 8 shows the data structure of occupancy information.
  • the occupancy information includes items of “image” 29a, “occupation degree of face belonging to person a” 29b, “occupation degree of face belonging to person b” 29c, and “occupation degree of background” 29d.
  • the “occupation degree of the face belonging to the person a” 29b is an occupation degree of the face (object) whose cluster is the person a in each image. For example, in the image A, the face F1 belongs to the cluster of the person a (see FIG. 5), and the size of the face area is 30%, so the “occupation degree of the face belonging to the person a” is 0.3. .
  • the object importance calculation unit 30 sets one image to be evaluated (S41). Then, the object importance calculation unit 30 acquires frequency information indicating the frequency of the object shown in the set image from the frequency storage unit 26 and acquires occupancy information indicating the occupancy level of the object from the occupancy storage unit 28. (S42).
  • the object importance calculation unit 30 calculates the object importance by integrating the acquired frequency and occupancy.
  • steps S42 to S44 are steps for calculating object importance levels for all objects appearing in the evaluation target image. For example, if there are three objects appearing in the evaluation target image, the object importance degree is calculated for each of the three objects. The calculated object importance level is stored in the object importance level information storage unit 34a.
  • the image importance calculation unit 32 calculates the image importance by adding the object importance of all the objects to be evaluated, and the image importance The degree is stored in the image importance degree information storage unit 34b as image importance degree information (S45).
  • step S46: No If there is an image whose image importance level has not been calculated (S46: No), the process returns to step S41 to set the uncalculated image as an evaluation target and obtain the image importance level.
  • the display control unit 36 uses the evaluation information stored in the image importance information storage unit 34b to display the image importance on the screen of the display 6. Is displayed (S47).
  • a general method can be used as a display method of the image importance, and the score (score) of each image may be displayed or the ranking of the score may be displayed. Even if the score and ranking are not directly displayed, the higher score image is preferentially displayed (for example, a larger size is displayed or a slide show is displayed more frequently).
  • Image A is an image in which the object of the face F1 (belonging to the cluster of the person a) is shown (see FIG. 5), the frequency of the person a to which the face F1 belongs is 2 (see FIG. 7), and the occupation of the face F1 The degree is 0.3 (see FIG. 8).
  • the image importance calculation unit 32 sets the importance 0.6 of the face F1 as the image importance of the image A as it is.
  • Image B is an image in which the object of face F2 (belonging to the cluster of person a) and the object of face F3 (belonging to the cluster of person b) are shown (see FIG. 5).
  • the frequency of the person a to which the face F2 belongs is 2, and the frequency of the person b to which the face F3 belongs is also 2 (see FIG. 7).
  • the occupation degree of the face F2 is 0.4, and the occupation degree of the face F3 is 0.3 (see FIG. 8).
  • Image C is an image in which an object of face F4 (belonging to the cluster of person b) is shown.
  • FIG. 11 shows image importance information corresponding to images A to C.
  • the objects shown in the image are clustered, the frequency of the objects belonging to the same cluster (person a, person b), the occupancy of the objects included in the individual images, and
  • the image importance can be calculated using the image importance, and the image importance can be increased in proportion to the frequency or the occupation.
  • the object importance of the three objects can be reflected in the high image importance. For example, in the case where an image held by a family is to be evaluated, a person making up the family is evaluated as an important object, and a photograph (family group photo) in which this important object is gathered is particularly high. Can be evaluated. Therefore, it can contribute to the evaluation of the image according to the user's intention.
  • an image showing an object such as a person constituting a family or a pet often photographed by a user can be evaluated as an important photograph for the user. There is an effect of facilitating selection of an image.
  • the object importance is obtained by integrating the frequency and the occupancy (FIG. 9: S43), but is not limited thereto.
  • F I Log (F R * 100 + 1) / log (F N +1) * F F (Formula 1) You may obtain
  • F N is the number of objects (persons) caught on the image
  • F R is occupancy object.
  • the evaluation unit 30 calculates the image importance by adding the object importance of each object. In short, the higher the number of objects, the higher the score. If it is a method, it will not be restricted to this.
  • the object importance of each object may be integrated. At that time, each term is less than 1 so that the value is not reduced by integration. For example, the percentage is used instead of the occupancy.
  • FIG. 13 is a functional block diagram of the image evaluation system 101 according to the second embodiment.
  • the graph generation unit 40 of the image evaluation apparatus 102 includes an image / subject node generation unit 44a1 and a dummy node generation unit 44a2 that generate nodes, a subject link setting unit 44b1 that sets a link value indicating a connection relationship between nodes, and a dummy.
  • a link setting unit 44b2 is provided.
  • the image / subject node generation unit 44a1 generates a node indicating an image and a node indicating an object based on the cluster information (see FIG. 5) acquired from the cluster information storage unit 16.
  • the dummy node generation unit 44a2 generates a dummy node (background node).
  • the subject link setting unit 44b1 sets a link between the image node and the object node based on the occupancy acquired from the occupancy storage unit 28 and the cluster information acquired from the cluster information storage unit 16. Since this link is oriented, the graph is of a type called a directed graph.
  • the dummy link setting unit 44b2 similarly sets a link between the image node and the dummy node.
  • the graph storage unit 46 stores the graph generated by the graph generation unit 40.
  • the evaluation unit 48 includes an adjacency matrix generation unit 50, an eigenvector calculation unit 52, and an importance calculation unit 53.
  • the adjacency matrix generation unit 50 generates an adjacency matrix that represents the graph stored in the graph storage unit 46.
  • the eigenvector calculation unit 52 calculates the eigenvector of the generated adjacency matrix.
  • the importance calculation unit 53 calculates the object importance of each object and the image importance of each image based on the calculated eigenvector component.
  • the calculated object importance level is stored in the object importance level information storage unit 34a. Further, the calculated image importance level is stored in the image importance level information storage unit 34b. ⁇ Operation> Next, a flow until an image is evaluated will be described.
  • the processing is performed in the order of image acquisition / clustering (S11), occupancy calculation / graph generation (S51), adjacency matrix generation / eigenvector calculation (S52).
  • the occupancy calculation unit 22 acquires cluster information from the cluster information storage unit 16 (S31), and which person occupies and how much in each image. Is calculated (S33). Since this calculation method is the same as the method described in the first embodiment (see FIG. 6), the same step number is assigned and description thereof is omitted.
  • the image / subject node generation unit 44a1 and the dummy node generation unit 44a2 of the graph generation unit 40 acquire the cluster information of the cluster information storage unit 16 and the occupancy of the occupancy storage unit 28 (S61).
  • the image / subject node generation unit 44a1 includes P nodes corresponding to images (the number is P) included in the cluster information and the number of types of clusters (the number is Q). Q nodes corresponding to are generated.
  • the dummy node generation unit 44a2 generates one node corresponding to the background (set one abstract dummy Z for all images). The number of generated nodes is (1 + P + Q) (S62).
  • the number of images in the “image” 27b and the type of cluster in the “cluster name” 27a calculated by the frequency calculation unit 20 (FIG. 7) can be used.
  • the subject link setting unit 44b1 and the dummy link setting unit 44b2 of the graph generation unit 40 set a link between the created nodes (S63).
  • the basic rules for setting a link are as follows.
  • the value of the link from each image to each cluster is the occupancy of objects belonging to that cluster.
  • the value of the link from the dummy Z to each cluster and each image is a value obtained by dividing 1 by the number of linked nodes (1 is evenly distributed).
  • FIG. 16 shows an example in which a link is set between the image A, the person a, and the dummy Z.
  • the value of the link from the image A to the person a becomes the occupancy ⁇ (a) of the person a in the image A.
  • the value of the link from the person a to the image A is a fixed value ⁇ .
  • the value of the link from image A to dummy Z (F (A ⁇ Z)) is the background occupancy (1- ⁇ (a)) in image A. Further, the value of the link from the person a to the dummy Z (F (a ⁇ Z)) is 1 ⁇ .
  • the value of the link from the dummy Z to the image A (F (Z ⁇ A)) and the value of the link from the dummy Z to the person a (F (Z ⁇ a)) are 0.5 obtained by dividing 1 by the number of nodes 2. .
  • FIG. 17 is a diagram for explaining the link setting according to such a link rule.
  • the link from the image A to the person a is 0.3, which is the degree of occupation of the person a.
  • the link from the person a to the image A has a fixed value ⁇ .
  • ⁇ 0.1 here, it is 0.1.
  • the link from image A to dummy Z has a background occupancy of 0.7 in image A.
  • the value of the link from the dummy Z to the other four nodes is 0.25 obtained by dividing 1 by the number 4 of link destination nodes.
  • the value of the link between other nodes is set according to the above rule.
  • the graph generation unit 40 After completing the link setting, the graph generation unit 40 outputs a completed graph by determining the link between the nodes (S64), and the graph storage unit 46 converts the output graph into a table structure.
  • the graph of FIG. 17 is stored as a table structure as shown in FIG.
  • the adjacency matrix generation unit 50 generates an adjacency matrix M using the table structure stored in the graph storage unit 46 (S71). If the table structure of FIG. 18 is used, an adjacency matrix M that is a fifth-order (5 rows and 5 columns) square matrix as shown in FIG. 20 is generated.
  • Steps S72 to S74 are operations of “power method”, which is a kind of method for simultaneously obtaining a main eigenvalue and a main eigenvector belonging to the main eigenvalue.
  • the eigenvector calculation unit 52 determines the converged eigenvector P as the main eigenvector P (S75), and the importance calculation unit 53 extracts an image component and an object component from the main eigenvector components (S76).
  • the importance calculation unit 53 normalizes both components (so that the sum is 1), and outputs it to the image importance information storage unit 34b (S77).
  • FIG. 21 is a diagram for explaining the flow of obtaining the image importance and object importance of an image from the components of the main eigenvector P.
  • Image importance and the importance of the persons a and b can be calculated as relative evaluations.
  • the recursive eigenvector calculation processing of the adjacency matrix M representing the link relationship can propagate the importance between objects, and even an object that is infrequent or not large is shared with an important object. Waking up can raise the importance.
  • the frequency of three types of clusters of a person a (son), a person d (son's friend), and a person e (grandmother) is: person a> person e> person It is assumed that the frequency of the person a is very high (meaning that the importance level of the person a is high) (FIG. 22A).
  • the importance of the person e is higher than that of the person a. Can raise its importance. Therefore, although the frequency of the person e is lower than that of the person d, the image importance of the image E in which the person e is captured alone exceeds the image importance of the image F in which the person d is captured alone. Can be.
  • the importance of the image and the object is calculated using the data structure between the image and the object included in the image (photographed). Any structure may be used as long as it defines a set, a set related to an image, and a relationship between the sets.
  • the set of images may be an object included in the image as in the second embodiment, but may be various types of information embedded in the image as in the Exif (Exchangeable image file format) standard, for example. Furthermore, the tag provided to the image may be sufficient.
  • Embodiment 3 a data structure between an image and a tag attached to the image will be described as an example of such a data structure.
  • FIG. 25 shows the relationship between an image (image T, image U) and a tag (tag a, tag b).
  • the image T has a “golf” tag a
  • the image U has a “golf” tag a and a “birdy” tag b.
  • tag assignment is manually set by the user, for example.
  • FIG. 25 shows a link indicating the relationship between the images T and U and the tags a and b.
  • the link value from this image to the tag is obtained by multiplying the freshness of the image by 1/10.
  • the freshness of the image is obtained from the difference between the current date and time (date and time of evaluation) and the date and time when the image was added.
  • the weighting between the image T and the tags a and b is increased.
  • the image freshness is a value (0 to 1) obtained by normalizing the addition date and time of each image.
  • Freshness of image T (addition date / time of image T ⁇ oldest addition date / time in image) / (current date / time ⁇ oldest addition date / time in image) It calculates by calculating
  • This link is assigned a fixed value of 0.01, for example.
  • the value of the link from the tag “golf” to the image T is 0.01.
  • the relationship between the images T and U and the tags a and b and the images T and U and the tags a and b are obtained, and for example, by using the adjacency matrix as in the second embodiment, The image importance of the images T and U and the tag importance of the tags a and b can be calculated.
  • weights may be returned to the dummy nodes as shown in FIG. ⁇ Supplement>
  • this invention is not limited to said content, It can implement also in the various forms for achieving the objective of this invention, its related or incidental object, for example, The following may also be used.
  • the k-means method which is a non-hierarchical method, is taken as an example of the clustering method performed by the clustering 14; however, the present invention is not limited to this, and the Ward method (Ward's method) or the like can be used. A hierarchical approach may be used.
  • a human face is described as an example.
  • the object is not limited to a person, and an animal face such as a dog or a cat may be used as an object of image feature extraction. Absent.
  • the object shown in the image is not limited to the face, and various objects such as a car, a plant, and a building are conceivable.
  • the eigenvector calculation unit 52 calculates the eigenvector using the power method, but the present invention is not limited to this. For example, an inverse iteration method may be used.
  • the fixed value of the link to the image may be individually set such that the link from the person a to the image A is the fixed value ⁇ 1, and the link from the dummy Z to the image A is the fixed value ⁇ 2.
  • the link value to images A and B is calculated by using a method for dealing with the problem of a node that does not have an outward link and absorbs importance (problem of ranksinks). It may be determined.
  • the object importance is described based on (A) the frequency of the cluster to which the object belongs and (B) the occupancy of the object.
  • the former (A) may be an amount that characterizes the cluster to which the object belongs, and is not limited to the frequency (number of members of the cluster).
  • the degree of smile of the person for example, in addition to the degree of occupancy, the degree of smile of the person, the degree of face orientation, and the degree of focus of the person may be weighted.
  • the importance of each object (F1, F6) may be calculated using a coefficient indicating the degree of smile.
  • the image S having a greater smile level has a higher image importance than the image A.
  • the calculation formula can be such that the more important the image is, the higher the importance of the image is.
  • a person's degree of focus is evaluated higher as the person's focus is sharper, and lower as the person is out of focus.
  • the technique of the following Reference 3 can be used.
  • each object may be calculated based on the degree of smile, the direction of the face, the degree of focus of the person, etc. without using the occupancy at all.
  • any value can be used as long as it is a value indicating the feature of the object in each image, and is not limited to the degree of occupation, the degree of smile, the degree of face orientation, and the like.
  • the image evaluation device 2 has been described as including the object feature amount extraction unit 12 and the clustering unit 14, but these are in an external device of the image evaluation device 2. It doesn't matter.
  • the image evaluation system 111 shown in FIG. 24 includes an image evaluation device 112, an SD memory card 4, and a clustering device 114.
  • the clustering device 114 includes an object feature amount extraction unit 12 that extracts an object feature amount based on image data acquired from the SD memory card 4, a clustering unit 14, and a cluster storage unit 16.
  • the image evaluation apparatus 112 includes a cluster information acquisition unit 60 that acquires cluster information of the cluster storage unit 16.
  • connection between the two can take various forms regardless of wired (LAN cable, USB cable, etc.) or wireless (infrared, Bluetooth, etc.).
  • the image evaluation apparatus of each embodiment may be typically realized as an LSI (Large Scale Integration) that is an integrated circuit.
  • LSI Large Scale Integration
  • Each circuit may be individually configured as one chip, or may be integrated into one chip so as to include all or some of the circuits.
  • IC Integrated Circuit
  • system LSI system LSI
  • super LSI super LSI
  • ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • Such recording media include smart media, compact flash (registered trademark), memory stick (registered trademark), SD memory card, multimedia card, CD-R / RW, DVD ⁇ R / RW, DVD-RAM, HD- There are DVD, BD (Blu-ray Disc) and so on.
  • the distributed and distributed control program is used by being stored in a memory or the like that can be read by the processor, and the processor executes the control program to perform various functions as shown in the embodiment. It will be realized.
  • the display 6 at the bottom of FIG. 9 displays the ranking of images with high image importance.
  • the present invention is not limited to this, and the ranking of persons with high object importance may be displayed. .
  • the screen 270 is a general touch screen screen, and an arrow and an icon can be selected by touching the finger 272.
  • the scale bar 274 is marked with “year”, “month”, “week”, and “day” scales.
  • the user drags the round button 276 left and right to set the scale, and taps the left and right arrows 278L and 278R to specify the date and time range.
  • 2010 is specified as the date / time range.
  • the object extraction unit 11 has a shooting date and time of 2010 among images acquired by the image acquisition unit 10 (for example, 2010/01/01/00: 00 to 2010/12/31/23: 59).
  • the evaluation unit 48 calculates the importance corresponding to the image whose shooting date is 2010.
  • the display control unit 36 displays the calculated importance.
  • a method of calculating the corresponding importance each time may be used, but instead, a method of calculating and storing the importance for each date / time range that can be designated in advance. It doesn't matter.
  • the designation of the date and time range is not limited to the touch input as shown in FIG. 27, but may be accepted by numerical input from the keyboard.
  • the value of the link from the cluster such as a person to the image in which the person is shown is a fixed value, but it may be set according to the degree of occupancy. .
  • FIG. 29 is a diagram for explaining the link setting according to such a link rule.
  • Reference 1 "Face recognition using weighted matching based on Gabor feature information" Kazuhiro Hotta (Saitama University (Japan Society for the Promotion of Science) Research Fellow) IEICE technical report.
  • an image important for a user can be efficiently searched from a huge amount of image content held by a plurality of users such as family members. Compared with the evaluation method, the user can easily browse and search the content without burden.
  • the user can easily select the desired image from the search results based on the ranking of images when searching for a photo that represents the family by creating a New Year's card from the enormous amount of photo content collected by the family. It is useful for stationary terminals such as personal computers and server terminals. It is also useful as a mobile terminal such as a digital camera or a mobile phone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一の画像に現れているオブジェクトが属するクラスタに基づいた第１値（例えば、このオブジェクトが全画像の全オブジェクト中で出現する頻度）、および上記一の画像に現れているオブジェクトが当該一の画像において現れる特徴（例えば占有度）を示す第２値を算出する。そして、この算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する。

Description

画像評価装置、画像評価方法、プログラム、集積回路
　膨大な数の画像のそれぞれを評価する技術に関する。
　近年、デジタルカメラの普及や記録メディアの容量増加により、ユーザひとりあたりで保有する画像の枚数が増加する傾向にある。
　このような大量の画像の中から、ユーザが見たい画像を簡単に探し出すことを支援するために、個々の画像を評価してランキングする手法が知られている。
　例えば、画像を用いて行われた作業（プリントやスライドショーなど）の回数などに応じて、各画像の評価値を算出する手法がある（特許文献１参照）。
　また、画像に基づき特徴量を算出し、算出した特徴量を用いて画像が選択されるか否かを表す確率を統計的に求める手法がある（特許文献２参照）。
　さらに、画像に含まれる顔の向きを判定し、正面を向いている度合いが大きいほど、その画像の評価値を高い値として算出する手法がある（特許文献３参照）。
特開2007-135065公報 特開2007-80014公報 特開2004-361989公報
　しかしながら、特許文献１の手法では、ユーザ操作が必須となっており、ユーザ操作が全く行われていない場合や操作回数が少ない時点では、ユーザの意図を反映した評価値を算出することができないという問題がある。
　また、特許文献３の手法では、人物の顔の向きに専ら依存して画像を評価するが、必ずしも顔の向きがユーザにとっての重要性に直結するとは限らない。
　ユーザが高評価を期待する画像は、写っている人物の顔の向きがよい画像ではなく、そのユーザにとって重要な人物が写る画像であるものと考えられる。
　本発明はこのような背景の下になされたものであって、各画像に現れる人物などのオブジェクトに基づいて、画像を評価することができる画像評価装置などを提供することを目的とする。
　本発明に係る画像評価装置は、オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段とを備えることを特徴している。
　本発明に係る画像評価装置によれば、各画像に現れる人物などのオブジェクトに基づいて、画像を評価することができる。
　また、前記評価手段は、算出された第１値および第２値に基づいて、前記一の画像に現れているオブジェクトの重要度を算出するオブジェクト重要度算出手段と、算出されたオブジェクトの重要度に基づいて、前記一の画像の評価を示す重要度を算出する画像重要度算出手段とを含むとしても構わない。
　また、前記第１値算出手段は、前記複数の画像に含まれる全オブジェクトのうちで、一の画像に含まれるオブジェクトが属するクラスタのオブジェクト、が出現する頻度を算出し、前記第２値算出手段は、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが前記一の画像において占める面積を示す占有度を算出し、前記オブジェクト重要度算出部は、算出された頻度および占有度に基づいて、前記オブジェクトの重要度を算出するとしても構わない。
　この構成によれば、一の画像に含まれるオブジェクトに基づいた算出した頻度と、そのオブジェクトが占める面積を示す占有度との双方を用いて重要度を算出するので、ユーザの期待に添う重要度の算出に寄与することができる。
　また、前記一の画像に第１オブジェクトと第２オブジェクトとが含まれる場合、前記頻度算出手段は、前記第１オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第１頻度と、前記第２オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第２頻度と、を算出し、前記占有度算出手段は、第１オブジェクトが前記一の画像において占める面積を示す第１占有度と、第２オブジェクトが前記一の画像において占める面積を示す第２占有度と、を算出し、前記オブジェクト重要度算出手段は、前記第１頻度および前記第１占有度に基づいて第１オブジェクトの重要度である第１重要度を算出し、前記第２頻度および前記第２占有度に基づいて第２オブジェクトの重要度である第２重要度を算出し、前記画像重要度算出手段は、前記第１重要度および第２重要度に基づいて、前記一の画像の評価を示す重要度を算出するとしても構わない。
　この構成によれば、一の画像に第１オブジェクトと第２オブジェクトとが現れている場合に、両オブジェクトの重要度に基づいて画像の重要度を算出するので、例えば、複数の人物が現れる画像の評価を高い値として算出することができる。
　また、前記オブジェクトは、前記一の画像から切り出された人の顔であるとしても構わない。
　この構成によれば、例えば、家族の集合写真を評価対象とする際に特に好適である。
　また、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、前記評価手段は、両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出するとしても構わない。
　オブジェクト間で重要度を伝播させるので、ユーザの期待に添うオブジェクトの重要度の算出に寄与することができる。
　また、前記オブジェクトが含まれる複数の画像はＰ個（Ｐは自然数）であって、前記第１値算出手段は、Ｐ個の画像に含まれるオブジェクトが属するクラスタの個数のＱ個（Ｑは自然数）を算出し、前記第２値算出手段は、前記Ｐ個の画像に現れているオブジェクトのそれぞれについて、当該オブジェクトが当該各画像において現れる特徴を示す第２値を算出し、前記Ｐ個の画像をそれぞれ示すＰ個のノードと、前記Ｐ個の画像に含まれるオブジェクトが属するクラスタをそれぞれ示すＱ個のノードとを含むノードを作成するノード作成手段と、ある画像Ａを示すノードＡと、当該画像Ａに含まれるオブジェクトが属するクラスタａを示すノードａについて、このノードＡ－ａ間のリンクの値を、クラスタａに属するオブジェクトの画像Ａにおける第２値を用いて設定するリンク設定手段と、前記ノード作成手段に作成されたノードとリンク設定手段により設定されたリンクの値とにより構成されたグラフを表現する隣接行列を生成する隣接行列生成手段を備え、前記評価手段は、生成された隣接行列の主固有ベクトルを算出する固有ベクトル算出手段と、算出された主固有ベクトルの要素に基づいてＮ個の画像それぞれの評価を示す重要度を算出する重要度算出手段と、を含むとしても構わない。
　この構成によれば、グラフを構成するノード間で重みを伝播させることができる。例えば、画像のノードＡとオブジェクトのノードａ間のリンクに基づいて、画像とオブジェクト間で重要度を伝搬させることができる。
　また、前記リンク設定手段は、前記ノードＡ－ａ間のリンクの値のうち、ノードＡからノードａへのリンクの値を前記第２値を用いて設定し、ノードａからノードＡへのリンクの値は前記第２値を用いずに設定するとしても構わない。
　この構成によれば、画像Ａにおける特徴値を用いて、ノードＡ（画像Ａのノード）からノードａ（画像Ａに含まれるオブジェクトが属するクラスタａのノード）へのリンクの値を設定するので、例えば、画像Ａに上記オブジェクトが大写しされている場合には、リンクの値の重みを大きくするなどすることにより、画像Ａの内容に即した重みの伝搬が可能となる。
　また、前記第２値算出手段が算出する第２値は、前記オブジェクトが当該各画像において占める面積を示す占有度であるとしても構わない。
　また、前記第２値算出手段は、各画像においてオブジェクトが現れていない領域である背景の占有度を算出し、前記ノード作成手段は、ダミーを示す１個のノードを作成し、前記リンク設定手段は、ある画像Ａを示すノードＡと、ダミーを示す１個のノードＺとについて、このノードＡ－Ｚ間のリンクの値のうちのノードＡからノードＺへのリンクの値を、画像Ａにおける背景の占有度を用いて設定するとしても構わない。
　また、前記リンク設定手段は、前記ノードＡ－ａ間のリンクの値について、ノードＡからノードａへのリンクの値およびノードａからノードＡへのリンクの値を前記第２値を用いて設定するとしても構わない。
　この構成によれば、オブジェクトが画像において現れる特徴を示す第２値を用いてリンクの値を設定することで、重要度の伝搬を最適化できる。
　また、前記複数の画像それぞれには撮影日時が関連付けられており、さらに、日時の範囲の指定を受け付ける受付手段を備え、前記第１値算出手段および第２値算出手段は、指定範囲に含まれる画像を用いて算出を行うが、指定範囲に含まれない画像を用いては算出を行わないとしても構わない。
　この構成によれば、上記評価手段は、指定範囲に対応したオブジェクトおよび画像の重要度を算出することが可能となる。
　また、本発明に係る画像評価方法は、それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価方法であって、各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップとを含むことを特徴とする。
　また、本発明に係るプログラムは、それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価処理をコンピュータに実行させるプログラムであって、前記画像評価処理は、各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップとを含む処理であることを特徴とする。
　また、本発明に係る集積回路は、オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段とを備えることを特徴とする。
画像評価システム１の機能ブロック図 画像評価処理のあらましを示すフローチャート 画像取得・クラスタリング処理の詳細を示すフローチャート オブジェクト特徴量の抽出からクラスタリングまでの流れを示すイメージ図 クラスタ情報のデータ構造を示す図 オブジェクト出現特徴量の算出処理の詳細を示すフローチャート 頻度情報のデータ構造を示す図 占有度情報のデータ構造を示す図 画像の評価処理の詳細を示すフローチャート 画像Ａ～画像Ｃにおけるオブジェクト重要度および画像重要度を説明するための図 画像重要度情報のデータ構造を示す図 画像Ｘ，画像Ｙにおけるオブジェクト重要度および画像重要度を説明するための図 画像評価システム１０１の機能ブロック図 画像評価処理のあらましを示すフローチャート 占有度算出・グラフの生成処理の詳細を示すフローチャート 画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を説明するための図 画像Ａ，Ｂ、人物ａ，ｂ、ダミーＺの５個のノードのリンク設定を説明するための図 グラフのテーブル構造を示す図 隣接行列生成・画像の評価を示すフローチャート 隣接行列Ｍを示す図 主固有ベクトルＰの成分から画像重要度およびオブジェクト重要度を求める流れを説明する図 オブジェクト間の重要度の伝搬を説明するための図 笑顔の度合いを用いたオブジェクト重要度の算出を説明する図 画像評価システム１１１の機能ブロック図 画像（画像Ｔ，画像Ｕ）と、タグ（タグａ，タグｂ）間の関係性を説明するための図 画像Ｔ、タグａ、ダミーＺの間の関係性を説明するための図 指定された日時範囲における人物・画像のランキングの表示例を示す図 画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を説明するための図 画像Ａ，Ｂ、人物ａ，ｂ、ダミーＺの５個のノードのリンク設定を説明するための図
（実施の形態１）
　以下、本実施の形態について、図面を参照しながら説明する。
＜構成＞
　図１に示すように、画像評価システム１は、画像評価装置２とＳＤメモリカード４とを含んで構成される。
　画像評価装置２は、画像取得部１０、オブジェクト抽出部１１（オブジェクト特徴量抽出部１２，クラスタリング部１４を含む）、記憶部１５（クラスタ情報記憶部１６，頻度記憶部２６，占有度記憶部２８，オブジェクト重要度情報記憶部３４ａ，画像重要度情報記憶部３４ｂを含む）、オブジェクト出現特徴量算出部１８（頻度算出部２０，占有度算出部２２を含む）、評価部２９（オブジェクト重要度算出部３０，画像重要度算出部３２を含む）、表示制御部３６を備える。
　画像取得部１０は、ＳＤカードリーダーから構成され、ＳＤカードスロット内に挿入されたＳＤメモリカード４から画像データを取得する。
　オブジェクト特徴量抽出部１２は、画像取得部１０が取得した画像データを対象として、画像に写るオブジェクトの画像特徴量を抽出し、オブジェクト特徴量として出力する。
　以下では、オブジェクトとして人の顔を例に挙げて説明する。
　また、画像から顔に関する画像特徴量を抽出する手法として、Ｇａｂｏｒフィルタによる抽出手法で算出しても良い。Ｇａｂｏｒ法については、後述する参考文献１を参照されたい。
　クラスタリング１４は、オブジェクト特徴量抽出部１２が出力するオブジェクト特徴量に基づいてクラスタリングを行い、その結果を示すクラスタ情報をクラスタ情報記憶部１６に記憶させる。クラスタリング手法については、非階層的な手法（固定されたクラスターのそれぞれに代表を与えてクラスタリングを行う手法）のひとつであるｋ－ｍｅａｎｓ法（参考文献１参照）を用いることができる。
　記憶部１５は、クラスタ情報記憶部１６，頻度記憶部２６，占有度記憶部２８，オブジェクト重要度情報記憶部３４ａ，画像重要度情報記憶部３４ｂを含む。記憶部１５は、例えば、ＲＡＭから構成することができる。
　オブジェクト出現特徴量算出部１８は、クラスタ情報記憶部１６に記憶されたクラスタ情報に基づいて、オブジェクト出現特徴量を算出する。「オブジェクト出現特徴量」は、同じクラスタに属するオブジェクトが画像においてどのように出現しているかを示す量である。具体的には（１）同じクラスタに属するオブジェクトが全画像枚数中において何枚出現しているかを示す「頻度」、（２）いずれかのクラスタに属するオブジェクトが各画像において占める割合を示す「占有度」、この２種から構成される。そして頻度、占有度はオブジェクト出現特徴量算出部１８に含まれる頻度算出部２０、占有度算出部２２がそれぞれ算出する。そして、算出された頻度は、頻度記憶部２６に記憶され、算出された占有度は、占有度記憶部２８に記憶される。
　オブジェクト重要度算出部３０は、前記オブジェクト出現特徴量記憶部に記憶されたオブジェクト出現特徴量（頻度と占有度）に基づいて、全ての画像データにおいて各画像に現れるオブジェクトそれぞれの重要度を示すオブジェクト重要度を算出する。
　オブジェクト重要度情報記憶部３４ａは、例えば、ＲＡＭから構成され、オブジェクト重要度算出部３０により算出されたオブジェクト重要度を含むオブジェクト重要度情報を記憶する。
　画像重要度算出部３２は、オブジェクト重要度に基づいて個々の画像の重要度（画像重要度）を算出する。
　画像重要度情報記憶部３４ｂは、例えば、ＲＡＭから構成され、画像重要度算出部３２により算出された画像重要度を含む画像重要度情報を記憶する。
　表示制御部３６は、算出された画像重要度をディスプレイ６の画面に表示させる。
＜動作＞
　次に、画像を評価するまでの流れについて説明する。
　図２に示すように、画像取得・クラスタリング（Ｓ１１）、オブジェクト出現特徴量の算出（Ｓ１２）、画像の評価（Ｓ１３）の順で処理を行う。
　図３に示すように、画像取得・クラスタリングの処理では、画像取得部１０は、ＳＤメモリカード４から、ＳＤメモリカード４内に記憶された画像データを取得する（Ｓ２１）。ここでは一例として、ＳＤメモリカード４内には、画像Ａ～画像Ｃの３枚分の画像データが記憶されており、画像取得部１０はこの画像Ａ～画像Ｃの画像データを取得するものとする。
　続いて、オブジェクト特徴量抽出部１２は、取得された画像データを対象として、画像から顔の領域を切り出して、その顔の特徴量をオブジェクト特徴量として抽出する（Ｓ２２）。そして、クラスタリング部１４は、抽出されたオブジェクト特徴量を用いてクラスタリングを行い、クラスタリングした結果であるクラスタ情報をクラスタ情報記憶部１６に記憶させる（Ｓ２３）。
　図４を用いて、ステップＳ２２，Ｓ２３の動作を具体的に説明すると、オブジェクト特徴量抽出部１２は、３枚の画像Ａ～画像Ｃ（図４（ａ））から４つの顔Ｆ１～Ｆ４を切り出し、顔Ｆ１～Ｆ４それぞれの特徴量を抽出する（図４（ｂ））
　そして、クラスタリング部１４は、４つの顔Ｆ１～Ｆ４のうち、類似している顔どうしの顔Ｆ１，Ｆ２を人物ａとし、また顔Ｆ３，Ｆ４を人物ｂとクラスタリングする。
　図５は、クラスタリングの結果を示すクラスタ情報のデータ構造を示す図である。クラスタ情報は、画像に出現する顔のそれぞれがどのクラスタに属しているかを示す情報であり、「クラスタ名」１７ａ、「顔」１７ｂ、「画像」１７ｃの項目を含む。
　続いて、図６を用いてオブジェクト出現特徴量の算出処理（Ｓ１２）の詳細を説明する。オブジェクト出現特徴量算出部１８は、クラスタ情報記憶部１６からクラスタ情報を取得する（Ｓ３１）。
　頻度算出部２０は、取得されたクラスタ情報に基づいて、同じクラスタ（「クラスタ名」１７ａが同一）に属する顔の数を計数することにより、頻度を算出する（Ｓ３２）。そして算出した頻度を含む頻度情報を頻度記憶部２６に記憶させる。
　図７に、頻度情報のデータ構造を示す。頻度情報は、「クラスタ名」２７ａ、「画像」２７ｂ、「頻度」２７ｃの項目を含む。「頻度」２７ｃの値は、「画像」２７ｂの画像の枚数を数えたものである。
　図７の例では、人物ａの頻度が２、人物ｂの頻度が２となっている。なお、上述のように、頻度は同じクラスタに属する顔の数を計数したものであるから、クラスタのメンバ数ともいえる。
　図５に戻って説明を続ける。占有度算出部２２は、オブジェクト特徴量抽出部１２が抽出した顔の領域の大きさを、当該顔が出現した画像全体の大きさで除することにより、各顔が各画像において占める割合と、背景が占める割合を算出する。例えば、顔の領域の大きさが30万画素分を占め、画像の大きさが100万画素であれば、30/100=0.3が顔が占める割合となり、1-0.3=0.7が背景が占める割合となる。そして、占有度算出部２２は、クラスタ情報を参照して、それぞれの顔がどのクラスタに属しているか判別することによって、各画像においてどの人物がどの程度占めているかを示す占有度を算出する（Ｓ３３）。そして、算出した占有度を含む占有度情報を占有度記憶部２８に記憶させる。
　図８に、占有度情報のデータ構造を示す。占有度情報は、「画像」２９ａ、「人物ａに属する顔の占有度」２９ｂ、「人物ｂに属する顔の占有度」２９ｃ、「背景の占有度」２９ｄの項目を含む。「人物ａに属する顔の占有度」２９ｂは、各画像において属するクラスタが人物ａである顔（オブジェクト）の占有度である。例えば、画像Ａにおいては、顔Ｆ１は人物ａのクラスタに属しており（図５参照）、顔の領域の大きさが30％であるので「人物ａに属する顔の占有度」は0.3となる。
　続いて、図９を用いて画像の評価処理（Ｓ１３）の詳細を説明する。
　オブジェクト重要度算出部３０は、評価対象のひとつの画像を設定する（Ｓ４１）。そして、オブジェクト重要度算出部３０は、設定した画像に写るオブジェクトの頻度を示す頻度情報を頻度記憶部２６から取得し、同オブジェクトの占有度を示す占有度情報を占有度記憶部２８から取得する（Ｓ４２）。
　オブジェクト重要度算出部３０は、取得した頻度と占有度を積算することによりオブジェクト重要度を算出する。
　設定した画像に写るすべてのオブジェクトのオブジェクト重要度を算出していなければ（Ｓ４４：Ｎｏ）、ステップＳ４３に戻り、未算出のオブジェクトについてオブジェクト重要度を算出する。
　要するに、ステップＳ４２～Ｓ４４は評価対象の画像に現れる全てのオブジェクトについてオブジェクト重要度を算出するステップである。例えば、評価対象の画像に現れるオブジェクトが３つであれば、３つのオブジェクトそれぞれについてオブジェクト重要度を算出することとなる。算出されたオブジェクト重要度は、オブジェクト重要度情報記憶部３４ａに記憶される。
　すべてのオブジェクトについてオブジェクト重要度を算出し終えると（Ｓ４４：Ｙｅｓ）、画像重要度算出部３２は、評価対象のすべてのオブジェクトのオブジェクト重要度を加算することにより画像重要度を算出し、画像重要度を画像重要度情報として画像重要度情報記憶部３４ｂに記憶させる（Ｓ４５）。
　画像重要度が未算出の画像があれば（Ｓ４６：Ｎｏ）、ステップＳ４１に戻って、未算出の画像を評価対象に設定し画像重要度を求める。
　全画像の画像重要度を算出していれば（Ｓ４６：Ｙｅｓ）、表示制御部３６は、画像重要度情報記憶部３４ｂに記憶された評価情報を用いて、ディスプレイ６の画面上に画像重要度を表示する（Ｓ４７）。画像重要度の表示方法としては一般的な手法を用いることができ、個々の画像の得点（スコア）を表示したり、スコアの順位を表示してもよい。またスコアや順位を直接表示せずとも、大スコアの画像ほど優先的に表示する（サイズを大きく表示したり、スライドショーでより頻繁に表示したりするなど）。
　次に、具体例として画像Ａ～Ｃについてのオブジェクト重要度および画像重要度する流れについて図１０を用いて説明する。
　（１）画像Ａ
　画像Ａは、顔Ｆ１（人物ａのクラスタに属する。）のオブジェクトが写っている画像であり（図５参照）、顔Ｆ１が属する人物ａの頻度は2（図７参照）、顔Ｆ１の占有度は0.3である（図８参照）。
　この場合、オブジェクト重要度算出部３０は、顔Ｆ１の占有度0.3と頻度2とを積算して、0.3×2=0.6を顔Ｆ１のオブジェクト重要度として算出する。
　そして、画像重要度算出部３２は、画像Ａのオブジェクトは、顔Ｆ１だけであるので、顔Ｆ１の重要度0.6をそのまま画像Ａの画像重要度とする。
　（２）画像Ｂ
　画像Ｂは、顔Ｆ２（人物ａのクラスタに属する。）のオブジェクトと、顔Ｆ３（人物ｂのクラスタに属する。）のオブジェクトが写っている画像である（図５参照）。顔Ｆ２が属する人物ａの頻度は2、顔Ｆ３が属する人物ｂの頻度も2である（図７参照）。また、顔Ｆ２の占有度は0.4、顔Ｆ３の占有度は0.3である（図８参照）。
　オブジェクト重要度算出部３０は、顔Ｆ２のオブジェクト重要度0.8(=2×0.4)、顔Ｆ３のオブジェクト重要度0.6（=2×0.3）を算出する。
　そして、画像重要度算出部３２は、画像Ｂのオブジェクトは、顔Ｆ２と顔Ｆ３の２つであるので、両者を足し合わせて画像重要度(1.4=0.8+0.6)を算出する。
　（３）画像Ｃ
　画像Ｃは、顔Ｆ４（人物ｂのクラスタに属する。）のオブジェクトが写っている画像である。オブジェクト重要度算出部３０は、顔Ｆ４の頻度と占有度からオブジェクト重要度0.6(=2×0.3)を算出し、画像重要度算出部３２は、重要度0.6をそのまま画像Ｃの画像重要度とする。
　なお、図１１に画像Ａ～画像Ｃに対応する画像重要度情報を示す。
　以上説明したように、本実施の形態によれば、画像に写ったオブジェクトをクラスタリングし、同じクラスタ（人物ａ、人物ｂ）に属するオブジェクトの頻度と、個々の画像で含まれるオブジェクトの占有度と用いて画像重要度を算出し、頻度または占有度に比例して画像重要度が高く算出できる。
　このため、個々の画像で大きく写った人物やより頻繁に写る人物を高く評価することができる。また、ユーザによる特別な操作を必要とせずに、画像のランキングを行うことができる。
　例えば、図１２（ａ）に示す画像Ｘのように人物が大きく写っていれば、高い画像重要度も算出することができる。
　また、図１２（ｂ）に示す画像Ｙのように３人の人物が写っていれば、３つのオブジェクトのオブジェクト重要度を高い画像重要度に反映させることができる。例えば、ある家族が保有する画像を評価対象とするような場合には、家族を構成する人物が重要なオブジェクトとして評価され、この重要なオブジェクトが集まって写る写真（家族の集合写真）を特に高く評価することができる。したがって、ユーザの意向に沿う画像の評価に寄与することができる。
　例えば、家庭で撮影された写真を対象とした場合、家族を構成する人物や、ユーザが良く撮影するペットなどの物体が映った画像を、ユーザにとって重要な写真として評価することができ、これらの画像の選択を容易にする、という効果を奏する。
　なお、上記例では、オブジェクト重要度は、頻度と占有度とを積算して求めるとしたが（図９：Ｓ４３）、これに限られない。
　例えば、重要度ＦＩを
　ＦＩ＝Ｌｏｇ（ＦＲ＊１００＋１）／ｌｏｇ（ＦＮ＋１）＊ＦＦ・・・（式１）
の式から求めてもよい。ここでＦＮは画像に写るオブジェクト（人物）の数、ＦＲはオブジェクトの占有度である。
　また、評価部３０は、オブジェクトが複数の場合には、各オブジェクトのオブジェクト重要度を加算することにより画像重要度を求めるとしたが、要は、オブジェクトの数が多いほど高スコアが出るような方法であればこれに限られない。
　例えば、各オブジェクトのオブジェクト重要度を積算してもよい。その際には、各項が１未満となって積算により値が減少しないようにする。例えば、占有度を割合に代えて百分率を用いる。この場合、画像Ｂ（図１０（ｂ）参照）において、顔Ｆ２の占有度は40、顔Ｆ３の占有度は30であるので、Ｆ２のオブジェクト重要度は、80(=40×2)、Ｆ３のオブジェクト重要度は60(=30×2)となる。そして、評価部３０は、80×60=4800を画像Ｂの画像重要度として算出する。
 
（実施の形態２）
　実施の形態２では、画像に写っているオブジェクトとそのオブジェクトが属するクラスタの結び付きに基づいて画像を評価する。また、共起関係にあるオブジェクト（ひとつの画像に共に写っている複数のオブジェクト）どうしで重要度を伝搬させる。これにより、頻度が少なかったり大きく写っていないオブジェクトでも、他の重要なオブジェクトと共起していれば、その重要度を引き上げことができる。
＜構成＞
　図１３は、実施の形態２に係る画像評価システム１０１の機能ブロック図である。
　図１と同じ構成要素には同じ符号を付して説明を省略する。
　画像評価装置１０２のグラフ生成部４０は、ノードを生成する画像・被写体ノード生成部４４ａ１およびダミーノード生成部４４ａ２と、ノード間の連結関係を示すリンクの値を設定する被写体リンク設定部４４ｂ１およびダミーリンク設定部４４ｂ２を備える。
　画像・被写体ノード生成部４４ａ１は、クラスタ情報記憶部１６から取得したクラスタ情報（図５参照）に基づいて画像を示すノードと、オブジェクトを示すノードとを生成する。ダミーノード生成部４４ａ２は、ダミーノード（背景ノード）を生成する。
　被写体リンク設定部４４ｂ１は、占有度記憶部２８から取得した占有度と、クラスタ情報記憶部１６から取得したクラスタ情報とに基づいて、画像ノードとオブジェクトノード間のリンクを設定する。このリンクには向きあるのでグラフは有向グラフと呼ばれるタイプである。
　ダミーリンク設定部４４ｂ２は、同様に画像ノードとダミーノード間のリンクを設定する。
　グラフ記憶部４６は、グラフ生成部４０が生成したグラフを記憶する。
　評価部４８は、隣接行列生成部５０と固有ベクトル算出部５２と重要度算出部５３を含む。
　隣接行列生成部５０は、グラフ記憶部４６に記憶されたグラフを表現する隣接行列を生成する。
　固有ベクトル算出部５２は、生成された隣接行列の固有ベクトルを算出する。
　そして、重要度算出部５３は、算出された固有ベクトルの成分に基づいて、各オブジェクトのオブジェクト重要度および各画像の画像重要度を算出する。
　算出されたオブジェクト重要度は、オブジェクト重要度情報記憶部３４ａに記憶される。また、算出された画像重要度は画像重要度情報記憶部３４ｂにより記憶される。
＜動作＞
　次に、画像を評価するまでの流れについて説明する。
　図１４に示すように、画像取得・クラスタリング（Ｓ１１）、占有度算出・グラフの生成（Ｓ５１）、隣接行列生成・固有ベクトル算出（Ｓ５２）の順で処理を行う。
　画像取得・クラスタリング処理の詳細は、図３を用いて説明したものと同様であるので説明を省略する。
　図１５に示すように、占有度算出・グラフの生成処理では、占有度算出部２２は、クラスタ情報記憶部１６からクラスタ情報を取得し（Ｓ３１）、各画像においてどの人物がどの程度占めているかを示す占有度を算出する（Ｓ３３）。この算出方法については、実施の形態１（図６参照）で説明した方法と同様なので同じステップ番号を付して説明を省略する。
　グラフ生成部４０の画像・被写体ノード生成部４４ａ１およびダミーノード生成部４４ａ２は、クラスタ情報記憶部１６のクラスタ情報と、占有度記憶部２８の占有度を取得する（Ｓ６１）。
　そして、画像・被写体ノード生成部４４ａ１は、クラスタ情報に含まれる画像（その数をＰ個とする。）に対応するＰ個のノード、およびクラスタの種類数（その数をＱ個とする。）に対応するＱ個のノードを生成する。また、ダミーノード生成部４４ａ２は背景（全画像に対する抽象的な１個のダミーＺを設定する。）に対応する１個のノードを生成する。生成されたノードの数は、（１＋Ｐ＋Ｑ）個となる（Ｓ６２）。
　図５に示したクラスタ情報の場合は、画像は画像Ａ～画像Ｃの３個なのでＰ＝３、クラスタの数は人物ａ、人物ｂの２個なのでＱ＝２となり、（１＋３＋２）＝６個のノードを作成することとなる。
　なお、画像の個数やクラスタの数については、頻度算出部２０（図７）が算出した「画像」２７ｂにおける画像の個数や「クラスタ名」２７ａにおけるクラスタの種類を利用することができる。
　なお、以下では説明の簡単のため、画像Ｃを除いた画像Ａと画像Ｂの２つのみを評価対象の画像とする。この場合は、画像の個数がひとつ減るので５個のノードを作成する。
　続いて、グラフ生成部４０の被写体リンク設定部４４ｂ１およびダミーリンク設定部４４ｂ２は、作成したノード間にリンクを設定する（Ｓ６３）。リンクを設定する基本ルールは次の通りである。
　（１）各画像から各クラスタへのリンクの値は、そのクラスタに属するオブジェクトの占有度とする。
　（２）各クラスタから各画像へのリンクの値は、任意の固定値とする。
　（３）各画像からダミーＺへのリンクの値は、背景の占有度とする。
　（４）各クラスタからダミーへのリンクは、「１－（２）の固定値」とする。
　（５）ダミーＺから各クラスタおよび各画像へのリンクの値は、１をリンク先のノードの数で割った値とする（１を均等分配）。
　（６）他のノード間についてはリンクの値をゼロとする。
　図１６に、画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を示す。
　上記（１）～（６）のルールに従ってリンクを設定すると、画像Ａから人物ａへのリンクの値（Ｆ（Ａ→ａ））は、画像Ａにおける人物ａの占有度α（ａ）となる。反対に、人物ａから画像Ａへのリンクの値（Ｆ（ａ→Ａ））は固定値βとなる。
　続いて、画像ＡからダミーＺへのリンクの値（Ｆ（Ａ→Ｚ））は、画像Ａにおける背景の占有度（１－α（ａ））となる。また、人物ａからダミーＺへのリンクの値（Ｆ（ａ→Ｚ））は、1-βとなる。
　ダミーＺから画像Ａへのリンクの値（Ｆ（Ｚ→Ａ））およびダミーＺから人物ａへのリンクの値（Ｆ（Ｚ→ａ））は、１をノード数２で割った0.5となる。
　図１７に、このようなリンクのルールに従ったリンク設定を説明する図を示す。
　図１７に示すように、画像Ａから人物ａへのリンクは、人物ａの占有度である0.3となる。反対に、人物ａから画像Ａへのリンクは固定値βであるが、ここではβ＝0.1としているので0.1となる。
　画像ＡからダミーＺへのリンクは画像Ａにおける背景の占有度0.7となる。ダミーＺから他の４つのノードへのリンクの値は、１をリンク先のノードの数４で割った0.25となる。同様に、上記ルールに従って他のノード間のリンクの値が設定されている。
　グラフ生成部４０は、このようなリンクの設定を終えると、ノードとノード間のリンクの確定により完成したグラフを出力し（Ｓ６４）、グラフ記憶部４６は出力されたグラフをテーブル構造に変換した上で記憶する。例えば、図１７のグラフは、図１８に示すようなテーブル構造として記憶する。
　続いて、隣接行列生成・画像の評価処理について図１９を用いて説明する。
　隣接行列に基づいて行列の各要素を評価する方法については、後述する参考文献２の手法を用いることができる。
　まず、隣接行列生成部５０は、グラフ記憶部４６に記憶されたテーブル構造を用いて隣接行列（adjacency matrix）Ｍを生成する（Ｓ７１）。図１８のテーブル構造を用いるのであれば、図２０に示すような５次（５行５列）の正方行列である隣接行列Ｍを生成する。
　続いて、固有ベクトル算出部５２は、隣接行列Ｍの固有ベクトルを算出する。ステップＳ７２～Ｓ７４は、主固有値（dominant eigenvalue）とそれに属する主固有ベクトル（dominant eigenvector）とを同時に求める方法の一種である「べき乗法」（power method）の演算となっている。
　すなわち、
　ＭＰ＝λＰ・・・（式２）
　の式によって隣接行列Ｍにおいて、固有値λとして成立する固有ベクトルＰを求める（Ｓ７２）。この固有ベクトルＰが収束していない場合には（Ｓ７３）、算出した固有ベクトルＰに元の行列を積算し（Ｓ７４）、行列の固有ベクトルＰが収束（convergent）する（Ｓ７３：Ｙｅｓ）まで再帰的に計算処理を行う。
　そして、固有ベクトル算出部５２は、収束した固有ベクトルＰを主固有ベクトルＰと決定し（Ｓ７５）、重要度算出部５３は、主固有ベクトルの成分から、画像の成分とオブジェクトの成分を取り出す（Ｓ７６）。
　最後に、重要度算出部５３は、両成分をそれぞれ正規化し（合計が１になるようにする。）、画像重要度情報記憶部３４ｂへと出力する（Ｓ７７）。
　ステップＳ７６とＳ７７について詳しく説明する。図２１は、主固有ベクトルＰの成分から画像の画像重要度およびオブジェクト重要度を求める流れを説明する図である。
　図２１に示すように、主固有ベクトルＰ＝（ 0.25 , 0.19 , 0.25 , 0.22 , 0.08 ）から、画像Ａ，Ｂの成分および人物ａ，ｂの成分を取りだして、正規化することにより画像Ａ，Ｂの画像重要度および人物ａ，ｂの重要度を相対的な評価として算出することができる。
　以上、説明したように、本実施の形態２によれば、実施の形態１と同様に、全画像において大きく頻繁に写ったオブジェクトが重要と評価することができ、このオブジェクトが写る画像を高いスコアに評価することができる。
　また、それに加え、リンク関係を表す隣接行列Ｍの再帰的な固有ベクトルの算出処理により、オブジェクト間で重要度を伝播することができ、頻度が少ないあるいは大きく写っていないオブジェクトでも、重要なオブジェクトと共起することで、重要度を引き上げることができる。
　図２２を用いて具体的な例を挙げて説明すると、人物ａ（息子）、人物ｄ（息子の友人）、人物ｅ（祖母）の３種のクラスタの頻度は、人物ａ＞人物ｅ>人物ｄの順であり、特に人物ａの頻度が非常に高い（人物ａの重要度が高いことを意味する。）ものとする（図２２（ａ））。
　そして、評価対象の画像の中に、画像Ｄのように人物ａと人物ｄにそれぞれ属する２つのオブジェクト（顔）が共起していれば、人物ｅの重要度は、人物ａの高い重要度により、その重要度を引き上げることができる。このため、人物ｅは人物ｄより頻度が低いにも関わらず、人物ｅがひとりで写っている画像Ｅの画像重要度は、人物ｄがひとりで写っている画像Ｆの画像重要度を上回る結果となり得る。
　このように、図２２の例では、共起関係を利用して、写真が少ない祖母の重要度を向上させることができる。
 
（実施の形態３）
　実施の形態２では、画像と画像に含まれる（写っている）オブジェクトとの間のデータ構造を利用して、画像およびオブジェクトの重要度を算出したが、要は、データ構造としては、画像の集合と、画像に係る集合と、両集合間の関係付けを規定するような構造であればよい。
　画像に係る集合としては、実施の形態２のように画像に含まれるオブジェクトでもよいが、例えばExif（Exchangeable image file format）の規格のように画像に埋め込まれた各種情報でもよい。さらには、画像に付与されたタグであってもよい。
　実施の形態３では、このようなデータ構造の一例として、画像と画像に付与されたタグとの間のデータ構造について説明する。
　図２５に、画像（画像Ｔ，画像Ｕ）とタグ（タグａ，タグｂ）との関係性を示す。
　画像Ｔには、「ゴルフ」のタグａが付与され、画像Ｕには、「ゴルフ」のタグａと「バーディ」のタグｂとが付与されている。
　なお、タグの付与は、例えばユーザにより手動で設定されたものである。
　図２５において、画像Ｔ，Ｕとタグａ，ｂとの間で関係性を示すリンクが示されている。
　まず、画像からタグへのリンクの値について説明する。
　この画像からタグへのリンクの値は、画像の鮮度に1/10を掛けることで求める。
　ここで画像の鮮度とは、現在の日時（評価時点の日時）と、画像の追加日時との差分から求められる。
　例えば、画像Ｔが30日前に追加された画像であり、画像Ｕが360日前に追加された画像であるならば、画像Ｔと各タグａ，ｂと間の重みづけを大きくする。
　画像の鮮度とは、各画像の追加日時を正規化した値（０～１）であり、具体的な算出式としては、
　画像Ｔの鮮度＝（画像Ｔの追加日時－画像の中で最も古い追加日時）／（現在の日時－画像の中で最も古い追加日時）
の式を求めることにより算出する。なお、日時の差分は分単位換算で求める。
　例えば、画像Ｔの鮮度は0.994であるならば、画像Ｔから「ゴルフ」のタグａへのリンクの値は、0.994×0.1=0.0994となる。
　次に、タグから画像へのリンクについて説明する。
　このリンクは、例えば固定値0.01を割り当てる。
　例えば、「ゴルフ」のタグａから画像Ｔへのリンクの値は0.01となる。
　以上のように、各画像Ｔ，Ｕとタグａ，ｂまた、画像Ｔ，Ｕとタグａ，ｂとの関係性を求め、例えば実施の形態２と同様に隣接行列を利用することにより、各画像Ｔ，Ｕの画像重要度やタグａ，ｂのタグ重要度を算出することができる。
　そして、本実施の形態によれば、例えば、Ｗｅｂサーバ上の画像において、トレンドに基づく画像のランキングに利用することができる。
　なお、図２６に示すように、ダミーノードに重みづけを返すとしてもよい。
＜補足＞
　以上、本発明の実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
　（１）クラスタリングについて
　各実施の形態では、クラスタリング１４が行うクラスタリングの手法として、非階層的な手法であるｋ－ｍｅａｎｓ法を例に挙げたが、これに限らずウォード法(Ward's method)などの階層的な手法を用いてもよい。
　（２）オブジェクトについて
　各実施の形態では、オブジェクトとして人の顔を例に挙げて説明したが、人に限らず、犬や猫などの動物の顔をオブジェクトとして画像特徴量の抽出対象としても構わない。また、画像に写るオブジェクトとしては、顔に限らず、自動車や植物、建物など様々な物体などが考えられる。
　（３）固有ベクトル算出方法について
　実施の形態２では、固有ベクトル算出部５２はべき乗法を用いて固有ベクトルを算出するとしたが、これに限られない。例えば、逆反復法を用いてもよい。
　（４）固定値βについて
　実施の形態２では、画像Ａ，Ｂへのリンクは固定値β（=0.1）を用いるとして説明した（図１７参照）が、固定値βの値は0.1に限らず、適宜設定することができる。また、人物ａから画像Ａへのリンクは固定値β１、ダミーＺから画像Ａへのリンクは固定値β２というように、画像へのリンクの固定値を個別に設定してもよい。
　また、下記参考文献２にあるように、外向きのリンクがなく重要度を吸い込んでしまうノードの問題(problem of rank sinks)に対する対処方法を利用して、画像Ａ，Ｂへのリンクの値を定めるとしてもよい。
　（５）背景のノードについて
　実施の形態２では、全画像の背景を１個のノード（ダミーＺ）としてグラフ生成する例を説明したが、これに限らず、背景のノードを複数個作成したり、あるいは背景のノードを有さないグラフを作成しても構わない。
　（６）オブジェクトの重要度について
　各実施の形態では、オブジェクトの重要度は、（Ａ）オブジェクトが属するクラスタの頻度と（Ｂ）オブジェクトの占有度とに基づいて求める例を挙げて説明した。
　もっとも、前者（Ａ）については、オブジェクトが属するクラスタを特徴付ける量であればよく、頻度（クラスタのメンバ数）に限られない。
　また後者（Ｂ）についても、例えば、占有度に加えて人物の笑顔の度合いや顔の向きの度合いさらには人物のピントの度合いを重みとしても良い。
　笑顔の度合いの具体例としては、図２３に示すように、各オブジェクト（Ｆ１，Ｆ６）の重要度を、笑顔の度合いを示す係数を用いて算出してもよい。このとき、より笑顔の度合いが大きい画像Ｓの方が画像Ａより高い画像重要度となる。
　また、顔の向きの度合いの場合は、より正面を向くほど、より高い画像重要度となるような計算式とすることができる。
　人物のピントの度合いについては、例えば、人物のピントがシャープであるほど高く評価し、ピントがぼけているほど低く評価する。このようなピント評価については、下記参考文献３の技術を用いることができる。
　さらに、占有度を全く用いずに、笑顔の度合いや顔の向きの度合いや人物のピントの度合いなどに基づいて各オブジェクトの重要度を算出しても構わない。
　要するに、オブジェクトが各画像において写り込んでいる特徴を示す値であれば足り、占有度、笑顔の度合い、顔の向きの度合い、などに限らず様々な値を用いることができる。
　（７）オブジェクト抽出・クラスタリングについて
　各実施の形態では、画像評価装置２の内部にオブジェクト特徴量抽出部１２やクラスタリング部１４を備えるとして説明したが、これらは画像評価装置２の外部装置にあっても構わない。
　図２４に示す画像評価システム１１１は、画像評価装置１１２、ＳＤメモリカード４、クラスタリング装置１１４を備える。クラスタリング装置１１４は、ＳＤメモリカード４から取得した画像データを基にオブジェクト特徴量を抽出するオブジェクト特徴量抽出部１２、クラスタリング部１４、クラスタ記憶部１６を備える。画像評価装置１１２は、クラスタ記憶部１６のクラスタ情報を取得するクラスタ情報取得部６０を備える。
　（８）画像を記憶する主体について
　各実施の形態では、ＳＤメモリカード４内に評価対象の画像を記憶するとして説明したが、記録媒体であればこれに限られず、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)の記録媒体などを用いてもよい。
　また、画像評価装置を、画像を記憶するデジタルカメラや携帯電話の撮影機器と接続することにより、画像を取得することも考えられる。両者の接続の態様としては、有線（ＬＡＮケーブル、ＵＳＢケーブルなど）、無線（赤外線やBluetoothなど）を問わず様々な態様をとり得る。
　（９）集積回路
　各実施の形態の画像評価装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
　（１０）プログラム
　各実施の形態で示した画像評価に係る処理（図２，３，６，９，１４，１５，１９など参照）をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
　このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)等がある。
　流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
　（１１）日時範囲の指定について
　図９下部のディスプレイ６では、画像重要度の高い画像のランキングを表示するとしているが、これに限らずオブジェクト重要度の高い人物のランキングを表示するとしても構わない。
　さらには、日時範囲の指定を受け付けて重要度を算出の材料とする画像の対象を絞り込むことで、全画像から算出した重要度では分からなかった要素を浮かび上がらせるようにしてもよい。すなわち、ある特定の時期に限って重要とされた画像の表示や、ある特定の時期の人間関係を反映したランキングの表示を期待できる。
　この例を図２７の画面２７０に示す。画面２７０は、一般的なタッチスクリーンの画面であり、矢印やアイコンは指２７２のタッチにより選択可能である。
　画面２７０右下には、スケールバー２７４がある。このスケールバー２７４には、"year"（年），"month"（月），"week"（週），"day"（日）の目盛りが付されている。ユーザは丸ボタン２７６を左右にドラッグして目盛りを設定し、左右の矢印２７８Ｌ，２７８Ｒをタップすることで、日時範囲の指定を行う。
　図２７の例では、2010年が日時範囲として指定されている。この場合、オブジェクト抽出部１１は、画像取得部１０に取得された画像の中からその撮影日時が2010年（例えば、2010/01/01/00:00～2010/12/31/23:59）のものだけを、抽出対象とすることにより、評価部４８は撮影日時が2010年の画像に対応する重要度を算出する。そして、図２７の「2010年 年間ランキング」は、算出された重要度を表示制御部３６が表示したものとなっている。
　このように日時範囲の指定を受け付けてから、その都度、対応する重要度を算出する手法でもよいが、これに代えて、予め指定され得る日時範囲ごとに重要度を算出し記憶しておく手法でも構わない。
　また、日時範囲の指定の受け付けは図２７のようなタッチ入力に限らず、キーボードからの数値入力により受け付けるとしても構わない。
　（１２）クラスタから画像へのリンクについて
　実施の形態２では、人物などのクラスタからその人物が写った画像へのリンクの値は固定値としたが、占有度に応じて設定するとしても構わない。
　例えば、図２８のように、人物ａから画像Ａへのリンクの値（Ｆ（ａ→Ａ））を、Ｆ（ａ→Ａ）＝β×α（ａ）として、画像Ａにおける人物ａの占有度α（ａ）に比例するように設定してもよい。図２９に、このようなリンクのルールに従ったリンク設定を説明する図を示す。
＜参考文献＞
　（１）参考文献１
　「Ｇabor特徴の情報量による重みづけマッチングを用いた顔認識」
　堀田 一弘（埼玉大学(日本学術振興会特別研究員)）
　電子情報通信学会技術研究報告. HIP, 
　ヒューマン情報処理  100(34)  pp.31-38 20000504
　（２）参考文献２
　The PageRank citation ranking: Bringing order to the Web.
　Page, Lawrence; Brin, Sergey; Motwani, Rajeev and Winograd, Terry (1999).
　（３）参考文献３
　特開2006-172417号公報
　本発明に係る画像評価装置によれば、家族などの複数ユーザが保有する膨大量の画像コンテンツの中から、ユーザにとって重要な画像を効率的に検索することができ、従来のユーザ操作による画像の評価方法と比較して、ユーザはより負担なく容易にコンテンツの閲覧検索が可能である。
　例えば、家族が撮り溜めた膨大量の写真コンテンツの中から、年賀状の作成で家族を代表する写真を探す場面において、画像のランキングに基づく検索結果から、ユーザは所望する画像を容易に選択することができ、パーソナルコンピュータやサーバ端末などの据置き型端末などで有用である。また、デジタルカメラや携帯電話などのモバイル型端末などとしても有用である。
　１，１０１，１１１　画像評価システム
　２，１０２，１１２　画像評価装置
　４　ＳＤメモリカード
　１０　画像取得部
　１１　オブジェクト抽出部
　１２　オブジェクト特徴量抽出部
　１４　クラスタリング部
　１６　クラスタ情報記憶部
　１８　オブジェクト出現特徴量算出部
　２０　頻度算出部
　２２　占有度算出部
　２４　オブジェクト出現特徴量記憶部
　２６　頻度記憶部
　２８　占有度記憶部
　３０　オブジェクト重要度算出部
　３２　画像重要度算出部
　３４ａ　オブジェクト重要度情報記憶部
　３４ｂ　画像重要度情報記憶部
　３６　表示制御部
　４０　グラフ生成部
　４４ａ１　画像・被写体ノード生成部
　４４ａ２　ダミーノード生成部
　４４ｂ１　被写体リンク設定部
　４４ｂ２　ダミーリンク設定部
　４６　グラフ記憶部
　４８　評価部
　５０　隣接行列生成部
　５２　固有ベクトル算出部
　５３　重要度算出部

Claims (15)

  1. 　オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
    　一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
    　前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、
    　算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
    を備えることを特徴とする画像評価装置。
  2. 　前記評価手段は、
    　　算出された第１値および第２値に基づいて、前記一の画像に現れているオブジェクトの重要度を算出するオブジェクト重要度算出手段と、
    　　算出されたオブジェクトの重要度に基づいて、前記一の画像の評価を示す重要度を算出する画像重要度算出手段とを含む
    ことを特徴とする請求項１に記載の画像評価装置。
  3. 　前記第１値算出手段は、前記複数の画像に含まれる全オブジェクトのうちで、一の画像に含まれるオブジェクトが属するクラスタのオブジェクト、が出現する頻度を算出し、
    　前記第２値算出手段は、前記一の画像に含まれるオブジェクトについて、
    当該オブジェクトが前記一の画像において占める面積を示す占有度を算出し、
    　前記オブジェクト重要度算出部は、算出された頻度および占有度に基づいて、前記オブジェクトの重要度を算出する
    ことを特徴とする請求項２に記載の画像評価装置。
  4. 　前記一の画像に第１オブジェクトと第２オブジェクトとが含まれる場合、
    　前記頻度算出手段は、
    　　前記第１オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第１頻度と、
    　　前記第２オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第２頻度と、
    を算出し、
    　前記占有度算出手段は、
    　　第１オブジェクトが前記一の画像において占める面積を示す第１占有度と、
    　　第２オブジェクトが前記一の画像において占める面積を示す第２占有度と、
    を算出し、
    　前記オブジェクト重要度算出手段は、
    　　前記第１頻度および前記第１占有度に基づいて第１オブジェクトの重要度である第１重要度を算出し、
    　　前記第２頻度および前記第２占有度に基づいて第２オブジェクトの重要度である第２重要度を算出し、
    　前記画像重要度算出手段は、
    　前記第１重要度および第２重要度に基づいて、前記一の画像の評価を示す重要度を算出する
    ことを特徴とする請求項３に記載の画像評価装置。
  5. 　前記オブジェクトは、前記一の画像から切り出された人の顔である
    ことを特徴とする請求項１に記載の画像評価装置。
  6. 　前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、
    　前記評価手段は、両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
    ことを特徴とする請求項１に記載の画像評価装置。
  7. 　前記オブジェクトが含まれる複数の画像はＰ個（Ｐは自然数）であって、
    　前記第１値算出手段は、Ｐ個の画像に含まれるオブジェクトが属するクラスタの個数のＱ個（Ｑは自然数）を算出し、
    　前記第２値算出手段は、前記Ｐ個の画像に現れているオブジェクトのそれぞれについて、当該オブジェクトが当該各画像において現れる特徴を示す第２値を算出し、
    　前記Ｐ個の画像をそれぞれ示すＰ個のノードと、前記Ｐ個の画像に含まれるオブジェクトが属するクラスタをそれぞれ示すＱ個のノードとを含むノードを作成するノード作成手段と、
    　ある画像Ａを示すノードＡと、当該画像Ａに含まれるオブジェクトが属するクラスタａを示すノードａについて、このノードＡ－ａ間のリンクの値を、クラスタａに属するオブジェクトの画像Ａにおける第２値を用いて設定するリンク設定手段と、
    　前記ノード作成手段に作成されたノードとリンク設定手段により設定されたリンクの値とにより構成されたグラフを表現する隣接行列を生成する隣接行列生成手段を備え、
    　前記評価手段は、
    　　生成された隣接行列の主固有ベクトルを算出する固有ベクトル算出手段と、
    　　算出された主固有ベクトルの要素に基づいてＮ個の画像それぞれの評価を示す重要度を算出する重要度算出手段と、
    を含むことを特徴とする請求項１に記載の画像評価装置。
  8. 　前記リンク設定手段は、前記ノードＡ－ａ間のリンクの値のうち、ノードＡからノードａへのリンクの値を前記第２値を用いて設定し、ノードａからノードＡへのリンクの値は前記第２値を用いずに設定する
    ことを特徴とする請求項７に記載の画像評価装置。
  9. 　前記第２値算出手段が算出する第２値は、前記オブジェクトが当該各画像において占める面積を示す占有度である
    ことを特徴とする請求項８に記載の画像評価装置。
  10. 　前記第２値算出手段は、各画像においてオブジェクトが現れていない領域である背景の占有度を算出し、
    　前記ノード作成手段は、ダミーを示す１個のノードを作成し、
    　前記リンク設定手段は、
    　　ある画像Ａを示すノードＡと、ダミーを示す１個のノードＺとについて、このノードＡ－Ｚ間のリンクの値のうちのノードＡからノードＺへのリンクの値を、画像Ａにおける背景の占有度を用いて設定する
    ことを特徴とする請求項８に記載の画像評価装置。
  11. 　前記リンク設定手段は、前記ノードＡ－ａ間のリンクの値について、ノードＡからノードａへのリンクの値およびノードａからノードＡへのリンクの値を前記第２値を用いて設定する
    ことを特徴とする請求項７に記載の画像評価装置。
  12. 　前記複数の画像それぞれには撮影日時が関連付けられており、
    　さらに、日時の範囲の指定を受け付ける受付手段を備え、
    前記第１値算出手段および第２値算出手段は、指定範囲に含まれる画像を用いて算出を行うが、指定範囲に含まれない画像を用いては算出を行わない
    ことを特徴とする請求項１に記載の画像評価装置。
  13. 　それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価方法であって、
    　各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
    　一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
    　前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、
    　算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
    を含むことを特徴とする画像評価方法。
  14. 　それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価処理をコンピュータに実行させるプログラムであって、
    　前記画像評価処理は、
    　各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
    　一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
    　前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、
    　算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
    を含む処理であることを特徴とするプログラム。
  15. 　オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
    　一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
    　前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、
    　算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
    を備えることを特徴とする集積回路。
PCT/JP2010/007300 2010-02-10 2010-12-16 画像評価装置、画像評価方法、プログラム、集積回路 WO2011099108A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/255,324 US8660378B2 (en) 2010-02-10 2010-12-16 Image evaluating device for calculating an importance degree of an object and an image, and an image evaluating method, program, and integrated circuit for performing the same
JP2011514937A JP4846071B2 (ja) 2010-02-10 2010-12-16 画像評価装置、画像評価方法、プログラム、集積回路
CN201080014545.8A CN102439630B (zh) 2010-02-10 2010-12-16 图像评价装置、图像评价方法、程序、集成电路
EP10845711.0A EP2535865A4 (en) 2010-02-10 2010-12-16 Image evaluating device, image evaluating method, program, and integrated circuit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-027756 2010-02-10
JP2010027756 2010-02-10

Publications (1)

Publication Number Publication Date
WO2011099108A1 true WO2011099108A1 (ja) 2011-08-18

Family

ID=44367419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007300 WO2011099108A1 (ja) 2010-02-10 2010-12-16 画像評価装置、画像評価方法、プログラム、集積回路

Country Status (5)

Country Link
US (1) US8660378B2 (ja)
EP (1) EP2535865A4 (ja)
JP (2) JP4846071B2 (ja)
CN (1) CN102439630B (ja)
WO (1) WO2011099108A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110714A (ja) * 2011-11-24 2013-06-06 Canon Marketing Japan Inc 撮影装置、その制御方法、及びプログラム
JP2018170001A (ja) * 2017-03-29 2018-11-01 西日本電信電話株式会社 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606776B2 (en) * 2011-02-18 2013-12-10 Google Inc. Affinity based ranked for search and display
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
US8832080B2 (en) 2011-05-25 2014-09-09 Hewlett-Packard Development Company, L.P. System and method for determining dynamic relations from images
CN103620648B (zh) * 2012-05-29 2018-02-02 松下知识产权经营株式会社 图像评价装置、图像评价方法、集成电路
US8861804B1 (en) 2012-06-15 2014-10-14 Shutterfly, Inc. Assisted photo-tagging with facial recognition models
WO2014091667A1 (ja) * 2012-12-10 2014-06-19 日本電気株式会社 解析制御システム
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
US9767347B2 (en) * 2013-02-05 2017-09-19 Nec Corporation Analysis processing system
JP5802255B2 (ja) * 2013-03-13 2015-10-28 富士フイルム株式会社 レイアウト編集装置、レイアウト編集方法およびプログラム
JP6468725B2 (ja) * 2013-08-05 2019-02-13 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6334697B2 (ja) * 2013-11-08 2018-05-30 グーグル エルエルシー ディスプレイコンテンツのイメージを抽出し、生成するシステムおよび方法
US10013639B1 (en) * 2013-12-16 2018-07-03 Amazon Technologies, Inc. Analyzing digital images based on criteria
US9177194B2 (en) * 2014-01-29 2015-11-03 Sony Corporation System and method for visually distinguishing faces in a digital image
JP6367168B2 (ja) * 2015-09-18 2018-08-01 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6440604B2 (ja) 2015-09-29 2018-12-19 富士フイルム株式会社 被写体評価システム，被写体評価方法，被写体評価プログラムおよびそのプログラムを格納した記録媒体
JP6742186B2 (ja) * 2016-07-28 2020-08-19 ヤフー株式会社 決定装置、決定方法、及び決定プログラム
JP7000200B2 (ja) * 2018-02-22 2022-01-19 株式会社野村総合研究所 広告効果予測システム、方法およびプログラム
US11144998B2 (en) * 2018-09-20 2021-10-12 The Toronto-Dominion Bank Dynamic provisioning of data exchanges based on detected relationships within processed image data
KR102179591B1 (ko) * 2018-12-12 2020-11-17 인하대학교 산학협력단 동영상 내 인물 영역 추출 장치
KR102179590B1 (ko) * 2018-12-12 2020-11-17 인하대학교 산학협력단 동영상 내 등장인물 갈등정보 추출 장치
CN112527858B (zh) * 2020-11-26 2024-06-25 微梦创科网络科技（中国）有限公司 基于社交内容的营销账号识别方法、装置、介质和设备
US11822596B2 (en) * 2021-04-30 2023-11-21 Hewlett-Packard Development Company, L.P. Digital image file metadata characteristics

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361989A (ja) 2003-05-30 2004-12-24 Seiko Epson Corp 画像選択システム及び画像選択プログラム、並びに画像選択方法
JP2006172417A (ja) 2004-11-16 2006-06-29 Seiko Epson Corp 画像評価方法、画像評価装置、及び印刷装置
JP2007049387A (ja) * 2005-08-09 2007-02-22 Canon Inc 画像出力装置及び画像出力方法
JP2007080014A (ja) 2005-09-15 2007-03-29 Fujifilm Corp 画像評価装置および方法並びにプログラム
JP2007135065A (ja) 2005-11-11 2007-05-31 Konica Minolta Photo Imaging Inc 表示プログラム及び画像データの表示方法
JP2008084047A (ja) * 2006-09-28 2008-04-10 Fujifilm Corp 画像評価装置および方法並びにプログラム
JP2009104003A (ja) * 2007-10-24 2009-05-14 Internatl Business Mach Corp <Ibm> 教材選択システムの方法とプログラム
JP2009533725A (ja) * 2006-04-07 2009-09-17 イーストマン コダック カンパニー 画像コレクション間の接続の形成

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748097B1 (en) * 2000-06-23 2004-06-08 Eastman Kodak Company Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal
JP4197858B2 (ja) * 2001-08-27 2008-12-17 富士通株式会社 画像処理プログラム
US7293007B2 (en) 2004-04-29 2007-11-06 Microsoft Corporation Method and system for identifying image relatedness using link and page layout analysis
US8031914B2 (en) * 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
FR2923307B1 (fr) * 2007-11-02 2012-11-16 Eastman Kodak Co Procede d'organisation de donnees multimedia
JP2009217724A (ja) * 2008-03-12 2009-09-24 Panasonic Corp 関連文書推定装置、関連文書推定方法及びプログラム、並びに記録媒体
US9015597B2 (en) * 2009-07-31 2015-04-21 At&T Intellectual Property I, L.P. Generation and implementation of a social utility grid
US8208696B2 (en) * 2009-12-15 2012-06-26 Hewlett-Packard Development Company, L.P. Relation tree
US20120050789A1 (en) * 2010-08-31 2012-03-01 Apple Inc. Dynamically Generated Digital Photo Collections

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361989A (ja) 2003-05-30 2004-12-24 Seiko Epson Corp 画像選択システム及び画像選択プログラム、並びに画像選択方法
JP2006172417A (ja) 2004-11-16 2006-06-29 Seiko Epson Corp 画像評価方法、画像評価装置、及び印刷装置
JP2007049387A (ja) * 2005-08-09 2007-02-22 Canon Inc 画像出力装置及び画像出力方法
JP2007080014A (ja) 2005-09-15 2007-03-29 Fujifilm Corp 画像評価装置および方法並びにプログラム
JP2007135065A (ja) 2005-11-11 2007-05-31 Konica Minolta Photo Imaging Inc 表示プログラム及び画像データの表示方法
JP2009533725A (ja) * 2006-04-07 2009-09-17 イーストマン コダック カンパニー 画像コレクション間の接続の形成
JP2008084047A (ja) * 2006-09-28 2008-04-10 Fujifilm Corp 画像評価装置および方法並びにプログラム
JP2009104003A (ja) * 2007-10-24 2009-05-14 Internatl Business Mach Corp <Ibm> 教材選択システムの方法とプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAZUHIRO HOTTA, JSPS RESEARCH FELLOW
See also references of EP2535865A4
TECHNICAL COMMITTEE ON HUMAN INFORMATION PROCESSING, vol. 100, no. 34, pages 31 - 38

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110714A (ja) * 2011-11-24 2013-06-06 Canon Marketing Japan Inc 撮影装置、その制御方法、及びプログラム
JP2018170001A (ja) * 2017-03-29 2018-11-01 西日本電信電話株式会社 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
EP2535865A1 (en) 2012-12-19
JP4846071B2 (ja) 2011-12-28
JP2012053889A (ja) 2012-03-15
CN102439630A (zh) 2012-05-02
US20110317928A1 (en) 2011-12-29
JPWO2011099108A1 (ja) 2013-06-13
US8660378B2 (en) 2014-02-25
JP5307873B2 (ja) 2013-10-02
CN102439630B (zh) 2015-05-20
EP2535865A4 (en) 2017-12-06

Similar Documents

Publication Publication Date Title
JP5307873B2 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
JP5727476B2 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
US20220116347A1 (en) Location resolution of social media posts
US11019017B2 (en) Social media influence of geographic locations
CN109740152B (zh) 文本类目的确定方法、装置、存储介质和计算机设备
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
JP6041217B2 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
CN106326391A (zh) 多媒体资源推荐方法及装置
JP2014093058A (ja) 画像管理装置、画像管理方法、プログラム及び集積回路
JPWO2012169112A1 (ja) コンテンツ処理装置、コンテンツ処理方法、プログラム、及び集積回路
Yamasaki et al. Social popularity score: Predicting numbers of views, comments, and favorites of social photos using only annotations
JP2014092955A (ja) 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム
Vonikakis et al. A probabilistic approach to people-centric photo selection and sequencing
JP2008234338A (ja) 旬度解析システム、旬度解析方法、及び旬度解析プログラム
CN114997135A (zh) 差异文本筛选方法、装置、设备及存储介质
US20110044530A1 (en) Image classification using range information
CN117493672A (zh) 产品的推荐方法、装置、存储介质及电子设备
CN107506735A (zh) 照片归类方法以及归类系统
JP2012058926A (ja) キーワード付与装置及びプログラム
JP6276375B2 (ja) 画像検索装置、画像表示装置、画像検索方法、および画像表示方法
KR102214136B1 (ko) Sns 기반 상품 이미지 검색 방법
CN116662664A (zh) 关键特征确定方法、装置、计算机设备、介质和程序产品
JP2015187807A (ja) 重要度算出装置、重要度算出装置方法、及び重要度算出装置システム
CN117076780A (zh) 一种基于大数据的图书互借阅推荐方法及系统
CN115545736A (zh) 一种用户消费行为识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080014545.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011514937

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13255324

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010845711

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10845711

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE