WO2012101697A1 - 画像管理装置、画像管理方法、プログラム、記録媒体、集積回路 - Google Patents

画像管理装置、画像管理方法、プログラム、記録媒体、集積回路 Download PDF

Info

Publication number
WO2012101697A1
WO2012101697A1 PCT/JP2011/006398 JP2011006398W WO2012101697A1 WO 2012101697 A1 WO2012101697 A1 WO 2012101697A1 JP 2011006398 W JP2011006398 W JP 2011006398W WO 2012101697 A1 WO2012101697 A1 WO 2012101697A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
importance
block
cluster
images
Prior art date
Application number
PCT/JP2011/006398
Other languages
English (en)
French (fr)
Inventor
前田　和彦
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180016174.1A priority Critical patent/CN102822822B/zh
Priority to JP2012554491A priority patent/JP5990105B2/ja
Priority to US13/636,810 priority patent/US9020264B2/en
Publication of WO2012101697A1 publication Critical patent/WO2012101697A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship

Definitions

  • This relates to technology for ranking images and objects included in images.
  • Patent Document 1 a technique for determining the importance of each page based on a link between pages on a website is known (see Patent Document 1 and Non-Patent Document 1).
  • the present inventors connect an image and a person (a type of object) shown in the image with a link structure.
  • a link structure We are studying a method for calculating the importance of an image and the importance of a person based on the link structure.
  • an image node indicating an image and a person node indicating a person are generated, and when a specific person appears in the image, a bidirectional link is established between the image node and the person node.
  • the link between nodes means that the importance of the link source node is propagated to the link destination node through the link. Further, the importance of a node that is linked from a plurality of nodes is the sum of all the importance propagated from each link. Furthermore, it is assumed that the importance of a node that is linked from a node with high importance increases.
  • the importance of the image node linked from the person node having high importance becomes high. That is, the importance of an image in which a person with a high importance is shown is high.
  • a probability transition matrix is created based on the link structure between all image nodes and person nodes, and the eigenvectors of the matrix are obtained. Calculate the importance of.
  • the eigenvector represents a convergence value when importance is continuously propagated by each node.
  • the probability transition matrix is a matrix having as many rows and columns as the sum of the number of image nodes and person nodes. Therefore, when the number of images becomes enormous, the probability transition matrix becomes enormous.
  • the probability transition matrix is approximately (1 million + 1000) rows ⁇ (1 million + 1000) columns.
  • Such a problem is not limited to the method using the matrix operation, and can occur widely in the method of calculating based on the relationship between individual elements.
  • the link structure is previously grouped into a plurality of groups, the importance between the groups is first calculated, and then the importance within the group is calculated, thereby reducing the load required for the calculation. I can do it.
  • the calculation target of importance is a website and the calculation target is an image or an object that appears in the image.
  • the present invention has been made in view of such a background, and an object thereof is to calculate the importance of an image and an object appearing in the image while reducing the resource load.
  • an image management apparatus for ranking a plurality of images based on importance, and is acquired with an image acquisition unit that acquires a plurality of images.
  • a detection unit that detects an object included in the image
  • an extraction unit that extracts an image feature amount of each detected object, and each detected object based on each image feature amount
  • a clustering unit that classifies the plurality of clusters
  • a block generation unit that generates a plurality of blocks by dividing the plurality of images acquired by the image acquisition unit, and an image in the block in each block.
  • Intra-block importance calculation that calculates the intra-block importance of the cluster to which the included object belongs based on the relationship between the image and the cluster
  • a cluster importance calculation unit for calculating importance of each cluster in the plurality of images by integrating the importance in each block in each block calculated, and based on the calculated cluster importance
  • an image importance calculation unit for calculating the importance of each image.
  • the image management apparatus of the present invention since the importance of the cluster is calculated for each block composed of a smaller number than the number of acquired images, it is possible to contribute to a reduction in resource load.
  • the block generation unit assigns a block ID for identifying the divided blocks to each image by dividing the plurality of images, and further stores block information assigned to each image.
  • a storage unit and when the image acquisition unit newly acquires an image, the block generation unit performs the classification for the acquired new image, but the block ID is stored in the block information storage unit The segmentation may not be performed on the target image.
  • an image in which the block ID is stored in the block information storage unit that is, an already-divided image is not targeted for new segmentation. Therefore, it is possible to reduce the recalculation of the intra-block importance of the cluster by the intra-block importance calculating unit, which will be caused by the new division.
  • the block generation unit assigns a block ID for identifying the divided blocks to each image by dividing the plurality of images, and further stores block information assigned to each image.
  • a storage unit and when the image acquisition unit newly acquires an image, the block generation unit includes both a part of the image whose block ID is stored in the block information storage unit and the acquired new image. The above classification may be performed on the target.
  • an image node indicating each image constituting the block an image node indicating each image constituting the block, a cluster node indicating each cluster to which the object included in the image belongs, and a single background node indicating the background of the image are created.
  • the intra-block importance calculating unit is generated Based on the graph, the in-block importance of the image and cluster shown in each node may be calculated.
  • the intra-block importance calculation unit generates a probability transition matrix based on the graph information generated by the graph generation unit, and obtains an eigenvector of the probability transition matrix, thereby obtaining the importance of the image in each block and You may calculate the importance in a block of a cluster.
  • the graph generation unit creates a dummy node included in the graph, and links between the dummy node and the image node, between the dummy node and the cluster node, and between the dummy node and the background node.
  • the value of may be set to zero.
  • the intra-block importance calculation unit may correct the generated probability transition matrix based on a matrix indicating a random walk, and obtain an eigenvector for the corrected probability transition matrix.
  • the cluster importance calculation unit may correct the intra-block importance of the cluster by subtracting the intra-block importance of the dummy node in the block from the intra-block importance of the cluster in the block. I do not care.
  • the substantial intra-block importance of the cluster can be calculated by subtracting the intra-block importance of the dummy node from the intra-block importance of the cluster.
  • an importance level normalization unit that normalizes the importance level in each block in each block calculated by the cluster importance level calculation unit based on the value of importance level in the block of the dummy node in each block
  • the cluster importance calculation unit may calculate the importance of the clusters in the plurality of images based on the in-block importance of the cluster after normalization.
  • the cluster importance calculation unit may calculate the importance of the clusters in the plurality of images by adding up the intra-block importances of the clusters in the calculated blocks.
  • the cluster importance calculation unit for normalizing the importance of the cluster in each block calculated by the cluster importance calculation unit according to the number of images and the number of clusters included in the block, and the cluster importance The degree calculation unit may add the importance levels of the clusters after normalization.
  • the clustering unit acquires the feature amount of the cluster classified in the external device from the external device, and compares the acquired feature amount with the feature amount of each cluster after the classification to obtain the acquired feature amount.
  • the cluster importance calculation unit may acquire the importance of the specified cluster from the external device and use it for the integration. I do not care.
  • the block generation unit determines a size of each block to be generated based on resource information indicating resources that can be used for block generation, and generates the plurality of blocks so as to have the determined size. You can do it.
  • the resource information may indicate an available memory size.
  • the image management method is an image management method for ranking a plurality of images based on importance, in an image acquisition step of acquiring a plurality of images, and in each acquired image, A detection step for detecting an object included in the image, an extraction step for extracting an image feature amount of each detected object, and each detected object is divided into a plurality of clusters based on the respective image feature amounts.
  • a clustering step for classifying into any one of them a block generation step for generating a plurality of blocks by dividing the plurality of images acquired in the image acquisition step, and an object included in an image constituting the block in each block Calculate the intra-block importance of the cluster to which it belongs based on the relationship between the image and the cluster
  • An intra-block importance calculating step and a cluster importance calculating step for calculating the importance of each cluster in the plurality of images by integrating the intra-block importance of each cluster in each calculated block.
  • an image importance calculation step for calculating the importance of each image based on the cluster importance.
  • the program according to the present invention is a program for causing a computer to execute a process including an image management step.
  • the image management step includes an image acquisition step for acquiring a plurality of images, and an acquired image for each image.
  • a clustering step for classifying the block into any one of the above, a block generation step for generating a plurality of blocks by dividing the plurality of images acquired in the image acquisition step, and an object included in the image constituting the block in each block The intra-block importance of the cluster to which the Cluster importance calculating step for calculating the importance of the clusters in the plurality of images by integrating the importance in the block of the blocks calculated based on the relationship with the raster and the calculated importance in the blocks of the clusters in each block. And an image importance calculation step for calculating the importance of each image based on the calculated cluster importance.
  • the recording medium according to the present invention is a recording medium on which the program is recorded.
  • an integrated circuit is an integrated circuit for ranking a plurality of images based on importance, and an image acquisition unit that acquires a plurality of images, and in each acquired image, A detection unit that detects an included object, an extraction unit that extracts an image feature amount of each detected object, and each detected object is assigned to one of a plurality of clusters based on the respective image feature amount.
  • An intra-block importance calculating unit that calculates the intra-block importance based on the relationship between the image and the cluster, and each calculated block
  • the cluster importance calculation unit that calculates the importance of the clusters in the plurality of images and the importance of each image are calculated based on the calculated cluster importance.
  • an image importance degree calculating unit that calculates the image importance degree based on the calculated cluster importance.
  • a diagram showing the link structure when the block division method is the same, and the importance within the block for that block Diagram showing the link structure when the block division method is not the same, and the importance within the block in that block The figure which shows an example of the cluster importance information 2100 Flow chart showing details of image importance calculation processing The figure which shows an example of the image importance information 2300 The figure which shows an example of image ranking information Flowchart showing block ID assignment processing in the second embodiment Flowchart showing cluster importance calculation processing in the third embodiment An example of importance within a block normalized by the importance of a dummy node
  • the figure explaining the method of adding the in-block importance of cluster 1 in blocks 1 to 3 and obtaining the importance of cluster 1 in all images Diagram explaining how to calculate the importance of an image from the cluster importance Diagram explaining how to create a new block from a newly acquired image Diagram explaining how to create a new block by mixing
  • FIG. 1 is a block diagram including connections between the image management apparatus 100 according to the first embodiment and related apparatuses.
  • the image management device 100 is connected to the photographing device 130 and the display device 140.
  • the photographing device 130 is a device that can photograph an image and accumulates the photographed image.
  • the image referred to here may be, for example, a still image such as a photograph or a moving image.
  • the imaging device 130 is configured by a digital camera, for example.
  • the image management apparatus 100 and the photographing apparatus 130 are connected via, for example, a USB (Universal Serial Bus) cable.
  • USB Universal Serial Bus
  • the display device 140 is composed of, for example, a digital television and displays a video such as an image output from the image management device 100.
  • the display device 140 is connected to the image management device 100 via, for example, an HDMI (High-Definition Multimedia Interface) cable.
  • HDMI High-Definition Multimedia Interface
  • the image management apparatus 100 includes an image acquisition unit 101, an object detection unit 102, an object feature amount extraction unit 130, a clustering unit 104, a block generation unit 105, a graph generation unit 106, a storage unit 107, and an evaluation unit. 114 and a display control unit 120.
  • the image acquisition unit 101 acquires images stored in the photographing apparatus 130 and assigns a unique image ID to each acquired image.
  • the image acquisition unit 101 is configured by software that controls an interface such as a USB port for inserting a USB cable and a USB driver, for example.
  • the object detection unit 102 detects a region (coordinates in the image) where the object is captured from the image acquired by the image acquisition unit 101, and assigns a unique object ID to each detected object.
  • examples of the object include a person's face and a general object (car, house, food, etc.).
  • a person's face will be described as an example.
  • the object detection unit 102 calculates the size of the object with respect to the size of the image (hereinafter referred to as “occupancy”).
  • the object feature amount extraction unit 103 extracts the image feature amount of the face detected from the image by the object detection unit 102.
  • the image feature amount indicates a feature related to a distribution of pixel values related to a plurality of pixels in the image.
  • the image feature amount is a vector having a plurality of numerical values indicating image features as components.
  • Image features include the periodicity and directionality of pixel value distribution of image data obtained using a Gabor filter.
  • the periodicity and direction of pixel value distribution A component such as a distance between two points recognized as eyes from the nature or a distance between a point recognized as a nose and a point recognized as a mouth can be used as a component.
  • the clustering unit 104 classifies similar faces as the same cluster based on the image feature amount of the face extracted by the object feature amount extraction unit 103.
  • the same cluster ID is assigned to the faces classified into the same cluster by the clustering unit 104. From the result of clustering, it can be confirmed that face images in the same cluster have similar image feature amounts.
  • the K-Means method may be used as a clustering method.
  • the object feature amount extraction unit 103 and the clustering unit 104 can use a general face recognition technique, and thus the above description is simplified.
  • the block generation unit 105 extracts only an image showing a face from the acquired images, and divides the extracted image into several blocks.
  • the method of this classification is not particularly limited, but in the present embodiment, it is performed so that the number of images included in each block is as equal as possible.
  • the block generation unit 105 assigns a block ID for identifying the segmented block to each of the extracted images.
  • the graph generation unit 106 has a function of performing the following processes (1) to (3) for each block generated by the block generation unit 105.
  • the graph generation unit 106 includes an image node indicating an image included in a certain block, a cluster node indicating a cluster of persons included in the image, a single background node indicating the background of the image, And a dummy node is generated.
  • the graph generation unit 106 sets the value of the created link between nodes.
  • This link is used to propagate the importance of the node.
  • the sum of those values becomes the importance. Details of this setting will be described later.
  • the graph generation unit 106 generates a graph expressing the created nodes and the set link values.
  • the storage unit 107 includes sub blocks of an object information storage unit 108, a block information storage unit 109, a graph information storage unit 110, an intra-block importance storage unit 111, an image importance storage unit 112, and a cluster importance storage unit 113. ing.
  • the storage unit 107 can be configured from, for example, a RAM (Random Access Memory).
  • the evaluation unit 114 includes sub blocks of a probability transition matrix generation unit 115, an intra-block importance calculation unit 116, an importance normalization unit 117, a cluster importance calculation unit 118, and an image importance calculation unit 119.
  • the probability transition matrix generation unit 115 generates a probability transition matrix based on the graph information generated by the graph generation unit.
  • the intra-block importance calculation unit 116 obtains the intra-block importance of each node of the image or cluster constituting the probability transition matrix by obtaining the eigenvector of the probability transition matrix.
  • a method for calculating the eigenvector a general method such as a power method can be adopted.
  • the importance level normalization unit 117 has a function of adjusting the importance level between blocks so that the final importance level does not change depending on how the blocks are divided. Specifically, for example, the importance in a block is normalized based on the number of nodes included in the block.
  • the cluster importance calculation unit 118 calculates the importance of each cluster in the image acquired by the image acquisition unit 101 by adding up the intra-block importance of each cluster normalized by the importance normalization unit 117. Note that there are various methods such as multiplication, addition, and combinations of these integration methods. In the present embodiment, description will be made assuming that the addition is performed.
  • the image importance calculation unit 119 calculates the importance of the image based on the importance for each cluster calculated by the cluster importance calculation unit 118. For example, for image 1 including cluster 1, the importance of image 1 is calculated based on the importance of cluster 1.
  • the display control unit 120 has a function of causing the display device 140 to execute various displays via an output interface such as an HDMI output terminal.
  • the flowchart of FIG. 2 shows an operation from creating an image ranking from the image group input from the image capturing device 130 and displaying the result on the display device 140.
  • the image management apparatus 100 first detects an object included in the acquired image, and sets an object having a similar feature amount as a cluster (S201). Then, the acquired image group is divided into a predetermined number of blocks, and a block ID is assigned to each of the blocks (S202). And the graph information showing the link structure by the image contained in a block and the cluster contained in the image is produced
  • FIG. 3 is a flowchart showing details from image acquisition to clustering in S201 in FIG.
  • the image acquisition unit 101 acquires an image group stored in the photographing apparatus 130 (S301).
  • the image acquisition unit 101 assigns an image ID so that each image can be uniquely identified.
  • the image acquired in step S301 may be referred to as an “acquired image”.
  • the object detection unit 102 detects an object included in the acquired image (S302).
  • Fig. 4 shows an example of the acquired image group and the object that appears in the image.
  • the object is a person's face, and a unique object ID is assigned to each object.
  • image 2 objects 2 and 3 are detected.
  • image 3 the object 4 is detected.
  • a method of detecting an object for example, there is a method of cutting out a face area using a learning dictionary related to cutting out a prescribed face area.
  • the object detection unit 102 obtains the degree of occupation of the detected object (S303).
  • This occupancy represents the size of the object in the entire image.
  • the object feature amount extraction unit 103 extracts the image feature amount of the object detected by the object detection unit 102 (S304).
  • the clustering unit 104 performs clustering based on the image feature amount of the object extracted by the object feature amount extraction unit 103 (S305).
  • this clustering method includes, for example, a method using the K-means method based on the image feature amount.
  • the clustering unit 104 ⁇ Object 1 appearing in image 1 ⁇ Object 2 in image 2 Therefore, the same cluster ID of cluster 1 is assigned to these objects 1 and 2.
  • FIG. 5 shows object information 500 representing the result of the series of processes shown in FIG.
  • the object information 500 is obtained by associating object ID, cluster ID, image ID, and occupancy information.
  • This object information 500 is stored in the object information storage unit 108 in the storage unit 107.
  • an image including an object is extracted from images acquired based on the object information 500 (see FIG. 5), and the number of images is calculated (S601).
  • the number of images including the object can be calculated by subtracting the number of images not including the object from the acquired number of images.
  • the block generation unit 105 divides the image including the object into a plurality of blocks (S602), and assigns a block ID to the divided blocks (S603).
  • steps S602 to S603 is, for example, a method in which an upper limit number of images per block is first defined, image IDs are arranged in ascending order, and block IDs are allocated in ascending order until the upper limit number is reached.
  • the images 1 to 3 are the block 1
  • the images 4, 5, and 7 are the block 2
  • the images 8, 9 are included in the eight images including the object as shown in FIG. Gives a block ID of block 3.
  • FIG. 7 shows block information 700 indicating the result of assigning the block ID to each image in this way.
  • This block information 700 is stored in the block information storage unit 109 in the storage unit 107.
  • the block ID is not assigned to the images 6 and 10 because no object is included in both images.
  • the graph information is information necessary for calculating the importance in the block of S204, which is the subsequent processing, and this graph information includes the value of the link between the nodes.
  • This node includes an image node corresponding to each image ID and a cluster node corresponding to each cluster ID.
  • a link value corresponding to the degree of occupancy of the object in the image is set from the image node of the image to the cluster node indicating the cluster to which the object belongs.
  • a link from a cluster node to an image node returns a constant link value. As a result, the importance is propagated from each node according to the link value.
  • the graph generation unit 106 extracts an image with a specific block ID from the acquired image (S801).
  • the graph generation unit 106 extracts information corresponding to the image ID extracted from the object information 500 (S802).
  • steps S801 and S802 An example of steps S801 and S802 will be described.
  • the object ID, the cluster ID, and the cluster ID corresponding to the images 1 to 3 are extracted from the object information 500 (see FIG. 5) in S802. Extract occupancy.
  • the graph generation unit 106 generates a graph structure based on the extracted object information (S803), and stores the generated graph structure in the graph information storage unit 110 of the storage unit 107.
  • This generation step consists of two steps: (1) node creation and (2) link value setting between created nodes. This will be described in order below.
  • the background node is a node that represents the importance of the background included in the image. Specifically, it is assumed that all areas in the image where no object is detected are the background.
  • the dummy node is used to correct the importance of the cluster for each block to an appropriate value. Details will be described later.
  • ⁇ Link value setting> A link is established from the image node to the person node according to the degree of occupancy, but the background node is also established according to the degree of occupancy of the background included in the image.
  • a link value between the nodes is set according to the following rules (1) to (6).
  • the value of the link from the image node to the cluster node is the degree of occupation of the cluster to which the object included in the image belongs.
  • the value of the link from the cluster node to the image node is an arbitrary fixed value (for example, 0.01).
  • the value of the link from the image node to the background node is obtained by subtracting 1 from the sum of the values of the link from the image node to the cluster node.
  • the value of the link from the cluster node to the background node is obtained by subtracting 1 from the sum of the values of the link from the cluster node to the image node.
  • the value of the link from the background node to the node excluding the dummy node is evenly distributed. (6) There is no link to the dummy node and no link from the dummy node (the link value is set to zero).
  • Figure 9A shows the graph information 900 of the block 1.
  • the graph information 900 includes seven nodes and link values set between the nodes.
  • the seven nodes are composed of two cluster nodes indicating clusters 1 and 2, three image nodes indicating images 1 to 3, a background node, and a dummy node.
  • the link value is set according to the rules (1) to (6) above. For example, the link between the image 1 and the cluster 1 will be described.
  • the value of the link from the image 1 to the cluster 1 is 10% that is the degree of occupation of the object 1 in the image 1, that is, 0.1.
  • the link from cluster 1 to image 1 has a fixed value of 0.01.
  • the graph information 900 has links to all nodes (image nodes, person nodes, background nodes) excluding dummy nodes from the background nodes as shown in FIG. 9A, and returns links only to images. May be.
  • An example of the graph information 901 in such a case is shown in FIG. 9B.
  • the link from the background node to the person node and the link from the background node to its own node do not exist, but only the link from the background node to the image node exists.
  • the method of assigning the weight of the link to the image node is evenly distributed to each image node. Specifically, since the number of image nodes is 3, the link weights are each 1/3.
  • the graph information used for the description below will be described using the graph information 900 in FIG. 9A as an example, but the graph information 901 in FIG. 9B may be used instead.
  • the graph generation unit 106 confirms whether a graph structure is generated in all blocks (S804). If the graph structure of all the blocks has been generated, the process ends. Otherwise, the graph structure of the remaining blocks is generated.
  • FIG. 10 shows details of calculation of importance of each image and each cluster in the block.
  • a probability transition matrix is generated based on the link information generated by the graph generation unit 106.
  • the probability transition matrix is a matrix indicating the link relation between the nodes and the value of the link.
  • the importance of each image and each cluster in the block is calculated by obtaining the eigenvector of the probability transition matrix.
  • the importance of each node varies depending on the link relationship between various nodes, but finally converges to a certain value.
  • the eigenvector indicates a value at which the propagation of importance of each node converges.
  • the probability transition matrix generation unit 115 of the evaluation unit 114 extracts a specific block from the acquired image (S1001). For example, in the above example, block 1 is extracted. Next, a probability transition matrix M is generated based on the extracted graph information 900 of block 1 (S1002).
  • the probability transition matrix specify the value of the link between each node as an element of the matrix. For example, when generating the probability transition matrix M in the block 1, the graph information 900 generated in FIG. 9A is used.
  • FIG. 11 shows a probability transition matrix M1100 derived based on the graph information 900. All nodes are assigned to rows and columns in the matrix. Here, image nodes, cluster nodes, dummy nodes, and background nodes are arranged in this order. Then, information on the value of the link between each node is filled as each element of this matrix. For example, the value of the link from the node of image 1 to the node of cluster 1 is 0.1. Therefore, the element in the 4th row and the 1st column is 0.1. The value of the link from the node of image 1 to the background node is 0.9. Therefore, the element in the seventh row and first column is 0.9. Also, since there are no links from image 1 to images 1, 2, 3, cluster 2, and dummy nodes, each element is 0. In this way, the probability transition matrix M1100 is generated by filling all elements in the matrix.
  • the probability transition matrix generation unit 115 creates a random walk matrix X (S1003).
  • This matrix X is intended to represent that the own node transitions with the same probability including other nodes.
  • the importance of images and clusters is calculated by obtaining eigenvectors of the probability transition matrix.
  • the value of a dummy node that does not have a link with an image or cluster cannot be obtained because the score does not propagate. That is, the random walk matrix is used for obtaining the score of the dummy node.
  • the random walk matrix X uses values obtained by distributing link values evenly for the total number of nodes as elements of the matrix. For example, a random walk matrix X1200 in block 1 is shown in FIG. The arrangement of the rows and columns of the matrix is the same as in FIG. At this time, the number of nodes including dummy nodes is seven. Accordingly, all elements of the random walk matrix X1200 are 1/7.
  • the probability transition matrix generation unit 115 creates a probability transition matrix M ′ (S1004). Specifically, it is determined based on the following formula based on the probability transition matrix M1100 and the random walk matrix X1200.
  • alpha is a fixed value, eg 0.85.
  • the in-block importance calculation unit 116 calculates an eigenvector of the probability transition matrix M ′ (S1005).
  • a method of obtaining the eigenvector of the matrix for example, there is a method using a power method.
  • the vector to be calculated here is limited to an eigenvector whose absolute value of eigenvalue corresponds to 1.
  • FIG. 13 shows an eigenvector 1300 obtained from the probability transition matrix M ′.
  • the value shown in FIG. 13 is not an actually calculated value, but a tentative number for illustration, so care should be taken.
  • the in-block importance calculation unit 116 converts the eigenvector 1300 obtained in S1005 into a probability vector (S1006).
  • Probability vectorization is normalization so that the sum of each element is 1.
  • the eigenvector before the probability vectorization has a norm of 1.
  • the importance represents the probability of existing in each node at a certain time. Therefore, it is necessary to convert the eigenvector into a probability vector.
  • each element is obtained based on the following formula.
  • X i on the right side is the i-th element in the eigenvector 1300.
  • X i ′ on the left side is the i-th element in the eigenvector converted into a probability vector.
  • the obtained eigenvector 1400 converted into a probability vector is shown in FIG.
  • the intra-block importance calculation unit 116 determines the importance of each node in the block (S1007).
  • each element of the eigenvector 1400 converted into a probability vector corresponds to each node of the original probability transition matrix M1100.
  • the node in the first row in the probability transition matrix M1100 is image 1.
  • the importance in the block 1 of the image 1 is 0.152 that is the element in the first row of the eigenvector 1400 that is converted into a probability vector.
  • FIG. 15 shows intra-block importance information 1500 of each node.
  • the intra-block importance represents a local importance calculated in a certain block.
  • the intra-block importance information 1500 includes intra-block importance 1501 to 1503 in each of the blocks 1 to 3, and is stored in the intra-block importance information storage unit 111 in the storage unit 107.
  • step S1008 if there is a block that has not been calculated yet (S1008: No), a specific block whose importance is not calculated is extracted in step S1001, and the same processing is performed from S1002.
  • FIG. 16 is a flowchart showing details of the cluster importance calculation in S205 in FIG.
  • Cluster importance is an index for measuring the quality of a cluster. The importance of a cluster is calculated to be higher as the objects of the cluster appear larger in more images.
  • the cluster importance is obtained based on the cluster importance obtained in each block.
  • the cluster importance calculation unit 118 extracts the intra-block importance 1500 of one block stored in the intra-block importance information storage unit (S1601).
  • the importance level normalization unit 117 normalizes the extracted in-block importance level by the number of nodes included in the block (S1602).
  • this process is performed so that the in-block importance of nodes having the same link structure is the same regardless of which block is included. Even if the nodes have the same link structure, the importance tends to decrease as the number of nodes included in the block increases due to the probability vectorization of S1006. This is because the importance of each node in the block is converted into a probability vector so that all of them become 1 in total.
  • this processing is performed to eliminate the influence. Specifically, the total number of nodes in the block is multiplied by each element of importance in the block.
  • Fig. 17 shows an example of calculation.
  • the importance level normalization unit 117 similarly normalizes the in-block importance level for other blocks.
  • the importance normalization unit 117 subtracts the importance in the block of the dummy node from the importance in the block of the cluster node (S1603). This will be described with reference to FIG.
  • the in-block importance of cluster 1 is 0.777.
  • the in-block importance 1801 of the dummy node is subtracted from all cluster nodes to obtain the in-block importance 1801.
  • the cluster importance of cluster A is 0.72, which is the intra-block importance of block 1.
  • the cluster importance levels of cluster A and cluster B differ depending on how the blocks are divided. This is due to the importance assigned to the node regardless of the link structure.
  • the value of the importance level 0.65 of each cluster B of the blocks 2 to 4 is considered to be a value obtained by adding a certain importance level.
  • This constant importance is considered to be expressed as the importance of the dummy node.
  • the value obtained by the intra-block importance calculation unit 116 in S1603 is the intra-block importance of the cluster.
  • the cluster importance calculation unit 118 adds the in-block importance of the obtained cluster to the cluster importance stored in association with each cluster (S1604).
  • the evaluation unit 115 confirms whether the importance has been calculated for all the blocks (S1605).
  • FIG. 21 shows the cluster importance information 2100 obtained in this way.
  • step S1604 By repeating step S1604 in each block, the importance of a certain cluster becomes a size obtained by adding the importance in the block in each block.
  • cluster importance level information 2100 in FIG. 21 is stored in the cluster importance level information storage unit 113 of the storage unit 107.
  • FIG. 22 is a flowchart showing details of the calculation of the image importance in S206 in FIG.
  • Image importance is an index for measuring the quality of an image.
  • the importance of an image is calculated to be high when many clusters with high importance are included.
  • the image importance is obtained based on the cluster importance information 2100 and the graph information.
  • the image importance calculation unit 119 extracts the cluster importance information 2100 from the cluster importance information storage unit (S2201).
  • the image importance calculation unit 119 extracts graph information of each block (S2202).
  • the image importance calculation unit 119 calculates the image importance based on the value of the link from the cluster of the graph information to the image (S2203).
  • the importance of the image is obtained by multiplying the importance of the cluster by the value of the link from the cluster to the image. When linked from a plurality of clusters, these values are added.
  • block 1 includes images 1 to 3. Accordingly, the image importance of the images 1 to 33 can be calculated from the graph information of the block 1.
  • the image importance calculation unit 119 confirms whether the image importance is calculated for all blocks (S2204). If importance in all blocks is calculated (S2204: Yes), the process is completed. On the other hand, if there is an image that has not yet been calculated (S2204: No), the same processing is repeated with the processing target of S2202 as a block including an image whose importance has not been calculated.
  • FIG. 23 shows an example of the image importance level information 2300 obtained in this way. This value is obtained based on the graph information of all blocks.
  • the image importance level information 2300 is stored in the image importance level information storage unit 112 of the storage unit 107.
  • FIG. 24 shows the result of ranking the images in the order of image importance in S207. Thereby, the user can know the order of images.
  • the result is output to the display device 140 through the display control unit 120.
  • the image management apparatus 100 calculates the image importance by using the relationship between the cluster generated from the object included in the acquired image and the image as a graph. Further, the importance of the acquired image is calculated for each of a plurality of blocks in order to reduce the size of the matrix necessary for the calculation.
  • the number of images is enormous, for example, assume that the number of images is 1 million and that there are 100 types of clusters included in the images.
  • the probability transition matrix in this case is (1 million + 1000) x (1 million + 1000) or more, if the number of bytes required to store each element of the matrix is 4 bytes, about 4 x 10 12 bytes ( ⁇ about 4TB), and requires a large amount of memory.
  • the probability transition matrix can be about (10,000 + 1000) ⁇ (10,000 + 1000), so the image importance can be calculated even in an environment with limited memory. Can do.
  • FIG. 25 shows details of the block ID assignment of S202 in FIG.
  • an operation of dividing the image into a plurality of blocks based on the already accumulated image is performed. Thereby, it is possible to reduce the memory required for calculating the importance of the object in the subsequent processing.
  • an image including an object is extracted from images acquired based on the object information 500, and the number of images is calculated (S2501).
  • the acquired image is added to the already accumulated image (S2502).
  • the image including the object is divided into a plurality of blocks (S2503). At this time, even if a block ID is assigned to an already accumulated image, the image is divided again into blocks.
  • the subsequent processing is the same as S602 and S603 of the first embodiment, and is therefore omitted.
  • step S2503 the following three ways of dividing blocks in step S2503 are conceivable.
  • images 1 to 8 have already been accumulated and are divided into blocks 1 (images 1 to 3), 2 (images 4 to 6), and 3 (images 7 to 8). At this time, if images 9 to 16 are newly acquired, the blocks are redone for all images 1 to 16 which are all images.
  • vision method 2 Only newly acquired images are subject to block division, and accumulated images are not subject to block division at all.
  • images 1 to 300 have already been accumulated and divided into blocks. If new images 301 to 308 are acquired at this time, only the image 301 to the image 308 are targeted for block division.
  • the division method 3 is a method in which the division methods 1 and 2 are compromised.
  • images 1 to 299 have already been accumulated and divided into blocks. If new images 300 to 303 are acquired at this time, the images 298 to 299 of the block 100 and the images 300 to 303 having a margin with respect to the upper limit of 3 sheets are set as the objects of block division.
  • division method 1 re-performs block division, and there is an aspect that the matrix operation of each block increases accordingly, but in particular, the block division is flexibly optimized depending on the number of newly acquired images and the presence or absence of objects. There is an advantage that it is easy to make.
  • the dividing method 1 is effective.
  • FIG. 26 shows details of the calculation of the cluster importance in S205 in FIG. Note that, in the flowchart of FIG. 16 which is the processing flow in the first embodiment, only the normalization part is different in the number of nodes in S1602. Since other parts are the same as those in the first embodiment, description thereof is omitted here.
  • the cluster importance calculation unit 118 normalizes the importance in each block with the importance of the dummy node (S2602). Specifically, all the importance levels are multiplied by a value such that the score of the dummy node included in each block importance level is 1.
  • An example is shown in FIG. For example, it is assumed that the in-block importance of block 1 is as shown in the figure. At this time, the importance of the dummy node is 0.005.
  • the image management apparatus 100 can calculate the importance of an image using a normalization method different from that in the first embodiment.
  • the image management apparatus 3400 shown in FIG. That is, a function for extracting a face from an image as in the object feature amount extraction unit 103, a function for performing clustering based on the extracted face as in the clustering unit 104, and an importance level of each cluster as in the cluster importance level calculation unit 118 It has a function to calculate
  • Various information can be exchanged between the image management apparatus 100 and the image management apparatus 3400 through a line (whether wired or wireless).
  • the clustering unit 104 of the image management apparatus 100 acquires a feature amount from the image management apparatus 3400 (S3501).
  • the clustering unit 104 compares the feature amount of each cluster after classification with the acquired feature amount (S3502).
  • the feature amount of the cluster a1 is acquired, and the acquired feature amount is compared with the feature amounts of the clusters 1 to 3.
  • the clustering unit 104 specifies which cluster of the classified clusters the acquired feature value corresponds to (S3503).
  • this specific method for example, a method of specifying the highest feature value similarity or a method of specifying whether the feature value similarity exceeds a threshold can be used.
  • the clustering unit 104 creates a correspondence table indicating the correspondence relationship of the cluster IDs identified by the feature amount comparison.
  • the correspondence table in the figure indicates that cluster 1 in the image management apparatus 100 corresponds to cluster a1 in the image management apparatus 3400.
  • the cluster ID is shared between the image management device 100 and the image management device 3400.
  • the cluster importance level calculation unit 118 uses the external importance level of the cluster corresponding to the ID from the image management apparatus 3400. Is acquired (S3505).
  • the external importance of the cluster a1 corresponding to the cluster 1 is acquired from the image management apparatus 3400 with reference to the correspondence table.
  • the cluster importance calculation unit 118 calculates the importance of cluster 1, the cluster importance calculation unit 118 adds to the intra-block importance of cluster 1 in blocks 1 to 3.
  • the importance level of cluster 1 is calculated using the acquired external importance level of cluster a1 (corresponding to cluster 1) in the external apparatus (image management apparatus 3400).
  • the image may be divided into a plurality of blocks, and the importance of the cluster may be obtained by adding the importance within the block.
  • image management apparatuses 100 and 3400 may be linked so that processing is shared by this server.
  • the ID correspondence table is created in the image management apparatus 100.
  • the ID of the image management apparatus 3400 is rewritten according to the ID of the image management apparatus 100 (for example, the cluster a1 is changed). Rewrite as cluster 1.)
  • the block size is set to a size that matches the resource of the apparatus.
  • An example of a resource is a memory size. That is, the number of images included in each of the blocks generated by the block generation unit 105 is changed according to the memory size that can be used for importance calculation.
  • the number of images per block is set to 10,000, and if the memory size is 1 MB, the number of images per block is set to 5,000. It is possible.
  • a range (lower limit value or upper limit value) of the number of images per block may be set according to the memory size.
  • examples of resources include the CPU clock frequency and CPU usage rate. Further, when the storage unit 107 is an HDD, the number of rotations per minute, the cache size, or the like may be used.
  • the calculated importance within the block will be multiple.
  • the final cluster importance can be calculated by integrating a plurality of block importance.
  • a + b + c obtained by adding the in-block importances a, b, and c in the blocks 1 to 3 of the cluster 3 is obtained. It can be calculated as the importance of the final cluster.
  • the occupancy of the cluster in the image is added to the importance of the cluster included in the image. It may be obtained by multiplying.
  • the image Y in which the person of the cluster 1 is shown larger can be made more important than the image X.
  • the k-means method which is a non-hierarchical method, is used as an example of the clustering method performed by the clustering unit 104.
  • the present invention is not limited to this, and the Ward method (Ward's method) is used.
  • a hierarchical approach may be used.
  • a human face is described as an example of an object.
  • an animal feature such as a dog (FIG. 4: image 10) or a cat is used as an image feature. It does not matter as a quantity extraction target.
  • the object shown in the image is not limited to the face, and various objects such as a car (FIG. 4: image 6), a plant, and a building can be considered.
  • the degree of smile of the person may be weighted.
  • the degree of face orientation may be weighted.
  • an image with a higher smile level can be considered as a higher image importance level.
  • the person's degree of focus is evaluated higher as the person's focus is sharper and lower as the person is out of focus.
  • each object may be calculated based on the degree of smile, the direction of the face, the degree of focus of the person, etc. without using the occupancy at all.
  • any value can be used as long as it is a value indicating the feature of the object in each image, and is not limited to the degree of occupation, the degree of smile, the degree of face orientation, and the like.
  • an image may be acquired from an external device such as a mobile terminal.
  • an external device such as a mobile terminal.
  • various forms can be taken regardless of wired (LAN cable, USB cable, etc.) or wireless (infrared, Bluetooth, etc.).
  • the recording medium may be acquired via a removable drive.
  • the image evaluation apparatus may be typically realized as an LSI (Large Scale Integration) that is an integrated circuit.
  • LSI Large Scale Integration
  • Each circuit may be individually configured as one chip, or may be integrated into one chip so as to include all or some of the circuits.
  • IC Integrated Circuit
  • system LSI system LSI
  • super LSI super LSI
  • ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • Program A control program comprising program codes for causing a processor of various devices such as a computer and various circuits connected to the processor to execute the processing relating to the importance calculation of the image shown in each embodiment. It can be recorded on a recording medium, or distributed and distributed via various communication paths.
  • Such recording media include smart media, compact flash (trademark), memory stick (trademark), SD memory card, multimedia card, CD-R / RW, DVD ⁇ R / RW, DVD-RAM, HD-DVD, BD (Blu-ray Disc) etc.
  • the distributed and distributed control program is used by being stored in a memory or the like that can be read by the processor, and the processor executes the control program to perform various functions as shown in the embodiment. It will be realized.
  • the image management device can be applied to a device for storing still images or moving images, a digital camera, a photographing device such as a camera-equipped mobile phone or a movie camera, and a PC (Personal Computer).

Abstract

　画像管理装置では、画像を取得してクラスタリングを行うと（Ｓ２０１）、各画像を区分けしてブロックを生成する（Ｓ２０２）。続いて、生成したブロック毎に、そのクラスタのブロック内重要度を算出し（Ｓ２０４）、算出したクラスタのブロック内重要度を積算することによりクラスタの重要度を算出し（Ｓ２０５）、算出したクラスタの重要度に基づいて画像の重要度を算出する（Ｓ２０６）。

Description

画像管理装置、画像管理方法、プログラム、記録媒体、集積回路
　画像や画像に含まれるオブジェクトをランキングする技術に関する。
　近年、デジタルカメラの普及により、膨大な枚数の画像をユーザが保有するようになってきている。しかし、保有する画像の枚数が膨大になるにつれて、ユーザにとって重要な画像を選び出すことが困難になってきている。
　そのため、ユーザが所望する画像を効率的に検索することができるように、ユーザにとって重要な画像から順に並べるランキングが必要となっている。
　画像をランキングして表示することにより、ユーザが必要な画像を簡単に選び出せるよう支援できる。
　ランキングに関する技術としては、Webサイトのページ間のリンクを元に各ページの重要度を決定する技術が知られている（特許文献１，非特許文献１参照）。
特開２００７－１８３８２５号公報
"Exploiting the Block Structure of the Web for Computing PageRank" D. Kamvar, H.Haveliwala, D.Manning, H.Golub,2003年
　ところで、本発明者らは、ユーザにとって重要な人物が写る画像が重要な写真となるようなランキングを実現する方法として、画像と、画像に写る人物（オブジェクトの一種）をリンク構造で結び、そのリンク構造を元に画像の重要度および人物の重要度を算出する手法を検討している。
　この手法では、画像を示す画像ノードと人物を示す人物ノードを生成し、画像に特定の人物が写っていた場合、それらの画像ノードと人物ノード間で双方向のリンクを張る。
　ここで、ノード間のリンクは、そのリンク元ノードの重要度がリンクを通してリンク先ノードへと伝播されることを意味する。また、複数のノードからリンクを張られているノードの重要度は、それぞれのリンクから伝播する全ての重要度を加算したものとする。さらに、重要度の高いノードからリンクを張られているノードの重要度は高くなるものとする。
　従って、多くの画像ノードからリンクを張られている人物ノードの重要度は高くなる。つまり、多くの画像に写っている人物の重要度は高くなる。
　また、重要度の高い人物ノードからリンクを張られている画像ノードの重要度は高くなる。つまり、重要度の高い人物が写っている画像の重要度が高くなる。
　このようにリンク構造を構成し、それぞれの重要度を伝播させていくことで、多くの画像に写っている人物が写る画像の重要度が高くなる。
　また、この手法では、具体的に重要度を算出するには、すべての画像ノードおよび人物ノードとノード間のリンク構造を元に確率遷移行列を作成し、その行列の固有ベクトルを求めることで、画像の重要度を算出する。固有ベクトルは、各ノードによって重要度が伝播され続けたときの収束値を表している。
　しかしながら、この手法では、重要度の算出対象とする画像や人物の数が多くなるにつれて、行列演算に関するリソースの負荷が過大になることがある。
　つまり、上記確率遷移行列は、画像ノードおよび人物ノードの数を足し合わせた分の数を行および列として持つ行列となる。したがって、画像の数が膨大になると、確率遷移行列も巨大になるのである。
　一例を挙げると、画像の数が100万、人物の数が1000であった場合、確率遷移行列は、およそ（100万＋1000）行×（100万＋1000）列となる。
　特に、コンシューマデバイスなどでは、このような巨大な行列をメモリ上に展開して演算することは困難である。係る問題は、行列演算を用いた手法に限られず、個々の要素間の関係性に基づいて算出する手法において広く生じ得るものである。
　なお、特許文献１や非特許文献１では、あらかじめリンク構造を複数のグループとしてまとめ、まずはグループ間の重要度を求め、次にグループ内の重要度を算出することで、演算に要する負荷を軽くできるとしている。
　しかしながら、これらの従来の技術は、重要度の算出対象はWebサイトであり、算出対象が画像や画像に写るオブジェクトである場合については開示が無い。
　本発明は、このような背景に鑑みてなされたものであって、画像や当該画像に写るオブジェクトの重要度を、リソースの負荷を軽減しつつ算出することを目的とする。
　上記課題を解決するために本発明に係る画像管理装置は、複数の画像を、重要度を基にランキングするための画像管理装置であって、複数の画像を取得する画像取得部と、取得された各画像において、当該画像に含まれるオブジェクトを検出する検出部と、前記検出された各オブジェクトの画像特徴量を抽出する抽出部と、検出された各オブジェクトを、それぞれの画像特徴量に基づいて、複数のクラスタのいずれかに分類するクラスタリング部と、前記画像取得部で取得された複数の画像を区分けして複数のブロックを生成するブロック生成部と、各ブロックにおいて、当該ブロック内の画像に含まれるオブジェクトが属するクラスタのブロック内重要度を、当該画像と当該クラスタとの関係性に基づいて算出するブロック内重要度算出部と、算出された各ブロックにおける各クラスタのブロック内重要度を積算することにより、前記複数の画像における各クラスタの重要度を算出するクラスタ重要度算出部と、算出されたクラスタ重要度を基に、各画像の重要度を算出する画像重要度算出部と、を備えるとしている。
　本発明に係る画像管理装置によれば、取得した画像の枚数よりは、少ない枚数から構成される各ブロック毎にクラスタの重要度を算出するので、リソース負荷の軽減に寄与できる。
　ここで、前記ブロック生成部は、前記複数の画像を区分けすることにより、区分けされたブロックを識別するブロックＩＤを各画像に付与し、さらに、各画像に付与されたブロックＩＤを記憶するブロック情報記憶部を備え、前記画像取得部が新たに画像を取得した場合に、前記ブロック生成部は、当該取得した新しい画像を対象に前記区分けを行うが、前記ブロック情報記憶部にブロックＩＤが記憶された画像を対象としては前記区分けを行わないとしても構わない。
　この構成によれば、ブロック情報記憶部にブロックＩＤが記憶された画像、つまり区分け済みの画像については新たな区分けの対象としないこととなる。ゆえに、新たな区分けがもたらすであろう、ブロック内重要度算出部によるクラスタのブロック内重要度の再計算を減らすことができる。
　ここで、前記ブロック生成部は、前記複数の画像を区分けすることにより、区分けされたブロックを識別するブロックＩＤを各画像に付与し、さらに、各画像に付与されたブロックＩＤを記憶するブロック情報記憶部を備え、前記画像取得部が新たに画像を取得した場合に、前記ブロック生成部は、前記ブロック情報記憶部にブロックＩＤが記憶された画像の一部と当該取得した新しい画像との両方を対象として前記区分けを行うとしても構わない。
　このようにすることで、例えば、画像管理装置の計算処理性能に応じて、ブロックの区分けを柔軟に最適化することに貢献できる。
　ここで、各ブロックにおいて、当該ブロックを構成する画像それぞれを示す画像ノードと、前記画像に含まれるオブジェクトが属するクラスタをそれぞれ示すクラスタノードと、前記画像の背景を示す１個の背景ノードとを作成し、作成したノード間のリンクの値を設定し、作成したノードと設定したリンクの値とにより構成されたグラフを生成するグラフ生成部を備え、前記ブロック内重要度算出部は、生成されたグラフを基に、各ノードに示される画像およびクラスタのブロック内重要度を算出するとしても構わない。
　また、前記ブロック内重要度算出部は、前記グラフ生成部によって生成したグラフ情報を元に、確率遷移行列を生成し、この確率遷移行列の固有ベクトルを求めることで、各ブロックにおける画像の重要度およびクラスタのブロック内重要度を算出するとしても構わない。
　また、前記グラフ生成部は、前記グラフに含めてダミーノードを作成し、当該ダミノードと前記画像ノードとの間、当該ダミノードとクラスタノードとの間、および当該ダミノードと前記背景ノードとの間のリンクの値をゼロに設定するとしても構わない。
　また、前記ブロック内重要度算出部は、ランダムウォークを示す行列に基づいて、生成した確率遷移行列を修正し、修正後の確率遷移行列について固有ベクトルを求めるとしても構わない。
　また、前記クラスタ重要度算出部は、各ブロックにおいて、ブロックにおけるクラスタのブロック内重要度から、ブロックにおけるダミーノードのブロック内重要度を差し引くことにより、当該クラスタのブロック内重要度を補正するとしても構わない。
　ここで、各ブロックにおけるクラスタのブロック内重要度には、一定の重要度が上乗せされているものと考えられ、その上乗せ分は、ダミーノードのブロック内重要度として表れると考えられる。
　このため、各ブロックにおいて、クラスタのブロック内重要度からダミーノードのブロック内重要度を差し引くことにより実質的なクラスタのブロック内重要度を算出できる。
　特に、区分けの手法に依存して、クラスタの重要度が変わってしまうことを防止できる。
　また、前記クラスタ重要度算出部が算出した各ブロックにおける各クラスタのブロック内重要度を、ブロックそれぞれにおけるダミーノードのブロック内重要度の値を元に正規化する重要度正規化部を備え、前記クラスタ重要度算出部は、正規化された後のクラスタのブロック内重要度を元に、前記複数の画像におけるクラスタの重要度を算出するとしても構わない。
　このようにすることで、複数の画像におけるクラスタの重要度が、区分けの手法に依存して変わることを防止できる。
　また、前記クラスタ重要度算出部は、算出された各ブロックにおけるクラスタのブロック内重要度を足し合わせることにより前記複数の画像におけるクラスタの重要度を算出するとしても構わない。
　また、さらに、前記クラスタ重要度算出部により算出された各ブロックにおけるクラスタの重要度を、ブロック内に含まれる画像数およびクラスタ数に応じて正規化する重要度正規化部を備え、前記クラスタ重要度算出部は、正規化された後のクラスタの重要度を足し合わせるとしても構わない。
　この構成によれば、例えば、ブロック内に含まれる画像数やクラスタ数がブロック間で不揃いであった場合でも、ブロック間で実質的なクラスタのブロック内重要度を調整することができる。
　また、　前記クラスタリング部は、外部装置から、当該外部装置において分類されたクラスタの特徴量を取得し、取得した特徴量と分類後の各クラスタの特徴量とを比較することにより、取得した特徴量が、分類後の各クラスタのうちのどのクラスタに対応するかを特定し、前記クラスタ重要度算出部は、特定されたクラスタの重要度を前記外部装置から取得して、前記積算に用いるとしても構わない。
　また、前記ブロック生成部は、ブロックの生成に利用できるリソースを示すリソース情報に基づいて生成すべき各ブロックの大きさを決定し、決定された大きさになるように前記複数のブロックを生成を行うとしても構わない。
　また、前記リソース情報とは、利用できるメモリサイズを示すとしても構わない。
　また、本発明に係る画像管理方法は、複数の画像を、重要度を基にランキングするための画像管理方法であって、複数の画像を取得する画像取得ステップと、取得された各画像において、当該画像に含まれるオブジェクトを検出する検出ステップと、前記検出された各オブジェクトの画像特徴量を抽出する抽出ステップと、検出された各オブジェクトを、それぞれの画像特徴量に基づいて、複数のクラスタのいずれかに分類するクラスタリングステップと、前記画像取得ステップで取得された複数の画像を区分けして複数のブロックを生成するブロック生成ステップと、各ブロックにおいて、当該ブロックを構成する画像に含まれるオブジェクトが属するクラスタのブロック内重要度を、当該画像と当該クラスタとの関係性に基づいて算出するブロック内重要度算出ステップと、算出された各ブロックにおける各クラスタのブロック内重要度を積算することにより、前記複数の画像における各クラスタの重要度を算出するクラスタ重要度算出ステップと、算出されたクラスタ重要度を基に、各画像の重要度を算出する画像重要度算出ステップと、を含むことを特徴としている。
　また、本発明に係るプログラムは、画像管理ステップを含む処理をコンピュータに実行させるためのプログラムであって、前記画像管理ステップは、複数の画像を取得する画像取得ステップと、取得された各画像において、当該画像に含まれるオブジェクトを検出する検出ステップと、前記検出された各オブジェクトの画像特徴量を抽出する抽出ステップと、検出された各オブジェクトを、それぞれの画像特徴量に基づいて、複数のクラスタのいずれかに分類するクラスタリングステップと、前記画像取得ステップで取得された複数の画像を区分けして複数のブロックを生成するブロック生成ステップと、各ブロックにおいて、当該ブロックを構成する画像に含まれるオブジェクトが属するクラスタのブロック内重要度を、当該画像と当該クラスタとの関係性に基づいて算出するブロック内重要度算出ステップと、算出された各ブロックにおけるクラスタのブロック内重要度を積算することにより、前記複数の画像におけるクラスタの重要度を算出するクラスタ重要度算出ステップと、算出されたクラスタ重要度を基に、各画像の重要度を算出する画像重要度算出ステップと、の各ステップを含むことを特徴としている。
　また、本発明に係る記録媒体は、上記プログラムを記録した記録媒体である。
　また、本発明に係る集積回路は、複数の画像を重要度を基にランキングするための集積回路であって、複数の画像を取得する画像取得部と、取得された各画像において、当該画像に含まれるオブジェクトを検出する検出部と、前記検出された各オブジェクトの画像特徴量を抽出する抽出部と、検出された各オブジェクトを、それぞれの画像特徴量に基づいて、複数のクラスタのいずれかに分類するクラスタリング部と、前記画像取得部で取得された複数の画像を区分けして複数のブロックを生成するブロック生成部と、各ブロックにおいて、当該ブロックを構成する画像に含まれるオブジェクトが属するクラスタのブロック内重要度を、当該画像と当該クラスタとの関係性に基づいて算出するブロック内重要度算出部と、算出された各ブロックにおけるクラスタのブロック内重要度を積算することにより、前記複数の画像におけるクラスタの重要度を算出するクラスタ重要度算出部と、算出されたクラスタ重要度を基に、各画像の重要度を算出する画像重要度算出部と、を備えることを特徴とする。
実施の形態１における画像管理装置１００の機能ブロック図 撮影装置１３０から取得した画像に基づいて、ランキングを表示装置１４０に表示するまでの処理の流れを示すフローチャート 画像取得からクラスタリングまでの処理の詳細を示すフローチャート 撮影装置１３０から取得した画像群と、画像群に含まれるオブジェクトの一例を示す図 オブジェクト情報５００の一例を示す図 ブロックＩＤ付与の処理を詳細に示すフローチャート ブロック情報の一例を示す図 ブロックのグラフ情報生成の処理を詳細に示すフローチャート ブロック１のグラフ情報９００の一例を示す図 ブロック１のグラフ情報９０１の一例を示す図 ブロックにおける重要度算出の処理を詳細に示すフローチャート 確率遷移行列Ｍ１１００の一例を示す図 ランダムウォーク行列Ｘ１２００の一例を示す図 固有ベクトル１３００の一例を示す図 確率ベクトル化した固有ベクトル１４００の一例を示す図 ブロック内重要度情報１５００の一例を示す図 クラスタ重要度算出の処理を詳細に示すフローチャート ブロック内重要度情報１５０１をノード数で正規化する様子を示す図 ブロック内重要度情報１７０１において、クラスタの重要度を、ダミーノードの重要度で減算する様子を示す図 ブロックの分け方が同じ場合のリンク構造と、そのブロックにおけるブロック内重要度を示す図 ブロックの分け方が同じでない場合のリンク構造と、そのブロックにおけるブロック内重要度を示す図 クラスタ重要度情報２１００の一例を示す図 画像重要度算出の処理を詳細に示すフローチャート 画像重要度情報２３００の一例を示す図 画像ランキング情報の一例を示す図 実施の形態２におけるブロックID付与の処理を示すフローチャート 実施の形態３におけるクラスタ重要度算出の処理を示すフローチャート ダミーノードの重要度で正規化したブロック内重要度の一例 ブロック１～３におけるクラスタ１のブロック内重要度を足し合わせて、すべての画像におけるクラスタ１の重要度を求める手法を説明する図 クラスタ重要度から画像の重要度を求める手法を説明する図 新たに取得した画像から、新しいブロックを作成する手法を説明する図 新たに取得した画像と、取得済みの画像とを混ぜ合わせて新しいブロックを作成する手法を説明する図 ブロック１～３におけるクラスタ１のブロック内重要度を足し合わせて、すべての画像におけるクラスタ１の重要度を求める手法を説明する図 クラスタ重要度から画像の重要度を求める手法を説明する図 実施の形態４における処理のイメージを示す図 処理のイメージを示す図 処理のイメージを示す図
（実施の形態１）
　以下、実施の形態１に係る画像管理装置１００および画像管理装置１００の制御方法について、図面を参照しながら説明する。
　図１は、実施の形態１における画像管理装置１００とそれに関連する装置との接続を含むブロック図である。
　画像管理装置１００は、撮影装置１３０及び表示装置１４０と接続されている。
　撮影装置１３０は、画像を撮影することができ、また撮影した画像を蓄積する装置である。ここで言う画像とは、例えば、写真などの静止画でも良いし、動画でも良い。撮影装置１３０は、例えば、デジタルカメラから構成される。
　なお、画像管理装置１００と撮影装置１３０とは、例えばUSB（Universal Serial Bus）ケーブルを介して接続されている。
　表示装置１４０は、例えばデジタルテレビから構成され、画像管理装置１００から出力される画像などの映像を表示する。表示装置１４０は、例えばHDMI(High-Definition Multimedia Interface)ケーブルを介して画像管理装置１００と接続されている。
　次に、図１を用いて、画像管理装置１００の内部構成について説明する。
　図１に示すように、画像管理装置１００は、画像取得部１０１、オブジェクト検出部１０２、オブジェクト特徴量抽出部１３０、クラスタリング部１０４、ブロック生成部１０５、グラフ生成部１０６、記憶部１０７、評価部１１４および表示制御部１２０から構成される。
　画像取得部１０１は、撮影装置１３０が蓄積している画像を取得し、取得した画像それぞれについて、固有の画像ＩＤを付与する。
　画像取得部１０１は、例えば、USBケーブルを挿入するためのUSBポートおよびUSBドライバなどのインターフェイスを制御するソフトウェアから構成される。
　オブジェクト検出部１０２は、画像取得部１０１が取得した画像から、オブジェクトが写っている領域（画像における座標）を検出し、検出したオブジェクトそれぞれについて、固有のオブジェクトＩＤを付与する。
　ここでいうオブジェクトとは、例えば人物の顔や一般物体（車、家、食べ物など）などが挙げられるが、以降の説明では、オブジェクトとして人物の顔を例に挙げて説明する。
　また、オブジェクト検出部１０２は画像のサイズに対するオブジェクトの大きさ（以降では、「占有度」と表記する。）を算出する。
　オブジェクト特徴量抽出部１０３は、オブジェクト検出部１０２で画像から検出された顔の画像特徴量を抽出する。
　画像特徴量とは、画像中の複数の画素に係る画素値の分布に係る特徴を示したものである。例えば画像特徴量は画像の特徴を示す複数の数値を成分とするベクトルである。画像の特徴には、Ｇａｂｏｒフィルタを用いて得られる画像データの画素値の分布の周期性や方向性などがあり、人物の顔に係る画像特徴量の場合、画素値の分布の周期性や方向性などから目と認識された点２つの間の距離や、鼻と認識された点と口と認識された点との距離などの量を成分とすることができる。
　クラスタリング部１０４は、オブジェクト特徴量抽出部１０３で抽出された顔の画像特徴量を元に類似する顔同士を同じクラスタとして分類する。
　つまり、クラスタリング部１０４により同じクラスタに分類された顔に対しては、同じクラスタＩＤが付与されることとなる。クラスタリングの結果から、同じクラスタの顔画像は類似した画像特徴量を持っていることを確認できる。クラスタリング手法としては、例えばＫ－Ｍｅａｎｓ法を用いてもよい。
　なお、オブジェクト特徴量抽出部１０３やクラスタリング部１０４が行う詳細な手法については、一般的な顔認識技術などを利用することができるので上述の説明は簡単にしている。
　ブロック生成部１０５は、取得した画像のうち顔が写っている画像だけを抽出し、抽出した画像をいくつかのブロックに区分けする。
　この区分けの方法は特に限定されないが、本実施の形態では、各ブロックに含まれる画像数がなるべく等しくなるように行われる。区分けを行うと、ブロック生成部１０５は、抽出した画像それぞれに、区分けされたブロックを識別するためのブロックＩＤを付与する。
　グラフ生成部１０６は、次の（１）～（３）の処理を、ブロック生成部１０５により生成されたブロック毎に行う機能を有する。
　（１）ノードの作成
　まず、グラフ生成部１０６は、あるブロックに含まれる画像を示す画像ノード、およびその画像に含まれる人物のクラスタを示すクラスタノード、画像の背景を示す１個の背景ノード、およびダミーノードを生成する。
　（２）ノード間のリンクの値の設定
　続いて、グラフ生成部１０６は、作成したノード間のリンクの値を設定する。
このリンクは、ノードの重要度を伝播するために用いる。具体的には、リンク元のノードの重要度にリンクの値を掛け合わせた値がリンク先のノードの重要度になる。例えば、あるノードＡの重要度が１とし、ノードＡからノードＢにリンクが張られており、そのリンクの値が0.1とする。このとき、ノードＢの重要度は1×0.1=0.1となる。また、複数のノードからリンクされている場合は、それらの値を加算したものが重要度になる。この設定の詳細は後述する。
　（３）ノードとリンクの値とにより構成されたグラフを生成
　グラフ生成部１０６は、作成したノードと設定したリンクの値とを表現するグラフを生成する。
　記憶部１０７は、オブジェクト情報記憶部１０８、ブロック情報記憶部１０９、グラフ情報記憶部１１０、ブロック内重要度記憶部１１１、画像重要度記憶部１１２およびクラスタ重要度記憶部１１３のサブブロックで構成されている。記憶部１０７は、例えば、RAM(Random Access Memory)から構成することができる。
　各記憶部１０８～１１３が格納する情報の詳細については後述する。
　評価部１１４は、確率遷移行列生成部１１５、ブロック内重要度算出部１１６、重要度正規化部１１７、クラスタ重要度算出部１１８および画像重要度算出部１１９のサブブロックから構成される。
　確率遷移行列生成部１１５は、グラフ生成部により生成されたグラフ情報に基づいて、確率遷移行列を生成する。
　ブロック内重要度算出部１１６は、確率遷移行列の固有ベクトルを求めることで、確率遷移行列を構成する画像やクラスタの各ノードのブロック内重要度を求める。なお、固有ベクトルの算出手法は、べき乗法など一般的な手法を採用できる。
　重要度正規化部１１７は、ブロックの分け方に依存して最終的な重要度が変わらないようにするために、ブロック間の重要度を調整する機能を有する。具体的には、例えば、ブロック内重要度をそのブロックに含まれるノード数に基づいて正規化する。
　クラスタ重要度算出部１１８は、重要度正規化部１１７で正規化された各クラスタのブロック内重要度を積算することで、画像取得部１０１が取得した画像における各クラスタの重要度を算出する。なお、この積算のやり方には、乗算、加算やこれらの組み合わせなど色々なやり方があるが、本実施の形態では加算であるとして説明する。
　画像重要度算出部１１９は、クラスタ重要度算出部１１８が算出したクラスタ毎の重要度に基づいて、画像の重要度を算出する。例えば、クラスタ１が含まれる画像１に対しては、クラスタ１の重要度に基づいて画像１の重要度を算出する。
　表示制御部１２０は、ＨＤＭＩ出力端子などの出力インターフェースを介して表示装置１４０に各種表示を実行させる機能を有する。
　図２のフローチャートを用いて、画像管理装置１００が行う動作の概要を説明する。
　図２のフローチャートは、撮影装置１３０から入力した画像群から、画像ランキングを作成して、結果を表示装置１４０に表示するまでの動作を示している。
　図２に示すように、画像管理装置１００は、まずは取得した画像に含まれるオブジェクトを検出し、特徴量の類似するオブジェクトをクラスタとする（Ｓ２０１）。そして、取得した画像群を一定数毎のブロックに分割し、それぞれにブロックＩＤを付与する（Ｓ２０２）。そして、ブロックに含まれる画像とその画像に含まれるクラスタによるリンク構造を表すグラフ情報を生成する（Ｓ２０３）。そして、各ブロックにおいて画像およびクラスタの重要度を算出する。（Ｓ２０４）。その後、各ブロックで求められたブロック内クラスタ重要度を元に、クラスタ重要度を算出する（Ｓ２０５）。そして、クラスタ重要度を元に画像重要度を算出する（Ｓ２０６）。最後に画像の重要度順に画像をランキング（Ｓ２０７）、という順で処理を行う。これら各ステップの詳細動作について、以下に説明する。
　図３は、図２におけるＳ２０１の画像取得からクラスタリングまでの詳細を示すフローチャートである。
　画像取得部１０１は撮影装置１３０に蓄積されている画像群を取得する（Ｓ３０１）。ここで、画像取得部１０１は、各画像に対して一意に識別できるように画像ＩＤを付与する。なお、以下では、ステップＳ３０１で取得した画像を「取得画像」と呼ぶことがある。
　次に、オブジェクト検出部１０２は、取得画像に含まれるオブジェクトを検出する（Ｓ３０２）。
　取得画像群と、その画像に写るオブジェクトの例を図４に示す。
　ここでは、オブジェクトとは人物の顔であるとし、各オブジェクトにユニークなオブジェクトＩＤを付与している。
　例えば、画像1にはオブジェクト1（オブジェクトＩＤ=1）のオブジェクトが検出されている。画像2にはオブジェクト2および3のオブジェクトが検出されている。画像3にはオブジェクト4のオブジェクトが検出されている。
　オブジェクトを検出する方法としては、例えば規定の顔領域の切り出しに関する学習辞書を用いて顔領域を切り出す方法がある。
　オブジェクトの検出を終えると、オブジェクト検出部１０２は、検出したオブジェクトの占有度を求める（Ｓ３０３）。
　この占有度とは、画像全体に占めるオブジェクトの大きさを表す。例えば、図４の画像１の場合、オブジェクト１が写っている。また画像１の画像サイズが600×400であり、オブジェクト１の顔の大きさを200×120とすると、オブジェクト１の占有度は(200×120)÷(600×400)=10%になる。同様にして、すべての画像に写るオブジェクトの占有度を求める。
　オブジェクト特徴量抽出部１０３は、オブジェクト検出部１０２で検出されたオブジェクトの画像特徴量を抽出する（Ｓ３０４）。
　そして、クラスタリング部１０４では、オブジェクト特徴量抽出部１０３で抽出されたオブジェクトの画像特徴量を元にクラスタリングを行う（Ｓ３０５）。
　このクラスタリングの手法は上述したように、例えば、画像特徴量を元にしてＫ－ｍｅａｎｓ法を用いる方法がある。
　図４の例では、クラスタリング部１０４は、
・画像1に登場するオブジェクト１
・画像2に登場するオブジェクト2
の両者の画像特徴量が類似しているので、これらのオブジェクト１，2に同じクラスタ1というクラスタＩＤを付与する。
　図５に、図２の一連の処理による結果を表すオブジェクト情報５００を示す。
　図５に示すように、オブジェクト情報５００は、オブジェクトＩＤ、クラスタＩＤ、画像ＩＤおよび占有度の情報を関連付けたものである。このオブジェクト情報５００は、記憶部１０７におけるオブジェクト情報記憶部１０８に記憶される。
　このように画像取得からクラスタリングまでの処理を終えると（図２：Ｓ２０１）、取得した画像毎にブロックＩＤを付与する処理（Ｓ２０２）に移行する。
　図６のフローにその詳細を示す。
　ここでは、取得した画像を複数のブロックに分割する作業を行う。これにより、以降の処理におけるオブジェクトの重要度の算出に必要なメモリなどのリソースの軽減を図る。
　まずは、ブロック生成部１０５において、オブジェクト情報５００（図５参照）をもとに取得された画像のうちオブジェクトが含まれている画像を抽出し、その画像数を算出する（Ｓ６０１）。
　例えば、図４の例では、画像群に含まれる画像は10枚であり、そのうちにオブジェクトが含まれていない画像は画像6と画像10の2枚である。この場合、オブジェクトが含まれている画像数は10-2=8枚になる。
　このように、オブジェクトが含まれている画像数は、取得された画像数からオブジェクトが含まれていない画像数を減算することで算出できる。
　次に、ブロック生成部１０５は、オブジェクトが含まれる画像を複数のブロックに区分けし（Ｓ６０２）、区分けしたブロックにブロックＩＤを付与する（Ｓ６０３）。
　このステップＳ６０２～Ｓ６０３の処理は、例えば、まずブロック１つあたりの画像数の上限数を規定し、画像ＩＤを昇順に並べて、上限数になるまでブロックＩＤを昇順に割り振っていくやり方である。
　例えば、上限数が3枚とすると、図４のようなオブジェクトが含まれる8枚の画像に対しては、画像１～３はブロック１、画像４,５,７はブロック２、画像８,９はブロック３というブロックＩＤを付与する。
　このように各画像にブロックＩＤを付与した結果を示すブロック情報７００を図７に示す。このブロック情報７００は、記憶部１０７におけるブロック情報記憶部１０９に記憶される。なお、図７中、画像６,１０にブロックＩＤが付与されていないのは、両画像にはオブジェクトが含まれていないからである。
　このようなブロックＩＤ付与の処理を終えると（図２：Ｓ２０２）、ブロックのグラフ情報を生成する処理（Ｓ２０３）に移行する。
　図８のフローにその詳細を示す。
　グラフ情報とは、以降の処理であるＳ２０４のブロックにおける重要度を算出するために必要な情報であり、このグラフ情報は、ノードとノード間のリンクの値とを含んでいる。
　このノードとしては、画像ＩＤ毎に対応した画像ノードと、クラスタＩＤ毎に対応したクラスタノードとを含む。
　また、特に、ある画像にあるオブジェクトが写っている場合、その画像の画像ノードからそのオブジェクトが属するクラスタを示すクラスタノードへは、画像におけるオブジェクトの占有度に応じたリンクの値が設定される。反対に、クラスタノードから画像ノードへのリンクは、一定のリンクの値を返すようにする。これにより、それぞれのノードから重要度がリンクの値に応じて伝播するようになる。
　まずは、グラフ生成部１０６において、取得画像から特定のブロックＩＤの画像を抽出する（Ｓ８０１）。
　次に、グラフ生成部１０６は、オブジェクト情報５００から抽出した画像ＩＤに対応する情報を抽出する（Ｓ８０２）。
　ステップＳ８０１，Ｓ８０２の例を説明すると、Ｓ８０１において、ブロック１の画像１～３を抽出すると、Ｓ８０２では、オブジェクト情報５００（図５参照）から、画像１～３に対応するオブジェクトＩＤ，クラスタＩＤおよび占有度を抽出する。
　次に、グラフ生成部１０６は、抽出したオブジェクト情報の情報をもとにグラフ構造を生成し（Ｓ８０３）、生成したグラフ構造を記憶部１０７のグラフ情報記憶部１１０に記憶させる。
　この生成のステップは、（１）ノード作成、（２）作成したノード間のリンク値の設定、という２段階の処理からなる。以下順に説明する。
　＜ノード作成＞
　まず、そのブロックに含まれる画像を示す画像ノードと、その画像に含まれるオブジェクトに付与されたクラスタを示す人物ノードを生成する。また、背景ノードとダミーノードも生成する。
　背景ノードとは、画像に含まれる背景の重要度をあらわすノードである。具体的には、画像において、オブジェクトが検出されていない領域は全て背景であるとする。
　ダミーノードは、ブロックごとのクラスタの重要度を適切な値へと補正するために用いる。詳細は後述する。
　＜リンク値の設定＞
　画像ノードから人物ノードへは、占有度に応じてリンクが張られるが、背景ノードも同様に、画像に含まれている背景の占有度に応じてリンクが張られる。
　なお、背景の占有度は、画像全体から全オブジェクトの占有度を引いた値とする。例えば、画像2については、画像全体（100%）から、オブジェクト2の占有度（12%）と、オブジェクト3の占有度（6%）を引いた値82%（=100 -12 -6）が背景の占有度となる。
　そして、以下の（１）～（６）のルールに従って、各ノード間のリンクの値を設定する。
（１）画像ノードからクラスタノードへのリンクの値は、画像に含まれるオブジェクトが属するクラスタの占有度とする。
（２）クラスタノードから画像ノードへのリンクの値は、任意の固定値とする（例えば0.01）。
（３）画像ノードから背景ノードへのリンクの値は、画像ノードからクラスタノードへのリンクの値の総和を、1から減算したものとする。
（４）クラスタノードから背景ノードへのリンクの値は、クラスタノードから画像ノードへのリンクの値の総和を、1から減算したものとする。
（５）背景ノードからダミーノードを除くノードへのリンクの値は、均等に分配される。
（６）ダミーノードへのリンクおよびダミーノードからのリンクは存在しない（リンクの値をゼロに設定する。）。
 
　図９Ａにブロック1のグラフ情報９００を示す。
　グラフ情報９００は、7個のノードとノード間に設定されたリンクの値とを含んで構成される。
　7個のノードは、クラスタ１，２を示す2個のクラスタノード、画像１～３を示す3個の画像ノード、背景ノード、ダミーノードから構成される。
　リンクの値の設定は、上述の（１)～（６）のルールに従って設定されている。例えば、画像１とクラスタ１との間のリンクを説明すると、画像１からクラスタ１のリンクの値は、画像１におけるオブジェクト１の占有度である10%、つまり0.1である。
　このようなリンクの値は、重要度がどのくらい伝播するかを示す指標になる。具体的には、（リンク元の重要度）×（リンクの値）＝（リンク先の重要度）として利用することができる。
　これに対して、クラスタ１から画像１へのリンクは、固定値の0.01となっている。
　また、クラスタ１に属するオブジェクトは画像２にも含まれているので、クラスタ１と画像２とのノード間にもリンクが設定されている。
　このようにして、画像とクラスタとのノード間のリンクを設定することができる。
　次に、背景ノードに説明する。例えば、画像１のノードから背景ノードへのリンクの値は、画像１から全てのクラスタノードへのリンクの値の総和0.1を１から減算した値となる。つまり1-0.1=0.9になる。
　また、クラスタ１のノードから背景ノードへのリンクの値についても同様に、クラスタ１のノードから画像ノードへのリンクの値の総和である0.01*1を1から減算した値となる。つまり1-0.01*2=0.98となる。さらに、背景ノードからダミーノードへのリンクの値は、ダミーノードを除いて均等に分配する。ダミーノードを除く全ノード数は、3（画像ノード数）＋2（クラスタノード数）＋1（背景ノード数）＝6個なので、各ノードへの値は1/6となる。これは、背景ノードから背景ノードへのリンクの値も含まれる。
　最後にダミーノードへのリンクおよびダミーノードからのリンクは作らない。
このようにして、ブロックごとに画像ノード、クラスタノード、背景ノードおよびダミーノードのリンク構造を設定する。
　なお、グラフ情報９００は、図９Ａのような背景ノードからダミーノードを除く全ノード（画像ノード、人物ノード、背景ノード）へリンクを持つもののほか、画像のみにリンクを返すというようなものであってもよい。このような場合のグラフ情報９０１の例を図９Ｂに示す。図９Ｂの例では、図９Ａとは異なり、背景ノードから人物ノードへのリンクおよび背景ノードから自身のノードへのリンクが存在せず、背景ノードから画像ノードへのリンクのみが存在する。また、画像ノードへのリンクの重みのつけ方は、各画像ノードに均等に分配している。具体的には、画像ノード数が３であることから、リンクの重み付けはそれぞれ１／３となっている。
　以下で説明に用いるグラフ情報は、図９Ａのグラフ情報９００を例にとって説明するが、これに代えて図９Ｂのグラフ情報９０１を用いても構わない。
 
　次に、グラフ生成部１０６は、全てのブロックにおいてグラフ構造を生成しているかを確認する（Ｓ８０４）。全てのブロックのグラフ構造を生成しているならば終了、そうでなければ残りのブロックのグラフ構造を生成する。
　図１０は、ブロックにおける各画像および各クラスタの重要度算出の詳細を示す。
　図１０の処理の概要を説明すると、ここでは、グラフ生成部１０６で生成したリンク情報を元に、確率遷移行列を生成する。ここで確率遷移行列は、各ノード間のリンク関係およびリンクの値を示した行列である。そして、その確率遷移行列のその行列の固有ベクトルを求めることで、ブロックにおける各画像および各クラスタの重要度を算出する。各ノードの重要度は様々なノード間のリンク関係により変動するが、最後はある一定の値に収束する。固有ベクトルは、各ノードの重要度の伝播が収束した値を示す。
　図１０の処理の詳細の説明に入る。まずは、評価部１１４の確率遷移行列生成部１１５において、取得画像から特定のブロックを抽出する（Ｓ１００１）。例えば、前記の例では、ブロック１を抽出する。次に、抽出したブロック１のグラフ情報９００をもとに確率遷移行列Ｍを生成する（Ｓ１００２）。
　確率遷移行列の求め方は、各ノード間のリンクの値を行列の要素として指定する。例えば、ブロック１における確率遷移行列Ｍを生成する場合は、図９Ａで生成したグラフ情報９００を用いる。
　このグラフ情報９００を元に導き出した確率遷移行列Ｍ１１００を図１１に示す。行列における行および列には、全てのノードを割り当てる。ここでは、画像ノード、クラスタノード、ダミーノードおよび背景ノードの順に並べている。そして、各ノード間のリンクの値の情報をこの行列の各要素として埋めていく。例えば、画像１のノードからクラスタ１のノードへのリンクの値は0.1である。従って、４行１列目の要素は0.1になる。また、画像１のノードから背景ノードへのリンクの値は0.9である。従って、７行１列目の要素は0.9になる。また、画像１から画像１，２，３、またクラスタ２、さらにダミーノードへのリンクは存在しないので、それぞれの要素は0になる。このようにして、行列における全ての要素を埋めていくことで、確率遷移行列Ｍ１１００を生成する。
　次に、確率遷移行列生成部１１５は、ランダムウォーク行列Ｘを作成する（Ｓ１００３）。この行列Ｘは、自ノードを他ノードを含めてそれぞれ等しい確率で遷移するということを表すためのものである。
　本手法では、確率遷移行列の固有ベクトルを求めることで画像やクラスタの重要度を算出している。しかし、画像やクラスタとのリンクを持たないダミーノードは、スコアが伝播しないため値が求められない。つまり、ランダムウォーク行列はダミーノードのスコアを求めるために用いるものである。
　ランダムウォーク行列Ｘは、全ノード数に対してリンクの値を均等に分配した値を行列の各要素とする。例えば、ブロック１におけるランダムウォーク行列Ｘ１２００を図１２に示す。行列の行と列の並び方は、図１１と同様とする。このとき、ダミーノードを含めたノード数は7個になる。従って、ランダムウォーク行列Ｘ１２００の全要素は1/7となる。
　次に、確率遷移行列生成部１１５は、確率遷移行列Ｍ’を作成する（Ｓ１００４）。具体的には、確率遷移行列Ｍ１１００とランダムウォーク行列Ｘ１２００を元に、以下の式に基づいて決定する。
　Ｍ’＝αＭ＋（１－α）Ｘ　・・・（式１）
ここで、αは例えば0.85といった固定値になる。
　続いて、ブロック内重要度算出部１１６は、確率遷移行列Ｍ’の固有ベクトルを算出する（Ｓ１００５）。行列の固有ベクトルの求め方としては例えば、べき乗法を用いる方法がある。ここで、固有ベクトルが複数もとめられる場合があるが、ここで算出の対象となるベクトルは、固有値の絶対値が１に対応する固有ベクトルに限る。
　図１３に確率遷移行列Ｍ’から求められる固有ベクトル１３００を示す。ただし、図１３に示す値は、実際に算出された値ではなく例示用の仮の数であるため、注意が必要である。
　次に、ブロック内重要度算出部１１６は、Ｓ１００５で求めた固有ベクトル１３００を確率ベクトル化する（Ｓ１００６）。確率ベクトル化とは、各要素の和が1になるように正規化することである。確率ベクトル化する前の固有ベクトルは、ノルムが１である。しかし、重要度は、ある時点における各ノードに存在する確率を表す。従って、固有ベクトルの確率ベクトル化が必要になる。具体的には、各要素を以下の式に基づき求める。
Figure JPOXMLDOC01-appb-M000001
　ここで、右辺のＸｉとは固有ベクトル１３００におけるｉ番目の要素である。また、左辺のＸｉ’とは、確率ベクトル化した固有ベクトルにおけるｉ番目の要素である。例えば、図１３の固有ベクトルの場合、確率ベクトル化した固有ベクトルの1番目の要素は、0.3×(0.3+0.4+0.1+0.22+0.15+0.01+0.8)=0.152となる。同様にして、求めた確率ベクトル化した固有ベクトル１４００を図１４に示す。
　次に、ブロック内重要度算出部１１６は、ブロックにおける各ノードの重要度を決定する（Ｓ１００７）。ここで、確率ベクトル化した固有ベクトル１４００の各要素が元の確率遷移行列Ｍ１１００の各ノードに対応する。
　例えば、確率遷移行列Ｍ１１００における1行目のノードは画像１になる。この場合、画像１のブロック１における重要度は、確率ベクトル化した固有ベクトル１４００の１行目の要素である0.152となる。
　図１５に各ノードのブロック内重要度情報１５００を示す。ブロック内重要度とは、あるブロックにおいて算出されたローカルな重要度を表す。
　このブロック内重要度情報１５００は、ブロック１～３のそれぞれにおけるブロック内重要度１５０１～１５０３を含んでおり、記憶部１０７におけるブロック内重要度情報記憶部１１１に記憶される。
　最後に取得した画像が含まれる全てのブロックにおいて重要度を算出し終えたかどうかを確認する（Ｓ１００８）。全てのブロックにおける重要度を算出している場合は（Ｓ１００８：Ｙｅｓ）、ここで完了である。
　これに対して、まだ算出していないブロックがある場合は（Ｓ１００８：Ｎｏ）、そのステップＳ１００１において重要度が未算出な特定のブロックを抽出し、Ｓ１００２から同様の処理を行う。
　図１６は、図２におけるＳ２０５のクラスタ重要度の算出の詳細を示すフローチャートである。
　クラスタ重要度とは、クラスタの良し悪しを計るための指標である。クラスタの重要度は、そのクラスタのオブジェクトがより多くの画像に大きく写っているほど、より高く算出される。
　クラスタ重要度は、各ブロックで求められたクラスタの重要度を元に求める。クラスタ重要度算出部１１８では、ブロック内重要度情報記憶部に記憶されている１つのブロックのブロック内重要度１５００を抽出する（Ｓ１６０１）。
　次に、重要度正規化部１１７において、抽出したブロック内重要度をそのブロックに含まれるノード数で正規化する（Ｓ１６０２）。ここで、この処理は、同じリンク構造をもつノードのブロック内重要度は、どのブロックに含まれていても同じ重要度になるようにするために行う。同じリンク構造を持つノードであったとしても、Ｓ１００６の確率ベクトル化の影響でブロックに含まれるノード数が多いほど、重要度は小さくなる傾向がある。なぜなら、ブロックにおける各ノードの重要度は全て足し合わせて１になるように確率ベクトル化しているためである。ここでは、その影響を排除するためにこの処理を行う。具体的には、ブロック内重要度の各要素にそのブロックの全ノード数をかける。
　図１７に算出の例を示す。ブロック１の全ノード数は７つである（画像１、２、３、クラスタ１、２、ダミー、背景）。従って、ブロック１における各ノードのブロック内重要度に７を掛け合わせる。例えば、画像１のノード数で正規化された値は、0.152×7=1.064になる。重要度正規化部１１７は、同様にして他のブロックに対してもブロック内重要度の正規化を行う。
　ノード数による正規化を終えると、重要度正規化部１１７は、クラスタノードのブロック内重要度からダミーノードのブロック内重要度を減算する（Ｓ１６０３）。これについて図１８を用いて説明する。
　図１８に示すように、正規化されたブロック内重要度１７０１のうち、クラスタ１のブロック内重要度は、0.777である。またダミーノードのブロック内重要度は0.035である。従って、0.777 - 0.035＝0.742とする。同様に、全てのクラスタノードにおいてダミーノードのブロック内重要度を減算して、ブロック内重要度１８０１を求める。
　Ｓ１６０３の処理が必要な理由について図１９，図２０を参照しながら説明する。例えば、図１９のように、同じようなリンク構造を持つクラスタＡとクラスタＢがあるとする。ここで、説明を簡略化するためにリンクの値は全て同じであるとする。このとき、クラスタＡとクラスタＢのブロック内重要度はともに0.71で同じになる。つまり、あるクラスタに分類されたオブジェクトが含まれる画像数と、その画像における占有度が２つのクラスタにおいて同じである場合、それらのクラスタの重要度は同じになる。しかし、図２０のように、ブロックの分け方が同じようにならない場合もある。ここでは、ダミーノードのスコアは算出していない。
　このときのクラスタの重要度の求め方は、後で詳しく説明するが、各ブロックに含まれるブロック内重要度を加算する。例えば、クラスタＡはブロック１にしか含まれていないので、クラスタＡのクラスタ重要度は、ブロック１のブロック内重要度である0.72になる。また、クラスタＢのクラスタ重要度は、ブロック１、２、３および４にクラスタＢが含まれているので、それぞれのブロック内重要度を加算した値になる。つまり、0.56+0.65×3=2.51になる。結果を見て分かるとおり、ブロックの分け方によって、クラスタＡとクラスタＢのクラスタ重要度が異なってしまう。これは、リンク構造に拠らずノードに付与されてしまう重要度が原因である。
　つまり、ブロック２～４それぞれのクラスタＢの重要度0.65という値は、一定の重要度が上乗せされた値であると考えられる。
　この一定の重要度は、ダミーノードが持つ重要度として表れると考えられる。
　このため、他のノードへの、および他のノードからのリンクを持たないダミーノードの重要度を求めた上で、この値を各ノードのブロック内重要度から減算することで、リンク構造が同じ場合、ブロックの分け方に寄らず、クラスタ重要度が同じ結果となるように図ることができる。
　例えば、図２０の場合、クラスタＡのクラスタ重要度は0.72-0.51=0.21になる。また、クラスタＢのクラスタ重要度は(0.56-0.51)+(0.65-0.563)×3=0.21になる。
 
　ブロック内重要度算出部１１６がＳ１６０３で求めた値は、そのクラスタのブロック内重要度となる。そして、クラスタ重要度算出部１１８は、クラスタ毎に対応付けて記憶しているクラスタ重要度に、求められたクラスタのブロック内重要度を加算する（Ｓ１６０４）。
　最後に、評価部１１５は、全てのブロックについて重要度を算出し終えたかどうかが確認する（Ｓ１６０５）。
　全てのブロックにおける重要度を算出している場合は（Ｓ１６０５：Ｙｅｓ）、クラスタ毎に対応付けて記憶しているクラスタ重要度を出力して、クラスタ重要度情報記憶部１１３に記憶させる（Ｓ１６０６）。
　これに対して、まだ算出していないブロックがある場合は（Ｓ１６０５：Ｎｏ）、そのブロックにおいてＳ１６０１から同様の処理を行う。このようにして求めるクラスタ重要度情報２１００を図２１に示す。
　各ブロックにおいて、ステップＳ１６０４を繰り返すことにより、あるクラスタの重要度は、各ブロックにおけるブロック内重要度が足し合わせされた大きさとなる。
　この一例を図２８を用いて説明する。ブロック１～３におけるクラスタ１のブロック内重要度が、それぞれ0.742，0，0であるとすると、0.742＋0＋0＝0.742が取得したすべての画像におけるクラスタ１の重要度となる。
　なお、図２１のクラスタ重要度情報２１００は、記憶部１０７のクラスタ重要度情報記憶部１１３に記憶される。
　図２２は、図２におけるＳ２０６の画像重要度の算出の詳細を示すフローチャートである。画像重要度とは、画像の良し悪しを計るための指標である。画像の重要度は、重要度の高いクラスタが多く含まれていた場合、高く算出される。画像重要度は、クラスタ重要度情報２１００とグラフ情報を元に求める。画像重要度算出部１１９は、クラスタ重要度情報記憶部からクラスタ重要度情報２１００を抽出する（Ｓ２２０１）。
　そして、画像重要度算出部１１９は、各ブロックのグラフ情報を抽出する（Ｓ２２０２）。
　次に、画像重要度算出部１１９は、グラフ情報のクラスタから画像へのリンクの値を元に画像重要度を算出する(Ｓ２２０３)。
　具体的には、クラスタの重要度に、クラスタから画像へのリンクの値を掛け合わせた値が画像の重要度になる。また、複数のクラスタからリンクされている場合は、それらの値を加算したものとする。
　図９Ａのブロック１のグラフ情報と、図２１のクラスタ重要度情報２１００を例にとって説明すると、ブロック１においては、画像１～３が含まれている。従って、ブロック１のグラフ情報からは画像１～３３の画像重要度が算出できる。
　具体的には、画像１の画像重要度はクラスタ１のクラスタ重要度である0.772に、クラスタ１から画像１へのリンクの値である0.01を掛け合わせた値、つまり0.772×0.01=0.00772となる（図２９（ａ）参照）。
　同様にして、画像２の重要度は、クラスタ１とクラスタ２のクラスタ重要度を元に、0.772×0.01+0.527×0.01=0.01299なる（図２９（ｂ）参照）。
　次に、画像重要度算出部１１９は、全てのブロックについて画像重要度を計算したかを確認する（Ｓ２２０４）。全てのブロックにおける重要度を算出している場合は（Ｓ２２０４：Ｙｅｓ）、ここで完了である。これに対して、まだ算出していない画像がある場合は（Ｓ２２０４：Ｎｏ）、そのＳ２２０２の処理対象を重要度が未算出な画像を含むブロックとして同様の処理を繰り返す。
　このようにして求められた画像重要度情報２３００の例を図２３に示す。この値は、すべてのブロックのグラフ情報を元に求める。この画像重要度情報２３００は、記憶部１０７の画像重要度情報記憶部１１２に記憶される。
　Ｓ２０７の画像重要度順に画像をランキングした結果を図２４に示す。これにより、ユーザは画像の順位を知ることができる。この結果を表示制御部１２０を通して表示装置１４０に出力する。
　以上の説明のように、実施の形態１に係る画像管理装置１００は、取得した画像に含まれるオブジェクトから生成したクラスタと画像の関係をグラフとし、画像重要度を算出する。さらに、算出に必要な行列のサイズを小さくするために取得した画像を複数のブロックごとに重要度を算出する。
　これにより、画像重要度の算出に係る処理負荷を軽減することができる。
　つまり、図４の例では、オブジェクトを含む画像は8枚であり、クラスタの種類は6種類であるので、ダミーノードと背景ノードの1個ずつを合わせると、18+6+1+1=26で、26行26列の確率遷移行列を演算の対象とする必要がある。これに対して、8枚の画像をブロック１～３に分けることで、ブロック１は7行7列の確率遷移行列Ｍ１１００（図１１参照）となり、ブロック２，３も同じ行数列数程度の確率遷移行列となる。このように、行数列数がより少ない確率遷移行列を演算の対象とすることができ、特に、固有ベクトルの算出に関する処理負荷を大幅に軽減することができる。
 
　また、画像の枚数が膨大な場合を想定し、例えば、画像の枚数を100万枚、この画像に含まれるクラスタは100種類であるとする。
　この場合の確率遷移行列は(100万+1000)×(100万+1000)以上になるため、行列の各要素を記憶するために必要なバイト数を4byteとすると、約4×1012byte(≒約4ＴＢ)にもなり、大容量のメモリを必要とする。
　しかし、ブロックに含む画像を１万とした場合、確率遷移行列は(1万+1000)×(1万+1000)程度で良いため、限られたメモリしかない環境でも画像重要度を算出することができる。
 
（実施の形態２）
　実施の形態２では、取得した画像だけではなく、既に蓄積済みの画像も含めてブロックを生成する方法について説明する。なお、実施の形態１における処理フローである図２のフローチャートのうち、Ｓ２０２のブロックＩＤ付与の部分だけが異なる。それ以外の部分については、実施の形態１と変わらないため、ここでは説明を割愛する。
　図２５は、図２におけるＳ２０２のブロックＩＤ付与の詳細を示す。ここでは取得した画像に加えて、すでに蓄積済みの画像を元に複数のブロックに分割する作業を行う。これにより、以降の処理におけるオブジェクトの重要度の算出に必要なメモリを軽減することができる。
　まずは、ブロック生成部１０５において、オブジェクト情報５００をもとに取得された画像のうちオブジェクトが含まれている画像を抽出し、その画像数を算出する（Ｓ２５０１）。次に、既に蓄積済みの画像に取得した画像を追加する（Ｓ２５０２）。
　次に、オブジェクトが含まれる画像を複数のブロックに分割する（Ｓ２５０３）。このとき、既に蓄積済みの画像にブロックＩＤが付与されていたとしても再度ブロックに分割しなおす。以降の処理は、実施の形態１のＳ６０２とＳ６０３と同様なので割愛する。
　ここで、ステップＳ２５０３におけるブロックの分け方は次の3通り考えられる。
　（分け方１）蓄積済みの画像の全部および取得画像をブロック分けの対象として分ける。
　例えば、すでに画像１～８までが蓄積されており、ブロック１（画像１～３）、ブロック２（画像４～６）、ブロック３（画像７～８）とブロック分けされているとする。このとき新規に画像９～画像１６を取得したならば、すべての画像である画像１～１６を対象としてブロック分けをやり直す。
　（分け方２）新たに取得した取得画像のみをブロック分けの対象とし、蓄積済みの画像は一切ブロック分けの対象としない。
　例えば、図３０に示すように、すでに画像１～３００が蓄積されておりブロック分けが済んでいるとする。このとき新規に画像３０１～３０８を取得したならば、画像３０１～画像３０８のみをブロック分けの対象とする。
　（分け方３）分け方３は、分け方１，２を折衷したやり方である。
　例えば、図３１に示すように、すでに画像１～２９９が蓄積されておりブロック分けが済んでいるとする。このとき新規に画像３００～３０３を取得したならば、上限枚数３枚に対して余裕があるブロック１００の画像２９８～２９９と、画像３００～画像３０３とをブロック分けの対象とする。
 
　上述した分け方１～３は、いずれが最良というわけではなく一長一短であり、状況に応じて適宜採用できる。
　すなわち、分け方１は、ブロック分けをやり直すのでそれに伴い各ブロックの行列演算が増えるという側面があるものの、特に、新たに取得した画像の枚数やオブジェクトの有無などに応じてブロック分けを柔軟に最適化し易いという利点がある。
　具体的には、新規取得画像の枚数が蓄積済みの画像の枚数に比べて多く、ブロック分けの単位を大きくする必要がある（例えば、10枚で1ブロックから100枚で1ブロックへと変更するなど）場合には、分け方１は有効である。
　これに対して、分け方２では、図３０のように、蓄積済み画像のブロック１～１００については、ブロック内のクラスタ重要度および画像重要度の値は変わらないので、行列演算を行わなくてよい。このため、新しいブロック１０１～１０３についてのみを行列演算の対象とすれば足りることになるので演算量の削減に貢献できる。
 
（実施の形態３）
　実施の形態３では、実施の形態１におけるクラスタ重要度の算出において、各ブロックのブロック内重要度の正規化を、ノード数を用いるのではなく、ダミーノードの重要度を用いる方法について説明する。
　図２６に図２におけるＳ２０５のクラスタ重要度の算出の詳細を示す。なお、実施の形態１における処理フローである図１６のフローチャートのうち、Ｓ１６０２のノード数で正規化の部分だけが異なる。それ以外の部分については、実施の形態１と変わらないため、ここでは説明を割愛する。
　クラスタ重要度算出部１１８は、ダミーノードの重要度で各ブロックのブロック内重要度を正規化する（Ｓ２６０２）。具体的には、各ブロック内重要度に含まれているダミーノードのスコアを１にするような値を全ての重要度に掛け合わせる。図２７に例を示す。例えば、ブロック１のブロック内重要度が図のようであるとする。このとき、ダミーノードの重要度が0.005である。ここで、ダミーノードの重要度を１にするためには、1/0.005=200を全てのノードのブロック内重要度に掛け合わせる。画像１のブロック内重要度は0.152であるため、0.152×200=30.4になる。同様に、その他のノードのブロック内重要度も正規化する。
　以上の説明のように、実施の形態３に係る画像管理装置１００は、実施の形態１とは異なった正規化の方法を用いて画像の重要度を算出することができる。
 
（実施の形態４）
　実施の形態４は、あるクラスタの重要度を算出する際に、ブロック内重要度の積算に加えて、外部装置において算出済みで上記クラスタに対応する重要度をも積算することで、より妥当な重要度算出を図るものである。以下では、外部装置において算出したクラスタの重要度を「外部重要度」と呼ぶ。
　図３４に示す画像管理装置３４００は、画像管理装置１００と同様な機能を備えている。すなわち、オブジェクト特徴量抽出部１０３のように画像から顔を抽出する機能、クラスタリング部１０４のように抽出した顔を基にクラスタリングを行う機能、クラスタ重要度算出部１１８のように各クラスタの重要度を算出する機能などを備える。
　画像管理装置１００と画像管理装置３４００との間は、回線（有線・無線問わない。）を通して各種情報のやりとりが可能である。
　図３５，図３６を用いて本実施の形態の処理の流れを説明する。
　まず、画像管理装置１００のクラスタリング部１０４は、画像管理装置３４００から特徴量を取得する（Ｓ３５０１）。
　続いて、クラスタリング部１０４は、分類後の各クラスタの特徴量を、取得した特徴量と比較する（Ｓ３５０２）。図３５の例では、クラスタａ１の特徴量を取得し、取得した特徴量を、クラスタ１～３それぞれの特徴量と比較している。
　そして、クラスタリング部１０４は、取得した特徴量が、分類後の各クラスタのうちのどのクラスタに対応するかを特定する（Ｓ３５０３）。この特定の手法は、例えば特徴値の類似度が最高のものを特定するやり方や、特徴値の類似度が閾値を超えたかどうかにより特定するやり方を用いることができる。
　続いて、クラスタリング部１０４は、特徴量の比較により特定されたクラスタＩＤの対応関係を示す対応表を作成する。
　例えば、図中の対応表では、画像管理装置１００におけるクラスタ１は、画像管理装置３４００におけるクラスタａ１に対応していることを示している。
　このような対応表により、画像管理装置１００と画像管理装置３４００の両装置の間において、クラスタのＩＤが共有されることとなる。
　このようにクラスタのＩＤを共有した後で、画像管理装置１００においてクラスタの重要度を算出する際には、クラスタ重要度算出部１１８は、画像管理装置３４００からＩＤが対応するクラスタの外部重要度を取得する（Ｓ３５０５）。
　例えば、画像管理装置１００においてクラスタ１の重要度を算出する際には、上記対応表を参照して、クラスタ１に対応するクラスタａ１の外部重要度を画像管理装置３４００から取得する。
　そして、図３６に示すように、クラスタ重要度算出部１１８がクラスタ１の重要度を算出する際には、クラスタ重要度算出部１１８は、ブロック１～３におけるクラスタ１のブロック内重要度に加えて、取得した外部装置（画像管理装置３４００）におけるクラスタａ１（クラスタ１に対応）の外部重要度をも積算に用いてクラスタ１の重要度を算出する。
　なお、画像管理装置３４００においては、画像管理装置１００と同様に、画像を複数のブロックに区分けし、ブロック内重要度を足し合わせることによりクラスタの重要度を求めるとしてもよい。
　また、画像管理装置１００，３４００だけでなく、クラスドベースのサーバをも連携させて、このサーバに処理を分担させるようにしてもよい。
　なお、本実施の形態では、画像管理装置１００においてＩＤの対応表を作成するとしたが、画像管理装置３４００のＩＤを画像管理装置１００のＩＤに合わせて書き換えるやり方もありうる（例えば、クラスタａ１をクラスタ１と書き換える。）。
　また、画像管理装置１００と画像管理装置３４００との間の、顔認識のアルゴリズムが大幅に異なる場合などには、特徴量を比較する手法が用いにくいことがある。このような場合には、特徴量に代えて、クラスタに属する画像を取得するとしてもよい。
 
（実施の形態５）
　上記各実施の形態では、複数の画像を区分けしてブロックを生成する例について説明したが、細かくブロック分けすると重要度の伝播が遮断される可能性が高くなるので、個々のブロックの大きさはなるべく大きいことが好ましい。
　もっとも、ブロックの大きさが大きすぎると、行列演算に関するリソースの負荷が過大となる。
　そこで、実施の形態５は、ブロックの大きさを、装置のリソースに即した大きさとすることを図る。
　リソースの例としては、メモリサイズが挙げられる。すなわち、重要度算出のために利用可能なメモリサイズに応じてブロック生成部１０５が生成するブロックがそれぞれ含む画像数を変更する。
　例えば、重要度算出のために利用可能なメモリサイズが２ＭＢの場合、１ブロックあたりの画像数を１万と設定し、メモリサイズが１ＭＢの場合、１ブロックあたりの画像数を５千と設定することが考えられる。その他にもメモリサイズに応じて、１ブロックあたりの画像数の範囲（下限値や上限値）を設定するとしてもよい。
　また、メモリサイズに限らず、リソースの例としては、ＣＰＵのクロック周波数、ＣＰＵ使用率などが挙げられる。また、記憶部１０７がＨＤＤの場合には、１分あたりの回転数やキャッシュサイズなどを利用しても構わない。
　また、上に挙げた項目（メモリサイズ、ＣＰＵのクロック周波数、ＣＰＵ使用率、ＨＤＤの回転数、ＨＤＤのキャッシュサイズ）を基に、重要度算出処理能力の指標となる数値を算出し、この数値を基にブロックがそれぞれ含む画像数を設定するとしてもよい。
＜補足＞
　以上、本発明の実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
　（１）クラスタのブロック内重要度からクラスタの重要度を求めるやり方について
　図２８で簡単に説明した重要度を求めるやり方について補足する。
　あるクラスタが複数のブロックに含まれていた場合、算出されるブロック内重要度は複数になる。この場合、複数のブロック重要度を積算することにより最終的なクラスタの重要度を算出することができる。
　例えば、図３２に示すように、ブロック２およびブロック３の両方に含まれるクラスタ３の重要度については、クラスタ３のブロック１～３におけるブロック内重要度ａ，ｂ，ｃを足し合わせたａ＋ｂ＋ｃを最終的なクラスタの重要度として算出することができる。
　（２）画像重要度の算出方法について
　図２９では、画像の重要度を算出する場合には、その画像に含まれるクラスタの重要度に、クラスタから画像へのリンクの固定値0.01を掛け合わせているがこれに限られない。
　例えば、画像に写っている人物の占有度の大小を画像の重要度に反映させたい場合には、図３３に示すように、画像に含まれるクラスタの重要度に、その画像におけるクラスタの占有度を掛け合わせることによって求めるとしてもよい。
　こうすることで、クラスタ１の人物がより大きく写る画像Ｙを画像Ｘより高い重要度とすることができる。
　（３）クラスタリングについて
　実施の形態では、クラスタリング部１０４が行うクラスタリングの手法として、非階層的な手法であるk-means法を例に挙げたが、これに限らずウォード法(Ward's method)などの階層的な手法を用いてもよい。
　（４）オブジェクトについて
　各実施の形態では、オブジェクトとして人の顔を例に挙げて説明したが、人に限らず、犬（図４：画像１０）や猫などの動物の顔をオブジェクトとして画像特徴量の抽出対象としても構わない。また、画像に写るオブジェクトとしては、顔に限らず、自動車（図４：画像６）や植物、建物など様々な物体などが考えられる。
　（５）背景のノードについて
　実施の形態２では、全画像の背景を１個の背景ノードとしてグラフ生成する例を説明したが、これに限らず、背景のノードを複数個作成したり、あるいは背景のノードを有さないグラフを作成しても構わない。
　（６）画像特徴量について
　各実施の形態では、画像特徴量の一例として占有度を挙げて説明したがこれに限られない。
　例えば、占有度に加えて人物の笑顔の度合いや顔の向きの度合いさらには人物のピントの度合いを重みとしても良い。
　笑顔の度合いとしては、より笑顔の度合いが大きい画像をより高い画像重要度とすることが考えられる。
　また、顔の向きの度合いの場合は、より正面を向くほど、より高い画像重要度となるような計算式とすることができる。
　人物のピントの度合いについては、例えば、人物のピントがシャープであるほど高く評価し、ピントがぼけているほど低く評価する。
　さらに、占有度を全く用いずに、笑顔の度合いや顔の向きの度合いや人物のピントの度合いなどに基づいて各オブジェクトの重要度を算出しても構わない。
　要するに、オブジェクトが各画像において写り込んでいる特徴を示す値であれば足り、占有度、笑顔の度合い、顔の向きの度合い、などに限らず様々な値を用いることができる。
　（７）画像を取得する対象について
　各実施の形態では、撮影装置１３０から画像を取得するとして説明したが、取得の対象はこれに限られない。
　例えば、携帯端末などの外部機器から画像を取得するとしてもよい。機器どうしの接続の態様としては、有線（ＬＡＮケーブル、ＵＳＢケーブルなど）、無線（赤外線やBluetoothなど）を問わず様々な形態をとり得る。
　また、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、BD (Blu-ray Disc)といった記録媒体を着脱可能なドライブを介して取得するようにしてもよい。
　（８）集積回路
　各実施の形態の画像評価装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
　（９）プログラム
　各実施の形態で示した画像の重要度算出に係る処理をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
　このような記録媒体には、スマートメディア、コンパクトフラッシュ（商標）、メモリースティック（商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)等がある。
　流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
　本発明に係る画像管理装置は、静止画または動画を蓄積する装置、デジタルカメラ、カメラ付き携帯電話やムービーカメラなどの撮影装置および、ＰＣ（Personal Computer）などに適用することができる。
１００　画像管理装置
１０１　画像取得部
１０２　オブジェクト検出部
１０３　オブジェクト特徴量抽出部
１０４　クラスタリング部
１０５　ブロック生成部
１０６　グラフ生成部
１０７　記憶部
１０８　オブジェクト情報記憶部
１０９　ブロック情報記憶部
１１０　グラフ情報記憶部
１１１　ブロック内重要度記憶部
１１２　画像重要度記憶部
１１３　クラスタ重要度記憶部
１１４　評価部
１１５　確率遷移行列生成部
１１６　ブロック内重要度算出部
１１７　重要度正規化部
１１８　クラスタ重要度算出部
１１９　画像重要度算出部
１２０　表示制御部
１３０　撮影装置
１４０　表示装置
４００　画像群
５００　オブジェクト情報
７００　ブロック情報
９００　ブロック１のグラフ情報
９０１　ブロック１のグラフ情報
１１００　確率遷移行列M
１２００　ランダムウォーク行列X
１３００　固有ベクトル
１４００　確率ベクトル化後の固有ベクトル
１５００　ブロック内重要度情報
１５０１　ブロック１におけるブロック内重要度情報
１７０１　ブロック１におけるブロック内重要度（正規化後）
１８０１　ダミーノードの重要度を減算したクラスタのブロック内重要度
２１００　クラスタ重要度情報
２３００　画像重要度情報
２４００　画像ランキング
２７００　ダミーノードの重要度で正規化したブロック内重要度
３４００　画像管理装置（外部装置）

Claims (18)

  1. 　複数の画像を、重要度を基にランキングするための画像管理装置であって、
    　複数の画像を取得する画像取得部と、
    　取得された各画像において、当該画像に含まれるオブジェクトを検出する検出部と、
    　前記検出された各オブジェクトの画像特徴量を抽出する抽出部と、
    　検出された各オブジェクトを、それぞれの画像特徴量に基づいて、複数のクラスタのいずれかに分類するクラスタリング部と、
    　前記画像取得部で取得された複数の画像を区分けして複数のブロックを生成するブロック生成部と、
    　各ブロックにおいて、当該ブロック内の画像に含まれるオブジェクトが属するクラスタのブロック内重要度を、当該画像と当該クラスタとの関係性に基づいて算出するブロック内重要度算出部と、
    　算出された各ブロックにおける各クラスタのブロック内重要度を積算することにより、前記複数の画像における各クラスタの重要度を算出するクラスタ重要度算出部と、
    　算出されたクラスタ重要度を基に、各画像の重要度を算出する画像重要度算出部と、
    を備えることを特徴とする画像管理装置。
  2. 　前記ブロック生成部は、前記複数の画像を区分けすることにより、区分けされたブロックを識別するブロックＩＤを各画像に付与し、
    　さらに、各画像に付与されたブロックＩＤを記憶するブロック情報記憶部を備え、
    　前記画像取得部が新たに画像を取得した場合に、前記ブロック生成部は、当該取得した新しい画像を対象に前記区分けを行うが、前記ブロック情報記憶部にブロックＩＤが記憶された画像を対象としては前記区分けを行わない
    ことを特徴とする請求項１記載の画像管理装置。
  3. 　前記ブロック生成部は、前記複数の画像を区分けすることにより、区分けされたブロックを識別するブロックＩＤを各画像に付与し、
    　さらに、各画像に付与されたブロックＩＤを記憶するブロック情報記憶部を備え、
    　前記画像取得部が新たに画像を取得した場合に、前記ブロック生成部は、前記ブロック情報記憶部にブロックＩＤが記憶された画像の一部と当該取得した新しい画像との両方を対象として前記区分けを行う
    ことを特徴とする請求項１記載の画像管理装置。
  4. 　各ブロックにおいて、当該ブロックを構成する画像それぞれを示す画像ノードと、前記画像に含まれるオブジェクトが属するクラスタをそれぞれ示すクラスタノードと、前記画像の背景を示す１個の背景ノードとを作成し、作成したノード間のリンクの値を設定し、作成したノードと設定したリンクの値とにより構成されたグラフを生成するグラフ生成部を備え、
    　前記ブロック内重要度算出部は、生成されたグラフを基に、各ノードに示される画像およびクラスタのブロック内重要度を算出する
    ことを特徴とする請求項１記載の画像管理装置。
  5. 　前記ブロック内重要度算出部は、前記グラフ生成部によって生成したグラフ情報を元に、確率遷移行列を生成し、この確率遷移行列の固有ベクトルを求めることで、各ブロックにおける画像の重要度およびクラスタのブロック内重要度を算出する
    ことを特徴とする請求項４に記載の画像管理装置。
  6. 　前記グラフ生成部は、前記グラフに含めてダミーノードを作成し、当該ダミノードと前記画像ノードとの間、当該ダミノードとクラスタノードとの間、および当該ダミノードと前記背景ノードとの間のリンクの値をゼロに設定する
    ことを特徴とする請求項５に記載の画像管理装置。
  7. 　前記ブロック内重要度算出部は、ランダムウォークを示す行列に基づいて、生成した確率遷移行列を修正し、修正後の確率遷移行列について固有ベクトルを求める
    ことを特徴とする請求項６に記載の画像管理装置。
  8. 　前記クラスタ重要度算出部は、各ブロックにおいて、ブロックにおけるクラスタのブロック内重要度から、ブロックにおけるダミーノードのブロック内重要度を差し引くことにより、当該クラスタのブロック内重要度を補正する
    ことを特徴とする請求項７に記載の画像管理装置。
  9. 　前記クラスタ重要度算出部が算出した各ブロックにおける各クラスタのブロック内重要度を、ブロックそれぞれにおけるダミーノードのブロック内重要度の値を元に正規化する重要度正規化部を備え、
    　前記クラスタ重要度算出部は、正規化された後のクラスタのブロック内重要度を元に、前記複数の画像におけるクラスタの重要度を算出する
    ことを特徴とする請求項７に記載の画像管理装置。
  10. 　前記クラスタ重要度算出部は、算出された各ブロックにおけるクラスタのブロック内重要度を足し合わせることにより前記複数の画像におけるクラスタの重要度を算出する
    ことを特徴とする請求項１に記載の画像管理装置。
  11. 　さらに、前記クラスタ重要度算出部により算出された各ブロックにおけるクラスタの重要度を、ブロック内に含まれる画像数およびクラスタ数に応じて正規化する重要度正規化部を備え、
    　前記クラスタ重要度算出部は、正規化された後のクラスタの重要度を足し合わせる
    ことを特徴とする請求項１０に記載の画像管理装置。
  12. 　前記クラスタリング部は、外部装置から、当該外部装置において分類されたクラスタの特徴量を取得し、取得した特徴量と分類後の各クラスタの特徴量とを比較することにより、取得した特徴量が、分類後の各クラスタのうちのどのクラスタに対応するかを特定し、
    　前記クラスタ重要度算出部は、特定されたクラスタの重要度を前記外部装置から取得して、前記積算に用いる
    ことを特徴とする請求項１に記載の画像管理装置。
  13. 　前記ブロック生成部は、ブロックの生成に利用できるリソースを示すリソース情報に基づいて生成すべき各ブロックの大きさを決定し、決定された大きさになるように前記複数のブロックを生成を行う
    ことを特徴とする請求項１に記載の画像管理装置。
  14. 　前記リソース情報とは、利用できるメモリサイズを示す
    ことを特徴とする請求項１３に記載の画像管理装置。
  15. 　複数の画像を、重要度を基にランキングするための画像管理方法であって、
    　複数の画像を取得する画像取得ステップと、
    　取得された各画像において、当該画像に含まれるオブジェクトを検出する検出ステップと、
    　前記検出された各オブジェクトの画像特徴量を抽出する抽出ステップと、
    　検出された各オブジェクトを、それぞれの画像特徴量に基づいて、複数のクラスタのいずれかに分類するクラスタリングステップと、
    　前記画像取得ステップで取得された複数の画像を区分けして複数のブロックを生成するブロック生成ステップと、
    　各ブロックにおいて、当該ブロックを構成する画像に含まれるオブジェクトが属するクラスタのブロック内重要度を、当該画像と当該クラスタとの関係性に基づいて算出するブロック内重要度算出ステップと、
    　算出された各ブロックにおける各クラスタのブロック内重要度を積算することにより、前記複数の画像における各クラスタの重要度を算出するクラスタ重要度算出ステップと、
    　算出されたクラスタ重要度を基に、各画像の重要度を算出する画像重要度算出ステップと、
    を含むことを特徴とする画像管理方法。
  16. 　画像管理ステップを含む処理をコンピュータに実行させるためのプログラムであって、
    　前記画像管理ステップは、
    　　複数の画像を取得する画像取得ステップと、
    　取得された各画像において、当該画像に含まれるオブジェクトを検出する検出ステップと、
    　前記検出された各オブジェクトの画像特徴量を抽出する抽出ステップと、
    　検出された各オブジェクトを、それぞれの画像特徴量に基づいて、複数のクラスタのいずれかに分類するクラスタリングステップと、
    　前記画像取得ステップで取得された複数の画像を区分けして複数のブロックを生成するブロック生成ステップと、
    　各ブロックにおいて、当該ブロックを構成する画像に含まれるオブジェクトが属するクラスタのブロック内重要度を、当該画像と当該クラスタとの関係性に基づいて算出するブロック内重要度算出ステップと、
    　算出された各ブロックにおけるクラスタのブロック内重要度を積算することにより、前記複数の画像におけるクラスタの重要度を算出するクラスタ重要度算出ステップと、
    　算出されたクラスタ重要度を基に、各画像の重要度を算出する画像重要度算出ステップと、
    の各ステップを含むことを特徴とするプログラム。
  17. 　画像管理ステップを含む処理をコンピュータに実行させるためのプログラムを記録した記録媒体であって、
    　前記画像管理ステップは、
    　　複数の画像を取得する画像取得ステップと、
    　取得された各画像において、当該画像に含まれるオブジェクトを検出する検出ステップと、
    　前記検出された各オブジェクトの画像特徴量を抽出する抽出ステップと、
    　検出された各オブジェクトを、それぞれの画像特徴量に基づいて、複数のクラスタのいずれかに分類するクラスタリングステップと、
    　前記画像取得ステップで取得された複数の画像を区分けして複数のブロックを生成するブロック生成ステップと、
    　各ブロックにおいて、当該ブロックを構成する画像に含まれるオブジェクトが属するクラスタのブロック内重要度を、当該画像と当該クラスタとの関係性に基づいて算出するブロック内重要度算出ステップと、
    　算出された各ブロックにおけるクラスタのブロック内重要度を積算することにより、前記複数の画像におけるクラスタの重要度を算出するクラスタ重要度算出ステップと、
    　算出されたクラスタ重要度を基に、各画像の重要度を算出する画像重要度算出ステップと、
    の各ステップを含むことを特徴とする記録媒体。
  18. 　複数の画像を重要度を基にランキングするための集積回路であって、
    　複数の画像を取得する画像取得部と、
    　取得された各画像において、当該画像に含まれるオブジェクトを検出する検出部と、
    　前記検出された各オブジェクトの画像特徴量を抽出する抽出部と、
    　検出された各オブジェクトを、それぞれの画像特徴量に基づいて、複数のクラスタのいずれかに分類するクラスタリング部と、
    　前記画像取得部で取得された複数の画像を区分けして複数のブロックを生成するブロック生成部と、
    　各ブロックにおいて、当該ブロックを構成する画像に含まれるオブジェクトが属するクラスタのブロック内重要度を、当該画像と当該クラスタとの関係性に基づいて算出するブロック内重要度算出部と、
    　算出された各ブロックにおけるクラスタのブロック内重要度を積算することにより、前記複数の画像におけるクラスタの重要度を算出するクラスタ重要度算出部と、
    　算出されたクラスタ重要度を基に、各画像の重要度を算出する画像重要度算出部と、
    を備えることを特徴とする集積回路。
PCT/JP2011/006398 2011-01-26 2011-11-16 画像管理装置、画像管理方法、プログラム、記録媒体、集積回路 WO2012101697A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180016174.1A CN102822822B (zh) 2011-01-26 2011-11-16 图像管理装置、图像管理方法、程序、记录介质、集成电路
JP2012554491A JP5990105B2 (ja) 2011-01-26 2011-11-16 画像管理装置、画像管理方法、プログラム、記録媒体、集積回路
US13/636,810 US9020264B2 (en) 2011-01-26 2011-11-16 Image management device, image management method, program, recording medium, and integrated circuit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011014069 2011-01-26
JP2011-014069 2011-01-26

Publications (1)

Publication Number Publication Date
WO2012101697A1 true WO2012101697A1 (ja) 2012-08-02

Family

ID=46580311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/006398 WO2012101697A1 (ja) 2011-01-26 2011-11-16 画像管理装置、画像管理方法、プログラム、記録媒体、集積回路

Country Status (4)

Country Link
US (1) US9020264B2 (ja)
JP (1) JP5990105B2 (ja)
CN (1) CN102822822B (ja)
WO (1) WO2012101697A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016147260A1 (ja) * 2015-03-13 2016-09-22 株式会社日立製作所 画像検索装置、及び画像を検索する方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
JP6025456B2 (ja) * 2012-08-28 2016-11-16 キヤノン株式会社 被検体情報取得装置、表示方法、及びプログラム
WO2015153211A1 (en) * 2014-03-30 2015-10-08 Digital Signal Corporation System and method for detecting potential matches between a candidate biometric and a dataset of biometrics
US10552750B1 (en) 2014-12-23 2020-02-04 Amazon Technologies, Inc. Disambiguating between multiple users
US10438277B1 (en) * 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
US10475185B1 (en) 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
US11044445B2 (en) * 2017-05-05 2021-06-22 VergeSense, Inc. Method for monitoring occupancy in a work area
US10742940B2 (en) * 2017-05-05 2020-08-11 VergeSense, Inc. Method for monitoring occupancy in a work area
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
CN107944960A (zh) * 2017-11-27 2018-04-20 深圳码隆科技有限公司 一种无人售货方法和设备
CN110474806B (zh) * 2019-08-19 2022-04-01 国网甘肃省电力公司经济技术研究院 一种电力通信网关键节点识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233717A (ja) * 1992-02-18 1993-09-10 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置
JP2007049387A (ja) * 2005-08-09 2007-02-22 Canon Inc 画像出力装置及び画像出力方法
JP2007287014A (ja) * 2006-04-19 2007-11-01 Seiko Epson Corp 画像処理装置、画像処理方法
WO2010041377A1 (ja) * 2008-10-06 2010-04-15 パナソニック株式会社 代表画像表示装置及び代表画像選択方法
JP2010262531A (ja) * 2009-05-08 2010-11-18 Canon Inc 画像情報処理装置、画像情報処理方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748097B1 (en) * 2000-06-23 2004-06-08 Eastman Kodak Company Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal
US7293007B2 (en) * 2004-04-29 2007-11-06 Microsoft Corporation Method and system for identifying image relatedness using link and page layout analysis
JP4487805B2 (ja) * 2004-11-16 2010-06-23 セイコーエプソン株式会社 画像評価方法、画像評価装置、及び印刷装置
JP5165200B2 (ja) 2006-01-06 2013-03-21 ヤフー株式会社 スコア導出システム
US7668405B2 (en) * 2006-04-07 2010-02-23 Eastman Kodak Company Forming connections between image collections
CN101510312B (zh) * 2009-03-16 2013-09-11 广州市有福数码科技有限公司 制作电子相册的方法、装置及系统
US8208696B2 (en) * 2009-12-15 2012-06-26 Hewlett-Packard Development Company, L.P. Relation tree
CN101894147A (zh) * 2010-06-29 2010-11-24 深圳桑菲消费通信有限公司 一种电子相册聚类管理的方法
US20120050789A1 (en) * 2010-08-31 2012-03-01 Apple Inc. Dynamically Generated Digital Photo Collections

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233717A (ja) * 1992-02-18 1993-09-10 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置
JP2007049387A (ja) * 2005-08-09 2007-02-22 Canon Inc 画像出力装置及び画像出力方法
JP2007287014A (ja) * 2006-04-19 2007-11-01 Seiko Epson Corp 画像処理装置、画像処理方法
WO2010041377A1 (ja) * 2008-10-06 2010-04-15 パナソニック株式会社 代表画像表示装置及び代表画像選択方法
JP2010262531A (ja) * 2009-05-08 2010-11-18 Canon Inc 画像情報処理装置、画像情報処理方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016147260A1 (ja) * 2015-03-13 2016-09-22 株式会社日立製作所 画像検索装置、及び画像を検索する方法
JPWO2016147260A1 (ja) * 2015-03-13 2017-09-28 株式会社日立製作所 画像検索装置、及び画像を検索する方法
US10657171B2 (en) 2015-03-13 2020-05-19 Hitachi, Ltd. Image search device and method for searching image

Also Published As

Publication number Publication date
CN102822822B (zh) 2016-10-05
CN102822822A (zh) 2012-12-12
JP5990105B2 (ja) 2016-09-07
US9020264B2 (en) 2015-04-28
US20130010154A1 (en) 2013-01-10
JPWO2012101697A1 (ja) 2014-06-30

Similar Documents

Publication Publication Date Title
JP5990105B2 (ja) 画像管理装置、画像管理方法、プログラム、記録媒体、集積回路
CN111062871B (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
CN107209860B (zh) 用于处理弱监督图像的方法、系统和计算机存储介质
US9659384B2 (en) Systems, methods, and computer program products for searching and sorting images by aesthetic quality
US8929669B2 (en) Image evaluation apparatus that calculates an importance degree of each of a plurality of images
US9754177B2 (en) Identifying objects within an image
US9563822B2 (en) Learning apparatus, density measuring apparatus, learning method, computer program product, and density measuring system
US20130016899A1 (en) Systems and Methods for Matching Visual Object Components
CN104915634A (zh) 基于人脸识别技术的图像生成方法和装置
US20180041765A1 (en) Compact video representation for video event retrieval and recognition
Kotzias et al. Deep multi-instance transfer learning
US10489681B2 (en) Method of clustering digital images, corresponding system, apparatus and computer program product
JP2020101856A (ja) コンピュータ、構成方法、及びプログラム
CN112434172A (zh) 一种病理图像预后特征权重计算方法及系统
CN113221983A (zh) 迁移学习模型的训练方法及装置、图像处理方法及装置
JP2021039758A (ja) 画像間の類似度を利用した類似領域強調方法およびシステム
CN114003758B (zh) 图像检索模型的训练方法和装置以及检索方法和装置
US8270731B2 (en) Image classification using range information
US20220083587A1 (en) Systems and methods for organizing an image gallery
JP2005513675A (ja) 静止画像形状記述子の統計的特性を示す動画形状記述子の抽出装置及びその方法とそれを利用した動画索引システム
CN106776600A (zh) 文本聚类的方法及装置
JP6341843B2 (ja) 画像検索装置、及び画像検索システム
CN113223017A (zh) 目标分割模型的训练方法、目标分割方法及设备
JP2007334755A (ja) 学習データ生成装置及びオブジェクト判別装置、並びにプログラム
CN117421497B (zh) 作品对象的处理方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180016174.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012554491

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11856990

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13636810

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11856990

Country of ref document: EP

Kind code of ref document: A1