WO2016147260A1 - 画像検索装置、及び画像を検索する方法 - Google Patents

画像検索装置、及び画像を検索する方法 Download PDF

Info

Publication number
WO2016147260A1
WO2016147260A1 PCT/JP2015/057516 JP2015057516W WO2016147260A1 WO 2016147260 A1 WO2016147260 A1 WO 2016147260A1 JP 2015057516 W JP2015057516 W JP 2015057516W WO 2016147260 A1 WO2016147260 A1 WO 2016147260A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
propagation
query
search
feature
Prior art date
Application number
PCT/JP2015/057516
Other languages
English (en)
French (fr)
Inventor
裕樹 渡邉
廣池　敦
健一 米司
信尾 額賀
直人 秋良
智明 吉永
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN201580067867.1A priority Critical patent/CN107004025B/zh
Priority to US15/556,994 priority patent/US10657171B2/en
Priority to JP2017505775A priority patent/JP6371465B2/ja
Priority to PCT/JP2015/057516 priority patent/WO2016147260A1/ja
Publication of WO2016147260A1 publication Critical patent/WO2016147260A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution

Definitions

  • the present invention relates to an image search device and an image search method.
  • a large-scale, high-speed similar image search system has been put into practical use, and a technique has been proposed in which image features are extracted in advance and stored in a database to quickly search for images that look similar to the query image. ing.
  • Patent Document 1 states that “an image search device extracts an image database, a search request reception unit that receives a query image, and a similar image that is similar to the query image from images registered in the image database.
  • Search means and search result presenting means for arranging a similar image around the query image and presenting a search result in which the query image and the similar image are linked and displayed on the display means.
  • search request accepting means When a new query image is accepted by the search request accepting means, a search result based on the new query image is added to the search result while maintaining a linked display of the search results presented in the past on the display means.
  • To the display means (see summary).
  • the search system described in Patent Document 1 updates the search result by interaction with the user. Specifically, the search system described in Patent Literature 1 repeats a search using a new query image as an image included in a search result obtained from a query image specified by the user. Thereby, if a user specifies a query image appropriately, there is a possibility that search results rich in variations regarding the target search target can be obtained.
  • the present application includes a plurality of means for solving the above-described problems.
  • a registered image one or more feature amounts including the first type of the registered image, and the registered image
  • An image search device that searches for an image from an image database that holds propagation information indicating a link between feature quantities of the same type, and acquires the first image and the one or more types of feature quantities of the first image. And calculating the propagation intensity indicating the similarity between the image acquisition unit registered in the image database and the feature amount of each type of the first image and the feature amount of the type of the registered image.
  • a link between the feature amount of the type of the first image and the feature amount of the type of the registered image having the maximum propagation strength between the feature amount of the type of the first image An attribute propagation part to be included in the information;
  • a query input unit that obtains a first type of first feature quantity from the feature quantity of the registered image held in the image database and generates an input query including the first feature quantity, and the correspondence indicated by the propagation information Based on the first feature amount, the search is performed to follow the feature amount of the registered image, and the first type feature amount of the registered image having the feature amount on the route in the search is added.
  • An image search device comprising: a query reinforcement unit that generates a query; and an image search unit that searches for an image from the image database using the input query and the additional query.
  • Example 1 it is a block diagram which shows the structural example of an image search system.
  • Example 1 it is a block diagram which shows the hardware structural example of an image search system. It is a figure which shows the structural example of the image database in Example 1.
  • FIG. In Example 1, it is a figure explaining the example of the process which produces
  • Example 1, it is a figure explaining the example of the process which produces
  • it is a figure explaining the example of the process which produces
  • 6 is a flowchart illustrating an example of attribute propagation information generation processing according to the first exemplary embodiment. In Example 1, it is a figure explaining the example of the image search using attribute propagation information.
  • Example 10 is a flowchart illustrating an example of an image search process using attribute propagation information in the first embodiment. It is a figure which shows an example of the search screen in Example 1.
  • FIG. In Example 1 it is a sequence diagram which shows an example of a process of the whole system.
  • Example 2 it is a block diagram which shows the structural example of an image search system. It is a structural example of the annotation screen in Example 2.
  • FIG. In Example 2, it is a flowchart which shows an example of an annotation process.
  • Example 1 it is a figure explaining clustering and attribute propagation.
  • the image search apparatus of the present embodiment extracts feature amounts of one or more predetermined attributes from a newly registered image, and extracts the feature amounts of each type of attribute and the same type of attribute features of each registered image. Compare the amount.
  • the image search apparatus accumulates propagation information including links between feature amounts determined to have high similarity or feature amounts by the comparison.
  • the link can be considered as a link between images via the same type of feature amount.
  • a link (propagation) between feature quantities may be described as a link (propagation) between images.
  • the image in this embodiment is a concept including a moving image and a still image.
  • the attribute indicates a part constituting the image.
  • each part such as an arm and a head of the person is an example of the attribute.
  • the feature amount is a value indicating the feature of the image that each attribute has. A specific example of the feature amount will be described later.
  • the feature amount of an attribute may be simply referred to as a feature amount.
  • the propagation information includes, for example, information indicating the image of the propagation source and the image of the propagation destination, the type of feature amount, and the propagation intensity.
  • the propagation intensity will be described later.
  • a graph structure representing a link between images is formed.
  • the graph is a concept including a tree.
  • the image search apparatus can search for an image that is not directly similar to the query image by following the graph structure.
  • the image search apparatus uses this propagation information at the time of search, for example, acquires a plurality of images linked to the query image of the given query from the database, and uses the obtained image as a query image as a query for the given query. Reinforce search queries by adding to The image search apparatus can improve the search accuracy and the coverage rate by performing similar image search using the reinforced query and integrating the search results.
  • FIG. 1 is a block diagram illustrating a configuration example of an image search system 100 according to the first embodiment.
  • the image search system 100 accumulates, as propagation information, a link with a registered image having a high-similarity feature type for one or more feature amounts of the input image, and makes a query using the propagation information.
  • the search accuracy and the coverage rate are improved by performing a search using the reinforced query and the reinforced query.
  • the image search system 100 includes, for example, an image storage device 101, an input device 102, a display device 103, and an image search device 104.
  • the image storage device 101 is a storage medium for storing still image data or moving image data.
  • the image storage device 101 is connected to a hard disk drive built in a computer or a network such as NAS (Network Attached Storage) or SAN (Storage Area Network). It is configured using a storage system.
  • the image storage device 101 may be, for example, a cache memory that temporarily holds image data continuously input from the camera.
  • the input device 102 is an input interface for transmitting user operations to the image search device 104, such as a mouse, a keyboard, and a touch device.
  • the display device 103 is an output interface such as a liquid crystal display, and is used for displaying the recognition result of the image search device 104, interactive operation with the user, and the like.
  • the image search device 104 performs registration processing that extracts information necessary for search from the images stored in the image storage device 101 and creates a database. Further, the image search device 104 performs a search process of searching for an image similar to the search query from the image database 108 using the search query designated by the user from the input device 102 and presenting information to the display device 103.
  • the image search device 104 extracts feature quantities of one or more types of attributes from the image and registers them in the image database 108. In addition, the image search device 104 compares the feature amount of the registered image with the same type of feature amount of another registered image, and adds propagation information between features with high similarity or the same feature amount. Accumulate in the database.
  • the image search device 104 includes an image input unit 105, a feature amount extraction unit 106, an attribute propagation unit 107, an image database 108, a propagation information storage unit 109, a query input unit 110, a query reinforcement unit 111, and an image search unit 112.
  • the image input unit 105 accepts input of still image data or moving image data from the image storage device 101, and converts the input data into a data format used inside the image search device 104 according to the data format of the input data. Convert. For example, when the image input unit 105 receives input of moving image data, the image input unit 105 performs a moving image decoding process that decomposes the frame into still images (still image data format), for example.
  • the image input unit 105 may perform a partial region extraction process from the input image, for example, in accordance with an instruction from the user or the like as necessary. Specifically, for example, the image input unit 105 may extract a person area from each frame, and use the image of the extracted area internally as data. The image data processed by the image input unit 105 is sent to the feature amount extraction unit 106. Note that the image input unit 105 may also receive input of feature amounts and register the input feature amounts in the image database 108. At this time, the image search device 104 may not include the feature amount extraction unit 106.
  • the feature amount extraction unit 106 extracts feature amounts of one or more types of attributes from each input image.
  • the feature amount is a value that can be compared between images indicating the feature of the image, and is represented by, for example, a fixed-length vector.
  • An image feature amount that is data obtained by digitizing appearance information such as the color and shape of an image is an example of an attribute feature amount.
  • any image information can be used as a feature amount as long as the values can be compared between images.
  • a moving object ID obtained by tracking a moving object between frames may be used as an attribute feature amount in addition to the image feature amount such as the shape and color of the person image.
  • Image information including images and feature amounts is registered in the image database 108.
  • the feature amount extraction unit 106 may perform data clustering processing for the purpose of high-speed search when registering image feature amounts in the image database 108, for example.
  • the feature quantity extraction unit 106 generates a cluster composed of one or more registered data having a feature quantity with a high degree of similarity, for example, by clustering processing such as a k-means algorithm.
  • the similarity is an index indicating the similarity between two feature quantities of the same type, and is obtained, for example, by substituting the distance between the two feature quantities into a predetermined decreasing function whose value range is [0, 1].
  • the image database 108 records, for example, a cluster representative value (for example, an average vector of cluster members) and a cluster member ID.
  • the image search device 104 compares, for example, the feature quantity of the search query with the representative value of the cluster at the time of the search, and the feature quantity between the search query and the cluster member only for a cluster having a high degree of similarity. By performing the comparison, the number of processing times can be reduced and the search can be performed at high speed.
  • the attribute propagation unit 107 compares the feature quantity of each registered image with the same kind of feature quantity of the newly registered image, and for example, uses the link between the feature quantities with high propagation strength as the propagation information in the image database. 108.
  • the propagation intensity is an index indicating the similarity or identity between two similar feature quantities. For example, a value given by a function in which a value when two feature values match is 1 and a value when the two feature values do not match is 0 is an example of propagation intensity. Therefore, even when the similarity cannot be defined between the feature quantities, the propagation intensity can be defined.
  • the above-described similarity is an example of propagation intensity.
  • the attribute propagation unit 107 When an image has a plurality of attributes, the attribute propagation unit 107 generates propagation information for the number of attributes, for example. Examples of attribute feature amounts are given below.
  • the image feature value obtained by digitizing the appearance information of the image itself such as the color and shape is an example of the feature value.
  • the attribute propagation unit 107 when the similarity between image feature amounts is equal to or greater than a predetermined threshold, the attribute propagation unit 107 generates propagation information between the images, and uses the similarity as the propagation strength.
  • the object ID in the time-series image recognition result such as moving object tracking is an example of the feature amount.
  • the same object in successive frames has the same ID.
  • the attribute propagation unit 107 generates propagation information in the same object ID of each frame and sets the propagation intensity to 1.0.
  • the information indicating the position in the fixed point observation image is an example of a feature amount.
  • the attribute propagation unit 107 when the fixed-point observation image is divided by a predetermined grid, the attribute propagation unit 107 generates propagation information in cells at the same position between different times and sets the propagation intensity to 1.0.
  • the tag specified by the user is an example of a feature amount.
  • the attribute propagation unit 107 generates propagation information between an image to which a user-specified tag is assigned and a reference image used as a clue for tagging the image.
  • the attribute propagation unit 107 calculates the similarity of another feature amount between the image and the reference image, and sets the calculated similarity as the propagation intensity.
  • the attribute propagation unit 107 may generate propagation information between images having the same tag and set the propagation intensity to 1.0. Details of the propagation information generation process using tags will be described later.
  • the search history is an example of a feature amount.
  • the attribute propagation unit 107 refers to an operation log for repeated search, generates propagation information between the search query image and the search result image, and, for example, determines the similarity between the feature amounts used for the image search. Propagation intensity.
  • FIG. 13 is a diagram for comparing structuring of feature amount spaces by attribute propagation and clustering. Clustering forms a feature quantity group centered on a representative vector, whereas attribute propagation forms a graph representing a link between feature quantities.
  • the image search device 104 can obtain a link between images at distant locations in the feature amount space by using attribute propagation. A method for generating propagation information will be described later with reference to FIGS. 4A to 4C.
  • the image database 108 holds image information obtained by the registration process described above.
  • the image database 108 includes a propagation information storage unit 109 that stores propagation information.
  • the propagation information accumulation unit 109 may be arranged outside the image database 108.
  • the main memory of the client device may accumulate the propagation information.
  • the image search device 104 can use the propagation information that is temporarily different for each user.
  • the image database 108 stores feature amounts, and the image search unit 112 performs a similar image search using the feature amounts. Similar image search is a function that rearranges and outputs data in the order in which the feature amount is close to the query. For example, the image search unit 112 compares feature amounts using the Euclidean distance between vectors.
  • the structure of the image database 108 will be described later in detail with reference to FIG. The operation of each unit in the registration process of the image search device 104 has been described above. Next, the operation of each unit in the search process of the image search apparatus 104 will be described.
  • the query input unit 110 receives a query specified by the user via the input device 102.
  • the query is an ID of registered data
  • the feature amount is acquired from the image database 108.
  • the feature amount is obtained from the image by the same processing as the feature amount extraction unit 106.
  • the query reinforcement unit 111 uses the propagation information accumulated in the image database 108 to acquire registration data related to the input query and use it as an additional query.
  • the image search unit 112 performs a similar image search process on the image database 108 using the input query and the additional query obtained by the query reinforcement unit 111.
  • the image search unit 112 performs aggregation processing such as sorting the search results obtained from each query in order of similarity, and leaving only the low ranking results for the data with the same ID. Further, at this time, the result of the query added by the query reinforcement unit 111 may be weighted to the similarity as necessary. Query reinforcement and image retrieval will be described later with reference to FIG.
  • the display device 103 presents the search result to the user by displaying the search result obtained by the above search process.
  • FIG. 2 is a block diagram illustrating a hardware configuration example of the image search system 100 according to the present embodiment.
  • the image search device 104 is realized by, for example, a general computer.
  • the image search device 104 may include a processor 201 and a storage device 202 that are connected to each other.
  • the storage device 202 is configured by any type of storage medium.
  • the storage device 202 may be configured by a combination of a semiconductor memory and a hard disk drive.
  • the functional units such as the image input unit 105, the feature amount extraction unit 106, the attribute propagation unit 107, the image database 108 and the propagation information storage unit 109, the query input unit 110, the query reinforcement unit 111, and the image search unit 112 include, for example, This is realized by the processor 201 executing the processing program 203 stored in the storage device 202. In other words, the processing executed by each functional unit described above is executed by the processor 201 based on the processing program 203.
  • the data of the image database 108 is included in the storage device 202, for example.
  • the image search device 104 further includes a network interface device (NIF) 204 connected to the processor 201.
  • the image storage device 101 may be a NAS or a SAN connected to the image search device 104 via the network interface device 204, for example.
  • the image storage device 101 may be included in the storage device 202.
  • FIG. 3 is an explanatory diagram showing a configuration and data example of the image database 108 of the present embodiment.
  • the information used by the system may be expressed in any data structure without depending on the data structure.
  • FIG. 3 shows an example of a table format, for example, a data structure appropriately selected from a table, list, database, or queue can store information.
  • the image database 108 includes, for example, an image table 300 that holds image information and a propagation information table 310 that holds links between images.
  • the table configurations and the field configurations of the tables in FIG. 3 are merely examples, and for example, tables and fields may be added according to the application. Further, the table configuration may be changed as long as similar information is held. For example, the image table 300 and the propagation information table 310 may be combined into a single table.
  • the image table 300 includes, for example, an image ID field 301, an image data field 302, and an attribute 1 feature amount field 303.
  • the image table 300 includes a plurality of feature quantity fields.
  • the image table 300 in FIG. 3 is an example in which feature amounts of two attributes are extracted, and includes an attribute 2 feature amount field 304.
  • the image ID field 301 holds an identification number of each image data.
  • the image data field 302 holds, for example, image data used when displaying a search result in binary.
  • Each of the attribute 1 feature quantity field 303 and the attribute 2 feature quantity field 304 holds a corresponding type of feature quantity.
  • the feature amount is given by, for example, fixed-length vector data. Further, the feature amount may be scalar data as long as it is possible to compare the images as in the feature amount held in the attribute 2 feature amount field 304, for example.
  • the propagation information table 310 includes, for example, a propagation information ID field 311, an attribute ID field 312, a propagation source field 313, a propagation destination field 314, and a propagation intensity field 315.
  • the propagation information ID field 311 holds an identification number for attribute propagation between images.
  • the attribute ID field 312 holds the feature amount ID of the attribute to be propagated.
  • the ID of the attribute feature amount may be managed by an application or a database including a table.
  • the propagation source field 313 holds an image ID that is an attribute propagation source.
  • the propagation destination field 314 holds an image ID that is an attribute propagation destination.
  • the propagation strength field 315 holds a numerical value of propagation strength or reliability. For example, the propagation intensity increases as the distance between the propagation feature vector and the propagation feature vector decreases.
  • the propagation information table 310 may further include, for example, a field for recording a time when propagation is generated.
  • the image search apparatus 104 generates an additional query using the propagation information constructed at the time of registration, and performs a search using a search query obtained by adding the additional query to the input query. And the efficiency of image search and analysis of the image database 108 can be improved.
  • 4A to 4C are diagrams illustrating a process in which propagation information is generated in the registration process.
  • 4A to 4C show a process in which the state of the image database 108 changes from state 1 to state 3 due to the addition of an image.
  • 4A to 4C show an example in which a similarity can be defined between two feature quantities, and the similarity is adopted as a propagation strength.
  • an image having an image ID N N is a natural number
  • FIG. 4A shows an example in which the state of the image database 108 is state 1.
  • the state 1 indicates a state in which the image 2 is added to the image table 300 in which the image 1 has been registered.
  • the attribute propagation unit 107 compares the same type of feature quantity, and records the propagation information in the propagation information table 310 if the similarity is equal to or greater than a predetermined threshold.
  • the attribute propagation unit 107 does not propagate because the similarity is less than or equal to the threshold for the attribute 1 feature amount. Further, the attribute propagation feature 107 records the propagation information 411 because the feature amounts match with respect to the attribute 2 feature amount, that is, the similarity is equal to or greater than the threshold value. Specifically, the attribute propagation unit 107 adds 2 indicating the identifier of the attribute 2 feature amount in the attribute ID field 312 and 2 that is the image ID of the registered image in the propagation source field 313 in the propagation destination field 314. 1 is stored in the propagation intensity field 315, and the image ID 1 is stored.
  • FIG. 4B shows an example in which the state of the image database 108 is state 2.
  • a state 2 indicates a state where the image 3 is newly registered in the image table 300.
  • the attribute propagation unit 107 performs feature amount comparison between the image 3 and the image 1 and feature amount comparison between the image 3 and the image 2.
  • the attribute propagation unit 107 records the propagation information 421 regarding the attribute 1 feature amount.
  • the propagation information 411 related to the attribute 2 feature is recorded between the image 1 and the image 2
  • the propagation information 421 related to the attribute 1 feature is recorded between the image 1 and the image 3.
  • One propagation information indicates that the image 3 and the image 2 are related.
  • FIG. 4C shows an example in which the state of the image database 108 is state 3.
  • State 3 indicates a state in which image 4, image 5, and image 6 are further registered.
  • a plurality of graph structures connected by propagation information based on attribute feature amounts are formed.
  • the image search device 104 reduces the number of feature comparisons using the clustering described above, or narrows down the images to be compared for feature comparison using bibliographic data such as image registration time. In this case, the registration processing speed can be improved.
  • FIG. 5 illustrates an example of processing in which the image search device 104 according to the present exemplary embodiment extracts image feature amounts and propagation information between images from a moving image or a still image input from the image storage device 101 and registers them in the image database 108. It is a flowchart to show.
  • the image input unit 105 acquires image data from the image storage device 101, converts the acquired image data into a format that can be used inside the system as necessary, and records the image data in the image table 300 (S501). For example, when the input of moving image data is received, the image input unit 105 performs a moving image decoding process for decomposing the moving image data into frames (still image data format). Further, the image input unit 105 may perform a partial region extraction process as necessary.
  • the image search apparatus 104 repeats the processing from step S503 to step S507 for the feature amount of each type of attribute given as, for example, a system design item (S502).
  • the feature amount extraction unit 106 calculates the type of feature amount from the input image (S503).
  • the feature amount extraction unit 106 registers the feature amount obtained in step S503 in the image table 300 (S504). For example, when the number of records in the image table 300 is equal to or greater than a predetermined threshold, the feature amount extraction unit 106 may perform clustering processing using feature amounts as necessary.
  • the attribute propagation unit 107 calculates a propagation strength between the feature amount obtained in step S503 and the same feature amount of each image registered in the image table 300, and whether or not the propagation strength is equal to or greater than a threshold value. Is determined (S505). If there is a registered image whose propagation intensity is greater than or equal to the threshold (S505: YES), the attribute propagation unit 107 executes step S507; otherwise (S505: NO), the attribute propagation unit 107 moves to step S508.
  • the attribute propagation unit 107 records propagation information indicating the link between the feature amount of the registered image and the feature amount of the input image whose propagation intensity is a threshold value in the propagation information table 310 (S507). If there is a feature amount of an attribute for which the processing in steps S503 to S507 has not been performed, the process moves to step S502, and processing relating to the feature amount of another attribute is performed (S508). If the processing in steps S503 to S507 has been executed for all feature amounts of the attributes, the processing in FIG. 5 ends.
  • FIG. 6 is a diagram illustrating an example of processing in which the image search apparatus 104 according to the present embodiment searches for an image registered in the image database 108 using a query designated by the user.
  • the user inputs information for generating an input query for searching for a desired image from the image database 108.
  • the input query includes image feature values held in the image table 300.
  • the query input unit 110 receives input of an image ID of an image included in the image table 300 and information indicating the type of feature amount, and inputs a combination of the image ID and the feature amount acquired from the image table 300.
  • An image corresponding to the image ID included in the input query is called a query image.
  • the query input unit 110 may accept, for example, input of an image newly given from the outside and the type of feature amount. At this time, the query input unit 110 extracts the feature amount of the type from the given image, for example, by the same process as the feature amount extraction unit 106, and for example, extracts the feature amount extracted most from the image table 300. One registered image having a feature quantity with high similarity is identified. The query input unit 110 uses, for example, a combination of an image ID of the specified registered image and the feature amount of the registered image as an input query.
  • FIG. 6 shows an example in which the image ID of the input query 601 is 6, and the feature quantity type is attribute 1 feature quantity.
  • the input query 601 may include a plurality of types of feature quantities.
  • a plurality of images may be specified as the query image.
  • the image search device 104 holds information indicating a link between registered images defined in the propagation information table 310, that is, information of a graph set 430 including one or more graphs.
  • the query reinforcement unit 111 selects a graph including information of the query image specified by the input query 601 from the graph set 430, and follows the link using the feature amount specified by the input query 601 of the query image as a starting point. Search the selected graph.
  • the query reinforcement unit 111 obtains the image 3 by following the link 602 from the attribute 1 feature amount of the image 6 specified by the input query 601.
  • the query reinforcement unit 111 obtains a series of image sets including the image 6, the image 3, the image 1, and the image 2 that are on the route that follows the link in order from the feature amount of the obtained image.
  • the query reinforcement unit 111 may perform attribute switching 603 in the same image to trace the feature amount link of the switching destination. By performing the attribute switching 603 in the same image by the query reinforcement unit 111, it is possible to improve the search coverage rate while maintaining the relationship between the feature amounts.
  • the link is represented by a directed side, but the link may be an undirected side. That is, the image search apparatus 104 may perform a search according to the direction, or may perform a search ignoring the direction as shown in FIG.
  • the query reinforcement unit 111 performs the above-described search using a search algorithm such as Dijkstra method.
  • the query reinforcement unit 111 is a query obtained by adding, to the input query 601, an additional query that is a combination of the image IDs of the series of images obtained by the search described above and the same type of feature quantity as the input query in the image. Is a search query 604.
  • the query reinforcement unit 111 performs a search using each feature quantity as a starting point, and generates a reinforcement query for each feature quantity.
  • the image search unit 112 performs a similar image search for searching for an image having a similar feature amount from the image table 300 for each feature amount included in the search query 604.
  • the image search unit 112 may search for images with similar types of feature amounts for each of the plurality of types of feature amounts, for example. An image having similar feature amounts obtained by combining the plurality of types of feature amounts may be searched.
  • the image search unit 112 obtains a search result as a combination of the image ID and the similarity between the image ID and the query image ID that is the search source.
  • the image search unit 112 rearranges all the obtained search results in the order of similarity and outputs them to the display device 103. At this time, for example, the image search unit 112 may output only search results with the same image ID that have a similarity greater than or equal to a predetermined threshold.
  • the image search unit 112 may weight the similarity of the search results according to the propagation strength of the used query image from the input query image. Since the propagation intensity from the image 3 to the image 6 is 0.9, the image search unit 112, for example, multiplies the similarity of the search result with the image 3 as the query image by 0.9 as the weight.
  • the image search unit 112 calculates, for example, the product of the propagation intensities of the plurality of propagation information with respect to the similarity of the search results obtained by tracing the plurality of propagation information from the image 6 that is the query image of the input query 601. Is multiplied by the weight.
  • the image search unit 112 for example, the propagation strength between the feature amount of the image 6 that is the input query and the feature amount of the image of the search result with respect to the similarity of the search result obtained by performing the attribute switching.
  • the calculated propagation intensity may be multiplied as the weight.
  • FIG. 7 is a flowchart for explaining an example of processing in which the image search apparatus 104 according to the present embodiment searches for an image registered in the image database 108 using a query designated by the user. Hereinafter, each step of FIG. 7 will be described.
  • the query input unit 110 receives information for generating an input query from the user, and generates an input query (S701).
  • the query input unit 110 acquires the type of feature amount of the image having the image ID from the image table 300.
  • the query input unit 110 receives external image data and the input of the type of feature amount, the query input unit 110 sets the image ID of the image having the feature amount similar to the feature amount of the type extracted from the image and the image ID.
  • the feature amount of the type of the image it has is acquired from the image table 300.
  • the query input unit 110 obtains, as an input query, a combination of the image ID of the query image and a predetermined feature amount of the query image.
  • the query reinforcement unit 111 adds the input query obtained in step S701 to an empty query set (S702).
  • the query reinforcement unit 111 executes the processing from step S704 to step S706 for each query included in the query set (S703).
  • the query reinforcement unit 111 uses the query image as a propagation source and a propagation destination, and acquires propagation information having an attribute ID corresponding to the type of feature amount from the propagation information table 310 (S704).
  • the query reinforcement unit 111 determines whether or not the acquired propagation information includes a propagation intensity that is greater than or equal to a threshold value (S705). If there is propagation information whose propagation intensity is greater than or equal to the threshold (S705: YES), step S706 is executed, otherwise (S705: NO), the process moves to step S707.
  • the query reinforcement unit 111 uses, for example, a system predetermined value or a value given as a search parameter by the user as the threshold value. Note that the threshold value may be a different value for each attribute ID, for example.
  • the query reinforcement unit 111 adds, to the query set, a query that uses an image whose propagation intensity is equal to or greater than a threshold as a query image (S706).
  • a query image S706
  • the query reinforcement unit 111 excludes, from the query set, images whose propagation time is within a predetermined time from the current time. May be.
  • step S704 to step S706 If the processing of step S704 to step S706 has been executed for all the queries in the query set, the process moves to step S708, and if there is a query for which the processing of step S704 to step S706 has not been executed, the process returns to step S704. Processing is performed on the query (S707).
  • the image search unit 112 executes the processing from step S709 to step S710 for all the queries included in the query set (S708). Note that, for example, for a query (a query with high similarity) in which the propagation intensity is equal to or greater than a predetermined threshold (the threshold is a value greater than the threshold in step S705), the image search unit 112 includes only a predetermined number of randomly selected queries. And the processing of step S708 to step S709 may be skipped for the remaining queries. There is a high possibility that similar image search results by two queries having extremely high propagation intensities are very similar to each other. Therefore, for example, for two queries having a propagation intensity higher than the threshold, the image search unit 112 can reduce the search time while suppressing a decrease in the search coverage rate by performing a search process for only one query. it can.
  • the image search unit 112 performs an image search using the query and acquires a similar image from the image database 108. For example, the image search unit 112 obtains, as a search result, a similar image ID and a combination of similarities between the feature amount of the query image and the feature amount of the similar image (S709).
  • the image search unit 112 assigns a weight according to the propagation strength between the input query and the corresponding query to the similar image obtained in step S709, and adds it to the set of search results (S710). For example, the image search unit 112 may switch whether or not to execute the process of step S710 according to a search parameter specified by the user.
  • step S712 If the processes in steps S709 to S710 have been executed for all the queries included in the query set, the process moves to step S712. If there is a query for which the processes in steps S709 to S710 have not been executed, the process proceeds to step S712. Returning to S709, the query is processed (S711).
  • the image search unit 112 rearranges the search results in descending order of the degree of similarity (or the degree of similarity after weighting if the weight is assigned to the degree of similarity), displays the result on the display device 103, and ends the processing (S712). .
  • the image search unit 112 may collect only a predetermined number of search results in descending order of similarity.
  • FIG. 8 is a diagram illustrating a configuration example of an operation screen for performing an image search using the image search apparatus 104 of the present embodiment.
  • the operation screen is presented to the user on the display device 103, for example.
  • the user operates the cursor 800 displayed on the screen using the input device 102 to give a processing instruction to the image search device 104.
  • the operation screen includes, for example, a query image display area 801, a detailed option display button 802, an additional query display area 803, a propagation information display area 804, a search button 805, and a search result display area 806.
  • Information displayed in the query image display area 801 is output to the display device 103 by the query input unit 110, for example.
  • Information displayed in the additional query display area 803 and the propagation information display area 804 is output to the display device 103 by the query reinforcement unit 111, for example.
  • the information displayed in the search result display area 806 is output to the display device 103 by the image search unit 112, for example.
  • the operation screen may display a dialog for selecting a registered image or may include an interface for inputting an external image.
  • the image designated by the user is displayed in the query image display area 801.
  • the query reinforcement unit 111 generates an additional query using the propagation information of the query image specified by the user.
  • the additional query display area 803 displays, for example, information on the generated additional query, for example, a query image of the additional query, a feature amount, and the like.
  • the user can determine whether the additional query is appropriate. For example, when the user checks the detailed option display button 802, the additional query display area 803 may display information on the additional query.
  • the propagation information display area 804 displays propagation information whose query image is a propagation source or a propagation destination, for example. By displaying the propagation information in the propagation information display area 804, it is possible to intuitively tell the user how the additional query was obtained.
  • the user determines that the additional query displayed in the additional query display area 803 is not appropriate as the additional query, for example, the user can operate the additional query display area 803 and the propagation information display area 804 to exclude the query.
  • an operation screen may be configured.
  • the image search unit 112 When the user clicks the search button 805, the image search unit 112 performs a similar image search using the input query and the search query on the image database 108.
  • the search results are rearranged in the order of similarity, for example, and the search results having the same image ID are collected and displayed in the search result display area 806.
  • FIG. 9 is a sequence diagram illustrating an example of processing of the image search system 100 of the present embodiment.
  • FIG. 9 specifically shows a processing sequence among the user 900, the image storage device 101, the computer 901, and the image database 108 in the image registration and image search processing of the image search system 100 described above.
  • the computer 901 is a computer that implements the image search apparatus 104.
  • the user 900 transmits a request and an instruction to the computer 901 via the input device 102 and inputs data, and receives a processing result from the computer 901 via the display device 103.
  • S910 indicates a registration process
  • S920 indicates a search process.
  • the registration process S910 includes the processes shown in steps S911 to S916.
  • the computer 901 issues an image data acquisition request to the image storage device 101 (S912), and acquires image data from the image storage device 101 (S913).
  • the processes in steps S914 to S916 described below correspond to a series of registration processes described in FIG.
  • the computer 901 extracts a feature amount from the acquired image, and registers the feature amount and image data in the image database 108 (S914).
  • the computer 901 compares the acquired feature amount of the image with the same kind of feature amount of the image registered in the image database 108, and determines the link between the feature amounts having high propagation strength and the propagation strength at the link. Is recorded in the image database 108 (S915).
  • the computer 901 notifies the user 900 of the completion of registration (S916).
  • the search process S920 includes the processes shown in steps S921 to S928 and corresponds to the series of search processes described in FIG.
  • the computer 901 reads query image data from the image database 108 (S922). Further, when an image is given from the outside in the search request, the computer 901 extracts a feature amount of the image, for example, selects an image having a high similarity in the feature amount from the image database 108, and selects the selected image.
  • the query image is described in FIG.
  • the computer 901 searches the image database 108 using the propagation information, and adds the image obtained by the search to the query set (S923).
  • the added query is presented to the user 900 (S924), and the user 900 corrects the query as necessary and sends a search execution request to the computer 901 (S925).
  • the computer 901 executes a similar image search using each image feature amount of the query set (S926).
  • the computer 901 rearranges the obtained search results in order of similarity, aggregates the search results having the same image ID (S927), and presents the search results to the user 900 (S928).
  • the image search apparatus 104 compares one or more types of feature amounts of the input image with the feature amounts of the registered images, generates propagation information indicating a link between images with high similarity, Record in the image database 108.
  • the image search device 104 can increase the search coverage rate while ensuring search accuracy by performing a similar image search using a search query obtained by reinforcing an input query based on propagation information. .
  • the image search apparatus 104 generates propagation information at the time of image registration.
  • the image search apparatus 104 according to the present embodiment updates the propagation information after image registration or adds propagation information for a new attribute. You can do it.
  • FIG. 10 is a block diagram illustrating a configuration example of the image search system according to the present embodiment.
  • the image search system 100 assigns attributes and updates propagation information using image search.
  • the image search system 100 according to the present embodiment includes a propagation information update unit 1001 in addition to the configuration of the image search system 100 according to the first embodiment.
  • the propagation information update unit 1001 assigns attributes and propagation information to an image included in a search result obtained in the search process by the image search unit 112.
  • the propagation information update unit 1001 gives propagation information between the query image and the search result image obtained by the image search unit 112, for example, in accordance with a user instruction.
  • FIG. 11 is an example of a screen configuration for performing annotation on an image using the propagation information addition function.
  • Annotation is a task of adding tags such as words and sentences that describe an image to the image, and is performed for the purpose of classifying and searching images by tags, analyzing a database, and the like. Further, if a sufficient number of image and tag pairs are obtained, an image classifier that recognizes an unknown image can be created by using machine learning.
  • the annotation support screen in FIG. 11 is a screen for propagating a tag by human judgment when correct tagging cannot be expected only by automatic determination of image similarity.
  • the annotation screen includes a tag input area 1101, a search button 1102, a reference image display area 1103, a propagation information display area 1104, a tagging candidate display area 1105, and a tagging button 1106.
  • Information displayed in the reference image display area 1103 and the propagation information display area 1104 is output to the display device 103 by the query reinforcement unit 111, for example.
  • the information displayed in the tagging candidate display area 1105 is output to the display device 103 by the image search unit 112, for example.
  • the query reinforcement unit 111 acquires an image having the input tag as a reference image.
  • a reference image display area 1103 displays a reference image.
  • the image search unit 112 performs a similar image search using a predetermined feature amount other than the input tag using each reference image as a query, and acquires a similar image to which no input tag is assigned from the image database 108.
  • the image search unit 112 rearranges search results including combinations of similar images and similarities, for example, in the order of similarity. Since the search result is similar to an image with a tag attached, it can be considered as a candidate image to which the same tag should be assigned.
  • the tagging candidate display area 1105 displays the search result.
  • the query reinforcement unit 111 may acquire propagation information between the reference image and the candidate image with reference to the propagation information table 310.
  • the propagation information display area 1104 displays the propagation information acquired by the query reinforcement unit 111.
  • the propagation information display area 1104 visualizes the propagation information, so that, for example, it becomes easy for the user to find a reference image that causes an erroneous candidate presentation.
  • the candidate images c, g, and h have a propagation relationship with the reference image 4, and there is a possibility that an incorrect tag is assigned to the reference image 4 itself.
  • the annotation screen may highlight such an image.
  • the user checks the image displayed in the tagging candidate display area 1105 and selects the image to which the input tag should be added.
  • the selection operation may be performed by dragging the mouse or by clicking a check box.
  • the image search device 104 writes an input tag as an attribute feature amount for the selected image, and adds propagation information to the reference image.
  • FIG. 12 is a flowchart showing an example of annotation processing. Hereinafter, each step of FIG. 12 will be described.
  • the query input unit 110 acquires a tag input by the user (S1201).
  • the query reinforcement unit 111 acquires a predetermined number of images with input tags from the image database 108, and the predetermined number of queries including a combination of the image ID of the acquired image and a predetermined type of feature amount other than the input tag. Is a query set (S1202). At this time, the query reinforcement unit 111 may select query images to be included in the query set using the propagation information. For example, since the similarity between certain feature amounts of propagation information is high, there is a high possibility that an image having the feature amount for tagging is redundant as a reference image. Therefore, for example, for the adjacent images on the propagation information graph structure, the query reinforcement unit 111 selects, for example, only one of the images as a query image. Thereby, the query reinforcement
  • the image search unit 112 performs a similar image search using the predetermined type of feature amount of the reference image obtained in step S1202 (S1203). For example, the image search unit 112 rearranges the search results in descending order of similarity, and collects the search results having the same image ID. In addition, the image search unit 112 may collect and output search results similar to each other, thereby allowing the image search unit 112 to reduce the number of search results to be displayed while ensuring variations in the search results. it can.
  • the image search unit 112 displays an image included in the search result on the display device 103 as a candidate image for tagging (S1204).
  • the user selects an image to be tagged from the candidate images and informs the system.
  • the display device 103 may highlight a reference image that is a propagation source or a propagation destination, and at this time, the user can easily confirm the propagation information.
  • the image search apparatus 104 may issue an alert.
  • the propagation information update unit 1001 gives a tag to the image selected by the user (S1205). Also, the propagation information update unit 1001 adds propagation information between the tag assigned to each reference image and the newly assigned tag. That is, the propagation information update unit 1001, for example, in the propagation information table 310, the ID indicating the input tag in the attribute ID field 312, the image ID of the query image in the propagation source field 313, and the selected image in the propagation destination field 314. Is stored as a value (for example, 1.0) designated by the user for the propagation intensity.
  • the image search apparatus 104 can update the propagation information after image registration.
  • the image search apparatus 104 according to the present embodiment can search tagging candidate images in annotation work with high accuracy and exhaustiveness.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of a certain embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

登録済み画像と、前記登録済み画像の１種類以上の特徴量と、前記登録済み画像の同種の特徴量間のリンクを示す伝搬情報と、を保持する画像データベースから画像を検索する画像検索装置は、第１画像及び第１画像の１種類以上の特徴量を取得し、画像データベースに登録し、第１画像の各種類の特徴量について、登録済み画像の当該種類の特徴量それぞれと、の間の類似同一性を示す伝搬強度を算出し、第１画像の当該種類の特徴量と、第１画像の当該種類の特徴量との間の伝搬強度が最大である登録済み画像の当該種類の特徴量と、のリンクを、伝搬情報に含める。

Description

画像検索装置、及び画像を検索する方法
　本発明は、画像検索装置、及び画像を検索する方法に関する。
　テレビ画像のデジタルアーカイブ化やインターネット上の動画配信サービスの普及により、大規模な画像データを高速に検索・分類する必要性が増加している。また、セキュリティ向けに蓄積された監視画像の解析に対する期待が高まっている。これらの膨大な画像に対して人手でテキスト情報を付与することが困難なことから、画像中の特徴量を用いた画像検索技術が求められている。
　これまでに大規模、高速な類似画像検索システムが実用化されつつあり、事前に画像特徴量を抽出してデータベース化することで、クエリ画像に見た目の類似する画像を高速に探し出す技術が提案されている。
　本技術分野の背景技術として、特開２０１０－２５０５２９（特許文献１）がある。特許文献１には、「画像検索装置は、画像データベースと、クエリ画像を受け付ける検索要求受付手段と、画像データベースに登録されている画像の中から、クエリ画像と類似する類似画像を抽出する類似画像検索手段と、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示した検索結果を表示手段に提示する検索結果提示手段と、を備える。そして、検索結果提示手段は、前記検索要求受付手段によって新たなクエリ画像が受け付けられた場合には、表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に新たなクエリ画像による検索結果を追加して表示手段に提示する。」と記載されている（要約参照）。
特開２０１０－２５０５２９号公報
　特許文献１に記載の検索システムは、ユーザとのインタラクションによって検索結果を更新していく。具体的には、特許文献１に記載の検索システムは、ユーザが指定したクエリ画像によって得られた検索結果に含まれる画像を、新たなクエリ画像とする検索を繰り返す。これにより、ユーザが適切にクエリ画像を指定すれば目的の検索対象に関するバリエーションに富んだ検索結果が得られる可能性がある。
　しかし、特許文献１に記載の検索システムにおいて、ユーザが、特定の見た目の画像ばかりをクエリとして選択してしまう場合には、検索対象を網羅的に見つけ出すことがかえって困難になるおそれがある、つまり検索の網羅性がユーザ操作に影響される。
　上記課題を解決するために、本発明は例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、登録済み画像と、前記登録済み画像の第１種類を含む１種類以上の特徴量と、前記登録済み画像の同種の特徴量間のリンクを示す伝搬情報と、を保持する画像データベースから画像を検索する、画像検索装置であって、第１画像及び前記第１画像の前記１種類以上の特徴量を取得し、前記画像データベースに登録する画像取得部と、前記第１画像の各種類の特徴量について、前記登録済み画像の当該種類の特徴量それぞれと、の間の類似同一性を示す伝搬強度を算出し、前記第１画像の当該種類の特徴量と、前記第１画像の当該種類の特徴量との間の伝搬強度が最大である登録済み画像の当該種類の特徴量と、のリンクを、前記伝搬情報に含める属性伝搬部と、前記画像データベースが保持する前記登録済み画像の特徴量から第１種類の第１特徴量を取得し、前記第１特徴量を含む入力クエリを生成するクエリ入力部と、前記伝搬情報が示す対応に基づいて、前記第１特徴量を出発点とした、前記登録済み画像の特徴量をたどる探索を行い、前記探索における経路上の特徴量を有する登録済み画像の第１種類の特徴量を含む追加クエリを生成する、クエリ補強部と、前記入力クエリ及び前記追加クエリを使用して、前記画像データベースから画像を検索する、画像検索部と、を含む画像検索装置。
　本発明の一態様によれば、高精度かつ網羅的に画像を検索することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施例１において、画像検索システムの構成例を示すブロック図である。 実施例１において、画像検索システムのハードウェア構成例を示すブロック図である。 実施例１における画像データベースの構造例を示す図である。 実施例１において、属性伝搬情報の生成する過程の例を説明する図である。 実施例１において、属性伝搬情報の生成する過程の例を説明する図である。 実施例１において、属性伝搬情報の生成する過程の例を説明する図である。 実施例１において、属性伝搬情報の生成処理の一例を示すフローチャートである。 実施例１において、属性伝搬情報を用いた画像検索の例を説明する図である。 実施例１において、属性伝搬情報を用いた画像検索の処理の一例を示すフローチャートである。 実施例１における検索画面の一例を示す図である。 実施例１において、システム全体の処理の一例を示すシーケンス図である。 実施例２において、画像検索システムの構成例を示すブロック図である。 実施例２におけるアノテーション画面の構成例である。 実施例２において、アノテーション処理の一例を示すフローチャートである。 実施例１において、クラスタリングと属性伝搬について説明する図である。
　以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
＜本実施形態例の概要＞
　本実施形態の画像検索装置は、新規に登録する画像から所定の１種類以上の属性の特徴量を抽出し、抽出した各種類の属性の特徴量と、登録済み画像それぞれの同種の属性の特徴量と、を比較する。画像検索装置は、当該比較によって、類似性が高い又は特徴量が同一であると判定した特徴量間のリンクを含む伝搬情報、を蓄積する。当該リンクは、同一種類の特徴量を介した、画像間のリンクと考えることもできる。本実施形態において、特に区別する必要が無い場合においては、特徴量間のリンク（伝搬）を、画像間のリンク（伝搬）として記載することもある。なお、本実施形態における画像とは、動画及び静止画を含む概念である。
　なお、属性とは、画像を構成するパーツを示し、例えば、画像に人物が含まれる場合、当該人物の腕や頭などの部位それぞれは、属性の一例である。特徴量とは、各属性が有する画像の特徴を示す値である。特徴量の具体例については、後述する。本実施形態において、属性の特徴量を、単に特徴量と呼ぶこともある。
　伝搬情報は、例えば、伝搬元の画像と伝搬先の画像を示す情報、特徴量の種類、及び伝搬強度を含む。伝搬強度については後述する。この結果、画像間のリンクを表すグラフ構造が形成される。本実施形態において、グラフはツリーを含む概念である。画像検索装置は、グラフ構造をたどることにより、クエリ画像に直接は類似していない画像を探索することができる。
　画像検索装置は、検索時にこの伝搬情報を利用し、例えば、与えられたクエリのクエリ画像にリンクする複数の画像をデータベースから取得し、取得した画像をクエリ画像としたクエリを当該与えられたクエリに加えることにより、検索クエリを補強する。画像検索装置は、補強されたクエリを使用して類似画像検索を行い、その検索結果を統合することで、検索精度、及び網羅率を向上することができる。
＜システム構成＞
　図１は、実施例１の画像検索システム１００の構成例を示すブロック図である。画像検索システム１００は、入力画像の１種類以上の特徴量に対して、類似性の高い当該種類の特徴量を有する登録済み画像とのリンクを伝搬情報として蓄積し、伝搬情報を用いてクエリを補強し、補強したクエリによる検索を行うことで検索精度及び網羅率を向上させる。
　画像検索システム１００は、例えば、画像記憶装置１０１、入力装置１０２、表示装置１０３、及び画像検索装置１０４を含む。画像記憶装置１０１は、静止画データまたは動画データを保存する記憶媒体であり、例えば、コンピュータ内蔵のハードディスクドライブ、または、ＮＡＳ（Ｎｅｔｗｏｒｋ　Ａｔｔａｃｈｅｄ　Ｓｔｏｒａｇｅ）もしくはＳＡＮ（Ｓｔｏｒａｇｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などのネットワークで接続されたストレージシステムを用いて構成される。また、画像記憶装置１０１は、例えば、カメラから継続的に入力される画像データを一時的に保持するキャッシュメモリであってもよい。
　入力装置１０２は、例えば、マウス、キーボード、タッチデバイスなどの、ユーザの操作を画像検索装置１０４に伝えるための入力インタフェースである。表示装置１０３は、例えば、液晶ディスプレイなどの出力インタフェースであり、画像検索装置１０４の認識結果の表示、ユーザとの対話的操作などのために用いられる。
＜各部の動作＞
　画像検索装置１０４は、画像記憶装置１０１に蓄積された画像から検索に必要な情報を抽出しデータベース化する、登録処理を行う。また、画像検索装置１０４は、ユーザが入力装置１０２から指定した検索クエリを用いて、画像データベース１０８から検索クエリに類似する画像を検索し、表示装置１０３に情報提示する、検索処理を行う。
　画像検索装置１０４は、画像から１種類以上の属性の特徴量を抽出し、画像データベース１０８に登録する。また、画像検索装置１０４は、登録した画像の特徴量と登録済みの他の画像との同種の特徴量とを比較し、類似性の高い又は同一の特徴量間に伝搬情報を付与して画像データベースに蓄積する。
　画像検索装置１０４は、画像入力部１０５、特徴量抽出部１０６、属性伝搬部１０７、画像データベース１０８、伝搬情報蓄積部１０９、クエリ入力部１１０、クエリ補強部１１１、及び画像検索部１１２を含む。
　画像入力部１０５は、画像記憶装置１０１から、静止画データまたは動画データの入力を受け付け、入力されたデータのデータ形式に応じて、入力されたデータを画像検索装置１０４内部で使用するデータ形式に変換する。例えば、画像入力部１０５は、動画データの入力を受け付けた場合、画像入力部１０５は、例えば、フレーム（静止画データ形式）に分解する動画デコード処理を行う。
　また、画像入力部１０５は、必要に応じて、例えばユーザからの指示等に従って、入力された画像から部分領域の抽出処理を行ってもよい。具体的には、例えば、画像入力部１０５は各フレームから人物の領域を抽出し、抽出した領域の画像を内部で使用するデータとしてもよい。画像入力部１０５によって処理された画像データは、特徴量抽出部１０６へ送られる。なお、画像入力部１０５は特徴量の入力を併せて受け付け、入力された特徴量を画像データベース１０８に登録してもよい。このとき、画像検索装置１０４は、特徴量抽出部１０６を含まなくてもよい。
　特徴量抽出部１０６は、入力された各画像から、１種類以上の属性の特徴量を抽出する。特徴量は、画像の特徴を示す画像間で比較可能な値であり、例えば、固定長のベクトルで表現される。画像の色や形状などの見た目の情報を数値化したデータである画像特徴量は、属性の特徴量の一例である。また、画像間で比較可能な値であれば任意の画像情報を特徴量とすることができる。前述の人物画像の例であれば、人物画像の形状や色などの画像特徴量に加えて、フレーム間の動体追跡によって得られる動体ＩＤを属性の特徴量として用いてもよい。画像と特徴量を含む画像情報は、画像データベース１０８に登録される。
　特徴量抽出部１０６は、例えば、画像データベース１０８に画像特徴量を登録する際に、高速検索を目的として、データのクラスタリング処理を行ってもよい。特徴量抽出部１０６は、例えば、ｋ－ｍｅａｎｓアルゴリズムなどのクラスタリング処理によって、類似度の高い特徴量を有する１以上の登録データからなるクラスタを生成する。類似度は、同種の２つの特徴量間の類似性を示す指標であり、例えば、値域が［０，１］の所定の減少関数に２つの特徴量間の距離を代入することにより得られる。
　画像データベース１０８は、例えば、クラスタの代表値（例えばクラスタメンバの平均ベクトル）とクラスタメンバのＩＤを記録する。画像検索装置１０４は、検索時において、例えば、検索クエリの特徴量とクラスタの代表値とを比較し、類似度の高いクラスタに対してのみ、検索クエリと当該クラスタのメンバとの間で特徴量比較を行うことで、処理回数を削減し高速に探索することができる。
　属性伝搬部１０７は、登録済みの各画像の特徴量と、新規に登録された画像の同種の特徴量と、を比較し、例えば、伝搬強度の高い特徴量間のリンクを伝搬情報として画像データベース１０８に記録する。伝搬強度は、同種の２つの特徴量間の類似性、又は同一性を示す指標である。例えば、２つの特徴量が一致する場合の値が１、２つの特徴量が一致しない場合の値が０、となる関数によって与えられる値は、伝搬強度の一例である。従って、特徴量間に類似性が定義できない場合であっても、伝搬強度を定義することができる。また、上述した類似度も伝搬強度の一例である。画像が複数の属性を持つ場合は、属性伝搬部１０７は、例えば、属性の数だけ伝搬情報を生成する。以下に、属性の特徴量の例を挙げる。
（１）上述したように、色や形状など画像そのものの見た目の情報を数値化した画像特徴量は特徴量の一例である。例えば、画像特徴量間の類似度が所定の閾値以上である場合に、属性伝搬部１０７は当該画像間に伝搬情報を生成し、当該類似度を伝搬強度とする。
（２）動体トラッキングなどの時系列画像認識結果における、物体ＩＤは特徴量の一例である。連続フレームにおける同一物体は、同一のＩＤを有する。例えば、属性伝搬部１０７は、同一物体ＩＤを含む２つのフレームが存在する場合、各フレームの同一物体ＩＤにおいて伝搬情報を生成し、伝搬強度を１．０とする。
（３）定点観測画像における、位置を示す情報は特徴量の一例である。例えば、定点観測画像が所定のグリッドで区切られている場合、属性伝搬部１０７は、別時刻間の同一位置のセルにおいて伝搬情報を生成し、伝搬強度を１．０とする。
（４）ユーザ指定のタグは、特徴量の一例である。属性伝搬部１０７は、例えば、ユーザ指定のタグが付与された画像と、当該画像のタグ付けの手がかりにした参照画像との間に伝搬情報を生成する。属性伝搬部１０７は、例えば、当該画像と参照画像との間における、他の特徴量の類似度を算出し、算出した類似度を当該伝搬強度とする。属性伝搬部１０７は、例えば、同一のタグを有する画像間に伝搬情報を生成し、伝搬強度を１．０としてもよい。タグによる伝搬情報の生成処理についての詳細は後述する。
（５）検索履歴は特徴量の一例である。属性伝搬部１０７は、例えば、繰り返し検索の操作ログを参照し、検索クエリ画像と検索結果画像との間に伝搬情報を生成し、例えば、画像の検索に用いられた特徴量間の類似度を伝搬強度とする。
　図１３は、属性伝搬及びクラスタリングによる特徴量空間の構造化を比較するための図である。クラスタリングは代表ベクトルを中心とした特徴量グループを形成するのに対して、属性伝搬は特徴量間のリンクを表すグラフを形成する。画像検索装置１０４は、属性伝搬を用いることにより、特徴量空間上で離れた場所にある画像間のリンクを得ることができる。伝搬情報の生成方法については、図４Ａ～図４Ｃを用いて後述する。
　画像データベース１０８は、上記した登録処理で得られた画像情報を保持する。また、画像データベース１０８は、伝搬情報を蓄積する伝搬情報蓄積部１０９を含む。伝搬情報蓄積部１０９は、画像データベース１０８の外に配置されてもよい。例えば、クライアント装置の主記憶が伝搬情報を蓄積してもよく、このとき画像検索装置１０４は、ユーザ毎に一時的にことなる伝搬情報を利用することができる。
　画像データベース１０８は、特徴量を保存し、画像検索部１１２は、その特徴量を用いた類似画像検索行う。類似画像検索は、クエリと特徴量が近い順にデータを並び替えて出力する機能である。画像検索部１１２は、例えば、ベクトル間のユークリッド距離を用いて特徴量を比較する。画像データベース１０８の構造について、詳しくは図３を用いて後述する。以上が、画像検索装置１０４の登録処理における各部の動作である。次に、画像検索装置１０４の検索処理における各部の動作を説明する。
　クエリ入力部１１０は、ユーザが入力装置１０２を介して指定したクエリを受け付ける。クエリが登録済みデータのＩＤである場合は、画像データベース１０８から特徴量を取得し、クエリとして外部から画像が与えられた場合は、特徴量抽出部１０６と同様の処理により画像から特徴量を得る。クエリ補強部１１１は、画像データベース１０８に蓄積された伝搬情報を用いて、入力クエリに関連する登録データを取得し、追加クエリとする。
　画像検索部１１２は、入力クエリ及びクエリ補強部１１１で得られた追加クエリを用いて、画像データベース１０８に対して類似画像検索処理を行う。画像検索部１１２は、各クエリから得られた検索結果を、類似度順に並び替え、同一のＩＤのデータに関しては順位の低い結果のみを残すなどの集約処理を行う。またこの際、クエリ補強部１１１で追加されたクエリの結果については、必要に応じて類似度に重み付けをしてもよい。クエリ補強と画像検索に関しては、図６を用いて後述する。表示装置１０３は、以上の検索処理によって得られた検索結果を表示することで、検索結果をユーザに提示する。
　図２は、本実施例の画像検索システム１００のハードウェア構成例を示すブロック図である。画像検索装置１０４は、例えば、一般的な計算機によって実現される。例えば、画像検索装置１０４は、相互に接続されたプロセッサ２０１及び記憶装置２０２を有してもよい。記憶装置２０２は、任意の種類の記憶媒体によって構成される。例えば、記憶装置２０２は、半導体メモリと、ハードディスクドライブとの組み合わせによって構成されてもよい。
　なお、画像入力部１０５、特徴量抽出部１０６、属性伝搬部１０７、画像データベース１０８及び伝搬情報蓄積部１０９、クエリ入力部１１０、クエリ補強部１１１、並びに画像検索部１１２といった機能部は、例えば、プロセッサ２０１が記憶装置２０２に格納された処理プログラム２０３を実行することによって実現される。言い換えると、上記の各機能部が実行する処理は、処理プログラム２０３に基づいて、プロセッサ２０１によって実行される。また、画像データベース１０８のデータは、例えば記憶装置２０２に含まれる。
　画像検索装置１０４は、さらに、プロセッサ２０１に接続されたネットワークインターフェース装置（ＮＩＦ）２０４を含む。画像記憶装置１０１は、例えば、ネットワークインターフェース装置２０４を介して画像検索装置１０４に接続された、ＮＡＳまたはＳＡＮであってもよい。画像記憶装置１０１は、記憶装置２０２に含まれてもよい。
　図３は、本実施例の画像データベース１０８の構成及びデータ例を示す説明図である。なお、本実施形態において、システムが使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。図３はテーブル形式の例を示しているが、例えば、テーブル、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。
　画像データベース１０８は、例えば、画像情報を保持する画像テーブル３００と、画像間のリンクを保持する伝搬情報テーブル３１０と、を含む。図３の各テーブル構成及び各テーブルのフィールド構成は、あくまで一例であり、例えばアプリケーションに応じてテーブル及びフィールドが追加されてもよい。また、同様の情報を保持していれば、テーブル構成を変えてもよい。例えば、画像テーブル３００と伝搬情報テーブル３１０とが結合されひとつのテーブルであってもよい。
　画像テーブル３００は、例えば、画像ＩＤフィールド３０１、画像データフィールド３０２、及び属性１特徴量フィールド３０３を含む。また特徴量抽出部１０６が画像から複数種類の属性の特徴量を抽出する場合は、画像テーブル３００は複数の特徴量フィールドを含む。図３の画像テーブル３００は、２つの属性の特徴量が抽出された例であり、属性２特徴量フィールド３０４を含む。
　画像ＩＤフィールド３０１は、各画像データの識別番号を保持する。画像データフィールド３０２は、例えば、検索結果を表示する際に用いられる画像データをバイナリで保持する。属性１特徴量フィールド３０３及び属性２特徴量フィールド３０４それぞれは、該当する種類の特徴量を保持する。特徴量は、例えば、固定長のベクトルデータで与えられる。また、特徴量は、例えば、属性２特徴量フィールド３０４が保持する特徴量のように、画像間を比較可能であればスカラーデータであってもよい。
　伝搬情報テーブル３１０は、例えば、伝搬情報ＩＤフィールド３１１、属性ＩＤフィールド３１２、伝搬元フィールド３１３、伝搬先フィールド３１４、及び伝搬強度フィールド３１５を含む。伝搬情報ＩＤフィールド３１１は、画像間の属性伝搬の識別番号を保持する。属性ＩＤフィールド３１２は、伝搬対象となる属性の特徴量のＩＤを保持する。属性の特徴量のＩＤは、アプリケーションで管理されてもよいし、テーブルを含むデータベースで管理されてもよい。
　伝搬元フィールド３１３は、属性の伝搬元となる画像ＩＤを保持する。伝搬先フィールド３１４は、属性の伝搬先となる画像ＩＤを保持する。伝搬強度フィールド３１５は、伝搬の強度もしくは信頼度の数値を保持する。伝搬強度は、例えば伝搬元と伝搬先の特徴量ベクトル間の距離が近いほど大きな値となる。なお、伝搬情報テーブル３１０は、例えば伝搬が生成された時刻を記録するフィールドをさらに含んでもよい。
　本実施例の画像検索装置１０４は、登録時に構築された伝搬情報を用いて追加クエリを生成し、入力クエリに追加クエリを加えた検索クエリを用いて検索を行うことで、画像検索の網羅性を高めることができ、画像検索や画像データベース１０８の分析の効率を向上させることができる。
　図４Ａ～図４Ｃは、登録処理において伝搬情報が生成される過程を説明する図である。図４Ａ～図４Ｃは、画像の追加による画像データベース１０８の状態が状態１～状態３に変化する過程を示す。また、図４Ａ～図４Ｃは、２つの特徴量間に類似度が定義でき、類似度を伝搬強度として採用する例を示す。以下、画像ＩＤがＮ（Ｎは自然数）の画像を、画像Ｎと表現する。
　図４Ａは、画像データベース１０８の状態が状態１である例を示す。状態１は、画像１が登録済みの画像テーブル３００に対して、画像２が追加された状態を示す。属性伝搬部１０７は、同種の特徴量を比較し、類似度が所定の閾値以上であれば、伝搬情報を伝搬情報テーブル３１０に記録する。
　図４Ａの例において、属性１特徴量に関しては類似度が閾値以下であるため、属性伝搬部１０７は伝搬を行わない。また、属性２特徴量に関しては特徴量が一致している、即ち類似度が閾値以上であるため、属性伝搬部１０７は、伝搬情報４１１を記録する。具体的には、属性伝搬部１０７は、属性ＩＤフィールド３１２に属性２特徴量の識別子を示す２を、伝搬元フィールド３１３に登録済み画像の画像ＩＤである２を、伝搬先フィールド３１４に追加された画像の画像ＩＤである１を、伝搬強度フィールド３１５に類似度１．０を、それぞれ格納する。
　図４Ｂは、画像データベース１０８の状態が状態２である例を示す。状態２は、画像３が画像テーブル３００に新たに登録された状態を示す。属性伝搬部１０７は、画像３と画像１の間の特徴量比較、及び画像３と画像２の間の特徴量比較を行う。図４Ｂの例では、画像３と画像１との間における属性１特徴量についての伝搬のみが起きる。従って、属性伝搬部１０７は、属性１特徴量に関して伝搬情報４２１を記録する。この結果、画像１と画像２の間で属性２特徴量に関する伝搬情報４１１が記録されており、さらに画像１と画像３の間で属性１特徴量に関する伝搬情報４２１が記録されているため、２つの伝搬情報により画像３と画像２に関係があることが示される。
　図４Ｃは、画像データベース１０８の状態が状態３である例を示す。状態３は、さらに画像４、画像５、及び画像６が登録された状態を示す。図４Ｃに示すように属性の特徴量による伝搬情報で連結された複数のグラフ構造が形成される。なお、以上の処理において画像検索装置１０４は、前述のクラスタリングを用いて特徴量比較回数を削減したり、画像の登録時刻などの書誌データを用いて特徴量比較の対象となる画像を絞り込んだりしてもよく、このとき登録処理速度を向上させることができる。
　図５は、本実施例の画像検索装置１０４が、画像記憶装置１０１から入力された動画または静止画から画像特徴量と画像間の伝搬情報を抽出し、画像データベース１０８に登録する処理の一例を示すフローチャートである。
　画像入力部１０５は、画像記憶装置１０１から画像データを取得し、取得した画像データを必要に応じてシステム内部で利用可能な形式に変換し、画像データを画像テーブル３００に記録する（Ｓ５０１）。画像入力部１０５は、例えば、動画データの入力を受け付けた場合、動画データをフレーム（静止画データ形式）に分解する動画デコード処理を行う。また、画像入力部１０５は、必要に応じて、部分領域の抽出処理を行ってもよい。
　画像検索装置１０４は、例えばシステム設計事項として与えられた所定種類の各属性の特徴量について、ステップＳ５０３からステップＳ５０７の処理を繰り返す（Ｓ５０２）。特徴量抽出部１０６は、入力された画像から、当該種類の特徴量を計算する（Ｓ５０３）。特徴量抽出部１０６は、ステップＳ５０３で得られた特徴量を、画像テーブル３００に登録する（Ｓ５０４）。特徴量抽出部１０６は、必要に応じて、例えば、画像テーブル３００のレコード数が所定の閾値以上である場合、特徴量によるクラスタリング処理を行ってもよい。
　属性伝搬部１０７は、ステップＳ５０３で得られた特徴量と、画像テーブル３００に登録済みの各画像の同種の特徴量と、の間の伝搬強度を算出し、伝搬強度が閾値以上であるか否かを判定する（Ｓ５０５）。属性伝搬部１０７は、伝搬強度が閾値以上である登録済みの画像が存在すれば（Ｓ５０５：ＹＥＳ）、ステップＳ５０７を実行し、そうでなければ（Ｓ５０５：ＮＯ）、ステップＳ５０８に移動する。
　属性伝搬部１０７は、伝搬強度が閾値である登録済み画像の特徴量と入力画像の特徴量とのリンク、を示す伝搬情報を伝搬情報テーブル３１０に記録する（Ｓ５０７）。ステップＳ５０３～ステップＳ５０７の処理が実行されていない属性の特徴量があればステップＳ５０２に移動し、他の属性の特徴量に関する処理が行われる（Ｓ５０８）。全ての属性の特徴量に対してのステップＳ５０３～ステップＳ５０７の処理が実行済みであれば、図５の処理が終了する。
　図６は、本実施例の画像検索装置１０４が、ユーザから指定されたクエリを用いて画像データベース１０８に登録された画像を検索する処理の一例を示す図である。ユーザは、画像データベース１０８から所望の画像を検索するための、入力クエリを生成するための情報を入力する。入力クエリは、画像テーブル３００が保持する画像の特徴量を含む。
　クエリ入力部１１０は、例えば、画像テーブル３００に含まれる画像の画像ＩＤと特徴量の種類を示す情報との入力を受け付け、画像テーブル３００から取得した当該画像ＩＤと特徴量とからなる組み合わせを入力クエリとする。なお、入力クエリに含まれる画像ＩＤに対応する画像をクエリ画像と呼ぶ。
　また、クエリ入力部１１０は、例えば、外部から新たに与えられた画像と特徴量の種類との入力を受け付けてもよい。このとき、クエリ入力部１１０は、例えば、特徴量抽出部１０６と同様の処理により、当該与えられた画像から当該種類の特徴量を抽出し、例えば、画像テーブル３００から、抽出した特徴量と最も類似度の高い特徴量を有する登録済み画像を１つ特定する。クエリ入力部１１０は、例えば、特定した登録済み画像の画像ＩＤと当該登録済み画像の当該種類の特徴量とからなる組み合わせを、入力クエリとする。
　図６は、入力クエリ６０１の画像ＩＤが６、特徴量の種類が属性１特徴量である例を示す。なお、入力クエリ６０１は、複数種類の特徴量を含んでもよい。また、複数の画像がクエリ画像として指定されていてもよい。画像検索装置１０４は、伝搬情報テーブル３１０で定義された登録済み画像間のリンクを示す情報、即ち１以上のグラフからなるグラフ集合４３０の情報を保持している。クエリ補強部１１１は、入力クエリ６０１で指定されたクエリ画像の情報を含むグラフをグラフ集合４３０から選択し、クエリ画像の入力クエリ６０１で指定された特徴量を出発点として、リンクをたどることにより選択したグラフを探索する。
　クエリ補強部１１１は、入力クエリ６０１で指定された画像６の属性１特徴量からリンク６０２をたどることにより、画像３を得る。クエリ補強部１１１は、得られた画像の特徴量から順にリンクをたどった経路上にある、画像６、画像３、画像１、及び画像２からなる一連の画像集合を得る。
　なお、クエリ補強部１１１は、リンクをたどる際に、同一の画像内で、属性切り替え６０３を行って、切り替え先の特徴量のリンクをたどってもよい。クエリ補強部１１１が同一画像内で属性切り替え６０３を行うことにより、特徴量間の関連を維持しつつ検索の網羅率を向上させることができる。また、図６ではリンクを有向辺で表現しているが、リンクは無向辺であってもよい。つまり、画像検索装置１０４は、方向に従った探索を行ってもよいし、図６に示したように方向を無視した探索を行ってもよい。クエリ補強部１１１は、例えば、ダイクストラ法等の探索アルゴリズムを用いて、上述の探索を行う。
　クエリ補強部１１１は、上述した探索によって得られた一連の画像の画像ＩＤそれぞれと、当該画像における入力クエリと同種の特徴量と、からなる組み合わせである追加クエリを、入力クエリ６０１に加えたクエリを、検索クエリ６０４とする。なお、入力クエリ６０１が複数種類の特徴量を含む場合、クエリ補強部１１１は各特徴量を出発点とした探索を行い、各特徴量について補強クエリを生成する。
　次に、画像検索部１１２は、検索クエリ６０４に含まれる各特徴量について、類似する特徴量を有する画像を画像テーブル３００から検索する類似画像検索を行う。なお、検索クエリ６０４の各クエリが複数種類の特徴量を含む場合、画像検索部１１２は、例えば、複数種類の特徴量それぞれについて、当該種類の特徴量が類似する画像を検索してもよいし、当該複数種類の特徴量を総合して得られる特徴量が類似する画像を検索してもよい。画像検索部１１２は、画像ＩＤと、当該画像ＩＤの画像と検索元となったクエリ画像ＩＤとの類似度と、の組み合わせとして、検索結果を得る。
　画像検索部１１２は、例えば、得られた全ての検索結果を、類似度順に並び替えて、表示装置１０３に出力する。このとき、画像検索部１１２は、例えば、同一の画像ＩＤの検索結果のうち、類似度が所定の閾値以上のもののみを出力してもよい。
　また、画像検索部１１２は、検索結果を類似度順に並び替える際に、使用されたクエリ画像の入力クエリ画像からの伝搬強度に応じて、検索結果の類似度に重みを付けてもよい。画像３から画像６への伝搬強度は０．９であるため、画像検索部１１２は、例えば、画像３をクエリ画像とした検索結果の類似度に対して０．９を当該重みとして掛ける。
　また、画像検索部１１２は、入力クエリ６０１のクエリ画像である画像６から複数の伝搬情報をたどって得られた検索結果の類似度に対して、例えば、当該複数の伝搬情報における伝搬強度の積を当該重みとして掛ける。また、画像検索部１１２は、属性切り替えが行われて得られた検索結果の類似度に対して、例えば、入力クエリである画像６の特徴量と当該検索結果の画像の特徴量との伝搬強度を算出し、算出した伝搬強度を当該重みとして掛けてもよい。画像検索部１１２が類似度に重みを付与することにより、ユーザが最初に指定した入力クエリ６０１のクエリ画像に近い画像の類似度が高くなる。
　図７は、本実施の画像検索装置１０４が、ユーザから指定されたクエリを用いて画像データベース１０８に登録された画像を検索する処理の一例を説明するフローチャートである。以下、図７の各ステップについて説明する。
　クエリ入力部１１０は、ユーザから入力クエリを生成するための情報を受け付け、入力クエリを生成する（Ｓ７０１）。クエリ入力部１１０は、登録済み画像ＩＤと特徴量の種類との入力を受け付けた場合、画像テーブル３００から当該画像ＩＤを有する画像の当該種類の特徴量を取得する。クエリ入力部１１０は、外部の画像データと特徴量の種類の入力とを受け付けた場合、当該画像から抽出した当該種類の特徴量に類似する特徴量を有する画像の画像ＩＤと、当該画像ＩＤを有する画像の当該種類の特徴量と、を画像テーブル３００から取得する。クエリ入力部１１０は、クエリ画像の画像ＩＤとクエリ画像の所定の特徴量との組み合わせを入力クエリとして得る。
　クエリ補強部１１１は、ステップＳ７０１で得られた入力クエリを、空のクエリ集合に追加する（Ｓ７０２）。クエリ補強部１１１は、クエリ集合に含まれる各クエリに対してステップＳ７０４からステップＳ７０６の処理を実行する（Ｓ７０３）。クエリ補強部１１１は、クエリ画像を伝搬元及び伝搬先とし、当該種類の特徴量に対応する属性ＩＤを有する伝搬情報を伝搬情報テーブル３１０から取得する（Ｓ７０４）。
　クエリ補強部１１１は、取得した伝搬情報に伝搬強度が閾値以上であるものが含まれるか否かを判定する（Ｓ７０５）。伝搬強度が閾値以上の伝搬情報があれば（Ｓ７０５：ＹＥＳ）、ステップＳ７０６を実行し、そうでなければ（Ｓ７０５：ＮＯ）ステップＳ７０７に移動する。クエリ補強部１１１は、例えば、システム所定の値か、ユーザが検索パラメータとして与えた値を、当該閾値として使用する。なお、当該閾値は、例えば、属性ＩＤごとに異なる値であってもよい。
　クエリ補強部１１１は、伝搬強度が閾値以上である画像をクエリ画像とするクエリをクエリ集合に追加する（Ｓ７０６）。なお、伝搬情報テーブル３１０に、伝搬が生成された時刻が記録されている場合、クエリ補強部１１１は、伝搬が生成された時刻が、現在時刻から所定時間以内である画像をクエリ集合から除外してもよい。
　クエリ集合の全てのクエリに対してステップＳ７０４～ステップＳ７０６の処理が実行済みであれば、ステップＳ７０８に移動し、ステップＳ７０４～ステップＳ７０６の処理が実行されていないクエリがあればステップＳ７０４に戻り当該クエリに対して処理が行われる（Ｓ７０７）。
　画像検索部１１２は、クエリ集合に含まれるすべてのクエリに対してステップＳ７０９からステップＳ７１０の処理を実行する（Ｓ７０８）。なお、画像検索部１１２は、例えば、伝搬強度が所定の閾値以上（当該閾値はステップＳ７０５の閾値より大きい値）のクエリ（類似性の高いクエリ）に関しては、ランダムに選択した所定数のクエリのみを処理し、残りのクエリに関してはステップＳ７０８～ステップＳ７０９の処理をスキップしてもよい。伝搬強度が極端に高い２つのクエリそれぞれによる類似画像検索結果は、互いに酷似している可能性が高い。従って、画像検索部１１２は、例えば、伝搬強度が閾値より高い２つのクエリについては、一方のクエリのみについて検索処理を行うことにより、検索網羅率の低下を抑えつつ、検索時間を短縮することができる。
　画像検索部１１２は、当該クエリを用いて画像検索を行い画像データベース１０８から類似画像を取得する。画像検索部１１２は、例えば、検索結果として類似画像ＩＤと、当該クエリ画像の特徴量と類似画像の特徴量との類似度の組み合わせと、を得る（Ｓ７０９）。
　画像検索部１１２は、ステップＳ７０９で得られた類似画像に入力クエリと該当クエリ間の伝搬強度に応じた重みを付与し、検索結果の集合に追加する（Ｓ７１０）。画像検索部１１２は、例えば、ユーザから指定された検索パラメータに従い、ステップＳ７１０の処理を実行するか否かを切り替えてもよい。
　クエリ集合に含まれる全てのクエリに対して、ステップＳ７０９～ステップＳ７１０の処理が実行済みであれば、ステップＳ７１２に移動し、ステップＳ７０９～ステップＳ７１０の処理が実行されていないクエリがあれば、ステップＳ７０９に戻り当該クエリに対して処理が行われる（Ｓ７１１）。
　画像検索部１１２は、検索結果を類似度（類似度に重みが付与された場合は、重み付与後の類似度）の高い順に並び替え、表示装置１０３に表示して処理を終了する（Ｓ７１２）。この際、画像検索部１１２は、同一画像ＩＤの画像を含む複数の検索結果を得た場合、例えば、類似度が高い順に所定個数の検索結果のみを残して集約してもよい。
　図８は、本実施例の画像検索装置１０４を用いて、画像検索を行うための操作画面の構成例を示す図である。操作画面は、例えば、表示装置１０３上でユーザに提示される。ユーザは、例えば入力装置１０２を用いて、画面上に表示されたカーソル８００を操作することで、画像検索装置１０４に処理の指示を与える。
　操作画面は、例えば、クエリ画像表示領域８０１、詳細オプション表示ボタン８０２、追加クエリ表示領域８０３、伝搬情報表示領域８０４、検索ボタン８０５、及び検索結果表示領域８０６を含む。クエリ画像表示領域８０１に表示される情報は、例えば、クエリ入力部１１０によって表示装置１０３に出力される。追加クエリ表示領域８０３及び伝搬情報表示領域８０４に表示される情報は、例えば、クエリ補強部１１１によって表示装置１０３に出力される。検索結果表示領域８０６に表示される情報は、例えば、画像検索部１１２によって表示装置１０３に出力される。
　まず、ユーザは検索の手がかりとなる画像を指定する。操作画面は、例えば、登録画像選択のためのダイアログを表示してもよいし、外部の画像を入力するインタフェースを含んでもよい。ユーザが指定した画像は、クエリ画像表示領域８０１に表示される。
　クエリ補強部１１１は、ユーザが指定したクエリ画像の伝搬情報を用いて、追加クエリ生成する。追加クエリ表示領域８０３は、例えば、生成した追加クエリの情報、例えば追加クエリのクエリ画像、特徴量等を表示する。追加クエリ表示領域８０３が追加クエリの情報を表示することにより、ユーザは追加クエリが適切であるかを判断することができる。なお、例えば、ユーザが詳細オプション表示ボタン８０２にチェックを入れた場合に、追加クエリ表示領域８０３は追加クエリの情報を表示してもよい。
　伝搬情報表示領域８０４は、例えば、クエリ画像が伝搬元又は伝搬先である伝搬情報を表示する。伝搬情報表示領域８０４が伝搬情報を表示することにより、追加クエリがどのような経緯で得られたかを直感的にユーザに伝えることができる。追加クエリ表示領域８０３に表示された追加クエリが、追加クエリとして適切でないとユーザが判断した場合に、例えば、ユーザが追加クエリ表示領域８０３や伝搬情報表示領域８０４を操作してクエリを除外できるように、操作画面が構成されてもよい。
　ユーザが検索ボタン８０５をクリックすると、画像検索部１１２は、画像データベース１０８に対して入力クエリ及び検索クエリを使用した類似画像検索を行う。検索結果は、例えば、類似度順に並び替えられ、同一画像ＩＤを有する検索結果は集約されて、検索結果表示領域８０６に表示される。
　図９は、本実施例の画像検索システム１００の処理の一例を説明するシーケンス図である。図９は、具体的には上記した画像検索システム１００の画像登録及び画像検索処理における、ユーザ９００、画像記憶装置１０１、計算機９０１、及び画像データベース１０８間の処理シーケンスを示す。なお、計算機９０１は、画像検索装置１０４を実現する計算機である。ユーザ９００は、例えば、入力装置１０２を介して、計算機９０１に対する要求及び指示の送信、並びにデータの入力等を行い、表示装置１０３を介して計算機９０１からの処理結果等の提示を受ける。
　図９において、Ｓ９１０は登録処理を、Ｓ９２０は検索処理を示す。登録処理Ｓ９１０は、ステップＳ９１１～ステップＳ９１６に示す処理を含む。ユーザ９００が登録開始要求を出すと（Ｓ９１１）、計算機９０１は画像記憶装置１０１に画像データ取得要求を出し（Ｓ９１２）、画像記憶装置１０１から画像データを取得する（Ｓ９１３）。
　以下に述べるステップＳ９１４～ステップＳ９１６の処理は、図５において説明した一連の登録処理に相当する。計算機９０１は、取得した画像から特徴量を抽出し、特徴量と画像データとを画像データベース１０８に登録する（Ｓ９１４）。次に、計算機９０１は、取得した画像の特徴量と画像データベース１０８に登録済みの画像の同種の特徴量とを比較し、伝搬強度の高い特徴量同士のリンク及び当該リンクにおける伝搬強度を伝搬情報として画像データベース１０８に記録する（Ｓ９１５）。登録処理が終了すると、計算機９０１はユーザ９００に対して登録完了の通知を行う（Ｓ９１６）。
　検索処理Ｓ９２０は、ステップＳ９２１～ステップＳ９２８に示す処理を含み、図７において説明した一連の検索処理に相当する。ユーザ９００が、計算機９０１に対して検索要求を出すと（Ｓ９２１）、計算機９０１は、画像データベース１０８からクエリ画像のデータを読み出す（Ｓ９２２）。また、計算機９０１は、検索要求において外部から画像が与えられた場合、当該画像の特徴量を抽出し、例えば、当該特徴量における類似度が高い画像を画像データベース１０８から選択し、選択した画像をクエリ画像とする。
　次に、計算機９０１は、伝搬情報を用いて画像データベース１０８を探索し、探索によって得られた画像をクエリ集合に追加する（Ｓ９２３）。追加されたクエリはユーザ９００に提示され（Ｓ９２４）、ユーザ９００は必要に応じてクエリを訂正し検索実行要求を計算機９０１に送る（Ｓ９２５）。計算機９０１は、クエリ集合の各画像特徴量を用いて類似画像検索を実行する（Ｓ９２６）。計算機９０１は、得られた検索結果を、類似度順に並び替え、同一画像ＩＤを有する検索結果に関しては集約して（Ｓ９２７）、検索結果をユーザ９００に提示する（Ｓ９２８）。
　本実施例の画像検索装置１０４は、入力された画像の１種類以上の特徴量と登録済みの画像の特徴量とを比較し、類似性の高い画像間のリンクを表す伝搬情報を生成し、画像データベース１０８に記録する。画像検索装置１０４は、伝搬情報に基づいて入力クエリを補強することにより得られた検索クエリを用いて、類似画像検索を行うことで、検索精度を確保しつつ検索の網羅率を高めることができる。
　実施例１の画像検索装置１０４は、画像の登録時に伝搬情報を生成するが、本実施例の画像検索装置１０４は、画像の登録後に伝搬情報を更新したり、新たな属性に対する伝搬情報を付与したりすることができる。
　図１０は、本実施例の画像検索システムの構成例を示すブロック図である。画像検索システム１００は、画像検索を用いて属性の付与及び伝搬情報の更新を行う。本実施例の画像検索システム１００は、実施例１の画像検索システム１００の構成に加え、伝搬情報更新部１００１を含む。伝搬情報更新部１００１は、例えば、画像検索部１１２による検索処理において得られた検索結果に含まれる画像に対して属性及び伝搬情報を付与する。伝搬情報更新部１００１は、クエリ画像と画像検索部１１２で得られた検索結果の画像との間に、例えばユーザの指示に従い、伝搬情報を付与する。
　図１１は、伝搬情報の追加機能を利用して画像に対するアノテーションを行うための画面構成例である。アノテーションは、画像を説明する単語や文章などのタグを画像に対して付与していく作業であり、タグによる画像の分類や検索、及びデータベースの解析等を目的として行われる。また、十分な数の画像とタグの組が得られれば、機械学習を用いることで未知の画像を認識する画像識別器を作ることができる。図１１のアノテーション支援画面は、画像の類似性の自動判定だけでは正しいタグの付与が期待できない場合に、人の判断によってタグを伝搬させるための画面である。
　アノテーション画面は、タグ入力領域１１０１、検索ボタン１１０２、参照画像表示領域１１０３、伝搬情報表示領域１１０４、タグ付け候補表示領域１１０５、及びタグ付けボタン１１０６を含む。参照画像表示領域１１０３及び伝搬情報表示領域１１０４に表示される情報は、例えば、クエリ補強部１１１によって表示装置１０３に出力される。タグ付け候補表示領域１１０５に表示される情報は、例えば、画像検索部１１２によって表示装置１０３に出力される。
　ユーザがタグ入力領域１１０１にタグを入力し、検索ボタン１１０２をクリックすると、クエリ補強部１１１は、入力タグを持つ画像を参照画像として取得する。参照画像表示領域１１０３は参照画像を表示する。続いて画像検索部１１２は、各参照画像をクエリとした、入力タグ以外の所定の特徴量による類似画像検索を行い、入力タグが付与されていない類似画像を画像データベース１０８から取得する。
　画像検索部１１２は、類似画像と類似度の組み合わせを含む検索結果を、例えば、類似度順に並び替える。検索結果は、タグ付与済みの画像に類似するため、同一のタグを付与すべき候補画像と考えることができる。タグ付け候補表示領域１１０５は、当該検索結果を表示する。また、例えば、クエリ補強部１１１は、伝搬情報テーブル３１０を参照して、参照画像と候補画像との間に伝搬情報を取得してもよい。伝搬情報表示領域１１０４は、クエリ補強部１１１が取得した伝搬情報を表示する。
　伝搬情報表示領域１１０４が伝搬情報を可視化することで、例えば、ユーザが誤った候補提示の要因となる参照画像を発見しやすくなる。図１１の例では、候補画像ｃ、ｇ、及びｈは参照画像４との間に伝搬関係があり、参照画像４自体に誤ったタグが付与されている可能性がある。アノテーション画面はこのような画像をハイライト表示してもよい。
　ユーザは、タグ付け候補表示領域１１０５に表示された画像をチェックし、入力タグを付与すべき画像を選択する。選択操作はマウスのドラッグ操作によって行われてもよいし、チェックボックスのクリックによって行われてもよい。次に、ユーザはタグ付けボタン１１０６をクリックし、選択された画像に対してタグを付与する。画像検索装置１０４は、選択された画像に対して入力タグを属性の特徴量として書き込み、参照画像との間に伝搬情報を追加する。
　図１２は、アノテーションの処理の一例を示すフローチャートである。以下、図１２の各ステップについて説明する。クエリ入力部１１０は、ユーザが入力したタグを取得する（Ｓ１２０１）。
　クエリ補強部１１１は、画像データベース１０８から入力タグが付与された画像を所定数取得し、取得した画像の画像ＩＤと当該入力タグ以外の所定種類の特徴量との組み合わせからなる当該所定数のクエリをクエリ集合とする（Ｓ１２０２）。この際、クエリ補強部１１１は、伝搬情報を用いて、クエリ集合に含めるクエリ画像を選択してもよい。例えば、伝搬情報のある特徴量間における類似度は高いため、タグ付けの当該特徴量を有する画像は参照画像として冗長である可能性が高い。そこで、クエリ補強部１１１は、例えば、伝搬情報のグラフ構造上で隣接する画像については、例えば、当該画像の一方のみをクエリ画像として選択する。これにより、クエリ補強部１１１は、同一のタグを持つバリエーションに富んだ参照画像を得ることができる。
　画像検索部１１２は、ステップＳ１２０２で得られた参照画像の所定種類の特徴量を用いて、類似画像検索を実行する（Ｓ１２０３）。画像検索部１１２は、例えば、類似度の高い順に検索結果を並び替え、同一の画像ＩＤを有する検索結果を集約する。また、画像検索部１１２は、互いに類似する検索結果を集約して出力してもよく、これにより画像検索部１１２は、検索結果のバリエーションを確保しつつ、表示する検索結果の数を減らすことができる。
　画像検索部１１２は、検索結果に含まれる画像をタグ付けの候補画像として表示装置１０３に表示する（Ｓ１２０４）。ユーザは、候補画像からタグ付け対象の画像を選択し、システムに伝える。この時、表示装置１０３は、候補画像が選択された時に、伝搬元又は伝搬先となる参照画像をハイライトするなどしてもよく、このときユーザが伝搬情報を確認しやすくなる。また、実施例１の方法で自動構築された伝搬情報と、ユーザが指定した伝搬情報が食い違った場合に、画像検索装置１０４は、アラートを出すようにしてもよい。
　伝搬情報更新部１００１は、ユーザが選択した画像に対してタグを付与する（Ｓ１２０５）。また、伝搬情報更新部１００１は、参照画像それぞれに付与されたタグと、新規に付与されたタグと、の間に伝搬情報を追加する。即ち、伝搬情報更新部１００１は、例えば、伝搬情報テーブル３１０の、属性ＩＤフィールド３１２に入力タグを示すＩＤを、伝搬元フィールド３１３にクエリ画像の画像ＩＤを、伝搬先フィールド３１４に当該選択した画像を、伝搬強度にユーザが指定した値（例えば１．０）を、格納する。
　本実施例の画像検索装置１０４は、画像登録後に伝搬情報を更新することができる。特に、本実施例の画像検索装置１０４は、アノテーション作業におけるタグ付け候補画像を高精度かつ網羅的に検索することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (14)

  1. 　登録済み画像と、前記登録済み画像の第１種類を含む１種類以上の特徴量と、前記登録済み画像の同種の特徴量間のリンクを示す伝搬情報と、を保持する画像データベースから画像を検索する、画像検索装置であって、
    　第１画像及び前記第１画像の前記１種類以上の特徴量を取得し、前記画像データベースに登録する画像取得部と、
    　前記第１画像の各種類の特徴量について、前記登録済み画像の当該種類の特徴量それぞれと、の間の類似同一性を示す伝搬強度を算出し、前記第１画像の当該種類の特徴量と、前記第１画像の当該種類の特徴量との間の伝搬強度が最大である登録済み画像の当該種類の特徴量と、のリンクを、前記伝搬情報に含める属性伝搬部と、
    　前記画像データベースが保持する前記登録済み画像の特徴量から、第１種類の第１特徴量を取得し、前記第１特徴量を含む入力クエリを生成するクエリ入力部と、
    　前記伝搬情報が示す対応に基づいて、前記第１特徴量を出発点とした、前記登録済み画像の特徴量をたどる探索を行い、前記探索における経路上の特徴量を有する登録済み画像の第１種類の特徴量を含む追加クエリを生成する、クエリ補強部と、
    　前記入力クエリ及び前記追加クエリを使用して、前記画像データベースから画像を検索する、画像検索部と、を含む画像検索装置。
  2. 　請求項１に記載の画像検索装置であって、
    　前記クエリ補強部は、前記探索において、同じ登録済み画像の異なる種類の特徴量をたどる、画像検索装置。
  3. 　請求項１に記載の画像検索装置であって、
    　前記画像データベースが保持する伝搬情報は、前記登録済み画像の同種の特徴量間のリンクそれぞれにおける伝搬強度を含み、
    　前記属性伝搬部は、前記伝搬情報に含めたリンクにおける伝搬強度を、前記伝搬情報に含め、
    　前記画像検索部は、
    　前記入力クエリ及び前記追加クエリの特徴量それぞれと、前記登録済み画像の前記第１種類の特徴量それぞれと、の間の類似性を示す類似度を算出し、
    　前記算出した類似度それぞれに、前記探索における経路上において、当該類似度の算出に用いられた前記入力クエリ及び前記追加クエリの特徴量と、前記第１特徴量と、の間に存在する前記伝搬情報が示す伝搬強度、に基づく重みを付与し、
    　前記重みが付与された類似度に基づいて、前記画像データベースから画像を検索する、画像検索装置。
  4. 　請求項１に記載の画像検索装置であって、
    　前記画像データベースが保持する伝搬情報は、前記登録済み画像の同種の特徴量間のリンクそれぞれにおける伝搬強度を含み、
    　前記属性伝搬部は、前記伝搬情報に含めたリンクにおける伝搬強度を、前記伝搬情報に含め、
    　前記画像検索部は、前記入力クエリ又は前記追加クエリに含まれる特徴量の組み合わせであって、前記探索における経路上において、前記伝搬情報が示す伝搬強度が閾値以上である特徴量の組み合わせ、が存在する場合、前記組み合わせに含まれる特徴量の一方を使用して、前記画像データベースから画像を検索する、画像検索装置。
  5. 　請求項１に記載の画像検索装置であって、
    　前記クエリ補強部は、
    　前記追加クエリの特徴量を有する登録済み画像それぞれを前記画像データベースから取得し、
    　前記取得した登録済み画像それぞれと、前記探索における経路を示す情報と、を出力する、画像検索装置。
  6. 　請求項１に記載の画像検索装置であって、
    　前記１種類以上の特徴量は、画像に第１タグが付与されているか否かを示す第２種類の特徴量と、前記第２種類と異なる第３種類の特徴量と、を含み、
    　前記クエリ補強部は、前記画像データベースから前記第１タグが付与されている登録済み画像を特定し、前記特定した登録済み画像それぞれの前記第３種類の特徴量を取得し、
    　前記画像検索部は、前記取得した第３種類の特徴量それぞれを含むクエリを用いて、前記画像データベースからタグ付け候補画像を検索し、
    　前記画像検索装置は、
    　前記タグ付け候補画像に含まれる第２画像に前記第１タグを付与し、前記第２画像に付与された第１タグと、前記特定した登録済み画像に付与されている第１タグそれぞれと、のリンクを前記伝搬情報に含める、伝搬情報更新部を含む、画像検索装置。
  7. 　請求項６に記載の画像検索装置であって、
    　前記クエリ補強部は、
    　前記特定した登録済み画像それぞれと、前記タグ付け候補画像の前記第３種類の特徴量と、を前記画像データベースから取得し、
    　前記伝搬情報を参照して、前記取得した第３種類の特徴量それぞれと、前記タグ付け候補画像の前記第３種類の特徴量それぞれと、のリンクを取得し、
    　前記特定した登録済み画像それぞれと、前記取得したリンクを示す情報と、を出力し、
    　前記画像検索部は、前記タグ付け候補画像を出力する、画像検索装置。
  8. 　画像検索装置が、登録済み画像と、前記登録済み画像の第１種類を含む１種類以上の特徴量と、前記登録済み画像の同種の特徴量間のリンクを示す伝搬情報と、を保持する画像データベースから、画像を検索する方法、であって、
    　前記方法は、
    　前記画像装置が、
    　第１画像及び前記第１画像の前記１種類以上の特徴量を取得し、前記画像データベースに登録する手順と、
    　前記第１画像の各種類の特徴量について、前記登録済み画像の当該種類の特徴量それぞれと、の間の類似同一性を示す伝搬強度を算出し、前記第１画像の当該種類の特徴量と、前記第１画像の当該種類の特徴量との間の伝搬強度が最大である登録済み画像の当該種類の特徴量と、のリンクを、前記伝搬情報に含める手順と、
    　前記画像データベースが保持する前記登録済み画像の特徴量から第１種類の第１特徴量を取得し、前記第１特徴量を含む入力クエリを生成する手順と、
    　前記伝搬情報が示す対応に基づいて、前記第１特徴量を出発点とした、前記登録済み画像の特徴量をたどる探索を行い、前記探索における経路上の特徴量を有する登録済み画像の第１種類の特徴量を含む追加クエリを生成する手順と、
    　前記入力クエリ及び前記追加クエリを使用して、前記画像データベースから画像を検索する手順と、を含む方法。
  9. 　請求項８に記載の方法であって、
    　前記画像検索装置が、
    　前記追加クエリを生成する手順において、前記探索において、同じ登録済み画像の異なる種類の特徴量をたどる、方法。
  10. 　請求項８に記載の方法であって、
    　前記画像データベースが保持する伝搬情報は、前記登録済み画像の同種の特徴量間のリンクそれぞれにおける伝搬強度を含み、
    　前記方法は、
    　前記画像検索装置が、
    　前記含める手順において、前記伝搬情報に含めたリンクにおける伝搬強度を、前記伝搬情報に含め、
    　前記検索する手順において、
    　前記入力クエリ及び前記追加クエリの特徴量それぞれと、前記登録済み画像の前記第１種類の特徴量それぞれと、の間の類似性を示す類似度を算出し、
    　前記算出した類似度それぞれに、前記探索における経路上において、当該類似度の算出に用いられた前記入力クエリ及び前記追加クエリの特徴量と、前記第１特徴量と、の間に存在する前記伝搬情報が示す伝搬強度、に基づく重みを付与し、
    　前記重みが付与された類似度に基づいて、前記画像データベースから画像を検索する、方法。
  11. 　請求項８に記載の方法であって、
    　前記画像データベースが保持する伝搬情報は、前記登録済み画像の同種の特徴量間のリンクそれぞれにおける伝搬強度を含み、
    　前記方法は、
    　前記画像検索装置が、
    　前記含める手順において、前記伝搬情報に含めたリンクにおける伝搬強度を、前記伝搬情報に含め、
    　前記検索する手順において、前記入力クエリ又は前記追加クエリに含まれる特徴量の組み合わせであって、前記探索における経路上において、前記伝搬情報が示す伝搬強度が閾値以上である特徴量の組み合わせ、が存在する場合、前記組み合わせに含まれる特徴量の一方を使用して、前記画像データベースから画像を検索する、方法。
  12. 　請求項８に記載の方法であって、
    　前記画像検索装置が、
    　前記追加クエリの特徴量を有する登録済み画像それぞれを前記画像データベースから取得する手順と、
    　前記取得した登録済み画像それぞれと、前記探索における経路を示す情報と、を出力する手順と、をさらに含む方法。
  13. 　請求項８に記載の方法であって、
    　前記１種類以上の特徴量は、画像に第１タグが付与されているか否かを示す第２種類の特徴量と、前記第２種類と異なる第３種類の特徴量と、を含み、
    　前記方法は、
    　前記画像検索装置が、
    　前記画像データベースから前記第１タグが付与されている登録済み画像を特定し、前記特定した登録済み画像それぞれの前記第３種類の特徴量を取得する手順と、
    　前記取得した第３種類の特徴量それぞれを含むクエリを用いて、前記画像データベースからタグ付け候補画像を検索する手順と、
    　前記タグ付け候補画像に含まれる第２画像に前記第１タグを付与し、前記第２画像に付与された第１タグと、前記特定した登録済み画像に付与されている第１タグそれぞれと、のリンクを前記伝搬情報に含める、手順と、をさらに含む方法。
  14. 　請求項１３に記載の方法であって、
    　前記画像検索装置が、
    　前記特定した登録済み画像それぞれと、前記タグ付け候補画像の前記第３種類の特徴量と、を前記画像データベースから取得する手順と、
    　前記伝搬情報を参照して、前記取得した第３種類の特徴量それぞれと、前記タグ付け候補画像の前記第３種類の特徴量それぞれと、のリンクを取得する手順と、
    　前記特定した登録済み画像それぞれと、前記取得したリンクを示す情報と、を出力する手順と、
    　前記画像検索部は、前記タグ付け候補画像を出力する手順と、をさらに含む方法。
PCT/JP2015/057516 2015-03-13 2015-03-13 画像検索装置、及び画像を検索する方法 WO2016147260A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580067867.1A CN107004025B (zh) 2015-03-13 2015-03-13 图像检索装置及检索图像的方法
US15/556,994 US10657171B2 (en) 2015-03-13 2015-03-13 Image search device and method for searching image
JP2017505775A JP6371465B2 (ja) 2015-03-13 2015-03-13 画像検索装置、及び画像を検索する方法
PCT/JP2015/057516 WO2016147260A1 (ja) 2015-03-13 2015-03-13 画像検索装置、及び画像を検索する方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/057516 WO2016147260A1 (ja) 2015-03-13 2015-03-13 画像検索装置、及び画像を検索する方法

Publications (1)

Publication Number Publication Date
WO2016147260A1 true WO2016147260A1 (ja) 2016-09-22

Family

ID=56918489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/057516 WO2016147260A1 (ja) 2015-03-13 2015-03-13 画像検索装置、及び画像を検索する方法

Country Status (4)

Country Link
US (1) US10657171B2 (ja)
JP (1) JP6371465B2 (ja)
CN (1) CN107004025B (ja)
WO (1) WO2016147260A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159095A1 (ja) * 2017-02-28 2018-09-07 株式会社日立製作所 画像検索装置及び画像検索方法
WO2023203849A1 (ja) * 2022-04-21 2023-10-26 株式会社日立製作所 空間可視化システム及び空間可視化方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354885A (zh) * 2016-10-14 2017-01-25 百度在线网络技术（北京）有限公司 搜索方法和装置
CN112352230B (zh) * 2018-06-28 2021-08-27 三菱电机株式会社 检索装置、检索方法及机器学习装置
JP7018001B2 (ja) 2018-09-20 2022-02-09 株式会社日立製作所 情報処理システム、情報処理システムを制御する方法及びプログラム
WO2020201866A1 (ja) * 2019-03-29 2020-10-08 株式会社半導体エネルギー研究所 画像検索システム、及び画像検索方法
CN111125410A (zh) * 2019-12-19 2020-05-08 湖北南楚网络传媒有限公司 一种海量图形图像智能识别检索系统
JP7227934B2 (ja) * 2020-02-20 2023-02-22 株式会社日立製作所 車両運用支援装置、及び車両運用支援方法
CN113609335B (zh) * 2021-08-12 2023-02-03 北京滴普科技有限公司 一种目标对象查找方法、系统、电子设备及存储介质
CN114119989B (zh) * 2021-11-29 2023-08-11 北京百度网讯科技有限公司 图像特征提取模型的训练方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069480A1 (en) * 2006-09-14 2008-03-20 Parham Aarabi Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying
JP2008129942A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd コンテンツ検索装置
JP2009245304A (ja) * 2008-03-31 2009-10-22 Fujitsu Ltd 画像間対応付けプログラム、画像間対応付け装置および画像間対応付け方法
WO2012101697A1 (ja) * 2011-01-26 2012-08-02 パナソニック株式会社 画像管理装置、画像管理方法、プログラム、記録媒体、集積回路
JP2014032656A (ja) * 2012-08-03 2014-02-20 Fuji Xerox Co Ltd コンテンツ・リンクを生成する方法、装置およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3505393B2 (ja) * 1998-06-19 2004-03-08 日本電信電話株式会社 類似オブジェクト検索方法、装置、および類似オブジェクト検索プログラムを記録した記録媒体
JP2003316819A (ja) * 2002-04-22 2003-11-07 Shinkichi Himeno オブジェクト分類検索装置及びそれを実行するためのプログラム
US20040015777A1 (en) * 2002-07-22 2004-01-22 International Business Machines Corporation System and method for sorting embedded content in Web pages
JP2007323319A (ja) * 2006-05-31 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> 類似検索処理方法及び装置及びプログラム
JP4989308B2 (ja) * 2007-05-16 2012-08-01 キヤノン株式会社 画像処理装置及び画像検索方法
JP5199939B2 (ja) 2009-04-15 2013-05-15 ヤフー株式会社 画像検索装置、画像検索方法及びプログラム
JP2012208553A (ja) * 2011-03-29 2012-10-25 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN102136007B (zh) * 2011-03-31 2013-07-10 石家庄铁道大学 基于小世界特性的工程信息组织方法
JP6075294B2 (ja) * 2011-12-12 2017-02-08 日本電気株式会社 画像処理システム及び画像処理方法
JP5955199B2 (ja) * 2011-12-20 2016-07-20 富士フイルム株式会社 画像処理装置および画像処理方法、並びに、画像処理プログラム
SG11201407749TA (en) * 2012-05-24 2014-12-30 Hitachi Ltd Image analysis device, image analysis system, and image analysis method
CN103995831B (zh) * 2014-04-18 2017-04-12 新浪网技术(中国)有限公司 基于物品间相似度的物品处理方法、系统和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069480A1 (en) * 2006-09-14 2008-03-20 Parham Aarabi Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying
JP2008129942A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd コンテンツ検索装置
JP2009245304A (ja) * 2008-03-31 2009-10-22 Fujitsu Ltd 画像間対応付けプログラム、画像間対応付け装置および画像間対応付け方法
WO2012101697A1 (ja) * 2011-01-26 2012-08-02 パナソニック株式会社 画像管理装置、画像管理方法、プログラム、記録媒体、集積回路
JP2014032656A (ja) * 2012-08-03 2014-02-20 Fuji Xerox Co Ltd コンテンツ・リンクを生成する方法、装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159095A1 (ja) * 2017-02-28 2018-09-07 株式会社日立製作所 画像検索装置及び画像検索方法
WO2023203849A1 (ja) * 2022-04-21 2023-10-26 株式会社日立製作所 空間可視化システム及び空間可視化方法

Also Published As

Publication number Publication date
JPWO2016147260A1 (ja) 2017-09-28
CN107004025A (zh) 2017-08-01
JP6371465B2 (ja) 2018-08-08
US10657171B2 (en) 2020-05-19
US20180060356A1 (en) 2018-03-01
CN107004025B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
JP6371465B2 (ja) 画像検索装置、及び画像を検索する方法
JP6811645B2 (ja) 画像検索装置及び画像検索方法
US11243993B2 (en) Document relationship analysis system
JP6190887B2 (ja) 画像検索システムおよび情報記録媒体
US20190251471A1 (en) Machine learning device
CN106095738B (zh) 推荐表单片段
JP2008102594A (ja) コンテンツの検索方法及び検索装置
JP6615225B2 (ja) 画像処理装置、画像検索インタフェース表示装置、及び画像検索インタフェースの表示方法
US10346450B2 (en) Automatic datacenter state summarization
US11080173B2 (en) Boundary search test support device and boundary search test support method
JP5515117B2 (ja) データ処理装置
US9990444B2 (en) Apparatus and method for supporting visualization of connection relationship
JP2019148859A (ja) フローダイアグラムを用いたモデル開発環境におけるデザインパターンの発見を支援する装置および方法
JP5954742B2 (ja) 文書を検索する装置及び方法
JP4189251B2 (ja) キーワード解析方法及びそれに使用するプログラム
JP2016081132A (ja) 分析プログラム、分析方法及び分析装置
US20220342879A1 (en) Data searching system, device, method and program
JP2024033123A (ja) 文書分析装置、及び文書分析用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15885358

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017505775

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15556994

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15885358

Country of ref document: EP

Kind code of ref document: A1