WO2012102226A1 - キーワード付与装置、プログラム、情報記憶媒体及びキーワード付与処理方法 - Google Patents

キーワード付与装置、プログラム、情報記憶媒体及びキーワード付与処理方法 Download PDF

Info

Publication number
WO2012102226A1
WO2012102226A1 PCT/JP2012/051310 JP2012051310W WO2012102226A1 WO 2012102226 A1 WO2012102226 A1 WO 2012102226A1 JP 2012051310 W JP2012051310 W JP 2012051310W WO 2012102226 A1 WO2012102226 A1 WO 2012102226A1
Authority
WO
WIPO (PCT)
Prior art keywords
hierarchy
keyword
class
reference target
classification frequency
Prior art date
Application number
PCT/JP2012/051310
Other languages
English (en)
French (fr)
Inventor
恵美 黒川
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2012102226A1 publication Critical patent/WO2012102226A1/ja
Priority to US13/943,532 priority Critical patent/US20130304743A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Definitions

  • the present invention relates to a keyword assignment device, a program, an information storage medium, a keyword assignment processing method, and the like.
  • a keyword is assigned to each image, and a keyword search is performed so that a user can easily search for a desired image from among a large amount of stored images.
  • Patent Document 1 searches for a similar image similar to an image to be assigned a keyword, and assigns a keyword assigned to the extracted similar image to the target image.
  • a keyword assignment device, a program, and the like for assigning keywords that reflect user preferences and the like by changing the hierarchy of keywords assigned to an input image according to the keyword classification frequency,
  • An information storage medium, a keyword assignment processing method, and the like can be provided.
  • a more detailed keyword is assigned to a category that is considered to be highly interested by a user, and a more general keyword is assigned to a category that is considered to be less interesting.
  • a keyword assignment device, a program, an information storage medium, a keyword assignment processing method, and the like that can perform keyword assignment according to the user's hobbies and the tendency of the photographic subject.
  • a plurality of keywords are classified into a plurality of classes including first to Nth (N is an integer of 2 or more) hierarchies, based on feature amounts extracted from an input image,
  • a class identifying unit that identifies a corresponding class that is a class corresponding to the input image
  • a classification frequency measuring unit that measures a classification frequency for each class of the plurality of classes
  • a hierarchy that refers to the classification frequency
  • a reference target hierarchy determining unit that determines a certain reference target hierarchy, and a keyword of the corresponding class in the reference target hierarchy finally referenced by the reference target hierarchy determining unit is determined as a display keyword to be added to the input image.
  • a reference determining layer determining unit wherein the reference target hierarchy determining unit includes a j-th layer when a j-th layer (j is an integer of 1 ⁇ j ⁇ N) is the current reference target layer. Whether or not reference to the k-th hierarchy (k is an integer of 1 ⁇ k ⁇ j) that is higher than the j-th hierarchy is required based on the classification frequency value of the corresponding class If it is determined that the reference is necessary, the k-th hierarchy is related to the keyword assigning apparatus that determines the next reference target hierarchy.
  • a reference target hierarchy is determined, and whether to refer to a higher hierarchy is determined based on a classification frequency value in the reference target hierarchy. can do. As a result, it is possible to overlap references from the first reference target hierarchy to a higher hierarchy in a chained manner.
  • the reference target hierarchy determining unit determines that reference to a hierarchy higher than the j-th hierarchy is not necessary based on the classification frequency value in the j-th hierarchy. If it is determined, the j-th hierarchy is determined as the final reference target hierarchy, and the keyword determination unit displays the keyword of the corresponding class in the j-th hierarchy to the input image. It may be determined as a keyword.
  • the reference target hierarchy determining unit determines the Nth hierarchy, which is the lowest hierarchy, as the first reference target hierarchy, and the value of the classification frequency in the Nth hierarchy. Based on the above, it is determined whether or not a reference to a hierarchy higher than the Nth hierarchy is necessary, and when a reference to a hierarchy higher than the Nth hierarchy is required, the reference target hierarchy The determination unit determines the higher hierarchy as the next reference target hierarchy, and when the reference to the higher hierarchy than the Nth hierarchy is not necessary, the reference target hierarchy determination unit May be determined as the final reference target hierarchy, and the keyword determination unit may determine the keyword of the corresponding class in the Nth hierarchy as a display keyword to be added to the input image.
  • the reference target hierarchy determination unit when the value of the classification frequency of the corresponding class in the jth hierarchy is smaller than a given threshold, the reference target hierarchy determination unit Is determined as the next reference target hierarchy, and when the value of the classification frequency of the corresponding class in the jth hierarchy is greater than a given threshold, The reference target hierarchy determining unit may end the reference to the higher hierarchy and determine the j-th hierarchy as the final reference target hierarchy.
  • the classification frequency measurement unit may obtain the classification frequency based on n / m.
  • a keyword display unit that displays the keyword determined by the keyword determination unit may be included.
  • the keyword display unit may present a keyword of a corresponding class in a layer other than the layer referenced by the reference target layer determination unit as a candidate.
  • the keyword of the class belonging to the j-th hierarchy is more detailed than the keyword of the class belonging to the k-th hierarchy that is higher than the j-th hierarchy. It may be.
  • Another aspect of the present invention is based on feature amounts extracted from an input image when a plurality of keywords are classified into a plurality of classes composed of first to Nth layers (N is an integer of 2 or more).
  • a class identification procedure for identifying a corresponding class that is a class corresponding to the input image, a classification frequency measurement procedure for measuring a classification frequency for each of the plurality of classes, and a hierarchy for referring to the classification frequency
  • a reference target hierarchy determination procedure for determining a reference target hierarchy, and a keyword of the corresponding class in the reference target hierarchy finally referenced in the reference target hierarchy determination procedure is determined as a display keyword to be added to the input image
  • the present invention relates to a program for determining the k-th hierarchy as the next reference target hierarchy.
  • the present invention also relates to an information storage medium for storing the program. Another aspect of the present invention is based on feature amounts extracted from an input image when a plurality of keywords are classified into a plurality of classes composed of first to Nth layers (N is an integer of 2 or more).
  • a hierarchy of j (j is an integer of 1 ⁇ j ⁇ N) is determined
  • a hierarchy higher than the j-th hierarchy based on the classification frequency value of the corresponding class in the j-th hierarchy It is determined whether or not reference to the kth hierarchy (k is an integer satisfying 1 ⁇ k ⁇ j) is necessary. If it is determined that reference is necessary, the kth hierarchy is moved to the next.
  • FIG. 1 is a system configuration example of the present embodiment.
  • FIG. 2 is a flowchart for explaining the keyword assignment processing of the present embodiment.
  • FIG. 3 is a flowchart for explaining a reference process to an upper layer.
  • FIG. 4 shows an example of feature space and classification.
  • FIG. 5 shows an example of class classification using a classification tree.
  • FIG. 6 shows an example of an input image.
  • FIG. 7 is a diagram showing a classification result in a feature space.
  • FIG. 8 shows an example of classification frequency and threshold value in the third hierarchy.
  • FIG. 9 shows an example of classification frequency and threshold in the second layer.
  • FIG. 10 is a diagram for explaining a correspondence between a corresponding class in the third hierarchy and a keyword to be assigned.
  • FIG. 10 is a diagram for explaining a correspondence between a corresponding class in the third hierarchy and a keyword to be assigned.
  • FIG. 11 is a diagram illustrating a method for determining display keywords from corresponding classes.
  • FIG. 12 is a flowchart for explaining a process for determining a keyword to be displayed when searching.
  • FIG. 13 shows an example in which a plurality of upper layers correspond to one lower layer.
  • keywords such as “dog”, “cat”, and “landscape” are assigned to image data as shown in FIG.
  • searching for an image the target image data can be easily searched by performing classification, filtering, and the like using keywords.
  • the applicant proposes a keyword assignment method that reflects user preferences. More specifically, a finer keyword is assigned to a field in which the user is interested, and a rough keyword is assigned to a field that is not so interesting. That is, in the case of a user who likes the cats described above, the keywords assigned to the cat image data are made finer, such as “Japanese cat”, “Persian”, and “Abyssinian”. On the other hand, a rough keyword such as “bird” is assigned to an image of a bird that is not of interest to the user. By doing in this way, it can suppress that an image concentrates on a specific keyword. Therefore, it is possible to increase the effect of keyword assignment and improve the efficiency of image search.
  • FIG. 1 shows the processing system of this embodiment
  • FIG. 2 is a flowchart showing the overall processing flow. The operation in the configuration as shown in FIG. 1 will be described below with reference to the flowchart in FIG.
  • the image acquisition unit 14 reads an image to be assigned a keyword from the memory 12 and inputs the read target image (input image) to the feature amount extraction unit 15 (S201).
  • a feature amount (vector) is extracted from the image input to the feature amount extraction unit 15, and the extracted feature amount is input to the class specifying unit 16 (S202).
  • the class specifying unit 16 classifies the extracted feature quantity (vector) in the feature space, and specifies a corresponding class that is a class corresponding to the input image. Then, the identification result of the corresponding class is input to the image number measurement unit 18 and the memory 12 (S203).
  • the feature amount (vector) to be extracted is not limited to one, and a plurality of feature amounts (vector) may be extracted.
  • a plurality of feature amounts (vectors) are extracted, a plurality of corresponding classes are specified in the same hierarchy from one image.
  • the corresponding class is selected from all of the first to third layers (in a broad sense, the first to Nth layers).
  • the “Japanese cat” class is specified in the third hierarchy.
  • “Cat” in the second layer and “Animal” in the first layer, which are higher classes of “Japanese cat” are also identified as corresponding classes. Then, as described later, the necessity of reference is determined for the corresponding class in the lower hierarchy, and when reference is necessary, the process is performed with reference to the corresponding class in the upper hierarchy.
  • the corresponding class in the lower hierarchy with the “class in the upper hierarchy connected to the corresponding class in the lower hierarchy in a tree structure”, which is acquired by learning. It is sufficient to hold the tree structure data as shown in FIG. Therefore, the corresponding class may be selected from the lowest class and may not be selected from the upper class.
  • the number-of-images measurement unit 18 measures how many input images have been processed based on the signal input from the class identification unit 16. Based on the measurement result of the image number measuring unit 18, it is determined whether or not a predetermined number of target images, here multiples of 100, have been processed (S204). If a multiple of 100 target images have not yet been processed, the process proceeds to S208 below, and a keyword corresponding to the third layer class is selected as a display keyword.
  • the classification frequency measurement unit 19 measures the classification frequency Z of each class from the class-specific images stored in the memory 12 ( S206).
  • the classification frequency measuring unit 19 sets m as the total number of feature quantities in all images that have already been class-specified, n as the number of feature quantities in the class, and classifying frequency Z [[ %] Is measured (S206).
  • the total number of times each class is specified in 100 images corresponds to m
  • the classification frequency is measured for each layer.
  • the classification frequency of each class is measured in the third hierarchy.
  • the classification frequency is measured in the second hierarchy.
  • the measurement result of the third hierarchy can be used for the measurement of the classification frequency in the second hierarchy. That is, for example, the sum of the class specific times of “Chihuahua”, “Dalmatian”, and “Shiba Inu” may be used as the class specific frequency of “dog”. More simply, the sum of the classification frequencies of “Chihuahua”, “Dalmatian”, and “Shiba Inu” may be used as the classification frequency of “dog”.
  • the classes in the upper layer need to be covered by the classes in the lower layer.
  • feature quantities that belong to “dog” but do not belong to “Chihuahua”, “Dalmatian”, or “Shiba Inu” are extracted, and such feature quantities are extracted as “Chihuahua”, “Dalmatian”, “Shiba Inu”. If it is not set to forcibly allocate to any of the above, there is a possibility that the sum of the class specific times of the lower layer class and the class specific times of the upper layer class may not match.
  • the classification frequency of each class thus measured is input to the reference target hierarchy determination unit 20 that determines a hierarchy to be referenced and determines whether or not a reference to another hierarchy is necessary.
  • the reference target hierarchy determination unit 20 determines whether or not it is necessary to refer to the upper hierarchy based on the classification frequency in the currently referenced hierarchy (S207). Whether or not higher level reference is necessary is determined by measuring whether or not the classification frequency for each class is less than a predetermined value ⁇ .
  • the value of ⁇ is preferably larger than the average value of the classification frequencies of all classes.
  • the upper layer is referenced. Specifically, the upper hierarchy is determined as the next reference target hierarchy. Then, the classification frequency in the upper layer is compared with a threshold value ⁇ (which may be a value different from ⁇ described above), and it is determined whether or not the upper layer needs to be referenced.
  • a threshold value ⁇ which may be a value different from ⁇ described above
  • the keyword determination unit 23 determines a keyword corresponding to the class of the currently referenced hierarchy as a display keyword (S210).
  • the keyword information determined by the keyword determination unit 23 is input to the keyword display unit 24 and displayed together with the input image input from the memory 12 (S211).
  • the classification frequency measurement unit 19 performs processing for all classes, and the result is stored in the memory 12. That is, even when an image of a Japanese cat is input and processing is performed for the “Japanese cat” class, the measurement of the classification frequency need not be limited to only “Japanese cat”. At the same time, if the classification frequency is measured for all classes (including higher-level classes), including “Chihuahua” and “Dalmatian”, the classification frequency measurement process is performed again even when other input images are input. Keywords can be assigned without doing so.
  • the processing in the reference target hierarchy determination unit 20 may be performed for all classes. If the classification frequency of each class is measured, the threshold ⁇ is determined by the setting, so that the reference relationship of all classes can be determined regardless of the current input image. In other words, since “Japanese cat” has a high classification frequency, “Japanese cat” is assigned as a keyword. “Dalmatian” refers to the second level and assigns “dog” as a keyword. “Country town” is not enough to refer to the second layer, and it is possible to determine the association such that “landscape” is given as a keyword with reference to the first layer. In this way, when the input image is input, it is not necessary to determine the necessity of reference again. For example, for an input image in which “Dalmatian”, “Japanese cat”, and “Country town” are specified as the corresponding classes in the third hierarchy, “dog”, “Japanese cat” Keywords such as “landscape” can be assigned.
  • the class specifying unit 16 learns a preset class classification.
  • images (learning data) to which a correct keyword is assigned in advance by human beings are prepared, and feature amounts (vectors) are extracted from these images and input to the class specifying unit 16.
  • the feature amount is added to an image such as various feature amounts included in the image itself such as hue, saturation, luminance, shape, size, position, and shooting information such as ISO sensitivity included in the Exif information. Any feature amount suitable for the classification of the learning data may be used from the various feature amounts.
  • the feature quantity extraction unit 15 extracts the feature quantity employed in this learning process.
  • the class specifying unit 16 arranges the feature amount (vector) of the input image (learning data) in the feature space as shown in FIG. 4, and images assigned with the same keyword are placed in the same class in the feature space.
  • Form classification boundaries to be classified Any method may be used for this classification, for example, a k-neighbor method is used.
  • the feature space in FIG. 4 is only shown as a two-dimensional space for simplicity, and is actually an N-dimensional space.
  • N represents an arbitrary natural number.
  • FIG. 4 marks indicated by black circles correspond to the data of the input image, and the closed region represents the classification boundary of the class corresponding to each keyword.
  • the closed area drawn with a solid line is used for class classification, and the closed area drawn with a dotted line is shown for easy understanding of the correspondence with a classification tree shown in FIG.
  • keywords given to images by humans have a hierarchical structure as shown in FIG. 5, for example, upper-level keywords occupy a larger area in the feature space and include lower-level keyword areas. .
  • the classification tree shown in FIG. 5 is merely an example, and the keywords and the number of hierarchies are not limited thereto.
  • FIG. 3 shows a detailed flow of keyword reference when the class has a three-layer structure as shown in FIG.
  • the classification frequencies of the classes of the third layer and the second layer are Z3 and Z2, respectively, and the threshold values in the third layer and the second layer are ⁇ 3 and ⁇ 2.
  • the class classification frequency Z2 of the second hierarchy class is further set to the threshold value ⁇ 2. It is determined whether it is less than (S2091). At this time, the class classification frequency Z2 of the second layer uses a total number of feature quantities of all the classes of the third layer included in the second layer. If the number of feature quantities of each class of the third hierarchy included in a certain second hierarchy is a1, a2,... An, respectively, the number of feature quantities n2 [pieces] of the class of the second hierarchy is Equation (2) is obtained.
  • the classification frequency Z2 is expressed by the following equation (3).
  • the keyword of the second hierarchy is referred to (S2092), and when the classification frequency Z2 of the second hierarchy is less than the threshold value ⁇ 2, the keyword of the first hierarchy is referenced. (S2093). It should be noted that the threshold values ⁇ 3 and ⁇ 2 are not always in the relationship of ⁇ 3> ⁇ 2.
  • FIG. 6 shows the classification result in the feature space
  • FIG. 5 shows the keyword in the classification tree.
  • FIG. 7 shows the result of class identification in the feature space.
  • the corresponding classes corresponding to the feature values extracted from the input image are “Dalmatian”, “Japanese cat”, “Sea”, “Mountain”, “Sky”, “Country town” classes. Identified.
  • the classification frequency Z3 of each class is measured.
  • a graph of the measurement results is shown in FIG.
  • the class surrounded by ⁇ is the corresponding class.
  • the classes satisfying Z3 ⁇ 3 are “Dalmatian”, “Sea”, “Mountain”, “Sky”, “Country Town”.
  • the display keyword is not determined at this point, and the second layer, which is the upper layer, is referred to.
  • the appearance frequency Z2 of the class in the second hierarchy is measured.
  • a graph of the measurement results is shown in FIG.
  • a class surrounded by a circle is a corresponding class in the second hierarchy.
  • the class of the second layer of “Dalmatian” is “Dog” from FIG. 5, and “Dog” from FIG. 9 satisfies Z2 ⁇ 2, so the display keyword is not determined here either, and the first layer is a higher layer. Reference is made to the corresponding class “animal”.
  • the class of the second hierarchy of “sea”, “mountain”, and “sky” is “natural”, and from FIG. 9, “natural” does not satisfy Z2 ⁇ 2, so the keyword “nature” of the class of the second hierarchy is It is determined as a display keyword.
  • the class corresponding to the second level of “Rural Town” is “City”, and since “City” satisfies Z2 ⁇ 2 from FIG. 9, the display keyword is not determined here, and the first level which is the higher level is further determined.
  • the corresponding class “landscape” is referenced.
  • FIG. 11 is a diagram illustrating FIGS. 8 and 9 in the above process in more detail.
  • this state is stored in the memory until the next classification frequency measurement process is performed.
  • the classification frequency measurement process is not performed, and the display keyword is determined based on the reference process stored in the memory based on the corresponding class of the third hierarchy from the class classification result. It is determined.
  • the search keyword is different according to the classification frequency of the stored captured images, as in the case of adding a keyword. From the accumulated photographed images, more detailed keywords are displayed as search keywords for categories that are considered to be of high user interest.
  • the keyword used for the search has a hierarchical structure as shown in FIG. 5, and the flow of processing from when the user inputs the search keyword to when the image is displayed is assumed when the user selects from the first class of keywords. 12 shows.
  • the keyword of the first layer class selected by the user is input (S101).
  • the class of the third hierarchy of the input keyword is selected (S102). At this time, the processing is performed for all classes in the third hierarchy of the input keyword.
  • the keyword of the corresponding class in the third hierarchy is assigned at the time of keyword assignment (S103).
  • the third hierarchy is designated (S104)
  • the keyword of the second hierarchy and the first hierarchy is given, the second hierarchy is designated (S105).
  • a search keyword is selected from the keywords displayed by the user (S108), and an image search process is performed using the selected search keyword (S109).
  • the third level “Chihuahua”, “Dalmatian”, “Shiba Inu”, “Persia”, “Abyssinian”, “Japanese Cat”, “Inco” is first shown in FIG. .
  • the “Dove” class is selected. It is determined which level of keyword has been assigned to all the classes. If only “Japanese cat” is referred to the third level, only “Japanese cat” is specified for the third level, and other classes are specified for the second level, so “dog”, “cat”, “Japan”
  • the keywords “cat” and “bird” are displayed as search keywords.
  • “Persia” and “Abyssinian” in the third layer may be collectively added to the search keyword as “other cats”. Since “Japanese cat” is used as a search keyword, it is assumed that there are many images of Japanese cats. Therefore, even if a search is performed using “cat”, which is a superordinate concept of “Japanese cat”, as a keyword, a large number of cat images including a large number of Japanese cat images are hit, and it is difficult to find a target image. That is, if the subordinate concept “Japanese cat” and the superordinate concept “cat” appear at the same time, the superordinate concept “cat” can be determined to be a keyword attributed to a subordinate concept other than “Japanese cat”. it can. Therefore, in this case, by displaying “Other cats” as keywords corresponding to “Persia” and “Abyssinian”, it is possible to exclude “Japanese cats” from the search target. It becomes possible.
  • the hierarchical structure of classes may have multiple upper-layer classes for one class. Each hierarchy is independent, and when referring to a keyword of an upper hierarchy class according to the classification frequency, the keywords of the classes of all hierarchies are referred to.
  • FIG. 13 shows a case where there is a “color” layer in addition to the “animal” layer.
  • Japanese cat Japanese cat
  • FIG. 13 shows a case where there is a “color” layer in addition to the “animal” layer.
  • the keyword assigning apparatus performs the case where a plurality of keywords are classified into classes consisting of the first to Nth layers (for example, as shown in FIG. 5).
  • a class identification unit 16 that identifies a corresponding class based on a feature amount of an input image, a classification frequency measurement unit 19 that measures a classification frequency for each class of a plurality of classes, and a reference target hierarchy that determines a reference target hierarchy A determination unit 20; and a keyword determination unit 23 that determines a keyword of a corresponding class in the reference target hierarchy finally referenced by the reference target hierarchy determination unit 20 as a display keyword.
  • the reference target hierarchy determination unit 20 determines the kth (k is a hierarchy higher than the jth hierarchy) based on the classification frequency value in the jth hierarchy (j is an integer of 1 ⁇ j ⁇ N). It is determined whether or not reference to a hierarchy of 1 ⁇ k ⁇ j) is necessary. If it is determined that reference is necessary, the kth hierarchy is determined as the next reference target hierarchy.
  • the correspondence class is a class corresponding to the input image.
  • the classification frequency is measured for all classes when a predetermined number (for example, 100) of images is acquired. The classification frequency is measured for each hierarchy, and the reference target hierarchy represents which hierarchy the classification frequency is used for processing.
  • the reference target hierarchy determination unit 20 finalizes the jth hierarchy. As a typical reference target hierarchy. Then, the keyword determination unit 23 determines the keyword of the corresponding class in the jth hierarchy as a display keyword to which the input image is added.
  • the reference process to the upper hierarchy is ended, and the reference target hierarchy at that time can be determined as the final reference target hierarchy. . That is, since the reference process starting from the lower hierarchy and moving to the higher hierarchy can be stopped halfway, it is possible to determine a keyword in an arbitrary hierarchy as a display keyword.
  • the reference target hierarchy determining unit 20 determines the Nth hierarchy, which is the lowest hierarchy, as the first reference target hierarchy, and is higher than the Nth hierarchy based on the classification frequency in the Nth hierarchy. Determine whether reference to the hierarchy is necessary. In the example of FIG. 5, the third hierarchy is determined as the first reference target hierarchy. When the upper layer reference is required, the upper layer is determined as the next reference target layer. When the reference is not necessary, the Nth hierarchy is determined as the final reference target hierarchy, and the keyword of the corresponding class in the Nth hierarchy is determined as the display keyword to be given to the input image.
  • the reference target hierarchy determination unit 20 sets the kth hierarchy, which is a higher hierarchy, as the next reference target hierarchy. You may decide.
  • the reference target hierarchy determination unit 20 ends the reference to the upper hierarchy, and sets the jth hierarchy. The final reference target hierarchy may be determined.
  • the classification frequency is obtained as follows. That is, the classification frequency is obtained based on n / m, where m is the total number of class identification times of all classes belonging to a given hierarchy and n is the class identification number of the classification frequency reference target class.
  • the class identification number is the number of times each class is identified by the class identification unit 16.
  • “Dalmatian”, “Japanese cat”, “Sea”, “Mountain”, “Sky”, and “Country town” are specified as corresponding classes.
  • the number of class specific times increases by one.
  • the keyword assigning device may include a keyword display unit 24 that displays the keyword determined by the keyword determination unit 23.
  • the keyword display part 24 may show the keyword of the corresponding class other than the hierarchy referred in the reference object hierarchy determination part 20 as a candidate.
  • the class consisting of the first to Nth layers may correspond to more detailed keywords as it goes to the lower layers.
  • the method of the present embodiment determines the corresponding class based on the feature amount of the input image when a plurality of keywords are classified into classes consisting of the first to Nth layers (for example, as shown in FIG. 5).
  • the class identification procedure to be identified, the classification frequency measurement procedure for measuring the classification frequency for each class of the plurality of classes, the reference target hierarchy determination procedure for determining the reference target hierarchy, and the reference target hierarchy determination unit 20 finally It is also applicable to a program for causing a computer to execute a keyword determination procedure for determining a keyword of a corresponding class in the reference target hierarchy referred to as a display keyword.
  • the k-th hierarchy (k is 1) that is higher than the j-th hierarchy. It is determined whether or not reference to a hierarchy of ⁇ k ⁇ j) is necessary. If it is determined that reference is necessary, the kth hierarchy is determined as the next reference target hierarchy.
  • the present embodiment is not limited to the one that acquires an image and performs keyword assignment processing in the system like an imaging device. For example, first, image data is accumulated, and then the accumulated image data is stored.
  • the present invention can be applied to a computer system such as a PC that performs processing in software.
  • the program is recorded on an information storage medium.
  • various recording media that can be read by an optical detection system, such as an optical disk such as a DVD or a CD, a magneto-optical disk, a hard disk (HDD), a memory such as a nonvolatile memory or a RAM, can be assumed. .

Abstract

　キーワードの分類頻度に応じて、入力画像に付与するキーワードの階層を変更することで、ユーザーの嗜好等を反映したキーワード付与を行うキーワード付与装置、プログラム、情報記憶媒体及びキーワード付与処理方法等を提供する。 キーワード付与装置はキーワードが第１～第Ｎの階層からなる複数のクラスに分類されている場合に、対応クラスを特定するクラス特定部１６と、各クラスに対して分類頻度の計測を行う分類頻度計測部１９と、参照対象階層を決定する参照対象階層決定部２０と、最終的な参照対象階層における対応クラスのキーワードを、表示キーワードとするキーワード決定部２３とを含み、参照対象階層決定部２０は、第ｊの階層における分類頻度の値に基づいて、上位の階層である第ｋの階層への参照が必要であると判定された場合には、第ｋの階層を次の参照対象階層とする。

Description

キーワード付与装置、プログラム、情報記憶媒体及びキーワード付与処理方法
　本発明は、キーワード付与装置、プログラム、情報記憶媒体及びキーワード付与処理方法等に関する。
　近年、メモリ等の記録媒体の大容量化に伴い、デジタルカメラで撮影した画像がデジタルカメラ内に大量に蓄積されるようになってきている。また、そのような撮影した画像は、パソコン等の外部機器に転送して蓄積され、更にインターネット等を介して収集した画像も蓄積されることとなっている。
　そこで、各画像にキーワードを付与しておき、キーワード検索を行うことによって大量に蓄積されている画像の中から、ユーザーが所望の画像を容易に検索できるようにすることが行われている。
　しかし、ユーザーが撮影または収集した画像に手動でキーワードを付与することは、手間や時間がかかりユーザーにとって負担となってしまう。
特開２００２－０６３１７２号公報
　特許文献１は、キーワード付与の対象となる画像に類似する類似画像を検索し、抽出された類似画像に付与されているキーワードを対象画像に付与する。
　しかし、ユーザーの趣味や嗜好はある特定の分野に偏る事が多い為、その分野に関するキーワードが付与された画像ばかりが膨大な量になり、キーワードによって画像を区別する事は容易ではない。その結果、画像の検索や整理が困難になるという課題が上げられる。
　本発明の幾つかの態様によれば、キーワードの分類頻度に応じて、入力画像に付与するキーワードの階層を変更することで、ユーザーの嗜好等を反映したキーワード付与を行うキーワード付与装置、プログラム、情報記憶媒体及びキーワード付与処理方法等を提供することができる。
　また、本発明の幾つかの態様によれば、ユーザーの興味が高いと思われるカテゴリにはより詳細なキーワードを付与し、興味が低いと思われるカテゴリにはより概略的なキーワードを付与することで、ユーザーの趣味や撮影被写体の傾向に応じたキーワード付与を行うことができるキーワード付与装置、プログラム、情報記憶媒体及びキーワード付与処理方法等を提供することができる。
　本発明の一態様は、複数のキーワードが第１～第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定部と、前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測部と、前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定部と、前記参照対象階層決定部により最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定部と、を含み、前記参照対象階層決定部は、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層が現在の前記参照対象階層であるときに、第ｊの階層における前記対応クラスの前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定するキーワード付与装置に関係する。
　本発明の一態様では、階層的なクラス分類がされている場合に、参照対象階層を決定し、参照対象階層における分類頻度の値に基づいて、より上位の階層を参照するか否かを決定することができる。これにより、最初の参照対象階層からより上位の階層へと連鎖的に参照を重ねて行くこと等が可能となる。
　また、本発明の一態様では、前記参照対象階層決定部は、前記第ｊの階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層への参照が必要ないと判定された場合には、前記第ｊの階層を最終的な前記参照対象階層として決定し、前記キーワード決定部は、前記第ｊの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定してもよい。
　これにより、上位階層への参照を途中で終了すること等が可能になる。
　また、本発明の一態様では、前記参照対象階層決定部は、最も下の階層である第Ｎの階層を、最初の前記参照対象階層として決定するとともに、第Ｎの階層における前記分類頻度の値に基づいて、第Ｎの階層よりも上位の階層への参照が必要か否かの判定を行い、前記第Ｎの階層よりも上位の階層への参照が必要な場合には、前記参照対象階層決定部は、前記上位の階層を次の前記参照対象階層として決定し、前記第Ｎの階層よりも上位の階層への参照が必要でない場合には、前記参照対象階層決定部は、前記第Ｎの階層を最終的な前記参照対象階層として決定し、前記キーワード決定部は、前記第Ｎの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定してもよい。
　これにより、最も下の階層を参照処理の開始階層として決定することが可能になるため、任意の階層に属する対応クラスのキーワードを表示キーワードとして入力画像に付与すること等が可能になる。
　また、本発明の一態様では、前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも小さい場合には、前記参照対象階層決定部は、前記第ｊの階層よりも上位の階層である前記第ｋの階層を次の前記参照対象階層として決定し、前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも大きい場合には、前記参照対象階層決定部は、上位の階層への参照を終了し、前記第ｊの階層を最終的な前記参照対象階層として決定してもよい。
　これにより、閾値との比較により、上位の階層への参照が必要か否かの判定を行うこと等が可能になる。
　また、本発明の一態様では、前記クラス特定部において、複数の前記入力画像の各入力画像に対して、１又は複数の対応クラスが特定され、前記参照対象階層に属する複数のクラスのクラス特定回数の総和をｍとし、分類頻度参照対象クラスのクラス特定回数をｎとした場合に、前記分類頻度計測部は、前記分類頻度を、ｎ／ｍに基づいて求めてもよい。
　これにより、簡単な処理で分類頻度を求めることが可能になる。
　また、本発明の一態様では、前記キーワード決定部で決定したキーワードを表示するキーワード表示部を含んでもよい。
　これにより、入力画像に対して付与したキーワードを表示すること等が可能になる。
　また、本発明の一態様では、前記キーワード表示部は、前記参照対象階層決定部で参照された階層以外の階層における対応クラスのキーワードも候補として提示してもよい。
　これにより、参照した階層以外の階層のキーワードを表示することができるため、柔軟なキーワード表示等が可能になる。
　また、本発明の一態様では、前記第ｊの階層に属するクラスのキーワードは、前記第ｊの階層よりも上位の階層である前記第ｋの階層に属するクラスのキーワードに比べて、詳細なキーワードであってもよい。
　これにより、詳細なキーワードから荒いキーワードへと参照を行っていくこと等が可能になる。
　本発明の他の態様は、複数のキーワードが第１～第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定手順と、前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測手順と、前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定手順と、前記参照対象階層決定手順で最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定手順と、をコンピュータに実行させるためのプログラムであって、前記参照対象階層決定手順では、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定するプログラムに関係する。また、本発明は、上記プログラムを記憶する情報記憶媒体に関係する。
　本発明の他の態様は、複数のキーワードが第１～第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するとともに、前記複数のクラスの各クラスに対して分類頻度の計測を行い、前記分類頻度の参照を行う階層である参照対象階層として、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層が決定されているときに、第ｊの階層における前記対応クラスの前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定する参照対象階層決定処理を行い、前記参照対象階層決定処理の結果として最終的に決定された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード付与処理方法に関係する。
図１は、本実施形態のシステム構成例。 図２は、本実施形態のキーワード付与処理を説明するためのフローチャート。 図３は、上位の階層への参照処理を説明するためのフローチャート。 図４は、特徴空間とクラス分類の例。 図５は、分類木を用いてクラス分類を説明した例。 図６は、入力画像の例。 図７は、クラス分類結果を特徴空間で示した図。 図８は、第３階層における分類頻度と閾値の例。 図９は、第２階層における分類頻度と閾値の例。 図１０は、第３階層の対応クラスと付与するキーワードとの対応を説明する図。 図１１は、対応クラスから表示キーワードを決定する手法を説明する図。 図１２は、検索の際に表示するキーワードの決定処理を説明するためのフローチャート。 図１３は、１つの下位階層に対して複数の上位階層が対応する例。
　１．本実施形態の手法
　まず、本実施形態の手法について説明する。近年、メモリの大容量化、低価格化に伴い、デジタルカメラ等の撮像装置において大量の写真データが取得、蓄積されるようになっている。そのため、撮像装置内で所望の画像データを探し出すことが非常に困難である。また、ＰＣ等にデータを写すことを考えれば、インターネットからダウンロードされた画像データ等も混在することになり、画像データの検索はより困難になる。
　上述の問題に対応するために、画像データに対してメタデータとしてキーワードを付与することが考えられる。例えば、後述する図６のような画像データに対しては、“犬”“猫”“風景”等のキーワードを付与する。そして、画像検索の際には、キーワードによる分類やフィルタリング等を行うことで、目的の画像データを検索しやすくする。
　しかし、単純なキーワード付与には、ユーザーの嗜好を反映しないという問題が残る。つまり、猫を撮影することが好きなユーザーの所有する画像データは、猫の画像が大半を占めることが考えられる。その際、“猫”というキーワードを付与しても検索にはあまり有用ではない。つまり、全画像データの８０％が猫を写していたとしたら、“猫”というキーワードでフィルタリングを行ったとしても、不要データは２０パーセントしか取り除けない。そのため、結局大量の画像データの中から所望の画像データを探すことになってしまい、キーワードを付与するメリットは少なくなってしまう。
　そこで本出願人は、ユーザーの嗜好を反映したキーワード付与の手法を提案する。具体的には、ユーザーの興味のある分野においては、より細かいキーワードを付与し、あまり興味のない分野においては、荒いキーワードを付与する。つまり、上述の猫が好きなユーザーの場合であれば、猫の画像データに対して付与するキーワードは、“日本猫”“ペルシャ”“アビシニアン”といったように、より細かいものにする。それに対して、ユーザーの関心が薄い鳥の画像に対しては“鳥”といった荒いキーワードの付与を行う。このようにすることで、特定のキーワードに画像が集中することを抑止することができる。よって、キーワード付与の効果を高めることが可能になり、画像検索の効率を向上させることができる。
　具体的な手法については後述する。以下、構成例及び処理の詳細を説明し、次にクラス分類について説明する。そして、上位階層への参照手法とその具体例について述べた後、検索に応用する例について触れ、最後に変形例を説明する。
　なお、以下の例においては、後述する図５のクラス分類を用いて説明する。つまり、第１の階層～第３の階層の３層構造の例を用いるが、これに限定されないことは言うまでもない。つまり、広義には第１～第Ｎ（Ｎは２以上の整数）の階層からなるクラス構造に対しても、本実施形態の手法は適用可能である。
　２．構成例及び処理の詳細
　図１は本実施形態の処理系を示し、図２はその全体の処理の流れを示したフローチャートである。以下、図１のような構成における動作を、図２のフローチャートに沿って説明する。
　画像取得部１４は、メモリ１２からキーワード付与の対象となる画像を読み出し、読み出した対象画像（入力画像）を、特徴量抽出部１５へ入力する（Ｓ２０１）。
　次に、特徴量抽出部１５に入力された画像から特徴量（ベクトル）を抽出し、その抽出した特徴量を、クラス特定部１６へ入力する（Ｓ２０２）。
　次に、クラス特定部１６において、抽出した特徴量（ベクトル）の特徴空間でのクラス分類を行い、入力画像に対応するクラスである対応クラスを特定する。そして、対応クラスの特定結果を、画像枚数測定部１８及びメモリ１２へ入力する（Ｓ２０３）。なお、１枚の画像に複数の対象が含まれる場合、抽出される特徴量（ベクトル）は１つとは限らず、複数の特徴量（ベクトル）が抽出されることもある。複数の特徴量（ベクトル）が抽出された場合は、１枚の画像から同一階層において複数の対応クラスが特定されることになる。
　ここで、対応クラスとは例えば、第１～第３階層（広義には第１～第Ｎ階層）の全てから選択されるものとする。例えば、入力画像に日本猫が含まれていた場合には、第３階層において、「日本猫」クラスが特定される。それと同時に、「日本猫」の上位クラスである第２階層の「猫」及び第１階層の「動物」も対応クラスとして特定される。そして、後述するように下位階層の対応クラスに対して参照必要性が判定され、参照が必要な場合は、上位階層の対応クラスを参照し処理が行われることになる。ただし、本実施形態においては、「下位階層の対応クラス」と「前記下位階層の対応クラスとツリー構造で結ばれている上位階層のクラス」との関連づけができれば十分であり、それは学習により取得した図５のようなツリー構造データを保持しておけば足りる。よって、対応クラスは最も下のクラスから選択され、上位階層のクラスからは選択されないものとしてもよい。
　画像枚数測定部１８は、クラス特定部１６から入力される信号より、何枚の入力画像が処理されたかを測定している。この画像枚数測定部１８の測定結果により、所定数枚、ここでは１００の倍数枚の対象画像を処理したかどうか判別する（Ｓ２０４）。まだ１００の倍数枚の対象画像を処理していない場合には、下記Ｓ２０８へ進み、第３階層のクラスに対応するキーワードを表示キーワードとして選択する。
　次に、最初の参照対象階層を第３階層に決定し（Ｓ２０５）、分類頻度計測部１９で、メモリ１２に蓄積されているクラス特定済みの画像から、各クラスの分類頻度Ｚを計測する（Ｓ２０６）。分類頻度計測部１９では、既にクラス特定済みの全画像における全体の特徴量の数をｍとし、クラス内の特徴量の数をｎとし、下式（１）により、クラス毎に分類頻度Ｚ［％］を計測する（Ｓ２０６）。
　　Ｚ＝１００×ｎ／ｍ　・・・・・（１）
　具体的には、１００枚の画像において各クラスが特定された回数の総和がｍに対応し、分類頻度計測対象クラスが特定された回数がｎになる。さらに具体的には例えば、１００枚の画像において、３００回クラスが特定された（のべ３００個の特徴量が抽出された）場合にｍ＝３００となる。また、その中で、分類頻度計測対象クラスが特定された回数がｎとなる。そのため、例えば「日本猫」が特定された回数が６０回だった（６０回「日本猫」に対応する特徴量が抽出された）場合には、ｎ＝６０となり、「日本猫」の分類頻度はＺ＝１００×ｎ／ｍ＝１００×６０／３００＝２０［％］となる。
　なお、分類頻度の計測は階層ごとに行われる。図５の例で言えば、まず、第３階層において各クラスの分類頻度が計測される。そして、第２階層は第２階層で分類頻度が計測される。第２階層における分類頻度の計測は、第３階層の計測結果を用いることが可能である。つまり例えば、「チワワ」「ダルメシアン」「柴犬」のクラス特定回数の総和を「犬」のクラス特定回数として用いればよい。もっと簡単に、「チワワ」「ダルメシアン」「柴犬」の分類頻度の和を「犬」の分類頻度としてもよい。ただし、このような処理は、下位階層のクラスにより、上位階層のクラスが網羅されている必要があることに注意が必要である。つまり、「犬」に属しつつ「チワワ」にも「ダルメシアン」にも「柴犬」にも属さないような特徴量が抽出され、かつ、そのような特徴量を「チワワ」「ダルメシアン」「柴犬」のいずれかに強制的に割り振るよう設定されていなければ、下位階層のクラスのクラス特定回数の和と上位階層のクラスのクラス特定回数が一致しなくなる可能性がある。
　こうして計測された各クラスの分類頻度は、参照する階層を決定し、他階層の参照が必要であるか否かを判断する参照対象階層決定部２０へ入力される。
　次に、参照対象階層決定部２０で、現在参照している階層における分類頻度に基づいて、上位階層の参照が必要であるか否かを判定する（Ｓ２０７）。上位階層の参照が必要であるか否かは、クラス毎に分類頻度がある所定の値α未満であるか否かを計測することによって判定される。このαの値は、全クラスの分類頻度の平均値よりも大きい値が好適である。
　分類頻度がα未満であるクラスが存在する場合は、上位の階層の参照を行う。具体的には、上位の階層を次の参照対象階層として決定する。そして、上位の階層における分類頻度と閾値α（上述のαとは別の値であってもよい）との比較を行い、さらに上位の階層の参照が必要であるか否かを判断する。
　また上位の階層の参照が必要でないと判断されたクラスは、キーワード決定部２３において、現在参照している階層のクラスに対応するキーワードを表示キーワードとして決定する（Ｓ２１０）。
　キーワード決定部２３で決定されたキーワード情報はキーワード表示部２４へ入力され、メモリ１２から入力された入力画像と併せて表示される（Ｓ２１１）。
　ここで、分類頻度計測部１９では、全てのクラスに対して処理が行われ、その結果がメモリ１２に記憶される。つまり、日本猫の画像が入力され、「日本猫」クラスについて処理が行われるような場合にも、分類頻度の計測は「日本猫」のみに限定する必要はない。同時に「チワワ」「ダルメシアン」他、全てのクラス（上位階層のクラスを含む）について分類頻度の計測を行っておけば、他の入力画像が入力された場合にも、再度分類頻度の計測処理を行うことなく、キーワードを付与することができる。
　また、参照対象階層決定部２０での処理も、全てのクラスに対して行われてもよい。各クラスの分類頻度が計測されれば、閾値αは設定により定められるため、現在の入力画像とは無関係に全てのクラスの参照関係を決定することができる。つまり、「日本猫」については分類頻度が高いので“日本猫”をキーワードとして付与する。「ダルメシアン」は第２階層まで参照して“犬”をキーワードとして付与する。「田舎町」は第２階層の参照でも足りず、第１階層を参照して“風景”がキーワードとして付与される等の対応付けを決定することが可能である。このようにしておけば、入力画像が入力された際に、改めて参照必要性の判定を行う必要がない。例えば、「ダルメシアン」「日本猫」「田舎町」が第３階層の対応クラスとして特定されるような入力画像に対しては、参照必要性を再度判定することなく、“犬”“日本猫”“風景”といったキーワードを付与することができる。
　３．クラス分類について
　ここで、クラス分類について、詳細に説明する。クラス特定部１６は、予め設定されたクラス分類を学習している。その学習過程では、先ず、予め人間によって正しいキーワードを付与された画像（学習データ）を用意し、これらの画像から特徴量（ベクトル）を抽出して、クラス特定部１６に入力する。ここで、特徴量は、色相、彩度、輝度、形状、大きさ、位置、など画像自体に含まれる様々の特徴量や、Ｅｘｉｆ情報に含まれるＩＳＯ感度等の撮影情報のような画像に付加されている様々の特徴量の中から、学習データの分類に適した如何なる特徴量を用いても良い。なお、上記特徴量抽出部１５は、この学習過程で採用した特徴量を抽出するものとなっている。
　そして、クラス特定部１６では、入力された画像（学習データ）の特徴量（ベクトル）を、図４に示すように特徴空間に配置し、同じキーワードを付与された画像が特徴空間で同じクラスに分類されるよう、分類境界を形成する。このクラス分類には如何なる手法を用いても良いが、例えばｋ－近傍法を用いる。なお、図４の特徴空間は、簡略化のために２次元空間として示しているだけであり、実際にはＮ次元空間である。ここでＮは任意の自然数を表している。
　図４において、黒い丸で示された印が入力画像のデータに対応し、閉領域が各キーワードに対応するクラスの分類境界を表す。実線で描かれた閉領域がクラス分類で用いられ、点線で描かれた閉領域は後述の図５に示す分類木との対応をわかりやすくするために示したものである。
　また、人間が画像に付与するキーワードは、例えば図５に示すような階層構造を持っており、上位の階層のキーワードは特徴空間においてより大きな領域を占め、下位の階層のキーワードの領域を包含する。なお、図５に示す分類木は一例に過ぎず、キーワードや階層数はこれに限定されない。
　４．上位階層の参照
　ここで、図２のフローチャートのＳ２０９の上位階層の参照について、詳細に説明する。またクラスが図５に示すような３階層の階層構造を持つ場合について、キーワード参照の詳細な流れを図３に示す。
　第３階層および第２階層のクラスの分類頻度をそれぞれＺ３、Ｚ２とし、第３階層および第２階層での閾値をα３、α２とする。
　参照対象階層決定部２０（Ｓ２０７）で第３階層のクラスの分類頻度Ｚ３が閾値α３未満であり、キーワードの参照が必要と判断された場合、さらに第２階層のクラスの分類頻度Ｚ２が閾値α２未満であるかどうかを判定する（Ｓ２０９１）。この際、第２階層のクラスの分類頻度Ｚ２は、第２階層に包含される第３階層の全てのクラスの特徴量の数を総和した数を用いる。ある第２階層に包含される第３階層の各クラスの特徴量の数がそれぞれａ１、ａ２、…ａｎであったとすると、この第２階層のクラスの特徴量の数ｎ２[個]は、下式（２）のようになる。
Figure JPOXMLDOC01-appb-M000001
　よって、第２階層全体の特徴量の数をｍ２[個]とすると、分類頻度Ｚ２は、下式（３）のようになる。
　　Ｚ２＝１００×ｎ２／ｍ２　・・・・・（３）
　第２階層の分類頻度Ｚ２が閾値α２未満でない場合は、第２階層のキーワードが参照され（Ｓ２０９２）、第２階層の分類頻度Ｚ２が閾値α２未満である場合は、第１階層のキーワードが参照される（Ｓ２０９３）。なお、閾値α３、α２は、大小関係が必ずしもα３＞α２となるとは限らない。
　５．上位階層の参照の具体例
　画像が入力されて、キーワードが表示されるまでの流れの具体例を説明する。図６のような画像が入力されたとし、クラス分類結果を特徴空間で示したものが図７、キーワードを分類木で示したものが図５とする。
　まず、入力画像から特徴量が抽出され、図４に示すクラス構造に基づいて対応クラスが特定される。図７にクラス特定の結果を特徴空間で示したものを示す。
　クラス特定の結果、入力画像から抽出された特徴量に対応する対応クラスは、「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」の各クラスであると特定される。
　次に、蓄積された画像の枚数ｘが１００の倍数であるとすると、各クラスの分類頻度Ｚ３がそれぞれ計測される。計測結果のグラフを図８に示す。○で囲まれたクラスが、対応クラスである。また、閾値α３をα３=４０とし、グラフ上に点線で示した。
　図８より、○で囲まれたクラスのうちＺ３＜α３を満たさないのは、「日本猫」のクラスである。よって、「日本猫」のクラスは現在の参照対象階層の対応クラスのキーワードである“日本猫”が表示キーワードとして決定される。
　また、○で囲まれた対応クラスのうち、Ｚ３＜α３を満たすクラスは「ダルメシアン」、「海」、「山」、「空」、「田舎町」である。これらの５つの対応クラスについてはこの時点では表示キーワードは決定されず、上位の階層である第２階層の参照が行われる。
　次に、第２階層のクラスの出現頻度Ｚ２が計測される。計測結果のグラフを図９に示す。○で囲まれたクラスが、第２階層における対応クラスである。第２階層の閾値α２をα２=３０とし、グラフ上に点線で示した。
　「ダルメシアン」の第２階層のクラスは図５より「犬」であり、図９より「犬」はＺ２＜α２を満たすため、ここでも表示キーワードは決定されず、さらに上位階層である第１階層の対応クラス「動物」が参照される。
　「海」、「山」、「空」の第２階層のクラスは「自然」であり、図９より「自然」はＺ２＜α２を満たさないため、第２階層のクラスのキーワード“自然”が表示キーワードとして決定される。
　「田舎町」の第２階層の対応クラスは「街」であり、図９より「街」はＺ２＜α２を満たすため、ここでも表示キーワードは決定されず、さらに上位階層である第１階層の対応クラス「風景」が参照される。
　これらより、結果として図１０に示したように、対応クラス「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」から、“動物”、“日本猫”、“自然”、“風景”が表示キーワードとして決定され、入力画像と併せて画面に表示される。なお、以上の処理における図８、図９をより詳細に説明した図が図１１である。
　また、この状態は次の分類頻度計測処理が行われるまでメモリに記憶される。蓄積された画像の枚数が１００の倍数でない場合、分類頻度計測処理は行われず、クラス分類の結果より第３階層の対応クラスに基づいて、メモリに記憶されている参照処理に基づいて表示キーワードが決定される。
　６．検索に応用した場合の具体例
　ユーザーがキーワードを入力または選択をして所望の画像を検索する場合も、キーワード付与時と同様に、蓄積された撮影画像の分類頻度に応じて検索キーワードは異なる。蓄積された撮影画像から、ユーザーの興味が高いと思われるカテゴリほどより詳細なキーワードが検索キーワードとして表示される。
　検索に用いるキーワードは図５に示すような階層構造で、第１階層のクラスのキーワードからユーザーが選択するとし、ユーザーが検索キーワードを入力してから画像が表示されるまでの処理の流れを図１２に示す。
　まず、ユーザーにより選択された第１階層のクラスのキーワードが入力される（Ｓ１０１）。次に、入力されたキーワードの第３階層のクラスを選択する（Ｓ１０２）。この際、入力されたキーワードの第３階層全てのクラスに対して処理を行う。
　次に、キーワード付与時に第３階層の対応クラスのキーワードが付与されたか否かを判断する（Ｓ１０３）。第３階層の対応クラスのキーワードが付与された場合は第３階層を指定し（Ｓ１０４）、第２階層および第１階層のキーワードが付与された場合は第２階層を指定する（Ｓ１０５）。
　こうして指定された階層全てのキーワードを検索候補キーワードとし（Ｓ１０６）、表示する（Ｓ１０７）。
　さらにユーザーにより表示されたキーワードの中から検索キーワードが選択され（Ｓ１０８）、選択された検索キーワードを用いて画像検索処理が実施される（Ｓ１０９）。
　例えば、ユーザーが「動物」というキーワードを選択した場合、図５よりまず第３階層の「チワワ」、「ダルメシアン」、「柴犬」、「ペルシャ」、「アビシニアン」、「日本猫」、「インコ」、「鳩」のクラスが選択される。この全てのクラスに対して、どの階層のキーワードが付与されたかを判断する。「日本猫」のみが第３階層を参照されたとすると、「日本猫」のみ第３階層が指定され、その他のクラスは第２階層が指定されるため、“犬”、“猫”、“日本猫”、“鳥”というキーワードが検索キーワードとして表示される。
　また、第３階層の「ペルシャ」と「アビシニアン」をまとめて“その他の猫”として検索キーワードに追加してもよい。“日本猫”が検索キーワードとして用いられている以上、日本猫の画像は多数あることが想定される。そのため、“日本猫”の上位概念である“猫”をキーワードとして検索しても、多数の日本猫画像を含む大量の猫画像がヒットしてしまい、目的の画像を見つけることが困難である。つまり、下位概念の“日本猫”と上位概念の“猫”が同時に現れた場合には、上位概念の“猫”は“日本猫”以外の下位概念に起因するキーワードであると判断することができる。よってこの場合、「ペルシャ」「アビシニアン」に対応するキーワードとして“その他の猫”を検索キーワードに表示することで、“日本猫”を検索対象から除外することができるため、より効率的な検索が可能となる。
　７．変形例
　クラス（キーワード）の階層構造は、ある１つのクラスに対して上位階層のクラスが複数候補ある場合もある。各階層は独立しており、分類頻度により上位階層クラスのキーワードを参照する場合は、全ての階層のクラスのキーワードを参照する。
　例えば、図１３は「動物」の階層とは別に「色」の階層がある場合を示し、「日本猫」のクラスを例にすると、上位階層が参照された場合、“猫”と“白”が参照される。
　以上の本実施形態では、図１に示したように、キーワード付与装置は、複数のキーワードが第１～第Ｎの階層からなるクラスに分類（例えば図５のような分類）されている場合に入力画像の特徴量に基づいて対応クラスを特定するクラス特定部１６と、複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測部１９と、参照対象階層を決定する参照対象階層決定部２０と、参照対象階層決定部２０により最終的に参照された参照対象階層における対応クラスのキーワードを表示キーワードとして決定するキーワード決定部２３と、を含む。そして、参照対象階層決定部２０は、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における分類頻度の値に基づいて、第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、第ｋの階層を次の参照対象階層として決定する。
　ここで、対応クラスとは、入力画像に対応するクラスのことである。例えば、図６のような入力画像が得られ、クラス分類が図５であるような場合には、「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」が第３階層の対応クラスとなる。なお、本実施形態では上位階層である第２階層の「犬」、「猫」、「自然」、「街」及び第１階層の「動物」、「風景」も対応クラスとして取り扱う。また、参照対象階層とは、分類頻度の参照を行う階層のことである。上述したように、所定枚数（例えば１００枚）の画像が取得された時点で、全てのクラスに対して分類頻度が計測される。分類頻度は階層ごとに計測されるものであり、参照対象階層とは、どの階層における分類頻度を処理に用いるかを表すものである。
　これにより、各クラスで分類頻度を計測し、その中で特定の階層を参照対象階層として、参照対象階層について、計測した分類頻度を用いて処理を行うことができる。具体的には参照対象階層における分類頻度に基づいて、さらに上位の階層を参照する必要があるかどうかの判定を行い、参照の必要がある場合には上位の階層を次の参照対象階層として参照する。よって、分類頻度に基づいて、必要に応じて、下の階層から上の階層へ参照を行って行くことが可能になる。最終的に参照した階層におけるキーワードが表示キーワードとして決定されることに鑑みれば、下位の階層におけるキーワードを優先しつつ、かつ、上位の階層におけるキーワードも必要に応じて付与することが可能なキーワード付与装置を実現することができる。
　また、参照対象階層決定部２０は、第ｊの階層における分類頻度に基づいて、第ｊの階層よりも上位の階層への参照が必要ないと判定された場合には、第ｊの階層を最終的な参照対象階層として決定する。そして、キーワード決定部２３は、第ｊの階層における対応クラスのキーワードを入力画像の付与する表示キーワードとして決定する。
　これにより、上位の階層の参照が必要ないと判定された場合には、上位の階層への参照処理を終了して、そのときの参照対象階層を最終的な参照対象階層として決定することができる。つまり、下位の階層からスタートして、より上位の階層へと移行して行く参照処理を途中で止めることができるため、任意の階層におけるキーワードを表示キーワードとして決定することが可能になる。
　また、参照対象階層決定部２０は、最も下の階層である第Ｎの階層を最初の参照対象階層として決定するとともに、第Ｎの階層における分類頻度に基づいて、第Ｎの階層よりも上位の階層への参照が必要か否かの判定を行う。図５の例であれば、第３階層を最初の参照対象階層として決定する。そして、上位階層の参照が必要な場合は、上位の階層を次の参照対象階層として決定する。参照が必要でない場合は、第Ｎの階層を最終的な参照対象階層として決定し、第Ｎの階層における対応クラスのキーワードを、入力画像に付与する表示キーワードとして決定する。
　これにより、最も下の階層を参照処理のスタートとして用いることが可能になる。参照処理は専ら下から上への方向で行われるため、開始を中位の階層にしたのでは、それより下の階層への参照はできなくなってしまう。そのため、最も下の階層から処理を開始することは任意の階層の参照を可能にするという観点から非常に重要である。
　また、第ｊの階層における、対応クラスの分類頻度の値が所与の閾値よりも小さい場合には、参照対象階層決定部２０は上位の階層である第ｋの階層を次の参照対象階層として決定してもよい。また、第ｊの階層における、対応クラスの分類頻度の値が所与の閾値よりも大きい場合には、参照対象階層決定部２０は上位の階層への参照を終了して、第ｊの階層を最終的な参照対象階層として決定してもよい。
　これにより、上位の階層への参照が必要か否かを閾値との比較処理により行うことが可能になる。閾値よりも小さい場合に上位階層の参照を行い、閾値よりも大きい場合に参照を行わないようにすることで、頻度の高いものについては下位階層のキーワードが付与され、頻度の低いものについては上位階層のキーワードが付与されることになる。この際、第ｊの階層における閾値と、第ｋの階層における閾値とを異ならせることにより、さらに柔軟な処理が可能になる。
　また、クラス特定部１６において、複数の入力画像の各入力画像に対して、１又は複数の対応クラスが特定された場合に、分類頻度は以下のようにして求められる。すなわち、所与の階層に属する全てのクラスのクラス特定回数の総和をｍとし、分類頻度参照対象クラスのクラス特定回数をｎとしたときに、分類頻度はｎ／ｍに基づいて求められる。
　ここで、クラス特定回数とは、各クラスがクラス特定部１６において特定された回数のことである。図６の画像が入力された場合には、「ダルメシアン」、「日本猫」、「海」、「山」、「空」、「田舎町」が対応クラスとして特定されるため、この６つのクラスのクラス特定回数が１増えることになる。
　これにより、簡単な式により分類頻度を求めることが可能になるため、処理を容易にすることができる。入力画像が入力された際には、キーワード付与のために対応クラスを特定する処理は必ず必要である。よって、分類頻度計測のために特有の処理を行う必要がなく、キーワード付与処理の中で自然に分類頻度を求めることができる。
　また、キーワード付与装置は、図１に示したように、キーワード決定部２３で決定したキーワードを表示するキーワード表示部２４を含んでもよい。そして、キーワード表示部２４は、参照対象階層決定部２０で参照された階層以外の対応クラスのキーワードを候補として提示してもよい。
　これにより、キーワードを表示することが可能になる。また、本実施形態の手法では、下位概念となるキーワードと、その下位概念を包含する上位概念となるキーワードが同時に付与されるようなケースが考えられる。そのため、上位概念のキーワードを表示する有効性に乏しい可能性がある。上述した例では図６の画像に対して“日本猫”と“動物”というキーワードが付与されるが、“動物”というキーワードは検索に用いたとしてもあまり有用ではない（たくさんの日本猫の画像も“動物”に該当してしまうため）。よって、この“動物”は「ダルメシアン」に起因することを考えれば、あえて“動物”の下位概念である“犬”をキーワードとして表示した方が、検索をスムーズにすることができる。
　また、第１～第Ｎの階層からなるクラスは、下位の階層に行くに従い、より詳細なキーワードに対応してもよい。
　これにより、下位の階層が下位概念であり、上位の階層が上位概念となるクラス分類を構成することができる。よって、上述したように、頻度が高ければ下位の階層のキーワードを付与し、頻度が低ければ上位の階層のキーワードを付与するキーワード付与装置においては、頻度が高ければ詳細なキーワードが付与され、頻度が低ければ荒いキーワードが付与されることになる。そのため、ユーザーの嗜好等を反映したキーワード付与が可能になる。
　また、本実施形態の手法は、複数のキーワードが第１～第Ｎの階層からなるクラスに分類（例えば図５のような分類）されている場合に入力画像の特徴量に基づいて対応クラスを特定するクラス特定手順と、複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測手順と、参照対象階層を決定する参照対象階層決定手順と、参照対象階層決定部２０により最終的に参照された参照対象階層における対応クラスのキーワードを表示キーワードとして決定するキーワード決定手順と、をコンピュータに実行させるためのプログラムにも適用できる。そして、参照対象階層決定手順では、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における分類頻度の値に基づいて、第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、第ｋの階層を次の参照対象階層として決定する。
　これにより、本実施形態は、撮像装置のように、画像を取得し、システム内でキーワード付与処理を行うものに限定されず、例えば、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものにも適用することが可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリやＲＡＭ等のメモリなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
　なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またキーワード付与装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１２　メモリ、１４　画像取得部、１５　特徴量抽出部、１６　クラス特定部、
１８　画像枚数測定部、１９　分類頻度計測部、２０　参照対象階層決定部、
２３　キーワード決定部、２４　キーワード表示部

Claims (11)

  1. 　複数のキーワードが第１～第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定部と、
    　前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測部と、
    　前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定部と、
    　前記参照対象階層決定部により最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定部と、
    　を含み、
    　前記参照対象階層決定部は、
    　第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層が現在の前記参照対象階層であるときに、第ｊの階層における前記対応クラスの前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定することを特徴とするキーワード付与装置。
  2. 　請求項１において、
    　前記参照対象階層決定部は、
    　前記第ｊの階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層への参照が必要ないと判定された場合には、前記第ｊの階層を最終的な前記参照対象階層として決定し、
    　前記キーワード決定部は、
    　前記第ｊの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定することを特徴とするキーワード付与装置。
  3. 　請求項２において、
    　前記参照対象階層決定部は、
    　最も下の階層である第Ｎの階層を、最初の前記参照対象階層として決定するとともに、
    　第Ｎの階層における前記分類頻度の値に基づいて、第Ｎの階層よりも上位の階層への参照が必要か否かの判定を行い、
    　前記第Ｎの階層よりも上位の階層への参照が必要な場合には、
    　前記参照対象階層決定部は、
    　前記上位の階層を次の前記参照対象階層として決定し、
    　前記第Ｎの階層よりも上位の階層への参照が必要でない場合には、
    　前記参照対象階層決定部は、
    　前記第Ｎの階層を最終的な前記参照対象階層として決定し、
    　前記キーワード決定部は、
    　前記第Ｎの階層における、前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定することを特徴とするキーワード付与装置。
  4. 　請求項１乃至３のいずれかにおいて、
    　前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも小さい場合には、
    　前記参照対象階層決定部は、
    　前記第ｊの階層よりも上位の階層である前記第ｋの階層を次の前記参照対象階層として決定し、
    　前記第ｊの階層における、前記対応クラスの分類頻度の値が所与の閾値よりも大きい場合には、
    　前記参照対象階層決定部は、
    　上位の階層への参照を終了し、前記第ｊの階層を最終的な前記参照対象階層として決定することを特徴とするキーワード付与装置。
  5. 　請求項１乃至３のいずれかにおいて、
    　前記クラス特定部において、複数の前記入力画像の各入力画像に対して、１又は複数の対応クラスが特定され、前記参照対象階層に属する複数のクラスのクラス特定回数の総和をｍとし、分類頻度参照対象クラスのクラス特定回数をｎとした場合に、
    　前記分類頻度計測部は、
    　前記分類頻度を、ｎ／ｍに基づいて求めることを特徴とするキーワード付与装置。
  6. 　請求項１乃至３のいずれかにおいて、
    　前記キーワード決定部で決定したキーワードを表示するキーワード表示部を含むことを特徴とするキーワード付与装置。
  7. 　請求項６において、
    　前記キーワード表示部は、
    　前記参照対象階層決定部で参照された階層以外の階層における対応クラスのキーワードも候補として提示することを特徴とするキーワード付与装置。
  8. 　請求項１乃至３のいずれかにおいて、
    　前記第ｊの階層に属するクラスのキーワードは、
    　前記第ｊの階層よりも上位の階層である前記第ｋの階層に属するクラスのキーワードに比べて、詳細なキーワードであることを特徴とするキーワード付与装置。
  9. 　複数のキーワードが第１～第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するクラス特定手順と、
    　前記複数のクラスの各クラスに対して分類頻度の計測を行う分類頻度計測手順と、
    　前記分類頻度の参照を行う階層である参照対象階層を決定する参照対象階層決定手順と、
    　前記参照対象階層決定手順で最終的に参照された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定するキーワード決定手順と、
    　をコンピュータに実行させるためのプログラムであって、
    　前記参照対象階層決定手順では、
    　第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層における前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定することを特徴とするプログラム。
  10. 　コンピュータ読み取り可能な情報記憶媒体であって、請求項９に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
  11. 　複数のキーワードが第１～第Ｎ（Ｎは２以上の整数）の階層からなる複数のクラスに分類されている場合に、
    　入力画像から抽出した特徴量に基づいて、前記入力画像に対応するクラスである対応クラスを特定するとともに、
    　前記複数のクラスの各クラスに対して分類頻度の計測を行い、
    　前記分類頻度の参照を行う階層である参照対象階層として、第ｊ（ｊは１≦ｊ≦Ｎの整数）の階層が決定されているときに、第ｊの階層における前記対応クラスの前記分類頻度の値に基づいて、前記第ｊの階層よりも上位の階層である第ｋ（ｋは１≦ｋ＜ｊの整数）の階層への参照が必要であるか否かの判定を行い、参照が必要と判定された場合には、前記第ｋの階層を次の参照対象階層として決定する参照対象階層決定処理を行い、
    　前記参照対象階層決定処理の結果として最終的に決定された前記参照対象階層における前記対応クラスのキーワードを、前記入力画像に付与する表示キーワードとして決定することを特徴とするキーワード付与処理方法。
PCT/JP2012/051310 2011-01-26 2012-01-23 キーワード付与装置、プログラム、情報記憶媒体及びキーワード付与処理方法 WO2012102226A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/943,532 US20130304743A1 (en) 2011-01-26 2013-07-16 Keyword assignment device, information storage device, and keyword assignment method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-013967 2011-01-26
JP2011013967A JP5791909B2 (ja) 2011-01-26 2011-01-26 キーワード付与装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/943,532 Continuation US20130304743A1 (en) 2011-01-26 2013-07-16 Keyword assignment device, information storage device, and keyword assignment method

Publications (1)

Publication Number Publication Date
WO2012102226A1 true WO2012102226A1 (ja) 2012-08-02

Family

ID=46580793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/051310 WO2012102226A1 (ja) 2011-01-26 2012-01-23 キーワード付与装置、プログラム、情報記憶媒体及びキーワード付与処理方法

Country Status (3)

Country Link
US (1) US20130304743A1 (ja)
JP (1) JP5791909B2 (ja)
WO (1) WO2012102226A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127641A (zh) * 2021-04-23 2021-07-16 北京字节跳动网络技术有限公司 百科词条的展示方法、装置、设备、介质及程序产品
US20210326784A1 (en) * 2018-12-17 2021-10-21 Isd Inc. Method for analyzing risk of cooperrator supply chain

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2701103A3 (en) * 2012-08-24 2014-03-26 Samsung Electronics Co., Ltd Method of recommending friends, and server and terminal therefor
US9275331B2 (en) * 2013-05-22 2016-03-01 International Business Machines Corporation Document classification system with user-defined rules
JP6204266B2 (ja) * 2014-05-28 2017-09-27 日本電信電話株式会社 情報検索装置
JP6043755B2 (ja) * 2014-06-19 2016-12-14 ヤフー株式会社 生成装置、生成方法及び生成プログラム
JP6540268B2 (ja) * 2015-06-24 2019-07-10 富士ゼロックス株式会社 オブジェクト分類装置及びプログラム
JP6904102B2 (ja) * 2017-06-26 2021-07-14 大日本印刷株式会社 画像検索方法及びサーバ
JP6891744B2 (ja) * 2017-09-11 2021-06-18 大日本印刷株式会社 画像マップ作成装置、表示装置及びプログラム
JP7171349B2 (ja) 2018-09-28 2022-11-15 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7309944B2 (ja) * 2019-02-22 2023-07-18 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JPWO2022180796A1 (ja) * 2021-02-26 2022-09-01
WO2024034415A1 (ja) * 2022-08-10 2024-02-15 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282328A (ja) * 1996-04-16 1997-10-31 Canon Inc 文書画像処理装置及びその方法
JP2008165303A (ja) * 2006-12-27 2008-07-17 Fujifilm Corp コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム
JP2009017565A (ja) * 2008-07-18 2009-01-22 Fujifilm Corp 画像再生装置、カメラ、画像再生方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3335863B2 (ja) * 1997-01-24 2002-10-21 日本電気株式会社 文字入力簡易化装置及び方法
JPH10312387A (ja) * 1997-03-11 1998-11-24 Minolta Co Ltd 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体
JP2004287670A (ja) * 2003-03-20 2004-10-14 Dainippon Printing Co Ltd 画像データベース作成装置、画像データベース作成方法、プログラム、及び記録媒体
US7542994B2 (en) * 2006-03-24 2009-06-02 Scenera Technologies, Llc Graphical user interface for rapid image categorization
JP4946282B2 (ja) * 2006-09-06 2012-06-06 株式会社ニコン 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
EP3336765A1 (en) * 2006-05-10 2018-06-20 Nikon Corporation Object recognition device, object recognition program, and image search service providing method
JP2008090698A (ja) * 2006-10-04 2008-04-17 Fujifilm Corp 画像分類装置および方法ならびにプログラム
US8200025B2 (en) * 2007-12-07 2012-06-12 University Of Ottawa Image classification and search
US20090265631A1 (en) * 2008-04-18 2009-10-22 Yahoo! Inc. System and method for a user interface to navigate a collection of tags labeling content
US8768064B2 (en) * 2008-09-01 2014-07-01 Nec Corporation Image feature extraction device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282328A (ja) * 1996-04-16 1997-10-31 Canon Inc 文書画像処理装置及びその方法
JP2008165303A (ja) * 2006-12-27 2008-07-17 Fujifilm Corp コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム
JP2009017565A (ja) * 2008-07-18 2009-01-22 Fujifilm Corp 画像再生装置、カメラ、画像再生方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210326784A1 (en) * 2018-12-17 2021-10-21 Isd Inc. Method for analyzing risk of cooperrator supply chain
US11610168B2 (en) * 2018-12-17 2023-03-21 Isd Inc. Method for analyzing risk of cooperrator supply chain
CN113127641A (zh) * 2021-04-23 2021-07-16 北京字节跳动网络技术有限公司 百科词条的展示方法、装置、设备、介质及程序产品

Also Published As

Publication number Publication date
JP2012155524A (ja) 2012-08-16
US20130304743A1 (en) 2013-11-14
JP5791909B2 (ja) 2015-10-07

Similar Documents

Publication Publication Date Title
JP5791909B2 (ja) キーワード付与装置
JP5934653B2 (ja) 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
US9008438B2 (en) Image processing device that associates photographed images that contain a specified object with the specified object
Karayev et al. Recognizing image style
CN102576372B (zh) 基于内容的图像搜索
CN102132318B (zh) 图像收藏集的可缩放的相关性排序表示的自动创建
KR101417548B1 (ko) 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템
US8391618B1 (en) Semantic image classification and search
WO2011161889A1 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
JP2011154687A (ja) 画像データセットをナビゲートするための方法、装置、及びプログラム
EP1854033A1 (en) Additive clustering of images lacking temporal information
US20160335493A1 (en) Method, apparatus, and non-transitory computer-readable storage medium for matching text to images
JPWO2011148562A1 (ja) 画像情報処理装置
JP2012504806A (ja) 対話式画像選択方法
US8320609B2 (en) Device and method for attaching additional information
JP2008217428A (ja) 画像検索プログラム、方法及び装置
JP2017535860A (ja) マルチメディア内容の提供方法および装置
JP2014093058A (ja) 画像管理装置、画像管理方法、プログラム及び集積回路
Vimina et al. A sub-block based image retrieval using modified integrated region matching
CN112818162B (zh) 图像检索方法、装置、存储介质和电子设备
JP2014092955A (ja) 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム
Mikulik et al. Image retrieval for online browsing in large image collections
US8270731B2 (en) Image classification using range information
WO2012032971A1 (ja) キーワード付与装置及び記録媒体
WO2012017599A1 (ja) 情報処理装置、処理方法、コンピュータプログラム及び集積回路

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12738709

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12738709

Country of ref document: EP

Kind code of ref document: A1