WO2011045920A1 - 色彩解析装置、色彩解析方法、及び色彩解析プログラム - Google Patents

色彩解析装置、色彩解析方法、及び色彩解析プログラム Download PDF

Info

Publication number
WO2011045920A1
WO2011045920A1 PCT/JP2010/006058 JP2010006058W WO2011045920A1 WO 2011045920 A1 WO2011045920 A1 WO 2011045920A1 JP 2010006058 W JP2010006058 W JP 2010006058W WO 2011045920 A1 WO2011045920 A1 WO 2011045920A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
natural language
description
language description
image
Prior art date
Application number
PCT/JP2010/006058
Other languages
English (en)
French (fr)
Inventor
細見格
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP10823188.7A priority Critical patent/EP2490132A4/en
Priority to US13/502,063 priority patent/US9400808B2/en
Priority to JP2011543938A priority patent/JP5682569B2/ja
Priority to CN201080046661.8A priority patent/CN102667767B/zh
Publication of WO2011045920A1 publication Critical patent/WO2011045920A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture

Definitions

  • the present invention relates to a color analysis device, a color analysis method, and a color analysis program that analyze colors based on descriptions about colors in natural language sentences.
  • the video captured by the surveillance camera is also stored as digital data, and searching for people and objects by video analysis using a computer has made the search for people and objects more efficient.
  • search is performed by comparing metadata described in a natural language phrase previously assigned to each image with the query sentence. There is a way.
  • searching by converting natural language expressions related to colors and shapes included in an inquiry sentence into image feature amounts.
  • Non-Patent Document 2 discloses a method in which metadata is added to an image automatically extracted from a document (blog) using a tool and an image can be searched in the same manner as a full-text search of a document.
  • Non-Patent Document 3 expresses sensory words such as “square” and “clean” and the length and angle of each part of an object such as a chair included in the image by symbols or numerical values.
  • a method of searching by associating shape feature amounts is disclosed.
  • the latter search method there is a search method by converting a natural language expression related to color into a color feature amount of an image.
  • a color expression using words such as “blue” or “yellowish” is associated with a color feature amount expressed as a distribution of values in a color space such as RGB or HSI, And a method for searching landscape photos and the like are disclosed.
  • Such an image search method using color feature amounts can also be applied when searching for an image to which no metadata is assigned in advance.
  • image search using shape features cannot be performed effectively (for example, when searching for products with the same shape such as T-shirts and handkerchiefs, or searching for photographic images with indefinite shapes such as natural scenery) It is also effective in the case of
  • the present invention has been made to solve the above-described problem, and a case where a plurality of colors are described when an image search is performed based on a description of colors expressed in a natural language. Even so, it is an object of the present invention to provide a color analysis device, a color analysis method, and a color analysis program that can accurately search for a desired image.
  • a color analysis device is a color analysis device that replaces a natural language description, which is a description of a color expressed in a natural language, with data indicating a distribution of values in a predetermined color space.
  • Color ratio determining means for determining the ratio of the area occupied by the color included in the natural language description to the entire area of the image targeted by the natural language description using a phrase indicating the relationship between the colors included. It is characterized by that.
  • Another aspect of the color analysis apparatus is a color analysis apparatus that replaces a natural language description, which is a description of a color expressed in a natural language, with data indicating a distribution of values in a predetermined color space, Color ratio determination means for determining the ratio of the area occupied by each of the colors specified by the natural language description and the predetermined color stored in advance to the entire area of the image targeted by the natural language description It is provided with.
  • a natural language description which is a description of a color expressed in a natural language, with data indicating a distribution of values in a predetermined color space
  • Color ratio determination means for determining the ratio of the area occupied by each of the colors specified by the natural language description and the predetermined color stored in advance to the entire area of the image targeted by the natural language description It is provided with.
  • the color analysis method uses a phrase indicating a relationship between colors included in a natural language description, which is a description of a color expressed in a natural language, to the entire image area targeted by the natural language description.
  • data representing a distribution of values in a predetermined color space is generated by determining a ratio of a region occupied by a color included in a natural language description.
  • Another aspect of the color analysis method according to the present invention is directed to the natural language description for the color specified by the natural language description that is a description of the color expressed in the natural language and the predetermined color stored in advance.
  • Data representing a distribution of values in a predetermined color space is generated by determining a ratio of the area occupied by each color with respect to the entire area of the image.
  • the color analysis program uses a phrase indicating a relationship between colors included in a natural language description, which is a description of a color expressed in a natural language, on a computer, and the image of the image targeted by the natural language description. This is to execute processing for determining the ratio of the region occupied by the colors included in the natural language description and processing for generating data indicating the distribution of values in a predetermined color space for the entire region.
  • the natural language description for a color specified by a natural language description that is a description of a color expressed in natural language and a predetermined color stored in advance are stored in a computer.
  • a process for determining a ratio of the area occupied by each color and a process for generating data indicating a distribution of values in a predetermined color space with respect to the entire target image area. is there.
  • a desired image when an image search is performed based on a description about a color expressed in a natural language, a desired image can be searched with high accuracy even when a plurality of colors are described. it can.
  • FIG. 1 is a block diagram showing an example of a functional configuration of a color analysis apparatus according to the present invention.
  • the color analysis apparatus includes a dictionary 101, a natural language sentence input unit 102, a color description extraction unit 103, a color ratio determination unit 104, and an image feature quantity generation unit 105. including.
  • the color analysis apparatus can generate image feature data corresponding to the description of the natural language related to the input color by using these means. That is, in the present invention, the color analysis apparatus converts a description related to the color of a natural language sentence into a feature amount of an image.
  • the color analysis device is specifically realized by an information processing device such as a personal computer that operates according to a program.
  • the color analysis apparatus can be applied to, for example, an application for performing an image search for accumulated camera-captured video. By applying to such a purpose, it becomes possible to perform image retrieval from the characteristics of the subject heard from a person (listening information, etc.).
  • the color analysis apparatus according to the present invention particularly compares the use of searching for goods / equipment such as desired clothes and shoes, the color distribution generated from a natural language sentence and the color distribution of an object to be originally searched, It can be applied to the use of analyzing the difference between a person's memory color and the actual color, analyzing the influence of lighting, adjusting the lighting, and the like.
  • the dictionary 101 is a dictionary including natural language words representing colors (hereinafter also referred to as color descriptions) and natural language words representing relationships between colors (hereinafter also referred to as related words). Specifically, the dictionary 101 is stored in a storage device such as a magnetic disk device or an optical disk device.
  • the natural language sentence input means 102 is realized by a CPU of an information processing apparatus that operates according to a program and an input device such as a keyboard and a mouse.
  • the natural language sentence input unit 102 has a function of inputting a query sentence described in a natural language for an image to be searched in accordance with a user operation. It is assumed that the natural language sentence input means 102 inputs a query sentence describing characteristics relating to the color of the image to be searched.
  • the natural language sentence input unit 102 may input or receive a file including a query sentence describing an image to be searched, for example.
  • the color description extraction means 103 is specifically realized by a CPU of an information processing apparatus that operates according to a program.
  • the color description extraction unit 103 has a function of extracting a word (color description) representing a color from the query sentence input by the natural language sentence input unit 102 using the dictionary 101.
  • the color description extraction unit 103 has a function of extracting a related word from the query sentence input by the natural language sentence input unit 102 using the dictionary 101.
  • the color ratio determination unit 104 is realized by a CPU of an information processing apparatus that operates according to a program.
  • the color ratio determination unit 104 has a function of determining a ratio between a plurality of colors included in the inquiry sentence based on the color description extracted by the color description extraction unit 103 and related words.
  • the color ratio determination unit 104 extracts a value indicating a color space corresponding to the color description extracted by the color description extraction unit 103 and a division ratio corresponding to a related word from the dictionary 101. Then, the color ratio determination unit 104 calculates the color area and color ratio (ratio of the area indicated by the color included in the inquiry sentence) in the image to be searched based on the value indicating the extracted color space and the division ratio.
  • the image feature quantity generation means 105 is specifically realized by a CPU of an information processing apparatus that operates according to a program.
  • the image feature quantity generation means 105 is based on the color ratio determined by the color ratio determination means 104, and the image feature quantity (characteristic data indicating a distribution of values in a predetermined color space) indicating characteristics relating to the color of the search target image.
  • the function to generate In the present embodiment, the image feature amount generation unit 105 generates an image feature amount that includes the color area and the color ratio obtained by the color ratio determination unit 104 in association with each other.
  • FIG. 2 is an explanatory diagram showing an example of input / output data input to the color analyzer and an image search using the color analyzer.
  • the natural language sentence input unit 102 inputs an inquiry sentence such as “A shirt with a yellow line on a blue background ...” according to a user operation, for example.
  • the color analysis apparatus also uses a sentence described in a natural language for an image to be searched that is described using a plurality of colors such as “a yellow line on a blue background”.
  • one or more local regions occupying a specific range in the color space, and the ratio of the area occupied by the colors in each local region to the entire region of the search target image (color ratio) Including image feature data can be generated. Then, by performing image collation using the image feature amount generated by the color analysis device, it is possible to perform an image search for a search target.
  • FIG. 3 is an explanatory diagram showing a specific example of the dictionary 101. Extraction of a color description (color description) from a natural language sentence by the color description extracting means 103, and determination processing of the color ratio occupied by each area in the color space of each color described in the natural language sentence by the color ratio determining means 104 Can be executed by referring to the dictionary 101 prepared with the content structure shown in FIG.
  • the color description extraction unit 103 refers to the dictionary 101 illustrated in FIG. It is possible to extract “blue” and “yellow”. Further, the color description extraction unit 103 can extract a relation word “ni” representing a relationship between color names. However, the color description extraction unit 103 extracts a matching word only from a character string positioned between two color names included in the query sentence as a word representing the relationship (related word). In this example, the color description extraction unit 103 extracts color descriptions and related words in the order of extraction from the query sentence, such as [color name: blue], [relation: ni], and [color name: yellow].
  • FIG. 4 is an explanatory diagram illustrating an example of processing by the color ratio determination unit 104.
  • the color description extracting means 103 follows the same process as described above, [color name: blue], [relationship: And [Color name: Yellow] are extracted.
  • the color ratio determining unit 104 sets the color area width W to the value in the color space of [color name: blue] (HSV space in the dictionary 101 shown in FIG. 3).
  • the added region (240, 1.0, 0.5, 0.15) can be obtained.
  • the color ratio determination unit 104 can obtain the area (60, 1.0, 0.5, 0.08) of [color name: yellow] according to the same processing.
  • the color ratio determination unit 104 applies the area division ratio of the color region indicated by the relation word [relationship: ni] that connects both colors to each of the obtained regions in the color space of the two colors, Find the ratio.
  • 0.8: 0.2 is specified by the dictionary 101 shown in FIG.
  • the color ratio determination means 104 has an area ratio of [color name: blue] on the target image of 0.8 (80%), and a region of [color name: yellow] on the target image. It can be determined that the area ratio is 0.2 (20%).
  • the color ratio determining means 104 As another example, a case where the input natural language sentence has a description of “blue and red on a white background” will be described. Also in this case, according to the same processing as in FIG. 4A, the color ratio determining means 104, as shown in FIG. 4B, is 0.8, 0.1, The area ratio can be assigned at a ratio of 0.1, and the color ratio of the colors constituting a certain target image can be determined. However, in the example shown in FIG. 4B, the color ratio determining unit 104 determines the ratio by giving priority to [Relation: To] over [Relation: To] for the combination of color names.
  • the color ratio determination unit 104 may determine the area ratio of the color region by further using the default color value included in the dictionary 101 illustrated in FIG. For example, only when the number of color names included in the color-related description extracted from the natural language sentence is 0 or only one color-related description is included, the color ratio determining unit 104 determines the default color. May be applied to determine the color ratio. In addition, the color ratio determination unit 104, for example, even when two or more color names are included in the inquiry sentence, the relation word that connects the two or more colors is [Relation: To]. In the case of representing equal division, the color ratio may be determined in addition to the default color as one of the equal division target colors.
  • the color ratio determination unit 104 sets the default color.
  • the color may be applied as one equally divided color to determine the color ratio.
  • the color ratio determining unit 104 determines that the color description and the related word included in the inquiry sentence correspond to [color name: white], [relation: and], and [color name: red], and the expression (1 ) To determine the color ratio.
  • the values indicating the color space for each color included in the dictionary 101 are determined by, for example, a system administrator who manages the color analyzer. It is assumed that it has been input and registered in advance.
  • the value of the division ratio for each related word can be obtained as a statistical value by, for example, collecting the history of past image searches. For example, in the present embodiment, as a result of aggregating past image search histories, when the related word “to” is used, a statistical value indicating that the ratio between colors is about 50% is obtained.
  • the related word “ni” it is assumed that a statistical value indicating that the ratio between colors is 80:20 has been obtained. Then, it is assumed that the dictionary 101 is set in advance based on these statistical values.
  • the HSV space is used as the color space of each color.
  • the color space is not limited to that illustrated in the present embodiment, and may be, for example, an RGB space or an HLS space. May be used.
  • the image feature quantity generation unit 105 shown in FIG. 1 can output a set of one or more color regions and color ratios obtained by the color ratio determination unit 104 as an image feature quantity.
  • the color analyzing apparatus can generate an area on the color space for one color or two or more colors constituting the image from the input natural language sentence (query sentence). And an image feature amount including the ratio of the occupied area can be generated. Therefore, as in the example shown in FIG. 2, an image composed of two or more colors can be searched based on a natural language sentence.
  • FIG. 5 is a block diagram illustrating an example of a hardware configuration of the color analysis apparatus.
  • the color analysis device 12 can be realized by a hardware configuration similar to a general computer device, and includes a CPU (Central Processing Unit) 121, a main storage unit 122, an output unit 123, and an input unit. 124, a communication unit 125, and an auxiliary storage unit 126.
  • a CPU Central Processing Unit
  • the main storage unit 122 is a main memory such as a RAM (Random Access Memory), and is used as a data work area or a temporary data save area.
  • the output unit 123 is a display device such as a liquid crystal display device or a printing device such as a printer, and has a function of outputting data.
  • the input unit 124 is an input device such as a keyboard or a mouse, and has a function of inputting data. Further, when data is input by reading a file, the input unit 124 may be an external recording medium reading device or the like.
  • the communication unit 125 is connected to a peripheral device and has a function of transmitting and receiving data.
  • the auxiliary storage unit 126 is a ROM (Read Only Memory), a hard disk device, or the like.
  • the above-described components 121 to 126 are connected to each other via a system bus 127.
  • the auxiliary storage unit 126 of the color analysis device 12 stores various programs for analyzing colors included in the search target image based on a query sentence input as a natural language sentence. Yes.
  • the auxiliary storage unit 126 uses a word / phrase indicating a relationship between colors included in a natural language description, which is a description of a color expressed in a natural language, to the computer to store an image of the image targeted by the natural language description.
  • a color analysis program for executing processing for determining a ratio of a region occupied by colors included in a natural language description and processing for generating data indicating a distribution of values in a predetermined color space with respect to the entire region. I remember it.
  • the color analysis device 12 has a hardware component such as an LSI (Large Scale Integration) in which a program for realizing the function shown in FIG. You may implement
  • the program for providing each function of each component as shown in FIG. 1 may be realized by software by causing the CPU 121 of the computer to execute the program. That is, the CPU 121 loads the program stored in the auxiliary storage unit 126 to the main storage unit 122 and executes the program, thereby controlling the operation of the color analysis device 12 to realize each function described above in software. be able to.
  • FIG. 6 is a flowchart illustrating an example of processing in which the color analysis apparatus inputs a natural language sentence and analyzes colors included in an image to be searched.
  • the color analysis apparatus inputs a natural language sentence and analyzes colors included in an image to be searched.
  • the user wants to perform an image search, he / she operates the color analysis device to input an inquiry sentence (natural language sentence) in which the feature (especially color) of the image to be searched is described using a natural language.
  • the natural language sentence input means 102 of the color analysis apparatus inputs a natural language sentence according to the user's operation (step S10).
  • the color description extraction unit 103 of the color analysis apparatus extracts a color description and related words for the search target image from the natural language sentence input by the natural language sentence input unit 102 (step S11). ).
  • the color ratio determining unit 104 of the color analyzing apparatus determines a ratio between a plurality of colors included in the inquiry sentence based on the color description and related words extracted by the color description extracting unit 103 (step S12).
  • the color ratio determination unit 104 extracts a value indicating a color space corresponding to the extracted color description and a division ratio corresponding to a related word from the dictionary 101.
  • the color ratio determination unit 104 obtains a color area to color ratio in the search target image based on the value indicating the extracted color space and the division ratio.
  • the image feature quantity generation unit 105 of the color analysis apparatus generates an image feature quantity indicating characteristics relating to the color of the search target image based on the color ratio determined by the color ratio determination unit 104 (step S13).
  • the image feature amount generation unit 105 generates an image feature amount that includes the color area and the color ratio obtained by the color ratio determination unit 104 in association with each other.
  • the image feature amount generated by the color analysis device is input to an image search device (not shown) that performs image search.
  • the image search device performs an image search based on the image feature amount generated by the color analysis device, and searches for and extracts an image that matches the search target image.
  • the image search device and the color analysis device may be realized using the same information processing device or may be realized using different information processing devices.
  • the color analysis apparatus represents an image feature amount from a natural language sentence that is input by reading a keyboard or a file or received using a communication unit via a network. Generate data. Then, an image search apparatus (not shown) connected via a network or an image search program executed in the same hardware as the color analysis apparatus 12 is used and is configured with one or more colors. Can be realized.
  • the color analyzer extracts a plurality of color descriptions included in the input natural language sentence and extracts related words. Then, the color analysis apparatus obtains a color region and a color ratio for a plurality of colors based on the extracted color description and related words. Then, the color analysis apparatus generates an image feature amount that includes the obtained color region and color ratio in association with each other. Therefore, when an image search is performed based on a description about colors expressed in a natural language, even if a plurality of colors are described, they can be converted into color feature values on the image. Therefore, when an image search is performed based on a description about colors expressed in a natural language, a desired image can be searched with high accuracy even when a plurality of colors are described. In other words, even if an image to be searched is composed of a plurality of colors, a desired image can be searched with high accuracy based on plain natural language expression.
  • FIG. 7 is a block diagram illustrating a functional configuration example of the color analysis apparatus according to the second embodiment.
  • the color analysis apparatus includes target configuration knowledge 107, target description extraction unit 108, color value adjustment unit 109, and color ratio adjustment unit. 110 in that it is different from the first embodiment.
  • the information included in the dictionary 106 is different from the information included in the dictionary 101 shown in the first embodiment.
  • the functions of the natural language sentence input unit 102, the color description extraction unit 103, the color ratio determination unit 104, and the image feature amount generation unit 105 are the same as those shown in the first embodiment. Since it is the same, description is abbreviate
  • FIG. 8 is an explanatory diagram showing a specific example of the dictionary 106 according to the second embodiment.
  • the dictionary 106 is the first in that it further includes an object name dictionary, a prefix modifier dictionary, and a prefix modifier dictionary compared to the dictionary 101 shown in FIG. 3. Different from the embodiment.
  • the target name dictionary includes target names other than colors (for example, objects such as clothes) among words that can be a feature of an image to be searched.
  • an object indicated by the word “clothing name: jersey” is an instance of a class “clothing” (“clothing: jersey, clothing, blue” included in the object name dictionary ( Example).
  • “blue” is the default color for “clothing name: jersey”, and the default color in the dictionary 101 shown in the first embodiment in the area identified as the jersey on the image. It can be used similarly.
  • clothes such as jerseys and jackets are described as examples of objects that can be included in the search target image.
  • the present invention is not limited to those illustrated in the present embodiment, and examples include bags and cameras. Analysis may be performed on the belongings of
  • the prefix modifier dictionary includes prefix modifiers such as “bright” and “light” among the words that can be the characteristics of the image to be searched.
  • the post-modifier dictionary includes post-modifiers such as “ ⁇ ish” and “ ⁇ system” among words that can be a feature of the image to be searched.
  • the object configuration knowledge 107 includes information indicating a class that is a category to which an object that can be included in an image to be searched belongs, and information indicating a relationship between the classes.
  • FIG. 9 is an explanatory diagram illustrating a specific example of information indicating classes included in the target configuration knowledge 107 and information indicating relationships between the classes in the second embodiment.
  • the target configuration knowledge 107 is specifically stored in a storage device such as a magnetic disk device or an optical disk device.
  • “clothing”, “upper jacket”, “upper body”, etc. represent classes, and “classification”, “overwriting”, “priority” given to the arrow lines connecting the classes. "Represents a specific relationship (a relationship between classes). As for “overwrite” and “priority” among the relationships between classes, as shown in FIG. 9, the class located at the base of the arrow representing the relationship between these classes is located at the tip of the arrow. It also describes how much of the shared area on the image occupies the class.
  • the target configuration knowledge 107 illustrated in FIG. 9 for example, “upper jacket” and “upper” that share the same region by being classified into the same “upper body” are “upper jacket”. It is set to give priority to “upper”. As a result, if the objects corresponding to the “upper jacket” and “upper” are simultaneously described in the natural language sentence, the target corresponding to the “upper jacket” is specified by the designation shown in FIG. It can be determined that the color occupies 0.7 (70%) of the shared area, and the target color corresponding to “upper” occupies the remaining 0.3 (30%) of the same shared area. On the other hand, if it is set to “overwrite”, it is determined that the target color corresponding to the class located at the base of the arrow in the shared area is 1.0 (100%), that is, occupies the entire area. be able to.
  • the target name dictionary, the prefix modifier dictionary, and the postfix modifier dictionary included in the dictionary 106 are input and registered in advance by, for example, a system administrator who manages the color analyzer. Further, it is assumed that the target configuration knowledge 107 is also input and registered in advance by, for example, a system administrator who manages the color analysis apparatus.
  • the target description extraction means 108 is specifically realized by a CPU of an information processing apparatus that operates according to a program.
  • the target description extraction unit 108 has a function of extracting a target name described in a target name dictionary included in the dictionary 106 from a natural language sentence input by the natural language sentence input unit 102 by referring to the dictionary 106. .
  • the object description extracting unit 108 has a function of extracting a class to which the extracted object name belongs from the object name dictionary. Further, the object description extracting unit 108 extracts a color description related to the class to which the object name belongs and the object name extracted by the color description extracting unit 103 (the object description extracting unit 108 extracts the color description extracted from the color description extracting unit 103).
  • a function for determining a correspondence relationship with a target name That is, the target description extraction unit 108 extracts the name of the target from the natural language sentence using the dictionary 106, and determines the type of the target.
  • the target description extracting unit 108 is arranged as a unit for executing the process after the color description extracting unit 103.
  • the context of the color description extracting unit 103 and the target description extracting unit 108 is the same. Is not limited to the example shown in FIG.
  • the object description extraction unit 108 may be arranged in the preceding stage of the color description extraction unit 103. In this case, first, the target description extracting unit 108 executes processing for extracting the target name from the natural language sentence input by the natural language sentence input unit 102, and then the color description extracting unit 103 performs color description from the natural language sentence. Will be executed. Further, the processes by the color description extracting unit 103 and the target description extracting unit 108 may be executed simultaneously in parallel.
  • the color value adjusting means 109 is specifically realized by a CPU of an information processing apparatus that operates according to a program.
  • the color value adjusting unit 109 has a function of referring to the dictionary 106 and extracting a color name and a color-related modifier from the natural language sentence input by the natural language sentence input unit 102. Specifically, the color value adjusting unit 109 extracts a prefix modifier included in the prefix modifier dictionary and a suffix modifier included in the prefix modifier dictionary. In addition, the color value adjusting unit 109 has a function of correcting the area on the color space of each color based on the extracted modifier and postfix modifier. That is, the color value adjusting unit 109 uses the color modifiers included in the dictionary 106 to adjust the position or size of the area occupied by the color expressed in the natural language in the natural language sentence in the predetermined color space.
  • FIG. 10 is an explanatory diagram illustrating an example of processing in which the color value adjusting unit 109 according to the second embodiment corrects an area in the color space of each color included in the search target image.
  • the color value adjusting unit 109 when the input natural language sentence has a description “reddish”, the color value adjusting unit 109 reads “color name: red” from the description “reddish”. A continuous set of “postfix modifier: Ippo” is extracted.
  • the color value adjusting unit 109 uses a correction value (0, ⁇ ) for “ish” as a value (0, 1.0, 0.5, 0.1) indicating a region in the color space for “red”. (0, 0.9, 0.5, 0.3) indicating the area after correction is obtained by correcting (adding in this example).
  • the color value adjusting unit 109 sets the corrected value as the value of the region indicating “redness”.
  • the color ratio determining unit 104 uses the correction value obtained by the color value adjusting unit 109 to obtain the color area and color ratio in the search target image.
  • the color ratio adjusting unit 110 is specifically realized by a CPU of an information processing apparatus that operates according to a program.
  • the color ratio adjusting unit 110 has a function of referring to the dictionary 106 and the target configuration knowledge 107 to adjust the area ratio of each color area obtained by the color ratio determining unit 104 in one target.
  • the color ratio adjusting unit 110 calculates the area ratio of the colors that occupy the surface of each partial object by using the component ratio between the partial objects. Change according to. In other words, the color ratio adjusting unit 110 determines the area ratio of each color that occupies a specific area on the image corresponding to each object, using the relationship between the object types included in the object configuration knowledge 107.
  • FIG. 11 is an explanatory diagram illustrating an example of processing in which the color ratio adjusting unit 110 according to the second embodiment adjusts the area ratio of the color region.
  • the dictionary 106 describes at least “jacket” belonging to the “upper jacket” class and “sweater” belonging to the “upper” class as clothes names.
  • the target configuration knowledge 107 (indicated simply as “knowledge” in FIG.
  • the color ratio adjusting unit 110 determines the color that occupies the jacket based on the contents of the dictionary 106. It is determined that beige is 100% (color ratio 1.0) and red is 100% (color ratio 1.0) for the color occupying the sweater (step 1).
  • the color ratio adjusting unit 110 has a jacket as a kind of upper garment (an instance of the “upper garment” class) and a sweater as a kind of garment (an instance of the “upper” class). ) (Step 2).
  • the color ratio adjusting unit 110 can determine that both the “upper garment” class and the “upper garment” class are classified into the “upper body” class based on the content of the target configuration knowledge 107. Further, the color ratio adjusting unit 110 can determine that the “top garment” class is “prioritized” when the “top garment” class overlaps (when the top garment and the top garment overlap). . Further, the color ratio adjusting unit 110 can determine that the “priority” color occupies the area ratio “0.7” (70%) in the entire instance of the “upper body” class. Therefore, the color ratio adjusting means 110 has a color ratio of 1.0 ⁇ 0.7 for the jacket color “beige” in the entire “upper body” and the sweater color “red” for the entire “upper body”. It can be determined that the color ratio in the image is 1.0 ⁇ (1.0 ⁇ 0.7) (step 3). Then, as a result of the determination, the color ratio adjusting unit 110 can determine that the color composition ratio is beige 0.7 and red 0.3 (step 4).
  • the image feature amount generation unit 105 generates an image feature amount based on each color region after the area ratio adjustment by the color ratio adjustment unit 110.
  • color analysis apparatus shown in the present embodiment can be realized by the same hardware configuration as the color analysis apparatus in the first embodiment shown in FIG.
  • the color analysis apparatus extracts the target name and class from the input natural language sentence, and corrects the area in the color space of each color included in the search target image. . Then, the color analysis apparatus adjusts the area ratio of each color area included in the search target image, and generates an image feature amount based on each color area after the area ratio adjustment. Therefore, according to the present embodiment, an image feature amount in the color space of an image can be generated from a natural language sentence even when a plurality of objects having different colors overlap each other. Therefore, even an image in which a plurality of objects having different colors overlap each other can be searched using a natural language sentence.
  • FIG. 12 is a block diagram illustrating a functional configuration example of the color analysis apparatus according to the third embodiment.
  • the color analyzing apparatus is different from the first embodiment in that it includes a color area adjusting unit 111 in addition to the components shown in FIG.
  • the information included in the dictionary 101 is the same as that in the first embodiment, and a description thereof will be omitted.
  • the functions of the natural language sentence input unit 102, the color description extraction unit 103, the color ratio determination unit 104, and the image feature amount generation unit 105 are the same as those shown in the first embodiment. The description is omitted because it is similar.
  • the color analysis apparatus newly includes a color area adjustment unit 111 in addition to the components shown in the first embodiment.
  • the color area adjustment unit 111 is realized by a CPU of an information processing apparatus that operates according to a program.
  • the color region adjusting unit 111 extracts each local region according to the distance between the local regions on the color space indicated by each extracted color name. It has a function to adjust the size in the color space.
  • the color area adjusting unit 111 performs the natural color matching on the entire area of the image targeted by the natural language sentence according to the distance in the predetermined color space between the areas occupied by the colors included in the natural language sentence. Adjust the size of the area occupied by each color included in the language sentence.
  • FIG. 13 is an explanatory diagram illustrating an example of processing in which the color area adjusting unit 111 according to the third embodiment adjusts the size of each local area on the color space.
  • the color area adjusting unit 111 has a positional relationship in which the distance between the boundary colors of the local area 1 and the local area 2 on the color space has a specific value.
  • the local area 1 and the local area 2 are not particularly subjected to the process of changing the distance from the center color to the boundary color in the color space.
  • FIG. 13A the color area adjusting unit 111 has a positional relationship in which the distance between the boundary colors of the local area 1 and the local area 2 on the color space has a specific value.
  • the local area 1 and the local area 2 are not particularly subjected to the process of changing the distance from the center color to the boundary color in the color space.
  • the color region adjusting unit 111 determines the boundary color from the center color in both local regions. To the distance until the minimum value of the distance between the boundary colors of both local regions becomes a specific value.
  • the color area adjusting unit 111 when the local area 1 and the local area 2 are located closer than a specific distance, Is performed until the minimum value of the distance between the local areas becomes a specific value or until there is no overlap between the local areas.
  • a limit value may be provided for the ratio of expanding or reducing the distance from the center color to the boundary color in both local regions. Further, the distance between the central colors is not enlarged or reduced, but the distance between the central colors is measured. As shown in FIG. It is also possible to perform processing for avoiding overlapping by reducing the area on the side facing each of 2 and maintaining or increasing the area occupied on the color space by enlarging the area on the opposite side.
  • the image feature amount generation unit 105 generates an image feature amount based on each color area after size adjustment by the color area adjustment unit 111.
  • color analysis apparatus shown in the present embodiment can be realized by the same hardware configuration as the color analysis apparatus in the first embodiment shown in FIG.
  • the color analyzing apparatus adjusts the size of each local region in the color space when a plurality of color names are extracted from a natural language sentence. Then, the color analysis device generates an image feature amount based on each color region after the size adjustment. Therefore, by adjusting the size of each local area according to the relative distance of the local area on the color space to which each of the colors specified in the natural language corresponds, the target range of the image that matches the generated image feature amount Independent of each color specified in a natural language can also be maintained while maintaining a wide range. Therefore, it is possible to search for an image that takes a natural language sentence as an input, has high completeness, and well reflects requirements entered in the natural language sentence.
  • the first to third embodiments have been described with reference to the preferred embodiments of the present invention.
  • the color analysis apparatus according to the present invention is not limited to the above-described embodiments. That is, the configuration and function of the color analysis apparatus according to the present invention can be variously changed by those skilled in the art within the scope of the present invention.
  • FIG. 14 is a block diagram illustrating a minimum functional configuration example of the color analysis apparatus.
  • the color analysis apparatus includes a color ratio determination unit 104 as a minimum component.
  • the color analysis apparatus with the minimum configuration shown in FIG. 14 performs processing for replacing a natural language description, which is a description of a color expressed in a natural language, with data indicating a distribution of values in a predetermined color space.
  • the color ratio determining unit 104 uses a phrase indicating the relationship between colors included in the natural language description, and the color included in the natural language description is applied to the entire image area targeted by the natural language description.
  • a function is provided for determining the ratio of the occupied area.
  • the color analysis apparatus converts a natural language description (for example, a natural language sentence), which is a description of a color expressed in a natural language, into data (for example, an image feature amount) indicating a distribution of values in a predetermined color space. ), And a natural language description with respect to the entire region of the image targeted by the natural language description using a phrase (for example, a related word) indicating the relationship between colors included in the natural language description. It is characterized by comprising color ratio determination means (for example, realized by the color ratio determination means 104) for determining a ratio (for example, color ratio) occupied by colors included in the language description.
  • a ratio for example, color ratio
  • the color analysis apparatus is realized by a data generation unit (for example, the image feature amount generation unit 105) that generates data indicating a distribution of values in a predetermined color space based on the determination result of the color ratio determination unit.
  • the data generation means includes, as data indicating the distribution of values in the color space, an area occupied by colors expressed in the natural language in the natural language description (for example, a color area) on the predetermined color space, Data including an area ratio (for example, a color ratio) occupied by colors included in the natural language description may be generated with respect to the entire image region targeted by the language description.
  • the color analysis apparatus stores a dictionary (for example, dictionary 101) that stores at least information on color names for specifying a description of colors from natural language sentences, and information about words indicating relationships between colors.
  • a dictionary for example, dictionary 101
  • Means for example, a storage device that stores the dictionary 101
  • the dictionary storage means is configured to store a dictionary including at least parallel particles (for example, particles such as “to” and “ni”) as words indicating the relationship between colors. Also good.
  • the dictionary storage means stores a dictionary that further includes information about color modifiers (for example, prefix modifiers, postfix modifiers), and uses the color modifiers included in the dictionary.
  • a color value adjusting means for example, realized by the color value adjusting means 109) for adjusting the position or size of the area occupied by the color expressed in the natural language in the natural language description in the predetermined color space. It may be configured.
  • the color analysis apparatus is a color analysis apparatus that replaces a natural language description, which is a description of a color expressed in a natural language, with data indicating a distribution of values in a predetermined color space.
  • a natural language description which is a description of a color expressed in a natural language
  • data indicating a distribution of values in a predetermined color space For the specified color and a predetermined color (for example, the default color shown in FIG. 3) stored in advance, the respective colors included in the natural language description for the entire region of the image targeted by the natural language description are Color ratio determination means (for example, realized by the color ratio determination means 104) for determining the ratio of the occupied area may be provided.
  • the dictionary storage means further includes a name of a target identified as a part of the image and information on the type of the target (for example, information included in the target name dictionary shown in FIG. 8).
  • Knowledge storage means for example, a storage device for storing the target configuration knowledge 107) for storing target configuration knowledge (for example, target configuration knowledge 107) including at least information relating to the relationship between different types of objects, and dictionary storage
  • the target name is extracted from the natural language description using the dictionary stored in the means, and the target description extracting means (for example, realized by the target description extracting means 108) for determining the type of the target;
  • Color ratio adjusting means for example, a color ratio adjusting unit) that determines the area ratio of each color occupying a specific area on the image corresponding to each object using the relationship between the types of included objects To) and may be further configured with a realization by 110.
  • the color analysis apparatus may perform processing for the natural language according to a distance in a predetermined color space between regions occupied by the colors included in the natural language description with respect to the entire region of the image targeted by the natural language description.
  • Color area adjusting means for example, realized by the color area adjusting means 111) for adjusting the size of the area occupied by each color included in the description may be further provided.
  • the color analysis apparatus converts a natural language description (for example, a natural language sentence) that is a description of a color expressed in a natural language into data (for example, an image feature amount) indicating a distribution of values in a predetermined color space. ), And a natural language description with respect to the entire region of the image targeted by the natural language description using a phrase (for example, a related word) indicating the relationship between colors included in the natural language description.
  • a color ratio determination unit (for example, realized by the color ratio determination unit 104) that determines a ratio (for example, a color ratio) occupied by colors included in the language description is provided.
  • the color analysis device is realized by a data generation unit (for example, the image feature amount generation unit 105) that generates data indicating the distribution of values in a predetermined color space based on the determination result of the color ratio determination unit.
  • the data generation unit includes, as data indicating the distribution of values in the color space, an area occupied by colors expressed in the natural language in the natural language description (for example, a color area) on the predetermined color space, Data including an area ratio (for example, a color ratio) occupied by colors included in the natural language description may be generated with respect to the entire image region targeted by the language description.
  • the color analysis device stores a dictionary (for example, dictionary 101) that stores at least information on color names for specifying a description of colors from natural language sentences, and information on phrases indicating relationships between colors. (E.g., a storage device that stores the dictionary 101).
  • dictionary 101 for example, dictionary 101
  • the dictionary storage unit is configured to store a dictionary including at least parallel particles (for example, particles such as “to” and “ni”) as words indicating a relationship between colors. Also good.
  • the dictionary storage unit stores a dictionary further including information on color modifiers (for example, prefix modifiers and postfix modifiers), and uses the color modifiers included in the dictionary
  • a color value adjusting unit (for example, realized by the color value adjusting unit 109) that adjusts the position or size of the area occupied by the color expressed in the natural language in the natural language description in the predetermined color space. It may be configured.
  • the color analysis device is a color analysis device that replaces a natural language description, which is a description of a color expressed in a natural language, with data indicating a distribution of values in a predetermined color space.
  • a natural language description which is a description of a color expressed in a natural language, with data indicating a distribution of values in a predetermined color space.
  • the respective colors included in the natural language description for the entire region of the image targeted by the natural language description are You may comprise so that the color ratio determination part (For example, implement
  • the dictionary storage unit further includes a name of a target identified as a part of the image and information on the type of the target (for example, information included in the target name dictionary shown in FIG. 8).
  • a knowledge storage unit for example, a storage device for storing the target configuration knowledge 107) for storing target configuration knowledge (for example, the target configuration knowledge 107) including at least information on the relationship between the types of different targets, and a dictionary storage
  • a target description extraction unit for example, realized by the target description extraction unit 108) that extracts a target name from a natural language description and discriminates the type of the target using a dictionary stored in the unit;
  • a color ratio adjusting unit (for example, color ratio adjusting unit 110) that determines the area ratio of each color that occupies a specific area on the image corresponding to each object using the relationship between the types of included objects.
  • a color ratio adjusting unit for example, color ratio adjusting unit 110 that determines the area ratio of each color that occupies a specific area on the image corresponding to each object using the relationship between the types of
  • the color analysis apparatus may perform the natural language processing on the entire area of the image targeted by the natural language description according to the distance in a predetermined color space between the areas occupied by the colors included in the natural language description.
  • a color area adjustment unit (for example, realized by the color area adjustment unit 111) that adjusts the size of the area occupied by each color included in the description may be further provided.
  • the present invention can be applied to an application for performing an image search for accumulated video captured by a camera. Further, the present invention particularly compares the use of searching for goods / equipment such as desired clothes and shoes, the color distribution generated from a natural language sentence and the color distribution of an object to be originally searched, and the memory color of a person It can be applied to applications such as analyzing the difference between the actual color and analyzing the influence of lighting / adjusting the lighting.

Abstract

　本発明による色彩解析装置は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、前記自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる色が占める領域の割合を決定する色比率判定手段を備えたことを特徴とする。

Description

色彩解析装置、色彩解析方法、及び色彩解析プログラム
　本発明は、自然言語文の色に関する記述に基づいて色彩を解析する色彩解析装置、色彩解析方法、及び色彩解析プログラムに関する。
　近年、デジタルの静止画像／動画像を直接撮影できるデジタルスチルカメラやデジタルビデオカメラが広く普及し、大量のデジタル画像をデータとして蓄積できるとともに、それらのデータを容易に参照できるようになってきている。例えば、静止画像共有サービスのＦｌｉｃｋｒ（ｈｔｔｐ：／／ｗｗｗ．ｆｌｉｃｋｒ．ｃｏｍ）や動画像共有サービスのＹｏｕＴｕｂｅ（ｈｔｔｐ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ）等のＷｅｂサイトでは、世界中から静止画像／動画像を自由に登録し、検索し、閲覧できるサービスを提供している。また、殆どの商品販売サイトやオークションサイトでも、物品を確認／比較するために豊富な写真画像を提供している。
　また、監視カメラによる撮影映像もデジタルデータとして蓄積されるようになり、映像解析による人や物の探索を計算機を利用して行うことによって、人や物の探索が効率化されてきている。
　デジタル画像を検索する場合、探したい対象の物と同一の物又は類似する物のデジタル画像が手元にあれば、計算機を用いて画像データ同士を照合することによって、高速に類似画像を検索することができる（例えば、非特許文献１参照）。しかし、そのような照合サンプルとしてのデジタル画像を容易に入手したり作成したりすることができない場合がある。例えば、実物を見たことが無く他人から聞いた話や文書上の記述内容等を手掛かりに画像を検索しなければならない場合には、言葉により画像の特徴を記述したものを元に画像を検索しなければならない。
　自然言語により記述された問合せ文（クエリ）に基づいて画像を検索する関連手法として、予め各画像に付与しておいた自然言語の語句により記述されたメタデータを問合せ文と照合して検索する方法がある。また、問合せ文に含まれる色や形状に関する自然言語表現をそれぞれ画像の特徴量に変換して検索する方法がある。
　メタデータを用いる前者の検索方法を用いる場合、基本的には通常のキーワード検索と同じ処理を行う。例えば、非特許文献２には、文書（ブログ）から自動抽出した画像にツールを使ってメタデータを付与し、文書の全文検索と同様に画像を検索できる方法が開示されている。このようにメタデータを問合せ文と照合する方法では、全ての画像に予め必要十分なメタデータを付与しておく必要があり、運用コストやメタデータの網羅性が課題となる。
　また、後者の検索方法として、形状に関する自然言語表現を画像の形状特徴量に変換して検索する方法がある。例えば、非特許文献３には、「角張った」や「すっきりした」等の感覚的な言葉と、画像内に含まれる椅子等の物体の各部分の長さや角度等を記号や数値で表した形状特徴量とを対応づけて検索する方法が開示されている。
　一方、後者の検索方法として、色に関する自然言語表現を画像の色彩特徴量に変換して検索する方法がある。例えば、特許文献１には、「青い」や「黄色っぽい」といった言葉による色の表現と、ＲＧＢやＨＳＩ等の色空間上の値の分布として表した色彩特徴量とをそれぞれ対応づけて、衣服や風景写真等を検索する方法が開示されている。このような色彩特徴量による画像検索方法は、予めメタデータが付与されていない画像の検索を行う場合にも適用できる。また、形状特徴量を用いた画像検索が効果的に行えない場合（例えば、Ｔシャツやハンカチ等同じ形状の商品を専門に検索する場合や、自然の景色のように形状不定な写真画像を検索する場合等）にも有効である。
特開２００９－３５８１号公報
小早川　他、"ウェーブレット変換を用いた対話的類似画像検索と民俗資料データベースへの適用"、情処学会論文誌、Ｖｏｌ．４０，Ｎｏ．３，ｐｐ．８９９－９１１，１９９９． 原　他、"もぶろげっと：画像情報を含むＢｌｏｇ記事検索システム"、インタラクティブシステムとソフトウェアに関するワークショップ（ＷＩＳＳ２００５）論文集、ｐｐ．６９－７４，２００５． 原田　他、"感性語句を含む自然言語による画像検索のための形状特徴空間の構築"、情処学会論文誌、Ｖｏｌ．４０，Ｎｏ．５，ｐｐ．２３５６－２３６６，１９９９．
　しかし、特許文献１に記載されたような自然言語文により記述された色の表現を色彩特徴量に変換する方法では、１つの検索対象画像又は画像中の１つの対象物について１色の指定しかできない。例えば、問合せ文において「赤と青の柄模様のセーター」や「白地に青のラインが入ったシャツ」等の複数色の組み合わせで表現される場合には、それら複数色を指定した画像検索を行うことができず、対象物画像を精度よく検索することができない。
　そこで、本発明は、上記の課題を解決するためになされたものであって、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、所望の画像を精度よく検索できる色彩解析装置、色彩解析方法、及び色彩解析プログラムを提供することを目的とする。
　本発明による色彩解析装置は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定する色比率判定手段を備えたことを特徴とする。
　本発明による色彩解析装置の他の態様は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定する色比率判定手段を備えたことを特徴とする。
　本発明による色彩解析方法は、自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定することにより、所定の色空間上の値の分布を示すデータを生成することを特徴とする。
　本発明による色彩解析方法の他の態様は、自然言語で表現された色についての記述である自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定することにより、所定の色空間上の値の分布を示すデータを生成することを特徴とする。
　本発明による色彩解析プログラムは、コンピュータに、自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定する処理と、所定の色空間上の値の分布を示すデータを生成する処理とを実行させるためのものである。
　本発明による色彩解析プログラムの他の態様は、コンピュータに、自然言語で表現された色についての記述である自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定する処理と、所定の色空間上の値の分布を示すデータを生成する処理とを実行させるためのものである。
　本発明によれば、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、所望の画像を精度よく検索することができる。
本発明による色彩解析装置の機能構成の一例を示すブロック図である。 色彩解析装置に入力される入出力デーと、色彩解析装置を用いた画像検索の例を示す説明図である。 辞書の具体例を示す説明図である。 色比率判定手段による処理の例を示す説明図である。 色彩解析装置のハードウェア構成の例を示すブロック図である。 色彩解析装置が自然言語文を入力して検索対象の画像に含まれる色彩を解析する処理の一例を示す流れ図である。 第２の実施形態における色彩解析装置の機能構成例を示すブロック図である。 第２の実施形態における辞書の具体例を示す説明図である。 第２の実施形態における対象構成知識が含むクラスを示す情報及び各クラス間の関係を示す情報の具体例を示す説明図である。 第２の実施形態における色彩値調整手段が検索対象の画像に含まれる各色の色空間上の領域を補正する処理の実行例を示す説明図である。 第２の実施形態における色比率調整手段が色領域の面積比率を調整する処理の例を示す説明図である。 第３の実施形態における色彩解析装置の機能構成例を示すブロック図である。 第３の実施形態における色領域調整手段が各局所領域の色空間上でのサイズを調整する処理の例を示す説明図である。 色彩解析装置の最小の機能構成例を示すブロック図である。
実施形態１．
　以下、本発明の第１の実施形態を、図面を参照して説明する。図１は、本発明による色彩解析装置の機能構成の一例を示すブロック図である。図１に示すように、本実施形態では、色彩解析装置は、辞書１０１と、自然言語文入力手段１０２と、色記述抽出手段１０３と、色比率判定手段１０４と、画像特徴量生成手段１０５とを含む。そして、色彩解析装置は、それらの手段を用いて、入力した色に関する自然言語の記述に対応した画像特徴量データを生成できる。すなわち、本発明において、色彩解析装置は、自然言語文の色に関する記述を画像の特徴量に変換する。なお、色彩解析装置は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。
　また、本発明による色彩解析装置は、例えば、蓄積されたカメラ撮影映像を対象とした画像検索を行う用途に適用できる。そのような用途に適用することによって、人から聞いた被写体の特徴（聞き込み情報等）から画像検索を行うことが可能になる。また、本発明による色彩解析装置は、特に、希望する服や靴等の商品／備品を検索する用途や、自然言語文から生成した色分布と本来検索したい対象物の色分布とを比較し、人の記憶色と実際の色との差異の分析や、照明による影響の分析／照明の調整等を行う用途に応用できる。
　辞書１０１は、色を表す自然言語の単語（以下、色記述ともいう）や、色と色との関係を表す自然言語の単語（以下、関係語ともいう）を含む辞書である。なお、辞書１０１は、具体的には、磁気ディスク装置や光ディスク装置等の記憶装置に記憶される。
　自然言語文入力手段１０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵ、及びキーボードやマウス等の入力デバイスによって実現される。自然言語文入力手段１０２は、ユーザの操作に従って、検索対象の画像について自然言語で記述した問合せ文を入力する機能を備える。なお、自然言語文入力手段１０２は、特に、検索対象の画像の色彩に関する特徴を記述した問合せ文を入力するものとする。
　なお、自然言語文入力手段１０２は、例えば、検索対象の画像について記述した問合せ文を含むファイルを入力又は受信するものであってもよい。
　色記述抽出手段１０３は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色記述抽出手段１０３は、辞書１０１を用いて、自然言語文入力手段１０２が入力した問合せ文から、色を表す単語（色記述）を抽出する機能を備える。また、色記述抽出手段１０３は、辞書１０１を用いて、自然言語文入力手段１０２が入力した問合せ文から関係語を抽出する機能を備える。
　色比率判定手段１０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色比率判定手段１０４は、色記述抽出手段１０３が抽出した色記述及び関係語に基づいて、問合せ文に含まれる複数の色の間の比率を判定する機能を備える。本実施形態では、色比率判定手段１０４は、色記述抽出手段１０３が抽出した色記述に対応する色空間を示す値や関係語に対応する分割比を、辞書１０１から抽出する。そして、色比率判定手段１０４は、抽出した色空間を示す値や分割比に基づいて、検索対象の画像内の色領域と色の比率（問合せ文に含まれる色が示す領域の割合）とを求める。
　画像特徴量生成手段１０５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。画像特徴量生成手段１０５は、色比率判定手段１０４が判定した色の比率に基づいて、検索対象の画像の色彩に関する特徴を示す画像特徴量（所定の色空間上の値の分布を示すデータ）を生成する機能を備える。本実施形態では、画像特徴量生成手段１０５は、色比率判定手段１０４が求めた色領域と色の比率とを対応付けて含む画像特徴量を生成する。
　図２は、色彩解析装置に入力される入出力データと、色彩解析装置を用いた画像検索の例を示す説明図である。図２に示すように、本実施形態では、自然言語文入力手段１０２は、例えば、ユーザの操作に従って、「青地に黄色のラインが入ったシャツを・・・」等の問合せ文を入力する。図２に示す例のように、本実施形態では、色彩解析装置は、「青地に黄色のライン」といった複数色を用いて記述された検索対象の画像についても、自然言語で記述された文（以下、自然言語文という）から、色空間上の特定範囲を占める１つ以上の局所領域と、各局所領域内の色が検索対象画像の全領域に占める面積の割合（色比率）とを含む画像特徴量データを生成することができる。そして、色彩解析装置が生成した画像特徴量を用いて画像の照合を行うことにより、検索対象の画像検索等を行うことができる。
　図３は、辞書１０１の具体例を示す説明図である。色記述抽出手段１０３による自然言語文からの色に関する記述（色記述）の抽出、及び色比率判定手段１０４による自然言語文に記載された各色の色空間上の領域それぞれが占める色比率の決定処理は、図３に示すような内容構成で用意された辞書１０１を参照することにより実行できる。
　例えば、自然言語文入力手段１０２が入力した自然言語文が「青地に黄色のライン」であった場合、色記述抽出手段１０３は、図３に例示した辞書１０１を参照することにより、色名である「青」と「黄」とを抽出できる。また、色記述抽出手段１０３は、色名の間にある関係を表す関係語「に」を抽出できる。ただし、色記述抽出手段１０３は、関係を表す語（関係語）として、問合せ文に含まれる２つの色名の間に位置する文字列のみから合致する単語を抽出する。本例では、色記述抽出手段１０３は、問合せ文から抽出される順に、色記述や関係語を［色名：青］、［関係：に］及び［色名：黄］のように抽出する。
　次に、色比率判定手段１０４が、抽出された一連の語から各色の色空間上での領域及び各領域の色比率を求める処理を説明する。図４は、色比率判定手段１０４による処理の例を示す説明図である。図４（ａ）に示すように、入力した自然言語文が「青地に黄色」であれば、色記述抽出手段１０３は、上記と同様の処理に従って、［色名：青］、［関係：に］及び［色名：黄］を抽出する。ここで、色比率判定手段１０４は、再び図３に示す辞書１０１を参照すると、［色名：青］の色空間上の値（図３に示す辞書１０１ではＨＳＶ空間）に色領域幅Ｗを加えた領域（２４０，１．０，０．５，０．１５）を求めることができる。また、色比率判定手段１０４は、同様の処理に従って、［色名：黄］の領域（６０，１．０，０．５，０．０８）を求めることができる。
　次いで、色比率判定手段１０４は、これら求めた２色の色空間上の領域それぞれについて、両色を結びつける関係語［関係：に］が示す色領域の面積分割比を適用して、色間の比率を求める。本例では、［関係：に］に対する分割比として、図３に示す辞書１０１により０．８：０．２と指定されている。そのため、色比率判定手段１０４は、［色名：青］の領域が対象画像上に占める面積比率が０．８（８０％）であり、［色名：黄］の領域が対象画像上に占める面積比率が０．２（２０％）であると判定できる。
　また、他の例として、入力した自然言語文に「白地に青と赤」という色の記述があった場合を説明する。この場合も、図４（ａ）と同様の処理に従って、色比率判定手段１０４は、図４（ｂ）に示すように、白、青、赤の各色について、それぞれ０．８，０．１，０．１の割合で面積比率を割り当てることができ、ある１つの対象画像を構成する色の色比率を決定することができる。ただし図４（ｂ）に示す例では、色比率判定手段１０４は、色名同士の結合について、［関係：に］よりも［関係：と］を優先して比率を求めることとしている。
　なお、色比率判定手段１０４は、図３に例示した辞書１０１に含まれるデフォルト色の値をさらに用いて色領域の面積比率を決定してもよい。例えば、自然言語文から抽出した色に関する記述に含まれる色名の数が０個であったり、色に関する記述が１つしか含まれていなかった場合に限り、色比率判定手段１０４は、デフォルト色を適用して、色の比率を判定してもよい。また、色比率判定手段１０４は、例えば、問合せ文に２つ以上の色名が含まれている場合であっても、それら２つ以上の色同士を結び付ける関係語が［関係：と］のように等分割を表す場合には、デフォルト色も等分割対象色の１つに加えて、色の比率を判定してもよい。
　図３に示す辞書１０１の例では、デフォルト色を白としているため、例えば、自然言語文から抽出した色が［色名：赤］のみであった場合には、色比率判定手段１０４は、デフォルト色を等分割の１色として適用して、色の比率を判定してもよい。この場合、色比率判定手段１０４は、問合せ文に含まれる色記述や関係語が［色名：白］、［関係：と］及び［色名：赤］に相当すると判断して、式（１）のように、色の比率を判定する。
［ＨＳＶＷ：１８０，０，１．０，０．１］×［０．５］
［ＨＳＶＷ：０，１．０，０．５，０．１］×［０．５］　・・・　式（１）
　なお、辞書１０１に含まれる各色に対する色空間を示す値（本例では、ＨＳＶを用いた値）や、各関係語に対する分割比の値は、例えば、色彩解析装置を管理するシステム管理者等によって予め入力され登録されているものとする。なお、各関係語に対する分割比の値は、例えば、過去の画像検索の際の履歴を集計して統計値として求めることができる。例えば、本実施形態では、過去の画像検索の履歴を集計した結果、関係語「と」が用いられている場合には、色間の比率が約５０パーセントであった旨の統計値が得られ、関係語「に」が用いられている場合には、色間の比率が８０：２０であった旨の統計値が得られていたものとする。そして、それらの統計値に基づいて、予め辞書１０１が設定されているものとする。
　また、本実施形態では、各色の色空間としてＨＳＶ空間を用いる場合を示しているが、色空間を表すものであれば、本実施形態で示したものに限らず、例えば、ＲＧＢ空間やＨＬＳ空間を用いてもよい。
　以上の処理に従って、辞書１０１に記載された対象名によって識別される１画像中の各対象の色について、それぞれ図４のように色の領域と比率とが決定できる。そのため、図１に示した画像特徴量生成手段１０５は、色比率判定手段１０４が求めた１つ以上の色領域と色比率との組を画像特徴量として出力できる。
　以上のような構成を備えるとともに処理を実行することにより、色彩解析装置は、入力した自然言語文（問合せ文）から、画像を構成する１色又は２色以上の色についての色空間上の領域と占有面積の比率とを含む画像特徴量を生成できる。そのため、図２に示す例のように、２色以上で構成される画像を自然言語文に基づいて検索することが可能となる。
　次に、色彩解析装置のハードウェア構成について説明する。図５は、色彩解析装置のハードウェア構成の例を示すブロック図である。図５に示すように、色彩解析装置１２は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができ、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２１、主記憶部１２２、出力部１２３、入力部１２４、通信部１２５、及び補助記憶部１２６を含む。
　主記憶部１２２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のメインメモリであって、データの作業領域やデータの一時退避領域に用いられる。出力部１２３は、液晶ディスプレイ装置等の表示装置、又はプリンタ等の印刷装置であり、データを出力する機能を備える。入力部１２４は、キーボードやマウス等の入力デバイスであり、データを入力する機能を備える。また、ファイル読み込みによってデータ入力を行う場合には、入力部１２４は、外部記録媒体読取装置等であってもよい。通信部１２５は、周辺機器と接続され、データの送受信を行う機能を備える。補助記憶部１２６は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やハードディスク装置等である。
　また、図５に示すように、以上の各構成要素１２１～１２６は、システムバス１２７を介して、相互に接続されている。
　図５に示す例において、色彩解析装置１２の補助記憶部１２６は、自然言語文として入力された問合せ文に基づいて、検索対象の画像に含まれる色彩を解析するための各種プログラムを記憶している。例えば、補助記憶部１２６は、コンピュータに、自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定する処理と、所定の色空間上の値の分布を示すデータを生成する処理とを実行させるための色彩解析プログラムを記憶している。
　なお、色彩解析装置１２は、色彩解析装置１２内部に、図１に示すような機能を実現するプログラムを組み込んだＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等のハードウェア部品からなる回路部品を実装して、ハードウェア的に実現してもよい。また、図５に示すように、上記した図１に示すような各構成要素の各機能を提供するプログラムを、コンピュータのＣＰＵ１２１に実行させることにより、ソフトウェア的に実現してもよい。すなわち、ＣＰＵ１２１は、補助記憶部１２６に格納されているプログラムを、主記憶部１２２にロードして実行し、色彩解析装置１２の動作を制御することにより、上述した各機能をソフトウェア的に実現することができる。
　次に、動作について説明する。図６は、色彩解析装置が自然言語文を入力して検索対象の画像に含まれる色彩を解析する処理の一例を示す流れ図である。まず、ユーザは、画像検索を行いたい場合、色彩解析装置を操作して、検索したい画像の特徴（特に、色彩）を自然言語を用いて記述した問合せ文（自然言語文）の入力指示を行う。すると、色彩解析装置の自然言語文入力手段１０２は、ユーザの操作に従って、自然言語文を入力する（ステップＳ１０）。
　次いで、色彩解析装置の色記述抽出手段１０３は、辞書１０１に基づいて、自然言語文入力手段１０２が入力した自然言語文から、検索対象の画像についての色記述及び関係語を抽出する（ステップＳ１１）。次いで、色彩解析装置の色比率判定手段１０４は、色記述抽出手段１０３が抽出した色記述及び関係語に基づいて、問合せ文に含まれる複数の色の間の比率を判定する（ステップＳ１２）。本実施形態では、色比率判定手段１０４は、抽出した色記述に対応する色空間を示す値や関係語に対応する分割比を、辞書１０１から抽出する。そして、色比率判定手段１０４は、抽出した色空間を示す値や分割比に基づいて、検索対象の画像内の色領域と色の比率とを求める。
　次いで、色彩解析装置の画像特徴量生成手段１０５は、色比率判定手段１０４が判定した色の比率に基づいて、検索対象の画像の色彩に関する特徴を示す画像特徴量を生成する（ステップＳ１３）。本実施形態では、画像特徴量生成手段１０５は、色比率判定手段１０４が求めた色領域と色の比率とを対応付けて含む画像特徴量を生成する。
　その後、色彩解析装置が生成した画像特徴量が、画像検索を行う画像検索装置（図示せず）に入力される。そして、画像検索装置は、色彩解析装置が生成した画像特徴量に基づいて、画像検索を行い、検索対象の画像に合致する画像を検索して抽出する。なお、画像検索装置と色彩解析装置とは、同じ１つの情報処理装置を用いて実現されてもよいし、別々の情報処理装置を用いて実現されてもよい。
　以上に説明したように、本実施形態によれば、色彩解析装置は、キーボード又はファイルの読み込みによって入力し、又はネットワークを介して通信部を用いて受信した自然言語文から、画像特徴量を表すデータを生成する。そして、ネットワークで接続された画像検索装置（図示せず）、又は色彩解析装置１２と同じハードウェア内部で実行される画像検索プログラムを用いて、１色又は２色以上の色で構成された画像の検索を実現できる。
　具体的には、色彩解析装置は、入力した自然言語文に含まれる複数の色記述を抽出するとともに関係語を抽出する。そして、色彩解析装置は、抽出した色記述及び関係語に基づいて、複数の色について色領域及び色の比率を求める。そして、色彩解析装置は、求めた色領域及び色の比率とを対応付けて含む画像特徴量を生成する。そのため、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、画像上の色彩特徴量に変換することができる。従って、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、所望の画像を精度よく検索することができる。言い換えれば、検索対象の画像が複数の色で構成されている場合であっても、平易な自然言語による表現に基づいて、所望の画像を精度よく検索することができる。
実施形態２．
　次に、本発明の第２の実施形態について、図面を参照して説明する。図７は、第２の実施形態における色彩解析装置の機能構成例を示すブロック図である。図７に示すように、本実施形態では、色彩解析装置は、図１に示した構成要素に加えて、対象構成知識１０７、対象記述抽出手段１０８、色彩値調整手段１０９、及び色比率調整手段１１０を含む点で、第１の実施形態と異なる。また、本実施形態では、辞書１０６が含む情報が、第１の実施形態で示した辞書１０１が含む情報と異なる。
　なお、本実施形態において、自然言語文入力手段１０２、色記述抽出手段１０３、色比率判定手段１０４、及び画像特徴量生成手段１０５の機能は、それぞれ第１の実施形態で示したそれらの機能と同様であるため、説明を省略する。
　図８は、第２の実施形態における辞書１０６の具体例を示す説明図である。図８に示すように、本実施形態では、辞書１０６は、図３に示した辞書１０１に比べて、対象名辞書、前置修飾語辞書及び後置修飾語辞書をさらに含む点で、第１の実施形態と異なる。
　対象名辞書には、検索対象の画像の特徴となりうる単語のうち、色彩以外の対象名（例えば、衣服等の対象物）が含まれる。例えば、図８に示すように、対象名辞書に含まれる「服名：ジャージ，衣服，青」という記述により、「服名：ジャージ」という単語で示される対象が「衣服」というクラスのインスタンス（例）であることがわかる。また、図８に示す例では、「青」は「服名：ジャージ」に対するデフォルト色であり、画像上でジャージと識別された領域において、第１の実施形態で示した辞書１０１におけるデフォルト色と同様に利用することができる。
　なお、本実施形態では、検索対象の画像に含まれうる対象として、ジャージやジャケット等の衣服を例に説明しているが、本実施形態で示したものに限らず、例えば、カバンやカメラ等の持ち物を対象として解析を行ってもよい。
　また、図８に示すように、前置修飾語辞書には、検索対象の画像の特徴となりうる単語のうち、「明るい」や「薄い」等の前置修飾語が含まれる。また、後置修飾語辞書には、検索対象の画像の特徴となりうる単語のうち、「～っぽい」や「～系」等の後置修飾語が含まれる。
　対象構成知識１０７は、検索対象の画像に含まれうる対象が属するカテゴリであるクラスを示す情報と、各クラス間の関係を示す情報とを含む。図９は、第２の実施形態における対象構成知識１０７が含むクラスを示す情報及び各クラス間の関係を示す情報の具体例を示す説明図である。なお、対象構成知識１０７は、具体的には、磁気ディスク装置や光ディスク装置等の記憶装置に記憶される。
　図９に示す例おいて、「衣服」や「上衣上着」、「上半身」等がクラスを表しており、クラス間を結ぶ矢印線に付与された「分類」や「上書」、「優先」等がそれぞれ特定の関係（クラス間の関係）を表している。また、クラス間の関係のうち「上書」と「優先」とについては、図９に示すように、それらのクラス間の関係を表す矢印の根元に位置するクラスが、矢印の先に位置するクラスに対して画像上の共有領域の何割を占めるかも記載されている。
　また、図９に例示した対象構成知識１０７では、例えば、共に同じ「上半身」に分類されることで同じ領域を共有する「上衣上着」と「上衣」とについて、「上衣上着」が「上衣」に「優先」するように設定されている。これにより、「上衣上着」と「上衣」とのそれぞれに相当する対象が自然言語文に同時に記載されていた場合には、図９に示す指定により、「上衣上着」に相当する対象の色が共有領域の０．７（７０％）を占め、「上衣」に相当する対象の色は同じ共有領域の残り０．３（３０％）を占めると判定することができる。一方、「上書」するように設定されている場合には、共有領域において矢印の根元に位置するクラスに相当する対象の色が１．０（１００％）、すなわち領域全体を占めると判定することができる。
　なお、辞書１０６に含まれる対象名辞書や、前置修飾語辞書、後置修飾語辞書は、例えば、色彩解析装置を管理するシステム管理者等によって予め入力され登録されているものとする。また、対象構成知識１０７も、例えば、色彩解析装置を管理するシステム管理者等によって予め入力され登録されているものとする。
　図７において、対象記述抽出手段１０８は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。対象記述抽出手段１０８は、辞書１０６を参照することにより、自然言語文入力手段１０２が入力した自然言語文から、辞書１０６に含まれる対象名辞書に記載されている対象名を抽出する機能を備える。また、対象記述抽出手段１０８は、対象名辞書から、抽出した対象名が属するクラスを抽出する機能を備える。また、対象記述抽出手段１０８は、対象名が属するクラスと、色記述抽出手段１０３が抽出した対象名に関する色記述（色記述抽出手段１０３が抽出した色記述のうち、対象記述抽出手段１０８が抽出した対象名に関連するもの）との対応関係を判定する機能を備える。すなわち、対象記述抽出手段１０８は、辞書１０６を用いて、自然言語文から対象の名称を抽出し、当該対象の種類を判別する。
　なお、図７に示す例では、色記述抽出手段１０３の後にプロセスを実行する手段として対象記述抽出手段１０８を配置しているが、これら色記述抽出手段１０３と対象記述抽出手段１０８との前後関係は、図７に示した例に限定されない。例えば、対象記述抽出手段１０８を色記述抽出手段１０３の前段に配置してもよい。この場合、まず、対象記述抽出手段１０８が、自然言語文入力手段１０２が入力した自然言語文から対象名を抽出する処理を実行してから、色記述抽出手段１０３が、自然言語文から色記述を抽出する処理を実行することになる。また、色記述抽出手段１０３及び対象記述抽出手段１０８による処理を同時に、並行して実行してもよい。
　図７において、色彩値調整手段１０９は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色彩値調整手段１０９は、辞書１０６を参照することにより、自然言語文入力手段１０２が入力した自然言語文から、色名と色に関する修飾語とを抽出する機能を備える。具体的には、色彩値調整手段１０９は、前置修飾語辞書に含まれる前置修飾語や、後置修飾語辞書に含まれる後置修飾語を抽出する。また、色彩値調整手段１０９は、抽出した修飾語や後置修飾語に基づいて、各色の色空間上の領域を補正する機能を備える。すなわち、色彩値調整手段１０９は、辞書１０６に含まれる色の修飾語句を用いて、所定の色空間上で自然言語文において自然言語によって表現された色が占める領域の位置又はサイズを調整する。
　図１０は、第２の実施形態における色彩値調整手段１０９が検索対象の画像に含まれる各色の色空間上の領域を補正する処理の例を示す説明図である。例えば、図１０に示すように、入力した自然言語文に「赤っぽい」という記述がある場合、色彩値調整手段１０９は、この「赤っぽい」という記述から、[色名：赤］と［後置修飾語：っぽい］との連続した組を抽出する。次いで、色彩値調整手段１０９は、「赤」に対する色空間上の領域を示す値（０，１．０，０．５，０．１）を、「っぽい」がもつ補正値（０，－０．１，０，０．２）で補正する（本例では、加算する）ことにより、補正後の領域を示す値（０，０．９，０．５，０．３）を求める。そして、色彩値調整手段１０９は、この補正後の値を「赤っぽい」を示す領域の値とする。
　なお、本実施形態では、色比率判定手段１０４は、色彩値調整手段１０９が求めた補正値を用いて、検索対象の画像内の色領域と色の比率とを求める。
　図７において、色比率調整手段１１０は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色比率調整手段１１０は、辞書１０６及び対象構成知識１０７を参照することにより、色比率判定手段１０４が求めた各色の領域が１つの対象全体に占める面積比率を調整する機能を備える。具体的には、色比率調整手段１１０は、対象領域が複数の部分対象物の組み合わせによって構成されている場合、それぞれの部分対象物表面を占める色の面積比率を、部分対象物同士の構成比に応じて変更する。すなわち、色比率調整手段１１０は、対象構成知識１０７に含まれる対象の種類間の関係を用いて、各対象に相当する画像上の特定領域を占める各色の面積比率を決定する。
　図１１は、第２の実施形態における色比率調整手段１１０が色領域の面積比率を調整する処理の例を示す説明図である。図１１に示す例では、辞書１０６には、少なくとも服名として「上衣上着」クラスに属する「ジャケット」と、「上衣」クラスに属する「セーター」とが記載されているものとする。また、対象構成知識１０７（図１１では、単に知識と記載している）には、少なくとも「上衣上着」クラスが「上半身」クラスに「分類」されるという関係を示す情報と、「上衣」クラスが「上半身」クラスに「分類」されるという関係を示す情報と、「上衣上着」クラスが「上衣」クラスに「優先」するという関係を示す情報と、「優先」される側のクラスのインスタンスがもつ色は面積比率が全体の０．７（７０％）を占めるということ（優先：０．７）を示す情報とが記載されているものとする。
　図１１に示す例において、入力した自然言語文が「ベージュのジャケットに赤のセーター」であった場合（ｓｔｅｐ０）、色比率調整手段１１０は、辞書１０６の内容に基づいて、ジャケットを占める色についてベージュが１００％（色比率１．０）であり、セーターを占める色について赤が１００％（色比率１．０）であると判断する（ｓｔｅｐ１）。
　次に、色比率調整手段１１０は、辞書１０６の内容に基づいて、ジャケットが上衣上着の一種（「上衣上着」クラスのインスタンス）であり、セーターが上衣の一種（「上衣」クラスのインスタンス）であると判断する（ｓｔｅｐ２）。
　さらに、色比率調整手段１１０は、対象構成知識１０７の内容に基づいて、「上衣上着」クラスと「上衣」クラスとがともに「上半身」クラスに分類されると判断することができる。また、色比率調整手段１１０は、「上衣上着」クラスが「上衣」クラスと比較して重なり時（上衣上着と上衣とが重複したとき）に「優先」されると判断することができる。また、色比率調整手段１１０は、「優先」された方の色が「上半身」クラスのインスタンス全体において面積比率「０．７」（７０％）を占めると判断することができる。そのため、色比率調整手段１１０は、ジャケットの色である「ベージュ」が「上半身」全体に占める色比率が１．０×０．７であり、セーターの色である「赤」が「上半身」全体に占める色比率が１．０×（１．０－０．７）であると求めることができる（ｓｔｅｐ３）。そして、色比率調整手段１１０は、その求めた結果として、色の構成比がベージュ０．７であり、赤０．３であると求めることができる（ｓｔｅｐ４）。
　なお、本実施形態では、画像特徴量生成手段１０５は、色比率調整手段１１０による面積比率調整後の各色領域に基づいて、画像特徴量を生成する。
　なお、本実施形態で示した色彩解析装置は、図５に示した第１の実施形態における色彩解析装置と同様のハードウェア構成により実現可能である。
　以上に説明したように、本実施形態によれば、色彩解析装置は、入力した自然言語文から対象名やクラスを抽出し、検索対象の画像に含まれる各色の色空間上の領域を補正する。そして、色彩解析装置は、検索対象の画像に含まれる各色領域の面積比率を調整し、面積比率調整後の各色領域に基づいて、画像特徴量を生成する。そのため、本実施形態によれば、自然言語文から、色の異なる複数の対象物が重なりあっているような場合であっても、画像の色空間における画像特徴量を生成することができる。従って、色の異なる複数の対象物が重なりあっているような画像であっても、自然言語文を用いて検索することが可能になる。
実施形態３．
　次に、本発明の第３の実施形態について、図面を参照して説明する。図１２は、第３の実施形態における色彩解析装置の機能構成例を示すブロック図である。図１２に示すように、本実施形態では、色彩解析装置は、図１に示した構成要素に加えて、色領域調整手段１１１を含む点で、第１の実施形態と異なる。
　なお、本実施形態において、辞書１０１が含む情報は、第１の実施形態と同様であるため、説明を省略する。また、本実施形態において、自然言語文入力手段１０２、色記述抽出手段１０３、色比率判定手段１０４、及び画像特徴量生成手段１０５の機能は、それぞれ第１の実施形態で示したそれらの機能と同様であるため、説明を省略する。
　図１２に示すように、本実施形態では、色彩解析装置は、第１の実施形態で示した構成要素に加えて、色領域調整手段１１１を新たに備える。色領域調整手段１１１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。色領域調整手段１１１は、色記述抽出手段１０３が自然言語文から複数の色名を抽出した場合に、抽出した各色名が示す色空間上の局所領域同士の距離に応じて、各局所領域の色空間上でのサイズを調整する機能を備える。すなわち、色領域調整手段１１１は、自然言語文が対象とする画像の領域全体に対して、自然言語文に含まれる各色が占める領域間の所定の色空間上での距離に応じて、当該自然言語文に含まれる各色が占める領域の大きさ調整する。
　図１３は、第３の実施形態における色領域調整手段１１１が各局所領域の色空間上でのサイズを調整する処理の例を示す説明図である。例えば、図１３（ａ）に示すように、色領域調整手段１１１は、色空間上の局所領域１と局所領域２とのそれぞれの境界色の間の距離がある特定の値となる位置関係となった場合には、局所領域１と局所領域２とについて、ともに色空間上でのそれぞれの中心色から境界色までの距離を変更する処理を特に行わない。一方、図１３（ｂ）に示すように、色領域調整手段１１１は、局所領域１と局所領域２とが特定の距離よりも遠い位置にある場合には、両局所領域における中心色から境界色までの距離を、両局所領域の境界色同士の距離の最小値が特定の値となるまで拡大する処理を行う。また、逆に、図１３（ｃ）に示すように、色領域調整手段１１１は、局所領域１と局所領域２とが特定の距離よりも近い位置にある場合には、両局所領域における中心色から境界色までの距離を、両局所領域の局所領域の距離の最小値が特定の値となるまで、又は両局所領域の重複がなくなるまで縮小する処理を行う。
　なお、図１３（ｂ），（ｃ）に示す場合において、両局所領域における中心色から境界色までの距離を拡大又は縮小する割合について制限値を設けてもよい。また、局所領域の境界色間の距離を拡大又は縮小するのではなく、中心色間の距離を測り、図１３（ｄ）に示すように、色領域調整手段１１１は、局所領域１と局所領域２とのそれぞれが向き合う側の領域を縮小して重なりを回避する処理を行い、ともに反対側の領域を拡大して色空間上に占める範囲を維持又は増加させてもよい。
　なお、本実施形態では、画像特徴量生成手段１０５は、色領域調整手段１１１によるサイズ調整後の各色領域に基づいて、画像特徴量を生成する。
　なお、本実施形態で示した色彩解析装置は、図５に示した第１の実施形態における色彩解析装置と同様のハードウェア構成により実現可能である。
　以上に説明したように、本実施形態によれば、色彩解析装置は、自然言語文から複数の色名を抽出した場合に、各局所領域の色空間上でのサイズを調整する。そして、色彩解析装置は、サイズ調整後の各色領域に基づいて、画像特徴量を生成する。そのため、自然言語で指定された複数の色それぞれが対応する色空間上の局所領域の相対距離に応じて各局所領域のサイズを調整することにより、生成した画像特徴量に適合する画像の対象範囲を広く保ちつつ、自然言語で指定された各色の独立性も保持することができる。従って、自然言語文を入力とし、網羅性が高く且つ自然言語文で入力した要件をよく反映した画像の検索を可能とすることができる。
　以上、第１の実施形態～第３の実施形態において、本発明の好ましい実施形態を参照して説明したが、本発明による色彩解析装置は、上記各実施形態に限定されるものではない。すなわち、本発明による色彩解析装置の構成や機能は、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　次に、本発明による色彩解析装置の最小構成について説明する。図１４は、色彩解析装置の最小の機能構成例を示すブロック図である。図１４に示すように、色彩解析装置は、最小の構成要素として、色比率判定手段１０４を含む。図１４に示す最小構成の色彩解析装置は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える処理を行う。また、色比率判定手段１０４は、自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合を決定する機能を備える。
　図１４に示す最小構成の色彩解析装置によれば、自然言語で表現された色についての記述に基づいて画像検索を行う場合に、複数の色について記述されている場合であっても、所望の画像を精度よく検索することができる。
　なお、上記に示した各実施形態では、以下の（１）～（１６）に示すような色彩解析装置の特徴的構成が示されている。
（１）色彩解析装置は、自然言語で表現された色についての記述である自然言語記述（例えば、自然言語文）を、所定の色空間上の値の分布を示すデータ（例えば、画像特徴量）に置き換える色彩解析装置であって、自然言語記述に含まれる色同士の関係を示す語句（例えば、関係語）を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合（例えば、色の比率）を決定する色比率判定手段（例えば、色比率判定手段１０４によって実現される）を備えたことを特徴とする。
（２）色彩解析装置は、色比率判定手段の決定結果に基づいて、所定の色空間上の値の分布を示すデータを生成するデータ生成手段（例えば、画像特徴量生成手段１０５によって実現される）を備え、データ生成手段は、色空間上の値の分布を示すデータとして、所定の色空間上で自然言語記述において自然言語によって表現された色が占める領域（例えば、色領域）と、自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める面積比率（例えば、色の比率）とを含むデータを生成するように構成されていてもよい。
（３）色彩解析装置は、自然言語の文から色についての記述を特定するための色名、及び色同士の関係を示す語句に関する情報を少なくとも含む辞書（例えば、辞書１０１）を記憶する辞書記憶手段（例えば、辞書１０１を記憶する記憶装置）を備えるように構成されていてもよい。
（４）色彩解析装置において、辞書記憶手段は、色同士の関係を示す語句として少なくとも並立助詞（例えば、「と」や「に」等の助詞）を含む辞書を記憶するように構成されていてもよい。
（５）色彩解析装置において、辞書記憶手段は、色の修飾語句に関する情報（例えば、前置修飾語、後置修飾語）をさらに含む辞書を記憶し、辞書に含まれる色の修飾語句を用いて、所定の色空間上で自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する色彩値調整手段（例えば、色彩値調整手段１０９によって実現される）をさらに備えるように構成されていてもよい。
（６）色彩解析装置は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、自然言語記述により特定した色と、予め記憶する所定の色（例えば、図３に示すデフォルト色）とについて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれるそれぞれの色が占める領域の割合を決定する色比率判定手段（例えば、色比率判定手段１０４によって実現される）を備えるように構成されていてもよい。
（７）色彩解析装置において、辞書記憶手段は、画像の一部として識別する対象の名称と当該対象の種類に関する情報（例えば、図８に示す対象名辞書に含まれる情報）とをさらに含む辞書を記憶し、異なる対象の種類間の関係に関する情報を少なくとも含む対象構成知識（例えば、対象構成知識１０７）を記憶する知識記憶手段（例えば、対象構成知識１０７を記憶する記憶装置）と、辞書記憶手段が記憶する辞書を用いて、自然言語記述から対象の名称を抽出し、当該対象の種類を判別する対象記述抽出手段（例えば、対象記述抽出手段１０８によって実現される）と、対象構成知識に含まれる対象の種類間の関係を用いて、各対象に相当する画像上の特定領域を占める各色の面積比率を決定する色比率調整手段（例えば、色比率調整手段１１０によって実現される）とをさらに備えるように構成されていてもよい。
（８）色彩解析装置は、自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる各色が占める領域間の所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する色領域調整手段（例えば、色領域調整手段１１１によって実現される）をさらに備えるように構成されていてもよい。
（９）色彩解析装置は、自然言語で表現された色についての記述である自然言語記述（例えば、自然言語文）を、所定の色空間上の値の分布を示すデータ（例えば、画像特徴量）に置き換える色彩解析装置であって、自然言語記述に含まれる色同士の関係を示す語句（例えば、関係語）を用いて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める領域の割合（例えば、色の比率）を決定する色比率判定部（例えば、色比率判定手段１０４によって実現される）を備えたことを特徴とする。
（１０）色彩解析装置は、色比率判定部の決定結果に基づいて、所定の色空間上の値の分布を示すデータを生成するデータ生成部（例えば、画像特徴量生成手段１０５によって実現される）を備え、データ生成部は、色空間上の値の分布を示すデータとして、所定の色空間上で自然言語記述において自然言語によって表現された色が占める領域（例えば、色領域）と、自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる色が占める面積比率（例えば、色の比率）とを含むデータを生成するように構成されていてもよい。
（１１）色彩解析装置は、自然言語の文から色についての記述を特定するための色名、及び色同士の関係を示す語句に関する情報を少なくとも含む辞書（例えば、辞書１０１）を記憶する辞書記憶部（例えば、辞書１０１を記憶する記憶装置）を備えるように構成されていてもよい。
（１２）色彩解析装置において、辞書記憶部は、色同士の関係を示す語句として少なくとも並立助詞（例えば、「と」や「に」等の助詞）を含む辞書を記憶するように構成されていてもよい。
（１３）色彩解析装置において、辞書記憶部は、色の修飾語句に関する情報（例えば、前置修飾語、後置修飾語）をさらに含む辞書を記憶し、辞書に含まれる色の修飾語句を用いて、所定の色空間上で自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する色彩値調整部（例えば、色彩値調整手段１０９によって実現される）をさらに備えるように構成されていてもよい。
（１４）色彩解析装置は、自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、自然言語記述により特定した色と、予め記憶する所定の色（例えば、図３に示すデフォルト色）とについて、当該自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれるそれぞれの色が占める領域の割合を決定する色比率判定部（例えば、色比率判定手段１０４によって実現される）を備えるように構成されていてもよい。
（１５）色彩解析装置において、辞書記憶部は、画像の一部として識別する対象の名称と当該対象の種類に関する情報（例えば、図８に示す対象名辞書に含まれる情報）とをさらに含む辞書を記憶し、異なる対象の種類間の関係に関する情報を少なくとも含む対象構成知識（例えば、対象構成知識１０７）を記憶する知識記憶部（例えば、対象構成知識１０７を記憶する記憶装置）と、辞書記憶部が記憶する辞書を用いて、自然言語記述から対象の名称を抽出し、当該対象の種類を判別する対象記述抽出部（例えば、対象記述抽出手段１０８によって実現される）と、対象構成知識に含まれる対象の種類間の関係を用いて、各対象に相当する画像上の特定領域を占める各色の面積比率を決定する色比率調整部（例えば、色比率調整手段１１０によって実現される）とをさらに備えるように構成されていてもよい。
（１６）色彩解析装置は、自然言語記述が対象とする画像の領域全体に対して、自然言語記述に含まれる各色が占める領域間の所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する色領域調整部（例えば、色領域調整手段１１１によって実現される）をさらに備えるように構成されていてもよい。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記各実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００９年１０月１６日に出願された日本特許出願２００９－２３９０００を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、蓄積されたカメラ撮影映像を対象とした画像検索を行う用途に適用できる。また、本発明は、特に、希望する服や靴等の商品／備品を検索する用途や、自然言語文から生成した色分布と本来検索したい対象物の色分布とを比較し、人の記憶色と実際の色との差異の分析や、照明による影響の分析／照明の調整等を行う用途に応用できる。
１０１　　辞書
１０２　　自然言語文入力手段
１０３　　色記述抽出手段
１０４　　色比率判定手段
１０５　　画像特徴量生成手段
１０６　　辞書
１０７　　対象構成知識
１０８　　対象記述抽出手段
１０９　　色彩値調整手段
１１０　　色比率調整手段
１１１　　色領域調整手段
１２　　　色彩解析装置
１２１　　ＣＰＵ
１２２　　主記憶部
１２３　　出力部
１２４　　入力部
１２５　　通信部
１２６　　補助記憶部
１２７　　システムバス

Claims (21)

  1. 　自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、
    　前記自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる色が占める領域の割合を決定する色比率判定手段を
    　備えたことを特徴とする色彩解析装置。
  2. 　色比率判定手段の決定結果に基づいて、所定の色空間上の値の分布を示すデータを生成するデータ生成手段を備え、
    　前記データ生成手段は、前記色空間上の値の分布を示すデータとして、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域と、前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語によって表現された色が占める面積比率とを含むデータを生成する
    　請求項１記載の色彩解析装置。
  3. 　自然言語の文から色についての記述を特定するための色名、及び色同士の関係を示す語句に関する情報を少なくとも含む辞書を記憶する辞書記憶手段を備えた
    　請求項１又は請求項２記載の色彩解析装置。
  4. 　前記辞書記憶手段は、色同士の関係を示す語句として少なくとも並立助詞を含む辞書を記憶する
    　請求項３記載の色彩解析装置。
  5. 　前記辞書記憶手段は、色の修飾語句に関する情報をさらに含む辞書を記憶し、
    　前記辞書に含まれる色の修飾語句を用いて、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する色彩値調整手段をさらに備えた
    　請求項３又は請求項４記載の色彩解析装置。
  6. 　自然言語で表現された色についての記述である自然言語記述を、所定の色空間上の値の分布を示すデータに置き換える色彩解析装置であって、
    　前記自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定する色比率判定手段を
    　備えたことを特徴とする色彩解析装置。
  7. 　前記辞書記憶手段は、画像の一部として識別する対象の名称と当該対象の種類に関する情報とをさらに含む辞書を記憶し、
    　異なる前記対象の種類間の関係に関する情報を少なくとも含む対象構成知識を記憶する知識記憶手段と、
    　前記辞書記憶手段が記憶する辞書を用いて、前記自然言語記述から前記対象の名称を抽出し、当該対象の種類を判別する対象記述抽出手段と、
    　前記対象構成知識に含まれる前記対象の種類間の関係を用いて、前記各対象に相当する画像上の特定領域を占める各色の面積比率を決定する色比率調整手段とを
    　さらに備えた請求項３から請求項５のうちのいずれか１項に記載の色彩解析装置。
  8. 　前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる各色が占める領域間の前記所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する色領域調整手段をさらに備えた
    　請求項１から請求項７のうちのいずれか１項に記載の色彩解析装置。
  9. 　自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる色が占める領域の割合を決定することにより、所定の色空間上の値の分布を示すデータを生成する
    　ことを特徴とする色彩解析方法。
  10. 　前記色空間上の値の分布を示すデータとして、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域と、前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる色が占める面積比率とを含むデータを生成する
    　請求項９に記載の色彩解析方法。
  11. 　自然言語の文から色についての記述を特定するための色名、及び色同士の関係を示す語句に関する情報を少なくとも含む辞書を記憶する
    　請求項９又は請求項１０記載の色彩解析方法。
  12. 　色同士の関係を含む語句として少なくとも並立助詞を含む辞書を記憶する
    　請求項１１に記載の色彩解析方法。
  13. 　色の修飾語句に関する情報をさらに含む辞書を記憶し、
    　前記辞書に含まれる色の修飾語句を用いて、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する
    　請求項１１又は請求項１２記載の色彩解析方法。
  14. 　自然言語で表現された色についての記述である自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定することにより、所定の色空間上の値の分布を示すデータを生成する
    　ことを特徴とする色彩解析方法。
  15. 　画像の一部として識別する対象の名称と当該対象の種類に関する情報と、異なる前記対象の種類間の関係に関する情報とをさらに含む辞書を記憶し、
    　異なる前記対象の種類間の関係に関する情報を少なくとも含む対象構成知識を記憶し、
    　前記辞書を用いて、前記自然言語記述から前記対象の名称を抽出し、当該対象の種類を判別し、
    　前記対象構成知識に含まれる前記対象の種類間の関係を用いて、前記各対象に相当する画像上の特定領域を占める各色の面積比率を決定する
    　請求項１１から請求項１３のうちのいずれか１項に記載の色彩解析方法。
  16. 　前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる各色が占める領域間の前記所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する
    　ことを特徴とする請求項９から請求項１５のうちのいずれか１項に記載の色彩解析方法。
  17. 　コンピュータに、
    　自然言語で表現された色についての記述である自然言語記述に含まれる色同士の関係を示す語句を用いて、当該自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる色が占める領域の割合を決定する処理と、
    　所定の色空間上の値の分布を示すデータを生成する処理とを
    　実行させるための色彩解析プログラム。
  18. 　前記コンピュータに、
    　前記自然言語記述に含まれる色の修飾語句を用いて、前記所定の色空間上で前記自然言語記述において自然言語によって表現された色が占める領域の位置又はサイズを調整する処理を実行させる
    　請求項１７記載の色彩解析プログラム。
  19. 　コンピュータに、
    　自然言語で表現された色についての記述である自然言語記述により特定した色と、予め記憶する所定の色とについて、当該自然言語記述が対象とする画像の領域全体に対して、前記それぞれの色が占める領域の割合を決定する処理と、
    　所定の色空間上の値の分布を示すデータを生成する処理とを
    　実行させるための色彩解析プログラム。
  20. 　　前記コンピュータに、
    　前記自然言語記述から画像の一部として識別する対象の名称を抽出し、当該対象の種類を判別する処理と、
    　異なる前記対象の種類間の関係に関する情報を用いて、前記各対象に相当する画像上の特定領域を占める各色の面積比率を決定する処理とを実行させる
    　請求項１７から請求項１９のうちのいずれか１項に記載の色彩解析プログラム。
  21. 　前記コンピュータに、
    　前記自然言語記述が対象とする画像の領域全体に対して、前記自然言語記述に含まれる各色が占める領域間の前記所定の色空間上での距離に応じて、当該自然言語記述に含まれる各色が占める領域の大きさを調整する処理を実行させる
    　請求項１７から請求項２０のうちのいずれか１項に記載の色彩解析プログラム。
PCT/JP2010/006058 2009-10-16 2010-10-12 色彩解析装置、色彩解析方法、及び色彩解析プログラム WO2011045920A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10823188.7A EP2490132A4 (en) 2009-10-16 2010-10-12 COLOR ANALYSIS DEVICE, COLOR ANALYSIS METHOD, AND COLOR ANALYSIS PROGRAM
US13/502,063 US9400808B2 (en) 2009-10-16 2010-10-12 Color description analysis device, color description analysis method, and color description analysis program
JP2011543938A JP5682569B2 (ja) 2009-10-16 2010-10-12 色彩解析装置、色彩解析方法、及び色彩解析プログラム
CN201080046661.8A CN102667767B (zh) 2009-10-16 2010-10-12 色彩描述分析设备、色彩描述分析方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009239000 2009-10-16
JP2009-239000 2009-10-16

Publications (1)

Publication Number Publication Date
WO2011045920A1 true WO2011045920A1 (ja) 2011-04-21

Family

ID=43875976

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006058 WO2011045920A1 (ja) 2009-10-16 2010-10-12 色彩解析装置、色彩解析方法、及び色彩解析プログラム

Country Status (5)

Country Link
US (1) US9400808B2 (ja)
EP (1) EP2490132A4 (ja)
JP (1) JP5682569B2 (ja)
CN (1) CN102667767B (ja)
WO (1) WO2011045920A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013005262A1 (ja) * 2011-07-07 2013-01-10 パイオニア株式会社 画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム
JP5687806B1 (ja) * 2014-03-28 2015-03-25 楽天株式会社 色推定装置、色推定方法及び色推定プログラム
CN105574046A (zh) * 2014-10-17 2016-05-11 阿里巴巴集团控股有限公司 一种设置网页色彩的方法及装置
JP6028130B1 (ja) * 2016-02-09 2016-11-16 楽天株式会社 色分類装置、色分類方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5724430B2 (ja) * 2011-02-15 2015-05-27 カシオ計算機株式会社 情報検索装置およびプログラム
WO2013021889A1 (ja) * 2011-08-05 2013-02-14 楽天株式会社 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム
CN103718212B (zh) * 2011-08-05 2016-10-12 乐天株式会社 颜色确定装置、颜色确定系统和颜色确定方法
JP6019968B2 (ja) * 2012-09-10 2016-11-02 株式会社リコー レポート作成システム、レポート作成装置及びプログラム
US10409822B2 (en) * 2014-05-06 2019-09-10 Shutterstock, Inc. Systems and methods for presenting ranked search results
JP6964980B2 (ja) 2014-05-19 2021-11-10 アベリー・デニソン・リテイル・インフォメーション・サービシズ・リミテッド・ライアビリティ・カンパニーAvery Dennison Retail Information Services, Llc スキャン可能なマークを有する合成イメージ熱転写物
CN104298786B (zh) * 2014-11-12 2018-07-10 广州出益信息科技有限公司 一种图像检索方法及装置
US11062142B2 (en) 2017-06-29 2021-07-13 Accenture Gobal Solutions Limited Natural language unification based robotic agent control
US11436771B2 (en) 2020-11-20 2022-09-06 International Business Machines Corporation Graph-based color description generation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108728A (ja) * 1991-10-21 1993-04-30 Hitachi Ltd 画像のフアイリングならびに検索方法
JP2007304738A (ja) * 2006-05-10 2007-11-22 Viva Computer Co Ltd 画像蓄積・検索システムと同システム用の画像蓄積装置及び画像検索装置並びにプログラム
JP2009003581A (ja) 2007-06-19 2009-01-08 Viva Computer Co Ltd 画像蓄積・検索システム及び画像蓄積・検索システム用プログラム
JP2009239000A (ja) 2008-03-27 2009-10-15 Dainippon Screen Mfg Co Ltd 基板処理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4144961B2 (ja) * 1999-01-14 2008-09-03 富士フイルム株式会社 画像データ通信システム，サーバ・システムおよびその制御方法ならびにサーバ・システムを制御するためのプログラムを格納した記録媒体
JP5170961B2 (ja) * 2006-02-01 2013-03-27 ソニー株式会社 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
JP2007206919A (ja) * 2006-02-01 2007-08-16 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
JP2007206920A (ja) * 2006-02-01 2007-08-16 Sony Corp 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
US8885236B2 (en) * 2006-06-30 2014-11-11 Geoffrey J. Woolfe Natural language color communication and system interface
US7755646B2 (en) * 2006-10-17 2010-07-13 Hewlett-Packard Development Company, L.P. Image management through lexical representations
US20090192990A1 (en) * 2008-01-30 2009-07-30 The University Of Hong Kong Method and apparatus for realtime or near realtime video image retrieval
US8229210B2 (en) * 2008-04-02 2012-07-24 Bindu Rama Rao Mobile device with color detection capabilities

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108728A (ja) * 1991-10-21 1993-04-30 Hitachi Ltd 画像のフアイリングならびに検索方法
JP2007304738A (ja) * 2006-05-10 2007-11-22 Viva Computer Co Ltd 画像蓄積・検索システムと同システム用の画像蓄積装置及び画像検索装置並びにプログラム
JP2009003581A (ja) 2007-06-19 2009-01-08 Viva Computer Co Ltd 画像蓄積・検索システム及び画像蓄積・検索システム用プログラム
JP2009239000A (ja) 2008-03-27 2009-10-15 Dainippon Screen Mfg Co Ltd 基板処理システム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HARADA ET AL.: "On Constructing Shape Feature Space for Interpreting Subjective Expressions", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 40, no. 5, 1999, pages 2356 - 2366
HIROSHI SUGIURA ET AL.: "Image Retrieval by Natural Language", IEICE TECHNICAL REPORT, vol. 94, no. 51, 20 May 1994 (1994-05-20), pages 55 - 62, XP008153549 *
IHARA ET AL.: "Mobloget: A Retrieval System for Texts and Images in Blogs", WORKSHOP ON INTERACTIVE SYSTEMS AND SOFTWARE (WISS2005, 2005, pages 69 - 74
KOBAYAKAWA ET AL.: "Interactive Image Retrieval Based on Wavelet Transform and Its Application to Japanese Historical Image Data", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 40, no. 3, 1999, pages 899 - 911
See also references of EP2490132A4
SHOJI HARADA ET AL.: "On Constructing Pictorial Feature Space For Image Retrieval", IEICE TECHNICAL REPORT, vol. 95, no. 322, 19 October 1995 (1995-10-19), pages 7 - 12, XP008153534 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013005262A1 (ja) * 2011-07-07 2013-01-10 パイオニア株式会社 画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム
JP5687806B1 (ja) * 2014-03-28 2015-03-25 楽天株式会社 色推定装置、色推定方法及び色推定プログラム
WO2015145766A1 (ja) * 2014-03-28 2015-10-01 楽天株式会社 色推定装置、色推定方法及び色推定プログラム
CN105574046A (zh) * 2014-10-17 2016-05-11 阿里巴巴集团控股有限公司 一种设置网页色彩的方法及装置
CN105574046B (zh) * 2014-10-17 2019-07-12 阿里巴巴集团控股有限公司 一种设置网页色彩的方法及装置
JP6028130B1 (ja) * 2016-02-09 2016-11-16 楽天株式会社 色分類装置、色分類方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
WO2017138088A1 (ja) * 2016-02-09 2017-08-17 楽天株式会社 色分類装置、色分類方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Also Published As

Publication number Publication date
JPWO2011045920A1 (ja) 2013-03-04
US9400808B2 (en) 2016-07-26
CN102667767A (zh) 2012-09-12
CN102667767B (zh) 2015-01-07
US20120195499A1 (en) 2012-08-02
JP5682569B2 (ja) 2015-03-11
EP2490132A1 (en) 2012-08-22
EP2490132A4 (en) 2016-10-05

Similar Documents

Publication Publication Date Title
JP5682569B2 (ja) 色彩解析装置、色彩解析方法、及び色彩解析プログラム
US8700494B2 (en) Identifying product variants
US7917514B2 (en) Visual and multi-dimensional search
US20070171473A1 (en) Information processing apparatus, Information processing method, and computer program product
US20080104020A1 (en) Handwritten Query Builder
JP2007286864A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR102119253B1 (ko) 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
JP6525921B2 (ja) 画像処理装置、画像処理方法、検索装置
JP2019520662A (ja) 商標画像のコンテンツ・ベースの検索及び取得
JP4374902B2 (ja) 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
JP5507962B2 (ja) 情報処理装置及びその制御方法、プログラム
Chang et al. Deformed trademark retrieval based on 2D pseudo-hidden Markov model
JP2002297648A (ja) 情報検索装置、情報検索プログラム及び記録媒体
JP6736988B2 (ja) 画像検索システム、画像処理システム及び画像検索プログラム
JP2011238043A (ja) マンガコンテンツの要約を生成する要約マンガ画像生成装置、プログラム及び方法
JP2003330941A (ja) 類似画像分類装置
JP2008305311A (ja) 表示装置および方法、プログラム、並びに記録媒体。
JP5790661B2 (ja) 順序判定装置、順序判定方法および順序判定プログラム
JP2013016024A (ja) 情報検索方法および装置
EP4195135A1 (en) Information processing device, information processing method, information processing system, and program
JP2020047031A (ja) 文書検索装置、文書検索システム及びプログラム
JP5913774B2 (ja) Ｗｅｂサイトを共有する方法、電子機器およびコンピュータ・プログラム
JP7138264B1 (ja) 情報処理装置、情報処理方法、情報処理システム、およびプログラム
JP2005316881A (ja) 図面検索のためのプログラム、図面検索装置及び図面検索結果表示方法
JP2010262578A (ja) 帳票辞書生成装置、帳票識別装置、帳票辞書生成方法、及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080046661.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10823188

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011543938

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2010823188

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13502063

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE