WO2013021889A1 - 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム - Google Patents

色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム Download PDF

Info

Publication number
WO2013021889A1
WO2013021889A1 PCT/JP2012/069565 JP2012069565W WO2013021889A1 WO 2013021889 A1 WO2013021889 A1 WO 2013021889A1 JP 2012069565 W JP2012069565 W JP 2012069565W WO 2013021889 A1 WO2013021889 A1 WO 2013021889A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
character string
image
document
search
Prior art date
Application number
PCT/JP2012/069565
Other languages
English (en)
French (fr)
Inventor
宗 益子
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to US14/235,523 priority Critical patent/US8891860B2/en
Priority to JP2013511432A priority patent/JP5259894B1/ja
Publication of WO2013021889A1 publication Critical patent/WO2013021889A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Definitions

  • the present invention relates to a color name determination device, a color name determination method, an information recording medium, and a program, and determines a character string representing the color name of the color from the color.
  • HSV Human, Saturation / chroma, Value / brightness
  • RGB representation a 24-bit color that uses 3 bytes to represent a color is widely used.
  • any numerical value from 0 to 255 is assigned to each element of R, G, and B.
  • any numerical value from 0 to 31 is assigned to each element of R, G, and B.
  • the accuracy (resolution) of data representation in the color space can be selected as appropriate. Colors expressed with high accuracy can be converted to low accuracy although information is reduced.
  • the color name is determined by the standard, the color name that the person actually uses in daily life varies or changes depending on the time and field in which the person is active. In addition, people may name new colors.
  • the present invention solves the above-described problems, and is a color name determination device, a color name determination method, an information recording medium suitable for determining a correspondence relationship between a color and a character string representing the color, In addition, it aims to provide a program.
  • the color name determination device provides: A color acceptance unit that accepts color input, A keyword extraction unit for extracting a keyword character string related to a document obtained as a result of searching a document in which an image related to the accepted color is arranged; A color appearing in each of a plurality of images obtained as a result of searching for an image related to the extracted keyword character string is expressed with a predetermined accuracy, and the color expressed with the predetermined accuracy is the plurality of images.
  • a degree acquisition unit for acquiring the degree of occurrence in each of the A color determination unit that determines a color represented by the received character string from the color expressed with the predetermined accuracy based on the acquired degree;
  • a color name determination that determines a keyword character string for the determined color as a color name character string representing the received color It comprises so that a part may be provided.
  • the keyword extraction unit may be configured to extract a keyword character string that appears in common in the plurality of searched documents.
  • the keyword extraction unit extracts a plurality of the keyword character strings, For each of the extracted keyword character strings, the image search by the image search unit, the degree acquisition by the degree acquisition unit, the color determination by the color determination unit, the color name candidate by the color name determination unit The decision can be configured to be performed.
  • the color name determining apparatus of the present invention In the document search, a document described in a language specified by the user who has input the accepted color can be searched.
  • the keyword character string can be configured to be a noun, a noun phrase, or a modifier or modifier that modifies the noun in the designated language.
  • the color name determination device of the present invention is External image search connected to the color name determination device so as to communicate an image search request including a query specifying a character string meaning color in the specified language and the extracted keyword character string
  • An image search unit that transmits to the device, receives an image search response to the image search request from the image search device, and uses a plurality of images specified in the image search response as a result of the image search can do.
  • the color name determination device of the present invention is An image search unit for searching for an image related to the extracted keyword character string;
  • the degree acquisition unit can be configured to acquire the degree from a plurality of images obtained as a result of an image search by the image search unit.
  • the color name determination device of the present invention is A document search request including a query for designating the accepted color is transmitted to an external document search device that is communicably connected to the color name determination device, and a document search response to the document search request from the document search device It is possible to further comprise a document search unit that receives the document specified in the document search response as a result of the document search.
  • the color name determination device of the present invention is A document search unit for searching for a document in which an image related to the received color is arranged;
  • the keyword extraction unit may be configured to extract the keyword character string based on a document obtained as a result of document search by the document search unit.
  • the color name determination method includes: A color acceptance process for accepting color input; A keyword extraction step of extracting a keyword character string related to a document obtained as a result of searching a document in which an image related to the accepted color is arranged; A color appearing in each of the plurality of images obtained as a result of searching for an image related to the extracted keyword character string is expressed with a predetermined accuracy, and the color expressed with the predetermined accuracy is the plurality of colors A degree acquisition step of acquiring the degree of appearance in each of the images; A color determining step for determining a color represented by the received character string from the color expressed with the predetermined accuracy based on the acquired degree; When the received color and the determined color are the same or similar, a color name determination that determines a keyword character string for the determined color as a color name character string representing the received color It comprises so that a process may be provided.
  • a computer-readable information recording medium is provided.
  • Computer A color acceptance unit that accepts color input, A keyword extraction unit for extracting a keyword character string related to a document obtained as a result of searching a document in which an image related to the accepted color is arranged; A color appearing in each of a plurality of images obtained as a result of searching for an image related to the extracted keyword character string is expressed with a predetermined accuracy, and the color expressed with the predetermined accuracy is the plurality of images.
  • a degree acquisition unit for acquiring the degree of occurrence in each of the A color determination unit that determines a color represented by the received character string from the color expressed with the predetermined accuracy based on the acquired degree;
  • a color name determination that determines a keyword character string for the determined color as a color name character string representing the received color It is configured to record a program that functions as a part.
  • the program according to the fourth aspect of the present invention is: Computer A color acceptance unit that accepts color input, A keyword extraction unit for extracting a keyword character string related to a document obtained as a result of searching a document in which an image related to the accepted color is arranged; A color appearing in each of a plurality of images obtained as a result of searching for an image related to the extracted keyword character string is expressed with a predetermined accuracy, and the color expressed with the predetermined accuracy is the plurality of images.
  • a degree acquisition unit for acquiring the degree of occurrence in each of the A color determination unit that determines a color represented by the received character string from the color expressed with the predetermined accuracy based on the acquired degree;
  • a color name determination that determines a keyword character string for the determined color as a color name character string representing the received color It is configured to function as a part.
  • the program of the present invention may be recorded on a computer-readable non-transitory information recording medium such as a compact disk, a flexible disk, a hard disk, a magneto-optical disk, a digital video disk, a magnetic tape, and a semiconductor memory. It can.
  • This information recording medium can be distributed and sold independently of the computer.
  • the above program can be distributed and sold via a transmission medium such as a computer communication network, independently of the computer on which the program is executed.
  • a color name determination device it is possible to provide a color name determination device, a color name determination method, an information recording medium, and a program suitable for determining the correspondence between a color and a character string representing that color. .
  • RGB Red, Green, Blue
  • CYMK CYMK
  • HSV H-semiconductor
  • each color expresses a color using three numerical values of R, G, and B. That is, each color is expressed as a point or a position vector arranged in a three-dimensional color space composed of the R axis, the G axis, and the B axis. HSV is expressed in a three-dimensional color space, but CYMK has a four-dimensional color space.
  • the sameness or similarity between a certain color and another color can be determined by the distance in the color space. That is, the distance between the two colors is determined by the sum of the absolute values of the differences between the components (Manhattan distance) or the square root of the square sum of the differences between the components (Euclidean distance). If the colors are the same color and this distance is smaller than a certain threshold, it is determined that the two colors are similar.
  • a user In the application technology of document search, a user generally accesses a search engine through a browser or a dedicated application and gives a query specifying a character string to be searched. Then, the search engine searches the entire web, the LAN, or the computer, and returns a document related to the character string as a search result.
  • Some image search techniques search for images using a character string as a query. This is based on an empirical rule that in a document in which an image is arranged, a character string describing the image often exists in the vicinity of the image. For this reason, a search technique similar to the above document search can be used.
  • an image search technology that, when a color is specified, searches for an image containing that color.
  • a search target image one or a predetermined number of representative colors of the image is selected from the color distribution of pixels included in the image. Then, by determining the degree of similarity between the color designated by the user and the representative color of the image as described above, an image related to the desired color can be obtained as a search result.
  • search techniques often employ various similarities, calculate a score indicating how well they match the query for each search result, and present the search result in descending order of the score. Therefore, it is common to use only a predetermined number of items having higher scores instead of using all search results that satisfy the query.
  • a color determining device that, when given a character string, determines the color represented by the character string;
  • a color name determination device that determines a character string (name of the color, color name) expressing the color;
  • An example is given and demonstrated in the order of the example which applied said (1) and (2) to the color of goods.
  • one color may be determined, or a plurality of candidate colors may be determined.
  • the character string of the color name to be determined may be one, or a plurality of character strings may be color name candidates.
  • color determination devices and color name determination devices are typically realized by executing predetermined programs on various computers such as personal computers and web server computers.
  • a computer is a CPU (Central Processing Unit) that executes a program, and uses RAM (Random Access Memory) as a temporary storage area or output of processing results.
  • Hardware that accepts an instruction from a user by a device, outputs a processing result to an output device such as a display, or performs the above input / output by communicating with other devices via a NIC (Network Interface Card)
  • NIC Network Interface Card
  • the present embodiment relates to a color determination technique for determining a color represented by a character string from a character string considered by the user to represent the color.
  • a character string of length 1 what consists of only one character (for example, "red” “yellow” “green” etc.) is handled as a character string of length 1.
  • FIG. 1 is an explanatory diagram showing a schematic configuration of a color determination device according to the present embodiment
  • FIG. 2 is a flowchart showing a flow of color determination processing executed by the color determination device.
  • the color determination apparatus 101 includes a character string reception unit 102, an image search unit 103, a degree acquisition unit 104, and a color determination unit 105.
  • each of these units is typically realized by executing a program on a computer.
  • the character string receiving unit 102 receives an input of a character string (step S151).
  • the character string received by the character string receiving unit 102 is input by a user or another device (in the color name determination device described later, a specific element of the device gives the character string receiving unit 102 a character string).
  • a character string which is assumed to be a character string representing a color name representing a color.
  • Various character strings can be used as color names depending on the region, industry, and time, and manufacturers and stores can select color names themselves or create new ones by coined words. Sometimes.
  • the character string accepting unit 102 is configured to accept an arbitrary character string.
  • the image search unit 103 searches for an image related to the accepted character string, and obtains a plurality of images as a result of the image search (step S152).
  • the image search unit 103 uses the image search technique described above to search for an image related to the accepted character string.
  • an image to be searched is published on the Internet, is arranged in a web document, and includes a character string accepted in the web document. .
  • the image search unit 103 can also use an external image search device, as will be described later. Further, when a computer that implements the color determination apparatus 101 including the image search unit 103 functions as an image search engine, the image search unit 103 does not need to communicate with an external computer.
  • any image search technique can be applied.
  • the degree acquisition unit 104 expresses the color appearing in each of the plurality of images with a predetermined accuracy, and acquires the degree of appearance of the color expressed with the predetermined accuracy in each of the plurality of images (step S153). ).
  • the degree acquisition unit 104 acquires the degree of color representing what color and how much color is included in the image obtained as a result of the image search.
  • the degree of color may be too small. Therefore, typically, the accuracy of the color is lowered, and similar colors are collectively obtained to obtain the degree.
  • the color accuracy is lowered and the color space is re-divided into a smaller number of sections.
  • a technique for collecting similar values by lowering the accuracy of colors there has been proposed a technique for collecting similar values by lowering the accuracy of colors, and each section obtained as a result is called a “bucket”.
  • the number of divisions in the color space is 32 ⁇ 32 ⁇ 32 (about 30,000), and if the color accuracy is set to 12-bit color, the number of divisions is 16 ⁇ 16. ⁇ 16 pieces (about 4,000 pieces). With this number of colors, the degree of color can be acquired appropriately.
  • the degree of a certain color is obtained after the color accuracy is lowered.
  • the following can be used.
  • (1) The number of images in which the color appears in the search result images.
  • (2) The total number of pixels of the color among the pixels of the search result image.
  • (3) A value obtained by combining (1) and (2) above. That is, the value is determined so as to increase as the number of images in which the color appears is larger and as the total number of pixels of the color is larger.
  • the value in any one of (1), (2), and (3) is equal to or greater than a predetermined threshold, the value or 1 is the degree, and when the value is less than the predetermined threshold, 0 is the degree. .
  • the color determination unit 105 determines the color represented by the accepted character string from the colors expressed with a predetermined accuracy based on the acquired degree, and ends the color determination processing (step) S154).
  • the color represented by the accepted character string is determined.
  • a method for determining only one color the following can be used.
  • the color having the highest degree is set as a color represented by a character string.
  • the color farthest from the origin in the color space is set as the color represented by the character string.
  • the RGB expression is adopted, the brightest color is selected.
  • the average color of the largest degree is set as a color represented by a character string.
  • a predetermined number of colors having higher degrees are selected, and the average color is set as a color represented by a character string.
  • Techniques for determining one or more colors include (1) The color having the highest degree is set as a color represented by a character string. (2) The upper predetermined number of colors having a high degree is set as a color represented by a character string.
  • the color determination apparatus 101 applies the image search technology to the character string received from the user or the like, and appropriately selects the color represented by the character string from the colors included in the obtained image. Can be determined.
  • the number of images including the color among the search result images is adopted as the degree of color in the first embodiment.
  • RGB color space divided into 10 ⁇ 10 ⁇ 10 sections is adopted, “green color” is given as a character string representing a color, and an image search is performed on a document in the Internet.
  • 3A, 3B, 3C, and 3D are explanatory diagrams showing the distribution of colors appearing in the search result image.
  • a description will be given with reference to FIG.
  • the origin of the color space is located below the center, the R axis (Red) is directed to the right, the G axis (Green) is oriented upward to the left, and the B axis (Blue) is oriented upward.
  • the position at is marked with a circle.
  • FIG. 3A shows the distribution of colors that appear in the top one image of the search results.
  • FIG. 3B shows the distribution of colors that appear in common in the top two images of the search results.
  • FIG. 3C shows the distribution of colors that appear in common in all the top three images of the search results.
  • FIG. 3D shows the distribution of colors that appear in common in all the top four images of the search results.
  • the color that appears in common with the upper image of the search result can be found.
  • This color is considered to be the color for a given character string.
  • the number of colors appearing in common is checked and when it becomes 1, the repetition is stopped there. Then, the remaining one color may be determined as the color for the given character string.
  • the search results of the image search are typically arranged in the order of score with the highest degree of matching of the given character string. Therefore, when the search result is N images, the distribution of colors appearing in the top 1 image is obtained, the distribution of colors appearing in all the top 2 images is obtained, and the top 3 images are obtained. If the distribution of colors appearing in all is obtained and the process is repeated as in..., It is considered that the convergence proceeds at high speed.
  • N images as search results and a color having a degree of N that is, when a plurality of colors appearing in all N images are obtained, all of them are given as described above.
  • it may be determined as a color candidate for a character string, or an average color thereof may be determined as a color for a given character string.
  • FIG. 4 is a flowchart showing a control flow of the color determination process in the present embodiment.
  • a description will be given with reference to FIG. In this example, only one color for a given character string is determined.
  • step S151 When the color determination process according to the present embodiment is started, the character string reception (step S151) and the image search (step S152) are executed as in the first embodiment. Thereafter, the following processing is executed.
  • the CPU stores, in the RAM, a three-dimensional bit array F [-,-,-] in which one bit is assigned to each section of the color space divided with a predetermined accuracy, and a three-dimensional bit array G [-,-, -] Is secured (step S161).
  • the bit array F [-,-,-], G [-,- ,-] Takes a value between [0,0,0] and [M-1, M-1, M-1].
  • means substitution.
  • “*” is used to indicate that processing is performed for all subscripts within the range (the same applies hereinafter).
  • the CPU repeats the following process for each pixel included in the image whose search result score is r-th (step S165).
  • the CPU acquires the color of the pixel (step S166).
  • the color of the pixel is expressed as (r, g, b) in 24-bit color. That is, r, g, and b all take any integer value from 0 to 255.
  • multiplication “ ⁇ ” is executed in preference to division “/”, division is integer division, and the remainder is rounded down.
  • This calculation means that the color (r, g, b) of the pixel in the image has been converted to a color (i, j, k) with a predetermined accuracy.
  • the above conversion formula may be appropriately changed according to the accuracy.
  • the CPU converts the bit values in the bit array G [-,-,-] to G [i, j, k] ⁇ G [i, j, k] or 1 (Step S168).
  • “or” means bit OR operation.
  • “and” means a bitwise AND operation.
  • the CPU extracts a subscript having a value of 1 from the bit array G [-,-,-] (this subscript is a numeric string associated with each partition) (step S171).
  • the CPU checks the number of extracted subscripts (step S172).
  • step S172; 1
  • the CPU selects 24-bit color for the section (i, j, k) represented by the extracted subscript [i, j, k].
  • the color (r, g, b) is obtained (step S173).
  • r (i ⁇ 255) / M;
  • g (j ⁇ 255) / M;
  • b (k ⁇ 255) / M Should be calculated.
  • the CPU outputs the color (r, g, b) as the determined color (step S164), and ends this process.
  • step S172; 0
  • the CPU extracts a subscript having a value of 1 from the bit array F [ ⁇ , ⁇ , ⁇ ] (step S175).
  • L subscripts having a value of 1 in the bit array F [ ⁇ , ⁇ , ⁇ ] as follows. [i [0], j [0], k [0]], [i [1], j [1], k [1]], ..., [i [L-1], j [L- 1], k [L-1]]
  • the CPU obtains an average color (r, g, b) of 24-bit color for each section expressed by the extracted subscript (step S176).
  • the CPU outputs the color (r, g, b) as the determined color (step S177), and ends this process.
  • step S172 the CPU copies each bit of the bit array G [-,-,-] to the bit array F [-,-,-] (step S178).
  • this repetition it means that the color could not be narrowed down to one, so the CPU advances the control to step S165.
  • the processing speed can be increased and the consumption memory can be suppressed.
  • the frequency at which the color appears in the search result image is adopted as the degree of color in the first embodiment.
  • the degree acquisition unit 104 obtains a partition in the color space by converting the color of the pixel to a predetermined accuracy for all pixels included in the N images of the search results. Then, for each section, the number of pixels having colors that belong to the section is counted.
  • the total number of pixels assigned to each section corresponds to the degree to the color (color with a predetermined accuracy) of the section.
  • RGB color space divided into 10 ⁇ 10 ⁇ 10 sections is adopted, “green color” is given as a character string representing a color, and a document in the Internet is searched for an image. .
  • FIG. 5 is an explanatory diagram showing the frequency of colors appearing in the search result image.
  • FIG. 5 is an explanatory diagram showing the frequency of colors appearing in the search result image.
  • This figure shows the frequency distribution of pixel colors in the same image as in FIG. 3A.
  • the size of the circles arranged in the color space is changed according to the number of pixels allocated to each section. Yes.
  • the color represented by the character string can also be determined by setting the appearance frequency of the color to a degree.
  • the color determination unit 105 selects a section having the maximum total number of classified pixels from the color space. Then, the color of the section is output as a color expressed by a character string.
  • the average color of these colors may be output as a color represented by a character string.
  • the average calculation method may be a simple average, or may be a weighted average using the number of pixels in each section as the color weight of the section.
  • the color represented by the character string can be appropriately determined based on the appearance frequency of the color of the pixel appearing in the image.
  • the appearance frequency is set to a degree as in this embodiment, it is considered that the number of images for which the color frequency must be counted among the images obtained as a search result can be reduced.
  • the degree of color is determined for about 100 images
  • the color of about 10 to 20 images is determined. It is expected that sufficient results can be obtained by performing processing for obtaining the degree (frequency of appearance).
  • weighting is performed with the frequency in the present embodiment. It is a technique.
  • the threshold number for narrowing down candidates is a constant (for example, 10 or 20, etc.), a predetermined number for the total number of sections in the color space (0.05, 0.1, etc., a value exceeding 0 and less than 1).
  • the value obtained by multiplying can be adopted.
  • a predetermined number (0.05, 0.1, etc.) is added to the number of colors (the number of sections in which the color is distributed in the color space) included in the top first to predetermined positions of the search results.
  • a value obtained by multiplying by 0 to a value less than 1 may be used as the narrowing threshold number.
  • This embodiment is a modification for removing useless colors from the search result image in the above embodiment.
  • the colors of all the pixels included in the search result image are targeted for processing for calculating the degree.
  • the color represented by the character string can be determined more accurately by removing the background color arranged around from the target of the degree calculation.
  • the degree acquisition unit 104 performs the following preprocessing.
  • the pixels having the same color as any of the four corners are removed from the outermost peripheral pixels of the image.
  • the image after removal is not necessarily rectangular.
  • the pixel adjacent to the removed pixel becomes the outermost pixel.
  • the pixels having the same color as any of the colors at the four corners are removed from the pixels on the outer periphery.
  • This process is repeated, and when there are no pixels of the same color as the four corner colors in the outer peripheral pixels, this pre-processing is terminated.
  • the objects to be removed from the periphery of the image may include not only pixels having the same color as any of the colors at the four corners but also pixels having colors similar to any of the colors at the four corners.
  • the pixels at the four corners may be used instead of the pixels at the four corners, for example, only the upper left pixel.
  • the background pixels arranged in the peripheral portion of the image can be removed from the processing target, and the pixel having the color of interest is prioritized and becomes the processing target.
  • the color represented by the string can be determined.
  • This embodiment is a mode suitable for the case where the image search is executed by an external image search apparatus.
  • an image search apparatus equipped with image search technology gives a character string as a query, it returns an image in the Internet related to the character string as a search result.
  • Such an image search apparatus is communicably connected to a computer that realizes the color determination apparatus 101 via a NIC.
  • the image search unit 103 transmits an image search request including a query for designating a character string to the external image search device via the NIC.
  • the image search apparatus that has received the image search request arranges the images that match the query among the images published on the Internet in the order of the score of the suitability, and sets it as the search result.
  • an image search response designating the search result is transmitted to the color determination apparatus 101.
  • the image search unit 103 of the color determination device 101 receives this image search response and gives the image specified in the image search response to the degree acquisition unit 104 as a result of the image search.
  • the name of the object having the color may be adopted as the character string representing the color.
  • a character string representing a color is often a part of a proper noun such as the name of a person or the name of an organization.
  • an image that is not necessarily appropriate may result in a search result.
  • the language currently used by the user is used as it is, the character code of the character included in the character string is estimated, the user is directly designated, etc.
  • the language currently used by the user is used as it is, the character code of the character included in the character string is estimated, the user is directly designated, etc.
  • Various embodiments are possible.
  • the language of the character string is estimated by checking which country's character code is assigned to the character code. Can do.
  • a character string is input via a browser, the language of the input form currently displayed in the browser is used, or what language is used as the default language or font in the browser.
  • the language of the character string may be estimated from the information whether it is.
  • the English word “pink” may also be used as a part of a celebrity's group name or stage name, just like “Midori”.
  • the character strings “color”, “color”, and the like meaning color are added to the query, so that the color for the character string can be determined more accurately. Will be able to.
  • the color represented by the character string is determined to obtain the correspondence between the character string and the color.
  • the character string representing the color is determined to determine the correspondence between the character string and the color, and the reverse function of the color determination device 101 is obtained. .
  • FIG. 6 is an explanatory diagram showing a schematic configuration of the color name determining apparatus according to the present embodiment.
  • FIG. 7 is a flowchart showing the flow of color name determination processing executed by the color name determination apparatus.
  • the color name determination device 301 includes a color reception unit 302, a document search unit 303, a keyword extraction unit 304, a color name determination unit 305, and the image search unit 103 in the color determination device 101 described above.
  • An acquisition unit 104 and a color determination unit 105 are included.
  • each of these units is typically realized by executing a program on a computer.
  • the color reception unit 302 receives a color input (step S351).
  • the color reception by the color reception unit 302 is performed in the following manner, for example.
  • a user directly inputs numerical values of color components in a color space, such as RGB values and HSV values.
  • the user designates a specific pixel in the image. Then, the color of the pixel is accepted. Any image can be used, but an image of a color sample in which various colors are drawn with gradation may be adopted.
  • the representative color of the image is accepted. For example, after the background pixels of the designated image are removed by the technique of the fourth embodiment, the average color of the remaining pixels is used as the representative color.
  • the document search unit 303 searches for a document in which an image related to the accepted color is arranged (step S352).
  • image search technology includes image search technology that, when a color is specified, searches for an image including that color.
  • the image search apparatus that realizes such an image search based on color is realized by the computer itself that implements the color name determination apparatus 301 executing a program in the same manner as the image search apparatus that realizes an image search based on a character string. It may be realized, or may be realized by another computer communicatively connected via the NIC.
  • the keyword extraction unit 304 extracts a keyword character string related to the searched document (step S353).
  • the keyword string is the simplest to extract from the character string that appears in the searched document, but comments, tags, and explanations attached to the document or images placed in the document. For example, information that is not directly included in the retrieved document, but is associated with the document, may be extracted from the keyword character string.
  • a keyword character string it is desirable to extract words or word strings such as nouns, noun phrases, adjectives, adjective phrases, etc., for example, in Japanese, a character string representing a word and a word that modifies the word.
  • the text of the retrieved document can be divided into words, and each word can be adopted as a keyword character string.
  • a character string appearing in a document a character string that can be directly viewed by a viewer when a searched document is browsed can be adopted, but an annotation or tag attached to an image arranged in the document. , Comments, alt attribute character strings, and the like that may not be directly visible to the viewer.
  • the color name determination device 301 repeats the following processing for each of the extracted keyword character strings (step S354).
  • the image search unit 103 searches for an image related to the keyword character string, obtains a plurality of images as a result of the image search, and the degree acquisition unit 104 selects colors that appear in each of the plurality of images. Representing with a predetermined accuracy, the degree of appearance of the color expressed with the predetermined accuracy in each of the plurality of images is acquired, and the color determination unit 105 is expressed with a predetermined accuracy based on the acquired degree.
  • the color represented by the accepted character string is determined from the selected color (step S355).
  • the color represented by the keyword character string is determined for the keyword character string to be processed in the current iteration.
  • the color name determination unit 305 determines whether the determined color (determined color) and the received color (input color) are the same or similar (step S356).
  • Identical and similar determination criteria for colors can be determined by the color distance in the color space as described above.
  • step S356 If they are the same or similar (step S356; Yes), the keyword character string to be processed in the current iteration is determined and output as a candidate for a color name character string representing the accepted color (step S357). ), And the process after step S354 is repeated (step S358).
  • step S356 if they are not the same or similar (step S356; No), the processing after step S354 is repeated as it is (step S358).
  • the keyword character string can be considered to express the target color.
  • the keyword extracted from the search result document is considered to be a common word and does not represent the target color. It is done.
  • step S354 to step S357) for each of the keyword character strings thus extracted is completed, this processing is terminated.
  • the keyword extraction unit 304 extracts one or more keyword character strings, and the image search by the image search unit 103 and the degree acquisition unit 104 for each of the extracted keyword character strings.
  • the acquisition of the degree of the color name the color determination unit 105 determines the color
  • the color name determination unit 305 determines the color name candidate.
  • the color name determination device 301 applies the image search technique to the color received from the user or the like, and gives each keyword character string included in the obtained document to the color determination device 101. Based on the similarity between the obtained color and the color received from the user or the like, an appropriate color name representing the color received from the user or the like can be determined from the keyword character string.
  • a plurality of keyword character strings are output as character string candidates representing colors.
  • This embodiment relates to a preferred embodiment for narrowing down the keyword character string.
  • the document search unit 303 is configured to use a plurality of documents as search results.
  • a plurality of search results are obtained in the order of suitability for a query. Therefore, in this embodiment, a predetermined number of documents having higher suitability for a given color are used as search results. To get.
  • the keyword extraction unit 304 extracts keyword character strings that appear in common in a plurality of searched documents.
  • Keyword character string candidates For example, a linear sum of the frequency and the number by a predetermined coefficient can be used as the evaluation value.
  • the keyword character string is processed in descending order of the appearance frequency, the number of appearing documents, the evaluation value, etc., and the predetermined upper limit number is set. If the character string representing the color is determined and output as a candidate, the repetition may be aborted.
  • keyword character strings are extracted in the order in which it is expected that the target color is highly likely to be expressed, so that character string candidates of a desired number of color names can be quickly obtained. Can be determined.
  • the language of the character string representing the color is limited in the color name determining apparatus 301 described above.
  • the color determination device 101 uses the character code of the accepted character string, the language of the input form displayed on the browser to accept the character string, and the language used in the default language and default font in the browser. Had acquired the language used by.
  • the user explicitly specifies the language, or the language of the input form displayed in the browser, the language used in the default language or the default font in the browser,
  • the language specified implicitly by the user is the language desired by the user.
  • the document search unit 303 searches for a document described in a language specified by the user.
  • the extracted keyword character string is also the user-desired language
  • the character string determined to represent the color name is also the user-desired language.
  • the information obtained as the language desired by the user here can also be used in the color determination process. That is, the image search unit 103 adds a character string (“color”, “color”, etc.) in a user-desired language meaning the concept of color to the query.
  • the character string representing the color can be obtained in the language desired by the user. Therefore, it becomes possible to obtain a color name peculiar to the language culture, and to deal with circumstances peculiar to the country, the language, and the culture.
  • the color determination apparatus 101 determines a method for determining only one color represented by the color name, a method for determining one or more, Is disclosed (see the description relating to step S154).
  • the upper predetermined number of colors having a high degree is simply selected.
  • a clustering technique is applied to more precisely determine a plurality of candidates as colors represented by a character string, and an index indicating the degree of appropriateness that each candidate is represented by the character string The value can be output.
  • the color of the pixels included in the search result image is classified into each section (bucket), and the number of pixels belonging to each section is totaled.
  • a plurality of representative colors are selected by performing a clustering process on the color distribution in the three-dimensional color space. This is a process corresponding to so-called “color reduction”. Accordingly, one or more appropriate representative colors are selected by various color reduction methods in computer graphics.
  • K-means A technique known as K-means is widely known as a technique applicable to color reduction.
  • K-means (A) pixel color distribution; (B) a positive integer K which is the number of divisions; Is given, (X) K representative colors; (Y) the strength of the cluster (the number of pixels belonging to the cluster represented by the representative color, the ratio of the number of pixels classified into the cluster to the total number of classified pixels, etc.); Is output.
  • K-means a positive integer K which is the number of divisions; Is given, (X) K representative colors;
  • Y the strength of the cluster (the number of pixels belonging to the cluster represented by the representative color, the ratio of the number of pixels classified into the cluster to the total number of classified pixels, etc.); Is output.
  • the number of colors represented by a certain color name is considered to be appropriate up to about three.
  • clustering may be performed by K-means by specifying a value of about 3 to 6 as K.
  • cluster strength can be assigned as an index of “appropriateness” in which the representative color is expressed by a color name.
  • the clustering calculation may be speeded up, and the data may be truncated to remove the color corresponding to the noise. For example, when there are 100 original images, only a section having 40 or more pixels belonging to the section is subjected to clustering, and a section of less than 40 is ignored.
  • the threshold value for ignoring can be determined based on the number M of original images and the total number G of original pixels with respect to the total number L of sections. For example, if the number of pixels belonging to a partition is less than M / (A ⁇ L) using appropriate positive constants A and B, it is ignored, or the number of pixels belonging to the partition is G / (B ⁇ Ignore if less than L), etc. This threshold value may be appropriately designated by the user.
  • a color determination device 101 that outputs one or a plurality of colors can be prepared when a character string of one color name is given, this can also be applied to the color name determination device 301.
  • step S355 for each character string extracted in step S353 of the sixth embodiment, one or more colors (determined colors) are determined in step S355.
  • step S356 it is determined whether each of the determined colors is the same as or similar to the color (input color) received from the user in step S351. If they are similar, the character string that is the source of the determined color may be output as a candidate for calling the input color.
  • clustering technology applicable to this embodiment is not limited to K-means or X-means, and even when various clustering technologies are used, they are included in the technical scope of this embodiment.
  • the character string received by the color determination device 101 is a character string describing the color of the product, and is selected by the manufacturer that manufactures the product or the store owner who sells the product.
  • the color determined by the color determination device 101 is the representative color of the product.
  • the information on the representative colors of products can be used by online sales users when searching for products of a favorite color. That is, for example, when the user inputs a color and searches for products similar to the color.
  • the color determination unit 105 determines a reference color closest to the representative color of the product among the predetermined reference colors as the classification color of the product.
  • FIG. 8 is an explanatory diagram showing a schematic configuration of a product sales system according to this application example. Hereinafter, a description will be given with reference to FIG.
  • the product sales system 501 shown in the figure is configured by connecting a terminal device 503, a product server 504, and a search server 505 via the Internet 502 so that they can communicate with each other.
  • the product server 504 is a server device that realizes a so-called electronic market.
  • the merchant who sells the merchandise accesses the merchandise server 504 via the browser operating on the terminal device 503 used by the merchant and registers the merchandise to be sold.
  • a purchaser who purchases a product accesses the product server 504 via a browser operating on the terminal device 503 used by the purchaser, and searches for or purchases the product.
  • the search server 505 corresponds to the image search device in the above embodiment.
  • a document search function for searching a document in which related images are arranged is provided.
  • the search server 505 may be realized by a server computer different from the product server 504, and the server computer that implements the product server 504 is configured to have the function of the search server 505. You can also. In the latter case, communication between the product server 504 and the search server 505 can be performed within the server computer without going through the Internet 502.
  • the color determination device 101 and the color name determination device 301 are realized by the commodity server 504 according to the above embodiment executing a predetermined program.
  • the administrator of the product server 504 selects a plurality of colors as reference colors in advance so that the purchaser can search for products by color.
  • the database prepared in the product server 504 has a reference color table for managing the reference colors.
  • the record registered in the reference color table has the following fields.
  • Color ID This is an identification code uniquely assigned to each color in order to distinguish the reference color selected in advance by the administrator of the product server 504.
  • Color name This is a character string that represents the color name of the reference color, and is given by the administrator of the product server 504.
  • Color code The reference color is expressed by information corresponding to the coordinates of the color space. Typically, RGB representation is used.
  • the number of colors prepared as reference colors is too small, it will not be useful for the purchaser's search, and if it is too large, it will be difficult for the purchaser to select a color during the search. Typically, the number is about 8 to 24 colors.
  • the product server 504 manages products to be sold using a product table prepared in the database.
  • the record registered in the product table has the following fields.
  • Product ID In order to distinguish a product, it is an identification code that is uniquely assigned to each product, and is generally automatically generated each time registration is performed.
  • Product name This is the name of the product.
  • Brand name The name symbolizes a person who manufactures the product or a person who guarantees the quality of the product.
  • Price This is the price when selling the product.
  • Original color name This is a character string that represents the color of the product, and is given by the shop owner or manufacturer. It may be a compound word or a new word set independently. (6) Reference color ID.
  • Store owner ID This is an identification code that is uniquely assigned to a merchant in order to identify the merchant who sells the product.
  • Product image name An image file representing the product can be registered in the product server 504. The file name of the image file. When an image file is registered in a web server other than the product server 504, a URL (Universal Resource Locator) of the image file is used.
  • URL Universal Resource Locator
  • the product is obtained via the terminal device 503 by applying the technology of a normal electronic commerce system.
  • the user who has accessed the server 504 can search for and purchase a product.
  • FIG. 9A, 9B, and 9C are explanatory diagrams illustrating an example in which the product registration form transmitted from the product server 504 is displayed on the screen of the terminal device 503.
  • FIG. 9C a description will be given with reference to FIG.
  • a merchant ID column 702 As an input column for inputting information recorded in each field of the record of the product table, a merchant ID column 702, a product name column 703, a brand name column 704, a price A column 705 and a product image name column 706 are prepared.
  • the store owner By observing the product image, the store owner inputs a character string representing the color of the product created by himself or a character string representing a color name provided by the manufacturer of the product into the original color name column 708. .
  • a color name 711 of the reference color In the reference color ID column 709, a color name 711 of the reference color, a color sample 712 filled with the reference color, and a check box 713 for selecting the reference color are prepared.
  • a check box 713 for selecting the reference color In FIG. 9A, since none of the reference colors is selected as a color for the product, none of the check boxes 713 is checked.
  • the color of the pixel pointed to by the mouse cursor 751 is acquired. This color is transmitted to the product server 504.
  • the merchandise server 504 functions as the color name determination device 301 that uses the search server 505 as a document search device, and returns a character string candidate representing the transmitted color to the terminal device 503.
  • the terminal device 503 that has received the candidate for the character string representing the color displays a pop-up window 713 in the vicinity of the mouse cursor 751, as shown in FIG. 9C, and displays the received candidate therein.
  • the shop owner can come up with an appropriate original color name with reference to this candidate.
  • the candidate returned by the product server 504 may include the name of the reference color that is most similar to the color of the pixel designated by the mouse cursor 751.
  • the product server 504 functions as the color determination device 101 that uses the search server 505 as an image search device, and represents a representative color represented by the transmitted original color name, a reference color similar to the representative color, To decide.
  • the merchandise server 504 returns the color ID of the determined reference color to the terminal device 503.
  • the terminal device 503 that has received the color ID includes a reference color name 711 corresponding to the received color ID and a color sample 712 filled with the reference color in the reference color ID column 709.
  • the display mode of the check box 713 for selecting the reference color is changed, and the reference color is highlighted.
  • the reference color is emphasized by enlarging the color name 711 and the color sample 712 displayed beside the check box 713.
  • the store owner selects the most suitable one for the product with reference to the reference color being highlighted, and checks the check box 712 for the selected reference color.
  • the merchant can make a correct classification by checking a check box 713 that is not highlighted.
  • the reference color is wrongly determined, it may be considered that the selection of the original color name is almost inappropriate. In this case, a warning to that effect may be given to the shop owner, and the original color name may be re-selected.
  • selectable colors may be limited to colors determined from the original color name.
  • FIG. 9F there is also a mode in which a pop-up window 714 showing a color sample 712 of the reference color is displayed in the vicinity of the original color name column 708, and one of them is selected by the mouse. sell.
  • each piece of information input to the product registration form 701 is transmitted to the product server 504 and registered as a record in the product table.
  • the terminal device 503 itself can function as the color determination device 101 and the color name determination device 301 by appropriately configuring the script program. In this case, it is not necessary to transmit / receive information regarding the color as described above between the terminal device 503 and the product server 504.
  • the first mode of use is to use a color ID when searching for products.
  • FIG. 10 is an explanatory diagram showing an example in which the product search form transmitted from the product server 504 is displayed on the screen of the terminal device 503.
  • a description will be given with reference to FIG.
  • a color column 805 is prepared, and the user inputs these conditions.
  • a search button 806 is clicked, a list of product descriptions 808 as search results is displayed in a search result field 807.
  • the color column 805 is configured by a drop-down list box in which all the reference colors are arranged as selectable items, and the user can select a desired color from these.
  • the second form of use is a case where a list of products of different colors of the product is displayed on a web page introducing a product.
  • FIG. 11 is an explanatory diagram illustrating an example in which the product purchase form transmitted from the product server 504 is displayed on the screen of the terminal device 503.
  • a description will be given with reference to FIG.
  • the product purchase form 901 shown in this figure is displayed by clicking the product description 808 of the search result on the product search form 801.
  • the product purchase form 901 includes a product name column, a brand name, a product description column 902 that displays a description by a store owner, a price column 903 that displays the price of the product, and a user purchase.
  • a number field 904 for inputting a number and a purchase button 905 for starting a purchase process are arranged.
  • the color sample 906 indicates that there are products of different colors displayed on the product purchase form 901.
  • the different color product is a product whose merchant, product name, and brand name match but the reference color ID does not match.
  • the browser shifts to a product purchase form for the different color product.
  • the user can use colors in various ways.
  • the color determination device 101 and the color name determination device 301 when the performance of the image search device is low, for example, an image search device that cannot provide an optimal solution for a query. Even if it is used, since the color appearance degree is acquired using a plurality of searched images, an appropriate color and color name can be proposed.
  • a color name determination device it is possible to provide a color name determination device, a color name determination method, an information recording medium, and a program suitable for determining the correspondence between a color and a character string representing that color. .

Abstract

 色名決定装置(301)において、色受付部(302)は、色の入力を受け付ける。文書検索部(303)は、受け付けられた色に関連する画像が配置された文書を検索する。キーワード抽出部(304)は、検索された文書に出現するキーワード文字列を抽出する。画像検索部(103)は、抽出されたキーワード文字列に関連する画像を検索する。度合取得部(104)は、検索結果の画像に出現する色を所定の精度で表現し、当該色が当該画像に出現する度合を取得する。色決定部(105)は、取得された度合に基づいて、受け付けられた文字列により表される色を決定する。色名決定部(305)は、受け付けられた色と、決定された色と、が、同一または類似する場合、決定された色に対するキーワード文字列を、受け付けられた色を表す色名文字列に決定する。

Description

色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム
 本発明は、色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラムに関し、色から、その色の色名を表す文字列を決定するものである。
 従来から、色を標準色空間のデータに変換することにより、色の再現性を高くする技術が提案されている。たとえば、特許文献1においては、個々の色をRGB(Red,Green,Blue)表現の色空間のデータやCYMK(Cyan,Yellow,Magenta,blacK)表現の色空間のデータ等に変換して、色の再現性を高める技術が開示されている。
 このように、色を定量的に表す体系には、RGB表現やCYMK表現のほかに、HSV(Hue,Saturation/chroma,Value/brightness)表現などが存在し、各体系の間での値の変換の定式化もされている。
 RGB表現では、3バイトで色を表す24ビットカラーが広く用いられている。24ビットカラーでは、R,G,Bの各要素に対して0から255までのいずれかの数値が割り当てられる。また、2バイトで色を表す15ビットカラーでは、R,G,Bの各要素に対して0から31までのいずれかの数値が割り当てられる。24ビットカラーのR,G,Bの各要素を8で割れば、15ビットカラーに変換することもできる。
 このように、色空間のデータ表現に対する精度(分解能)は、適宜選択することができる。高い精度で表現された色は、情報が減少するものの、低い精度に変換することが可能である。
特開2001-069362号公報
 しかしながら、人間が色を表現する場合には、RGB表現等を用いるのではなく、自然言語で表現された文字列を利用するのが一般的である。
 また、規格などによって色の名前が定められたとしても、人が日常生活で実際に利用する色の名前は、人が活動する時期や分野によって異なったり、変化したりする。このほか、人が色の名前を新たに命名することもある。
 したがって、色の名前と、その名前により表される色と、の対応関係を適切に決定したい、との要望がある。
 本発明は、上記のような課題を解決するもので、色と、その色を表す文字列と、の対応関係を決定するのに好適な色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラムを提供することを目的とする。
 本願発明の第1の観点に係る色名決定装置は、
 色の入力を受け付ける色受付部、
 前記受け付けられた色に関連する画像が配置された文書を検索した結果として得られた文書に関連するキーワード文字列を抽出するキーワード抽出部、
 前記抽出されたキーワード文字列に関連する画像を検索した結果として得られた複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が前記複数の画像のそれぞれに出現する度合を取得する度合取得部、
 前記取得された度合に基づいて、前記所定の精度で表現された色から、前記受け付けられた文字列により表される色を決定する色決定部、
 前記受け付けられた色と、前記決定された色と、が、同一または類似する場合、前記決定された色に対するキーワード文字列を、前記受け付けられた色を表す色名文字列に決定する色名決定部
 を備えるように構成する。
 また、本発明の色名決定装置において、
 前記検索の結果として得られる文書は複数であり、
 前記キーワード抽出部は、前記検索された複数の文書に共通して出現するキーワード文字列を抽出する
 ように構成することができる。
 また、本発明の色名決定装置において、
 前記キーワード抽出部は、前記キーワード文字列を複数抽出し、
 前記抽出されたキーワード文字列のそれぞれに対して、前記画像検索部による画像検索、前記度合取得部による度合の取得、前記色決定部による色の決定、前記色名決定部による色名の候補の決定が実行される
 ように構成することができる。
 また、本発明の色名決定装置において、
 前記文書検索では、前記受け付けられた色を入力したユーザにより指定された言語により記述された文書が検索される
 ように構成することができる。
 また、本発明の色名決定装置において、
 前記キーワード文字列は、前記指定された言語における名詞、名詞句、または、名詞を修飾する修飾語もしくは修飾語句である
 ように構成することができる。
 また、本発明の色名決定装置は、
 前記指定された言語において色を意味する文字列と、前記抽出されたキーワード文字列と、を指定するクエリを含む画像検索要求を、前記色名決定装置に通信可能に接続された外部の画像検索装置に送信し、当該画像検索装置から前記画像検索要求に対する画像検索応答を受信し、前記画像検索応答に指定される複数の画像を、画像検索の結果とする画像検索部
 をさらに備えるように構成することができる。
 また、本発明の色名決定装置は、
 前記抽出されたキーワード文字列に関連する画像を検索する画像検索部
 をさらに備え、
 前記度合取得部は、前記画像検索部による画像検索の結果として得られた複数の画像から、前記度合を取得する
 ように構成することができる。
 また、本発明の色名決定装置は、
 前記受け付けられた色を指定するクエリを含む文書検索要求を、前記色名決定装置に通信可能に接続された外部の文書検索装置に送信し、当該文書検索装置から前記文書検索要求に対する文書検索応答を受信し、前記文書検索応答に指定される文書を、文書検索の結果とする文書検索部
 をさらに備えるように構成することができる。
 また、本発明の色名決定装置は、
 前記受け付けられた色に関連する画像が配置された文書を検索する文書検索部
 をさらに備え、
 前記キーワード抽出部は、前記文書検索部による文書検索の結果として得られた文書に基づいて、前記キーワード文字列を抽出する
 ように構成することができる。
 本発明の第2の観点に係る色名決定方法は、
 色の入力を受け付ける色受付工程、
 前記受け付けられた色に関連する画像が配置された文書を検索した結果として得られた文書に関連するキーワード文字列を抽出するキーワード抽出工程、
 前記抽出されたキーワード文字列に関連する画像を検索した結果として得られた前記複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が前記複数の画像のそれぞれに出現する度合を取得する度合取得工程、
 前記取得された度合に基づいて、前記所定の精度で表現された色から、前記受け付けられた文字列により表される色を決定する色決定工程、
 前記受け付けられた色と、前記決定された色と、が、同一または類似する場合、前記決定された色に対するキーワード文字列を、前記受け付けられた色を表す色名文字列に決定する色名決定工程
 を備えるように構成する。
 本発明の第3の観点に係るコンピュータ読み取り可能な情報記録媒体は、
 コンピュータを、
 色の入力を受け付ける色受付部、
 前記受け付けられた色に関連する画像が配置された文書を検索した結果として得られた文書に関連するキーワード文字列を抽出するキーワード抽出部、
 前記抽出されたキーワード文字列に関連する画像を検索した結果として得られた複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が前記複数の画像のそれぞれに出現する度合を取得する度合取得部、
 前記取得された度合に基づいて、前記所定の精度で表現された色から、前記受け付けられた文字列により表される色を決定する色決定部、
 前記受け付けられた色と、前記決定された色と、が、同一または類似する場合、前記決定された色に対するキーワード文字列を、前記受け付けられた色を表す色名文字列に決定する色名決定部
 として機能させるプログラムを記録するように構成する。
 本発明の第4の観点に係るプログラムは、
 コンピュータを、
 色の入力を受け付ける色受付部、
 前記受け付けられた色に関連する画像が配置された文書を検索した結果として得られた文書に関連するキーワード文字列を抽出するキーワード抽出部、
 前記抽出されたキーワード文字列に関連する画像を検索した結果として得られた複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が前記複数の画像のそれぞれに出現する度合を取得する度合取得部、
 前記取得された度合に基づいて、前記所定の精度で表現された色から、前記受け付けられた文字列により表される色を決定する色決定部、
 前記受け付けられた色と、前記決定された色と、が、同一または類似する場合、前記決定された色に対するキーワード文字列を、前記受け付けられた色を表す色名文字列に決定する色名決定部
 として機能させるように構成する。
 本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読み取り可能な非一時的(non-transitory)な情報記録媒体に記録することができる。この情報記録媒体は、コンピュータとは独立して配布・販売することができる。
 さらに、上記のプログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網等の伝送媒体を介して配布・販売することができる。
 本発明によれば、色と、その色を表す文字列と、の対応関係を決定するのに好適な色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラムを提供することができる。
色決定装置の概要構成を示す説明図である。 色決定装置にて実行される色決定処理の流れを示すフローチャートである。 検索結果の画像に出現する色の分布を示す説明図である。 検索結果の画像に出現する色の分布を示す説明図である。 検索結果の画像に出現する色の分布を示す説明図である。 検索結果の画像に出現する色の分布を示す説明図である。 色決定処理の制御の流れを示すフローチャートである。 検索結果の画像に出現する色の頻度を示す説明図である。 色名決定装置の概要構成を示す説明図である。 色名決定装置にて実行される色名決定処理の流れを示すフローチャートである。 商品販売システムの概要構成を示す説明図である。 商品登録フォームが、端末装置の画面に表示される例を示す説明図である。 商品登録フォームが、端末装置の画面に表示される例を示す説明図である。 商品登録フォームが、端末装置の画面に表示される例を示す説明図である。 商品登録フォームが、端末装置の画面に表示される例を示す説明図である。 商品登録フォームが、端末装置の画面に表示される例を示す説明図である。 商品登録フォームが、端末装置の画面に表示される例を示す説明図である。 商品検索フォームが、端末装置の画面に表示される例を示す説明図である。 商品購入フォームが、端末装置の画面に表示される例を示す説明図である。
 以下に本発明の実施形態を説明する。なお、本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
 (色の同一・類似)
 上記のように、色を定量的に表す体系として、RGB、CYMK、HSVなどの各種の色空間の定義があるが、これらの間での変換は定式化されている。以下では、理解を容易にするため、RGB表現を利用して説明するが、CYMKやHSVなど、他の表現を採用することも可能である。
 RGB表現では、各色は、R,G,Bの3つの数値を利用して、色を表現するものである。すなわち、各色は、R軸、G軸、B軸からなる3次元の色空間の中に配置される点、あるいは位置ベクトルとして表現される。HSVは、3次元の色空間で表現されるが、CYMKは、4次元の色空間を持つこととなる。
 したがって、ある色と他の色との同一、類似は、当該色空間における距離によって判定することができる。すなわち、2つの色の距離を、各成分の差の絶対値の総和(マンハッタン距離)や、各成分の差の自乗和の平方根(ユークリッド距離)などにより定め、この距離が0であれば2つの色は同じ色であり、この距離がある閾値より小さければ、2つの色は類似する、と判定する。
 なお、人間の網膜の感度は、R,G,Bの色によって異なり、G成分を敏感に識別することがわかっている。そこで、上記の距離を求める際に、G成分の重みが大きくなるように、差の絶対値や自乗に係数を乗じてから総和を求める等の手法を採用しても良い。
 同様に、人間が色の類似を判定する場合には、明度よりも色相や彩度を優先することもある。そこで、HSV色空間において各成分の差を用いてマンハッタン距離やユークリッド距離等により色の距離を定める場合には、明度の重みが小さくするように差の絶対値や自乗に係数を乗じてから総和を求める等の手法を採用することもできる。
 (文書検索・画像検索)
 従来から、インターネットなどのコンピュータ通信網で公開されている各種のウェブページや、個人用コンピュータ内、あるいは、社内LAN(Local Area Network)などで利用されている各種の文書を検索するための検索技術が提供され、各種のウェブ検索エンジンやデスクトップ検索エンジンが提供されている。
 文書検索の応用技術では、一般に、ユーザは、ブラウザもしくは専用アプリケーションを介して検索エンジンにアクセスし、検索したい文字列を指定したクエリを与える。すると、検索エンジンは、ウェブ全体、LAN内、あるいは、当該コンピュータ内を検索し、当該文字列に関連する文書を検索結果として返す。
 画像検索技術では、文字列をクエリとして画像を検索するものがある。これは、ある画像が内部に配置された文書では、その画像の近傍には、その画像を説明する文字列が存在することが多い、という経験則に基づくものである。このため、上記の文書検索と同様の検索技術を利用することができる。
 また、色を指定すると、その色を含む画像を検索する画像検索技術もある。この技術では、あらかじめ、検索対象となる画像について、その画像に含まれる画素の色の分布から、その画像の代表的な色を1つまたな所定個数選択しておく。そして、ユーザにより指定された色と、画像の代表色との類似の度合を上記のようにして判定することにより、所望の色に関連する画像を検索結果として得ることができる。
 これらの検索技術では、種々の類似度を採用して、クエリにどの程度適合しているかを表すスコアを各検索結果に対して計算し、このスコアが高い順に検索結果を提示するものも多い。したがって、クエリを満たす検索結果をすべて利用するのではなく、スコアが上位のものを所定個数だけ利用するのが一般的である。
 以下では、実施形態について、
 (1)文字列を与えると、その文字列により表現される色を決定する色決定装置、
 (2)色を与えると、その色を表現する文字列(その色の名称、色名。)を決定する色名決定装置、
 (3)上記(1)(2)を商品の色に応用した例
の順に、例をあげて説明する。
 なお、本実施形態に係る色決定装置に対して1つの文字列を与えた場合に、決定される色は1つとしても良いし、複数の候補色が決定結果となるようにしても良い。
 また、本実施形態に係る色名決定装置に対して1つの色を与えた場合に、決定される色名の文字列は1つとしても良いし、複数の文字列が色名候補となるようにしても良い。
 これらの色決定装置や色名決定装置は、典型的には、パーソナルコンピュータやウェブサーバ用コンピュータなど、各種のコンピュータにおいて、所定のプログラムを実行することにより実現される。
 ここで、コンピュータとは、CPU(Central Processing Unit)がプログラムを実行することによって、RAM(Random Access Memory)を一時的な記憶域や処理の結果の出力先として利用し、キーボードやマウス等の入力装置によりユーザからの指示を受け付けたり、ディスプレイ等の出力装置に処理の結果を出力したり、NIC(Network Interface Card)を介して他の機器と通信することにより上記の入出力を行ったりするハードウェアであり、入出力用の機器は、適宜省略することも可能である。
 このほか、FPGA(Field Programmable Gate Array)等の技術を応用することにより、プログラムから電子回路の設計を作成し、当該設計に基づいて、専用の電子回路を構成することによって、これらの色決定装置や色名決定装置を実現することも可能である。
 本実施例は、色を表現するとユーザが考える文字列から、その文字列により表現される色を決定する色決定技術に係るものである。なお、ここでは、1文字のみからなるもの(たとえば「赤」「黄」「緑」等。)は、長さ1の文字列として扱う。
 図1は、本実施例に係る色決定装置の概要構成を示す説明図であり、図2は、当該色決定装置にて実行される色決定処理の流れを示すフローチャートである。以下、これらの図を参照して説明する。
 図1に示すように、色決定装置101は、文字列受付部102、画像検索部103、度合取得部104、色決定部105を備える。
 これらの各部は、上記のように、典型的には、プログラムをコンピュータで実行することによって実現される。
 さて、色決定装置101が色決定処理を開始すると、まず、文字列受付部102が、文字列の入力を受け付ける(ステップS151)。
 文字列受付部102により受け付けられる文字列は、ユーザや他の機器(後述する色名決定装置では、当該装置の特定要素が文字列受付部102に文字列を与えている。)により入力された文字列であって、色を表現する色名を表す文字列と想定される。このような色名を表す文字列は、地域や業界、時期によって種々の文字列が色名として採用されうるほか、メーカーや商店が自ら色名を選択したり、造語などによって新たに作り出したりすることがある。
 したがって、文字列受付部102は、任意の文字列を受け付けることが可能なように構成されている。
 ついで、画像検索部103が、受け付けられた文字列に関連する画像を検索して、当該画像検索の結果として複数の画像を得る(ステップS152)。
 ここで、画像検索部103は、上記の画像検索技術を利用して、受け付けられた文字列に関連する画像を検索する。
 典型的には、検索対象となる画像は、インターネット内で公開されているものであって、ウェブ文書内に配置されており、当該ウェブ文書に受け付けられた文字列が含まれているものである。
 画像検索部103は、後述するように、外部の画像検索装置を利用することもできる。また、画像検索部103を含む色決定装置101を実現するコンピュータが、画像検索エンジンとして機能する場合には、画像検索部103は、外部のコンピュータと通信する必要はない。
 すなわち、文字列から、当該文字列に関連する画像が得られるのであれば、任意の画像検索技術を適用することができる。
 また、検索結果の画像の個数には、上限を設けるのが一般的である。
 さらに、度合取得部104が、複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が複数の画像のそれぞれに出現する度合を取得する(ステップS153)。
 画像検索の結果得られた画像には、受け付けられた文字列により表現される色の画素が多数含まれているものと想定される。そこで、度合取得部104は、画像検索の結果得られた画像には、どのような色がどの程度含まれているのか、を、表す色の度合を取得する。
 ここで、画像検索の結果得られた画像の色の精度が細か過ぎると、色の度合が小さくなり過ぎることがある。そこで、典型的には、色の精度を下げて、類似する色もまとめて度合を取得することとしている。
 今日利用されている多くの画像は、24ビットカラーで表現されている。すると、RGBにより表現される色空間は、256×256×256個(約1700万個)の区画に分割されることになる。一方、現在販売されているディジタルカメラの画素数は、1000万個を超えるものもあるが、24ビットカラーの色空間の区画数に比べれば小さいことがほとんどである。
 そこで、本実施形態では、色の精度を下げて、色空間をより少ない個数の区画に分割し直すこととする。なお、値の分類を行う技術分野では、色の精度を下げることで類似する値をまとめる技術が提案されており、この結果得られる各区画は「バケツ(bucket)」と呼ばれる。
 たとえば、色の精度を15ビットカラーにすれば、色空間の分割された区画数は、32×32×32個(約3万個)となり、12ビットカラーにすれば、区画数は16×16×16個(約4千個)となる。この程度の個数とすれば、色の度合を適切に取得することができる。
 なお、色の精度の下げ方、すなわち、色空間の分割の仕方は、この他にも種々の方法がありうる。たとえば、人が感知しやすいG軸方向や、人が感知しやすい明るい領域では、色空間を細かく分割する等の手法である。
 このように色の精度を下げた上で、ある色の度合を取得するのであるが、この度合としては、以下のようなものを利用することができる。
 (1)検索結果の画像のうち、当該色が出現する画像の個数。
 (2)検索結果の画像の画素のうち、当該色の画素の総数。
 (3)上記(1)と(2)を組み合わせた値。すなわち、当該色が出現する画像の個数が多ければ多いほど、また、当該色の画素の総数が多ければ多いほど、大きくなるように定められる値。
 (4)上記(1)(2)(3)のいずれかにおける値が所定の閾値以上の場合には、その値もしくは1を度合とし、所定の閾値未満の場合には、0を度合とする。
 これらの詳細については、実施例を改めて後述する。
 最後に、色決定部105が、取得された度合に基づいて、所定の精度で表現された色から、受け付けられた文字列により表される色を決定して、色決定処理を終了する(ステップS154)。
 色の度合に基づいて、受け付けられた文字列により表される色が決定される。色を一つだけ決定するための手法としては、以下のようなものを利用することができる。
 (1)度合が最も大きい色を、文字列により表される色とする。
 (2)度合が最も大きい色が複数ある場合に、色空間において原点から最も遠い色を、文字列により表される色とする。RGB表現を採用している場合には、最も明るい色が選択されることになる。
 (3)度合が最も大きい色が複数ある場合に、度合最大の色の平均色を、文字列により表される色とする。
 (4)度合が大きい色の上位を所定個数選択し、その平均色を、文字列により表される色とする。
 (5)各色について取得された度合を重みとして、色の重み付き平均をとり、その結果を文字列により表される色とする。
 色を1つ以上決定するための手法としては、
 (1)度合が最も大きい色を、文字列により表される色とする。
 (2)度合が大きい色の上位所定個数を、文字列により表される色とする。
のようなものを採用することができるが、これ以外の態様については、以降の実施例において説明する。
 このように本実施形態に係る色決定装置101は、ユーザ等から受け付けた文字列について画像検索技術を適用して、得られた画像に含まれる色から、当該文字列により表現される色を適切に決定することができる。
 以下では、色決定装置101の好適実施形態や変形例など、種々の態様について説明する。
 本実施例は、上記実施例1において、色の度合として、検索結果の画像のうち当該色を含む画像の個数を採用するものである。
 以下、10×10×10の区画に区切られたRGB色空間を採用し、色を表現する文字列として「green color」を与え、インターネット内の文書を画像検索した例を取り上げて説明する。
 図3A、図3B、図3C、図3Dは、検索結果の画像に出現する色の分布を示す説明図である。以下、本図を参照して説明する。
 これらの図では、中央下に色空間の原点、右向きにR軸(Red)、左向きにG軸(Green)上向きにB軸(Blue)を配置し、検索結果の画像に出現した色の色空間における位置を丸印で表記している。
 ここで、図3Aは、検索結果の上位1枚の画像に出現した色の分布を示すものである。
 図3Bは、検索結果の上位2枚の画像に共通して出現した色の分布を示すものである。
 図3Cは、検索結果の上位3枚すべての画像に共通して出現した色の分布を示すものである。
 図3Dは、検索結果の上位4枚すべての画像に共通して出現した色の分布を示すものである。
 これらの図を順に検討すると、画像の枚数が増えるにしたがって、色の分布がRGB色空間内のG軸の終端付近に次第に収束していくことがわかる。
 したがって、画像の枚数を1枚、2枚、3枚、…のように、これを繰り返すことで、検索結果上位の画像に共通して出現する色がわかる。この色は、与えられた文字列に対する色であると考えられる。
 すなわち、各繰り返しにおいて、共通して出現する色の個数を調べ1個になったら、繰り返しをそこで停止する。そして、残った1色を与えられた文字列に対する色として決定すれば良い。
 画像検索の検索結果は、典型的には、与えられた文字列の適合度が高いスコア順に、並んでいる。そこで、検索結果がN枚の画像の場合には、上位1位の画像に出現する色の分布を求め、上位2位までの画像すべてに出現する色の分布を求め、上位3位までの画像すべてに出現する色の分布を求め、…、のように処理を繰り返せば、高速に収束が進むと考えられる。
 また、検索結果の画像がN枚であり、度合がNである色、すなわち、N枚の画像すべてに出現する色が複数得られた場合には、上記のように、それらをすべて、与えられた文字列に対する色の候補として決定しても良いし、それらの平均色を与えられた文字列に対する色として決定しても良い。
 繰り返しの途中で、共通して出現する色の個数が0になってしまった場合、すなわち、その直前の繰り返しにおいて残っていた色のすべて、もしくは、残っていた色の平均色を、与えられた文字列に対する色として決定しても良い。
 図4は、本実施例における色決定処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。本例は、与えられた文字列に対する色を一つだけ決定するものである。
 本実施例に係る色決定処理が開始されると、上記実施例1と同様に、文字列の受付(ステップS151)ならびに画像の検索(ステップS152)が実行される。この後、以下の処理が実行される。
 まず、CPUはRAM内に、所定の精度で分割された色空間の各区画に1ビットを割り当てた3次元ビット配列F[-,-,-]と、3次元ビット配列G[-,-,-]と、を確保する(ステップS161)。
 色空間がR軸、G軸、B軸ともM個に分割され、区画の総数がM×M×M個となる場合には、ビット配列F[-,-,-],G[-,-,-]の添字は、いずれも、[0,0,0]~[M-1,M-1,M-1]の間の値をとる。
 ついで、CPUは、ビット配列F[-,-,-]の各要素をすべて1に設定する(ステップS162)。すなわち、整数i = 0,1,...,M-1、整数j = 0,1,...,M-1、整数k = 0,1,...,M-1のそれぞれについて、
  F[i,j,k] ← 1
を実行する。ここで、「←」は代入を意味する。また、フローチャートでは、「*」を用いることで範囲内のすべての添字に対して処理を行うことを表記する(以下同様)。
 ついで、CPUは、検索結果の画像N枚に対して、整数r = 1,2,…,Nの順に、以下の処理を繰り返す(ステップS163)。
 まず、ビット配列G[-,-,-]の各要素をすべて0に設定する(ステップS164)。すなわち、整数i = 0,1,...,M-1、整数j = 0,1,...,M-1、整数k = 0,1,...,M-1のそれぞれについて、
  G[i,j,k] ← 0
を実行する。
 次に、CPUは、検索結果のスコアがr位の画像に含まれる各画素について、以下の処理を繰り返す(ステップS165)。
 まず、CPUは、当該画素の色を取得する(ステップS166)。以下では、理解を容易にするため、当該画素の色が、24ビットカラーで(r,g,b)と表現されているものとする。すなわち、r,g,bは、いずれも、0から255までのいずれかの整数値をとる。
 ついで、CPUは、取得された色(r,g,b)が属する色空間の区画(i,j,k)を求める(ステップS167)。すなわち、
  i = (r×M)/255;
  j = (g×M)/255;
  k = (b×M)/255
を計算する。ここで、乗算「×」は除算「/」に優先して実行され、除算は整数除算であり、余りは切り捨てるものとする。
 この計算により、画像内の画素の色(r,g,b)を所定の精度の色(i,j,k)に変換したことになる。なお、各画像の画素の色が、他の精度で表現されている場合には、上記の変換式を精度に合わせて適宜変更すれば良い。
 この後、CPUは、ビット配列G[-,-,-]内のビット値を、
  G[i,j,k] ← G[i,j,k] or 1
のように更新する(ステップS168)。ここで、「or」は、ビット論理和演算を意味する。
 CPUは、検索結果のスコアがr位の画像に含まれる各画素について、ステップS165~ステップS168の処理を繰り返し(ステップS169)、当該繰り返しが終わったら、CPUは、整数i = 0,1,...,M-1、整数j = 0,1,...,M-1、整数k = 0,1,...,M-1のそれぞれについて、
  G[i,j,k] ← F[i,j,k] and G[i,j,k]
を実行する(ステップS170)。ここで「and」は、ビット論理積演算を意味する。
 この後、CPUは、ビット配列G[-,-,-]のうち、値が1である添字(この添字は、各区画に対応付けられる数字列である。)を抽出し(ステップS171)、CPUは、抽出された添字の個数を調べる(ステップS172)。
 抽出された添字の個数が1である場合(ステップS172;=1)、CPUは、当該抽出された添字[i,j,k]により表現される区画(i,j,k)に対する24ビットカラーの色(r,g,b)を求める(ステップS173)。これには、ステップS167とは逆に、
  r = (i×255)/M;
  g = (j×255)/M;
  b = (k×255)/M
を計算すれば良い。
 そして、CPUは、色(r,g,b)を、決定された色として出力して(ステップS164)、本処理を終了する。
 一方、抽出された添字の個数が0である場合(ステップS172;=0)、CPUは、ビット配列F[-,-,-]のうち、値が1である添字を抽出する(ステップS175)。ここで、ビット配列F[-,-,-]のうち、値が1である添字が以下のL個であったとする。
  [i[0],j[0],k[0]],[i[1],j[1],k[1]],...,[i[L-1],j[L-1],k[L-1]]
 この後、CPUは、抽出された添字によって表現される各区画に対する24ビットカラーの平均色(r,g,b)を求める(ステップS176)。具体的には、
  r = (Σp=0 L-1 i[p]×255)/(M×L);
  g = (Σp=0 L-1 j[p]×255)/(M×L);
  b = (Σp=0 L-1 k[p]×255)/(M×L)
を計算すれば良い。
 そして、CPUは、色(r,g,b)を決定された色として出力して(ステップS177)、本処理を終了する。
 なお、区画に割り当てられた精度の低い色から画像を表すのみ用いる高い精度の色への変換は、後述する実施例においても、同様に実行することができる。
 それ以外の場合(ステップS172;その他)、CPUは、ビット配列F[-,-,-]にビット配列G[-,-,-]の各ビットをコピーする(ステップS178)。これは、整数i = 0,1,...,M-1、整数j = 0,1,...,M-1、整数k = 0,1,...,M-1のそれぞれについて、
  F[i,j,k] ← G[i,j,k]
を実行することと等価であるが、ビット配列全体のコピーや、変数F,Gが指すビット配列のアドレスを交換するなどの手法を採用することによって、処理の高速化を図ることもできる。
 このようにして、CPUは、i = 0,1,…,N-1の繰り返しを行う(ステップS179)。この繰り返しが終了したら、色を1つに絞ることができなかったことを意味するので、CPUは、制御をステップS165に進める。
 本実施例によれば、各画像に色が出現するか否かのみによって、文字列により表される色を決定することができるため、処理の高速化ならびに消費メモリの抑制を図ることができる。
 本実施例は、上記実施例1において、色の度合として、検索結果の画像に当該色が出現する頻度を採用するものである。
 本実施例では、度合取得部104は、検索結果のN枚の画像に含まれる全画素について、当該画素の色を所定の精度に変換して色空間内の区画を求める。そして、区画ごとに、その区画に属することとなった色を持つ画素の数を数え上げる。
 このようにして、検索結果の全画像の全画素を、色空間内の各区画に分類する。各区画に振り分けられた画素の総数が、その区画の色(所定精度の色)に対する度合に相当する。
 上記の例と同様に、10×10×10の区画に区切られたRGB色空間を採用し、色を表現する文字列として「green color」を与え、インターネット内の文書を画像検索した場合を考える。
 図5は、検索結果の画像に出現する色の頻度を示す説明図である。以下、本図を参照して説明する。
 本図は、図3Aと同じ画像における画素の色の頻度分布を表したもので、各区画に振り分けられた画素の数に応じて、色空間に配置される丸印の大きさを変化させている。
 検索結果上位1位の画像において最も出現頻度が高い色(本図)と、検索結果上位4位までの画像に共通して出現する色(図3D)と、は、色空間内でほぼ同じ位置に配置されている。
 したがって、色の出現頻度を度合とすることによっても、文字列が表す色を決定することができると考えられる。
 さて、色決定部105は、色空間から、分類された画素の総数が最大の区画を選択する。そして、当該区画の色を、文字列により表現される色として出力する。
 このほか、画素の総数が多い順に、上位の所定の個数(たとえば、全区画数が16×16×16=4096個であれば、10個~40個程度。)の区画を選択し、各区画の色の平均色を、文字列により表現される色として出力しても良い。
 この際の平均の計算手法は、単純な平均でも良いし、各区画における画素の数を、当該区画の色の重みとして、重み付き平均をとることとしても良い。
 また、画素の総数が多い順に、上位の所定の個数の区画を選択し、各区画の色を、そのまま、文字列が表す複数の色の候補として出力する態様を採用することもできる。
 本実施例によれば、画像に出現する画素の色の出現頻度に基づいて、適切に、文字列により表現される色を決定することができる。
 特に、本実施例のように、出現頻度を度合とした場合には、検索結果として得られる画像のうち、色の頻度を計数しなければならない画像の数を小さくすることができると考えられる。
 たとえば、実施例2において、100枚程度の画像に対して色の度合(出現の可否)を判断した場合であっても、本実施例では、10枚~20枚程度の画像に対して色の度合(出現の頻度)を求める処理を行えば、十分な結果が得られるものと期待される。
 なお、本実施例は、実施例2と組み合わせることも可能である。
 たとえば、実施例2の繰り返しによって、文字列により表現される色の候補をある程度の数に絞り込んだ後に、その候補から平均色を求める際には、本実施例における頻度で重み付けをする、等の手法である。
 候補の絞り込みの閾数としては、定数(たとえば、10や20等。)、色空間における区画の総数に所定の数(0.05や0.1等、0を超えて1未満の値。)を乗じて得られる数値を採用することができる。
 このほか、検索結果上位1位乃至所定位の画像に含まれている色の数(色空間において色が分布している区画の数)に、所定の数(0.05や0.1等、0を超えて1未満の値。)を乗じて得られる数値を絞り込みの閾数としても良い。
 このほか、本実施例によって、検索結果上位1位乃至所定位の画像に含まれる色から、頻度が上位のものに絞り込み、その上で実施例2を適用する、という手法もある。
 この場合には、ビット配列F[-,-,-]の初期値において、検索結果上位1位の画像に含まれる頻度が上位の色については1を、そうでなければ0を、それぞれ設定してから、上記の実施例2の処理を実行することによって、高速かつ適切に、色を決定することができるようになる。
 本実施例は、上記実施例において、検索結果の画像から無用な色を除去するための変形例である。
 上記実施例では、検索結果の画像に含まれるすべての画素の色を、度合を計算するための処理の対象としていた。
 しかしながら、インターネット等で公開されている画像の多くは、注目する色を有する物体が中央に配置され、その周囲には異なる色の背景が配置される構図を採用しているものも多い。
 そこで、周囲に配置された背景の色を、度合の計算の対象から除去することで、より正確に、文字列が表す色を決定できるものと考えられる。
 具体的には、度合取得部104が、以下のような前処理を行う。
 すなわち、検索結果の個々の画像について、その四隅の色を取得する。
 ついで、その画像の最外周の画素のうち、四隅のいずれかの色と同じ色の画素を、除去する。
 最初の画像が長方形であったとしても、一度この除去処理を行うと、外周の画素の一部のみが除去されることがある。したがって、除去後の画像は、必ずしも長方形ではない。
 一旦最外周の画素の除去を行うと、今度は当該除去された画素に隣接していた画素が最外周の画素になる。
 そこで、また、再外周の画素のうち、四隅のいずれかの色と同じ色の画素を除去する。
 この処理を繰り返し、再外周の画素に四隅の色と同じ色の画素がなくなったら、この前処理を終了する。
 なお、画像の周縁から除去する対象としては、四隅のいずれかの色と同じ色の画素のみならず、四隅のいずれかの色と類似する色の画素を含めることとしても良い。
 また、色が同じか否かを比較する対象の画素としては、四隅の画素を採用するのではなく、いずれかの隅、たとえば、左上の画素のみを採用することとしても良い。
 このようにして、画像の周縁部分に配置されている背景の画素を、処理の対象から除去することができ、注目する色を有する画素が優先されて処理の対象となるので、より適切に、文字列が表す色を決定することができる。
 本実施例は、画像検索を、外部の画像検索装置によって実行する場合に好適な態様である。
 上記のように、画像検索技術を塔載した画像検索装置は、文字列をクエリとして与えると、その文字列に関連するインターネット内の画像を検索結果として返す。
 このような画像検索装置は、色決定装置101を実現するコンピュータとNICを介して通信可能に接続される。
 すなわち、画像検索部103は、外部の画像検索装置に、NICを介して文字列を指定するクエリを含む画像検索要求を送信する。
 すると、画像検索要求を受信した画像検索装置は、インターネット内で公開されている画像のうち、クエリに適合する画像を、適合度のスコア順に並べて、検索結果とする。
 そして、その検索結果を指定する画像検索応答を、色決定装置101に送信する。
 色決定装置101の画像検索部103は、この画像検索応答を受信して、当該画像検索応答に指定された画像を、画像検索の結果として、度合取得部104に与えるのである。
 このように、本発明においては、既存の画像検索技術を適切に利用することで、実装コストを低減することが可能である。
 なお、このような画像検索装置には、検索言語を指定できるものも多い。
 一方で、色を表す文字列としては、その色を有する物体の呼び名を採用することもある。また、色を表す文字列が人の名前や団体の名称等の固有名詞の一部となっていることも多い。
 すると、色を決定するためには、必ずしも適切でない画像が、検索結果となってしまうことがありうる。
 そこで、本実施例において、受け付けられた文字列の言語において、色を意味する文字列を、受け付けた文字列とともに、クエリに指定することで、このような現象を防止することができる。
 受け付けられた文字列の言語を判定する手法としては、ユーザが現在使用している言語をそのまま利用したり、文字列に含まれる文字の文字コードから推定したり、ユーザに直接指定させたり等、種々の態様が考えられる。
 たとえば、文字列の文字コードとしてUTF-8を採用している場合には、その文字の文字コードがいずれの国の文字に割り振られているか、を調べることによって、文字列の言語を推定することができる。
 また、文字列の入力をブラウザ経由で行っている場合には、当該ブラウザにおいて現在表示されている入力フォームの言語はいずれであるか、あるいは、当該ブラウザにおいてデフォルトの言語やフォントとして何を採用しているか、という情報から、文字列の言語を推定しても良い。
 たとえば、「みどり」という文字列が受け付けられた場合を考える。「みどり」は、色を表すほか、日本人女性の名前としても人気があり、画像検索の結果には、「みどり」という名を持つ女性の写真が多く含まれる。
 このため、肌色(皮膚の色)や茶色・黒色(髪の毛の色)が含まれてしまい、「みどり」により表現される色の適切な推定ができなくなってしまう。
 そこで、文字列「みどり」の言語である日本語において色を意味する文字列「色」を検索クエリに追加する。すると、「みどり」と「色」の両方に適合する画像が、検索結果となる。
 このほか、英単語「pink」もまた、「みどり」と同じように、芸能人の団体名や芸名の一部として利用されることがある。
 そこで、「pink」の言語である英語において、色を意味する文字列「color」を検索クエリに追加する。すると、「pink」と「color」の両方に適合する画像が、検索結果となる。
 このように、本態様では、受け付けられた文字列のほか、色を意味する文字列「色」「color」等をクエリに追加することで、当該文字列に対する色を、より正確に決定することができるようになる。
 上記の実施例は、文字列が与えられると、その文字列により表される色を決定することにより、文字列と色の対応関係を求めるものであった。
 本実施例は、色が与えられると、その色を表現する文字列を決定することにより、文字列と色の対応関係を求めるもので、色決定装置101とは逆の働きをするものである。
 図6は、本実施形態に係る色名決定装置の概要構成を示す説明図である。図7は、当該色名決定装置にて実行される色名決定処理の流れを示すフローチャートである。以下、これらの図を参照して説明する。
 図6に示すように、色名決定装置301は、色受付部302、文書検索部303、キーワード抽出部304、色名決定部305、ならびに、上記の色決定装置101における画像検索部103、度合取得部104、色決定部105を有する。
 これらの各部は、上記のように、典型的には、プログラムをコンピュータで実行することによって実現される。
 さて、色名決定装置301が、色名決定処理を開始すると、色受付部302が、色の入力を受け付ける(ステップS351)。
 色受付部302による色の受付は、たとえば、以下のような態様により行われる。
 (1)RGB値やHSV値等、色空間における色成分の数値を、ユーザが直接入力する。
 (2)ユーザが画像内の特定の画素を指示する。すると、当該画素の色が受け付けられる。任意の画像を利用することができるが、さまざまな色がグラデーションで描かれた色見本の画像などを採用しても良い。
 (3)画像をユーザが指定するとその画像の代表色が受け付けられる。たとえば、指定された画像の背景の画素を実施例4の技術で除去した後、残った画素の平均色を代表色として利用する。
 すると、文書検索部303は、受け付けられた色に関連する画像が配置された文書を検索する(ステップS352)。
 上記のように、画像検索技術においては、色を指定すると、その色を含む画像を検索する画像検索技術がある。このような色に基づく画像検索を実現する画像検索装置は、文字列に基づく画像検索を実現する画像検索装置と同様に、色名決定装置301を実現するコンピュータそのものがプログラムを実行することによって実現されるものとしても良いし、NICを介して通信可能に接続された他のコンピュータにより実現されるものであっても良い。
 ついで、キーワード抽出部304は、検索された文書に関連するキーワード文字列を抽出する(ステップS353)。
 キーワード文字列は、検索された文書に出現する文字列から抽出するのが最も単純であるが、当該文書もしくは当該文書内に配置された画像に対して外部から付されたコメントやタグ、説明文など、検索された文書には直接含まれないが、当該文書に関連付けられた情報を、キーワード文字列を抽出する対象としても良い。
 ここでキーワード文字列としては、名詞、名詞句、形容詞、形容詞句などの単語もしくは単語列、たとえば、日本語では、体言ならびに当該体言を修飾する用言を表す文字列を抽出することが望ましい。
 ただし、検索された文書のテキストを単語に区切り、各単語をキーワード文字列として採用することも可能である。
 また、文書に出現する文字列としては、検索された文書を閲覧した際に直接閲覧者が視認できる文字列を採用することができるが、当該文書に配置された画像に付されたアノテーションやタグ、コメント、alt属性の文字列など、閲覧者が直接視認できない部分を対象としても良い。
 この後、色名決定装置301は、抽出されたキーワード文字列のそれぞれについて、以下の処理を繰り返す(ステップS354)。
 すなわち、画像検索部103は、当該キーワード文字列に関連する画像を検索して、当該画像検索の結果として複数の画像を得て、度合取得部104は、複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が複数の画像のそれぞれに出現する度合を取得し、色決定部105は、取得された度合に基づいて、所定の精度で表現された色から、受け付けられた文字列により表される色を決定する(ステップS355)。
 すなわち、上記実施例に係る色決定処理において、キーワード文字列が受け付けられた場合と同じ処理を実行するのである。
 すると、現在の繰り返しにおいて処理の対象となっているキーワード文字列に対して、当該キーワード文字列により表現される色が決定される。
 そして、色名決定部305は、決定された色(決定色)と、受け付けられた色(入力色)と、が、同一または類似するかを判定する(ステップS356)。
 色の同一、類似の判定基準は、上記のように、色空間における色の距離によって定めることができる。
 同一または類似する場合(ステップS356;Yes)、現在の繰り返しにおいて処理の対象となっているキーワード文字列を、受け付けられた色を表す色名文字列の候補に決定して出力して(ステップS357)、ステップS354以降の処理を繰り返す(ステップS358)。
 一方、同一でも類似でもない場合(ステップS356;No)、そのままステップS354以降の処理を繰り返す(ステップS358)。
 このように、目的色を表現する色名の文字列を決定する際に、候補となるキーワード文字列から候補色を決定して、目的色と候補色が同一・類似であれば、キーワード文字列は、目的色を表現していると考えることができる。
 また、目的色と候補色が同一でも類似でもない場合には、検索結果の文書から抽出されたキーワードは、ありふれた一般的な単語であると考えられ、目的色を表すものではない、と考えられる。
 このようにして、抽出されたキーワード文字列のそれぞれについての繰り返し(ステップS354~ステップS357)が終了したら、本処理を終了する。
 このように、本実施例では、キーワード抽出部304は、キーワード文字列を1つまたは複数抽出し、抽出されたキーワード文字列のそれぞれに対して、画像検索部103による画像検索、度合取得部104による度合の取得、色決定部105による色の決定、色名決定部305による色名の候補の決定が実行されることになる。
 このように本実施形態に係る色名決定装置301は、ユーザ等から受け付けた色について画像検索技術を適用して、得られた文書に含まれる各キーワード文字列を上記の色決定装置101に与え、得られた色とユーザ等から受け付けた色との類否に基づいて、当該キーワード文字列からユーザ等から受け付けた色を表現する色の色名として適切なものを決定することができる。
 なお、本実施例では、一般には、複数のキーワード文字列が、色を表す文字列の候補として出力されることとなる。
 以下では、本実施例に係る色名決定装置301の好適実施形態や変形例など、種々の態様について説明する。
 本実施形態は、キーワード文字列を絞り込む好適実施形態に係るものである。
 すなわち、実施例6において、文書検索部303は、複数の文書を検索の結果とするように構成する。
 上記のように、一般的な検索技術では、複数の検索結果がクエリに対する適合度の順に得られるから、本実施例では、与えられた色に対する適合度が上位の所定個数の文書を検索結果として得るものとする。
 そして、キーワード抽出部304は、検索された複数の文書に共通して出現するキーワード文字列を抽出する。
 一般に、同じクエリに対する検索結果として得られた文書には、そのクエリに対する適合度が高い文字列が共通して複数回出現するものと考えられる。そこで、検索結果の各文書に出現する単語や単語列をキーワード文字列の候補として、
 (1)検索結果の全文書において、当該候補が出現する頻度を求め、当該頻度が高いものをキーワード文字列として抽出する。
 (2)検索結果の全文書のうち、当該候補が出現する文書の個数を求め、当該個数が高いものをキーワード文字列として抽出する。
 (3)上記(1)(2)を組み合わせた評価値を求め、当該評価値が高いものをキーワード文字列として抽出する。たとえば、所定の係数による頻度と個数の線形和を、評価値として利用することができる。
 なお、実施例6のキーワード文字列に基づく繰り返し(ステップS354~ステップS357)では、出現頻度や出現文書数、評価値等のスコアが高い順にキーワード文字列を処理することとし、所定の上限数が色を表す文字列の候補として決定され、出力されたら、繰り返しを打ち切ることとしても良い。
 この手法では、所定の上限数を1とすることで、色を表現する文字列を1つだけ決定することができる。
 また、この手法では、目的の色を表現している可能性が高いと予想される順にキーワード文字列を抽出して試行を行うので、所望の個数の色名の文字列の候補が、高速に決定できる。
 本実施例は、上記の色名決定装置301において、色を表す文字列の言語を限定するものである。
 色決定装置101では、受け付けられた文字列の文字コードや、文字列の受け付けるためにブラウザに表示されている入力フォームの言語、ブラウザにおいてデフォルトの言語やデフォルトフォントで利用されている言語から、ユーザが利用している言語を取得していた。
 一方、色名決定装置301において入力されるのは、色そのものの情報であり、色そのものからは、言語の情報を抽出することは難しい。
 したがって、本実施形態では、ユーザが明示的に言語を指定するか、あるいは、ブラウザに表示されている入力フォームの言語、ブラウザにおいてデフォルトの言語やデフォルトフォントで利用されている言語のように、ユーザにより暗黙のうちに指定された言語を、ユーザ所望の言語とする。
 そして、文書検索部303は、ユーザにより指定された言語で記述された文書を検索の対象とする。
 すると、結果として得られる文書は、ユーザ所望の言語で記述されているから、抽出されるキーワード文字列もユーザ所望の言語となり、色名を表すものとして決定される文字列もユーザ所望の言語となる。
 また、ここでユーザ所望の言語として得られた情報は、色決定処理においても利用することができる。すなわち、画像検索部103において、色という概念を意味するユーザ所望の言語の文字列(「色」や「color」など。)を、クエリに付加するのである。
 本実施例によれば、色を表す文字列を、ユーザ所望の言語により得ることができるようになる。そのため、その言語文化に特有の色名称を得ることが可能になり、その国、その言語、その文化に特有の事情に対応することができるようになる。
 実施例1では、色名を表す文字列が与えられたときに、色決定装置101は、当該色名によって表現される色を1つだけ決定する手法と、1つ以上を決定する手法と、を、開示している(ステップS154に係る説明を参照)。そして、文字列により表される複数の色を決定する場合には、単純に、度合が大きい色の上位所定個数を選択していた。
 本実施例は、クラスタリングの技術を適用して、文字列により表される色として複数の候補をより精緻に決定するもので、その文字列によって各候補が表現される適切さの程度を表す指標値を出力可能とするものである。
 本実施例においても、上記実施例と同様に、検索結果の画像に含まれる画素の色を各区画(バケツ)に分類して、各区画に属する画素の数を集計する。
 ただし、本実施例では、3次元の色空間における色分布に対するクラスタリング処理を行うことで、代表的な色を複数選ぶ。これは、いわゆる「減色」に相当する処理である。したがって、コンピュータグラフィックスにおける各種の減色手法によって、適切な代表色を1つもしくは複数選択するのである。
 減色に適用可能な技術として広く知られているものに、K-meansという手法がある。K-meansによれば、
 (a)画素の色の分布と、
 (b)分割数である正整数Kと、
が与えられると、
 (x)K個の代表色と、
 (y)クラスタの強さ(その代表色が表現するクラスタに属する画素の個数、分類された全画素数に対する当該クラスタに分類された画素数の割合等)と、
が出力される。日常的な慣習を考えると、ある色名が表現する色の個数は、3個程度までが適切と考えられる。このような場合には、Kとして3~6程度の値を指定してK-meansによりクラスタリングを行えば良い。
 このほか、K-meansを拡張したアルゴリズムとして、X-meansという技術がある。この技術は、画素の色の分布を与えるだけでクラスタの数を適切に選択するもので、クラスタリングの結果として、分割数、代表色、各クラスタの強さが得られる。
 上記のように、ある色名が表現する色として3個を選ぶ場合には、得られたクラスタの強さが上位の代表色を3個選べば良い。選ばれた各代表色に対しては、その代表色が色名によって表現される「適切さ」の指標として、「クラスタの強さ」を割り当てることができる。
 なお、クラスタリング計算の高速化を図るとともに、ノイズに相当する色を除去するため、データの足切りを行うこととしても良い。たとえば、元の画像が100枚であったときには、区画に属する画素の個数が40個以上の区画のみをクラスタリングの対象とし、40個未満の区画は無視する、という手法である。
 無視するか否かの閾値は、区画の総数Lに対する元の画像の枚数Mや元の画素の総数Gに基づいて定めることができる。たとえば、適当な正の定数A,Bを用いて区画に属する画素の数がM/(A×L)未満である場合には無視する、あるいは、区画に属する画素の数がG/(B×L)未満である場合には無視する、等である。この閾値はユーザが適宜指定できるようにしても良い。
 1つの色名の文字列が与えられると、1つもしくは複数の色が出力される色決定装置101が用意できれば、これを色名決定装置301に適用することも可能である。
 この場合、実施例6のステップS353において抽出された各文字列について、ステップS355において決定される色(決定色)が1つもしくは複数となる。そこで、ステップS356では、決定色のそれぞれと、ステップS351においてユーザから受け付けられた色(入力色)と、が、同一または類似するかを判定する。類似していれば、当該決定色の元となった文字列を入力色の呼び方の候補として出力すれば良い。
 なお、本実施例に適用可能なクラスタリング技術は、K-meansやX-meansに限られず、各種のクラスタリング技術を利用した場合であっても、本実施例の技術的範囲に含まれる。
 以下では、上記実施例に係る色決定装置101や色名決定装置301を、商品のオンライン販売に応用する例について説明する。
 すなわち、色決定装置101に受け付けされる文字列は、商品の色を形容する文字列であり、当該商品を製造するメーカーや販売する商店主が選択するものである。
 すると、色決定装置101により決定された色は、商品の代表色ということになる。
 商品の代表色の情報は、オンライン販売のユーザが、好みの色の商品を検索する際等に、利用することができる。すなわち、ユーザに色を入力させ、その色に類似する商品を検索する場合等である。
 このほか、ユーザに色を直接入力させるのではなく、あらかじめ定めた複数の基準色からいずれかを選択させて、これに見合う色の商品を検索する、という手法もある。
 この場合には、色決定部105は、あらかじめ定めた基準色のうち、商品の代表色に最も近い基準色を、商品の分類色に決定する。
 この態様では、ユーザが自分の好みの基準色を選択すると、当該基準色に類似する代表色を有し、当該基準色を分類色として有する商品が検索されることになる。
 以下では、このような応用例について、さらに詳細に説明する。
 (商品販売システム)
 図8は、本応用例にかかる商品販売システムの概要構成を示す説明図である。以下、本図を参照して説明する。
 本図に示す商品販売システム501は、インターネット502を介して、端末装置503、商品サーバ504、検索サーバ505が通信可能に接続されることにより、構成されている。
 ここで、商品サーバ504は、いわゆる電子市場を実現するサーバ装置である。
 商品を販売する商店主は、当該商店主が使用する端末装置503で動作するブラウザを介して商品サーバ504にアクセスし、販売対象の商品を登録する。
 一方、商品を購入する購入者は、当該購入者が使用する端末装置503で動作するブラウザを介して商品サーバ504にアクセスし、商品を検索したり、購入したりする。
 検索サーバ505は、上記実施例における画像検索装置に相当するものであり、文字列が与えられると、当該文字列に関連する画像を検索する画像検索機能や、色が与えられると、当該色に関連する画像が配置された文書を検索する文書検索機能を提供する。
 なお、検索サーバ505と、は、商品サーバ504とは、異なるサーバコンピュータにより実現されるものとしても良いし、商品サーバ504を実現するサーバコンピュータが、検索サーバ505の機能を合わせ持つように構成することもできる。後者の場合、商品サーバ504と検索サーバ505の通信は、インターネット502を介さずに当該サーバコンピュータ内にて行うことができる。
 本応用例では、上記実施例に係る商品サーバ504が所定のプログラムを実行することにより、色決定装置101や色名決定装置301が実現される。
 (商品サーバの概要)
 商品サーバ504の管理者は、購入者が色で商品を検索できるようにするため、あらかじめ複数の色を基準色として選択する。商品サーバ504に用意されたデータベースには、この基準色を管理するための基準色テーブルが用意されている。
 基準色テーブルに登録されるレコードには、以下のようなフィールドがある。
 (1)カラーID。商品サーバ504の管理者があらかじめ選定した基準色を区別するために、色ごとに一意に割り振られる識別符号である。
 (2)カラー名。当該基準色の色名を表す文字列であり、商品サーバ504の管理者が付与する。
 (3)カラーコード。当該基準色を、色空間の座標に相当する情報で表現したもの。典型的には、RGB表現が利用される。
 基準色として用意される色の数は、少な過ぎると購入者の検索の役に立たなくなり、多過ぎると検索の際に購入者が色を選択しにくくなる。典型的には、8色~24色程度の数とする。
 さて、商品サーバ504は、データベースに用意された商品テーブルを用いて、販売対象となる商品を管理する。商品テーブルに登録されるレコードには、以下のようなフィールドがある。
 (1)商品ID。商品を区別するために、商品ごとに一意に割り振られる識別符号で、登録が行われるごとに、自動的に生成されるのが一般的である。
 (2)商品名。当該商品の呼称である。
 (3)ブランド名。当該商品を製造している者や、当該商品の品質を保証している者などを象徴する名称である。
 (4)価格。当該商品を販売する際の価格である。
 (5)オリジナルカラー名。当該商品の色を表現する文字列であり、商店主や製造者が付与する。合成語や、独自に設定された新語などのこともある。
 (6)基準カラーID。あらかじめ定めた基準色のいずれに、当該商品の色が類似するかを表す。
 (7)商店主ID。当該商品を販売する商店主を識別するために、一意に商店主に割り振られる識別符号である。
 (8)商品画像名。商品サーバ504には、当該商品を表す画像ファイルを登録することができる。その画像ファイルのファイル名である。なお、商品サーバ504以外のウェブサーバに画像ファイルを登録した場合には、当該画像ファイルのURL(Universal Resource Locator)を使用する。
 (9)その他の商品に関する関連情報。電子商取引に係る種々の情報が入れられる。
 一度基準色テーブルに基準色が登録され、商品テーブルの各レコードに、各商品の基準色が登録された後は、通常の電子商取引システムの技術を応用することにより、端末装置503を介して商品サーバ504にアクセスしてきたユーザに、商品を検索させて購入させることが可能となる。
 以下では、商品テーブルに種々の情報が登録される態様において、色決定装置101や色名決定装置301が使用される態様について、詳細に説明する。
 (商品の登録)
 図9A、図9B、図9Cは、商品サーバ504から送信された商品登録フォームが、端末装置503の画面に表示される例を示す説明図である。以下、本図を参照して説明する。
 これらの図に示す商品登録フォーム701には、商品テーブルのレコードの各フィールドに記録される情報を入力するための入力欄として、商店主ID欄702、商品名欄703、ブランド名欄704、価格欄705、商品画像名欄706が用意されている。
 これらの入力欄に対する情報は、商店主が端末装置503のキーボードやマウスなどを操作することによって入力される。
 ここで、商品画像名欄706に商品画像のファイル名やURLが入力されると、商品サーバ504への画像ファイルのアップロードが実行され、商品画像欄707に、当該ファイル名やURLにより指定される商品画像が表示される。
 商店主は、この商品画像を観察することで、自分で作り出したその商品の色を表す文字列や、商品のメーカーから提供された色名を表す文字列を、オリジナルカラー名欄708に入力する。
 なお、基準カラーID欄709では、基準色のカラー名711と基準色で塗り潰されたカラー見本712と、当該基準色を選択するためのチェックボックス713が用意されている。図9Aでは、いずれの基準色も、当該商品に対する色としては選択されていないため、いずれのチェックボックス713にも、チェックがされていない。
 さて、本応用例の端末装置503において、図9Bに示すように、商品登録フォーム701の商品画像欄707内にマウスカーソル751が入ると、当該マウスカーソル751が指している画素の色が取得され、この色が、商品サーバ504に送信される。
 すると、商品サーバ504は、検索サーバ505を文書検索装置として利用する色名決定装置301として機能して、送信された色を表す文字列の候補を、端末装置503に返信する。
 色を表す文字列の候補を受信した端末装置503は、図9Cに示すように、マウスカーソル751の近傍にポップアップウィンドウ713を表示して、その中に、受信された候補を表示する。
 商店主は、この候補を参考にして、適切なオリジナルカラー名を考え出したりできるようになる。
 なお、商品サーバ504が返す候補には、マウスカーソル751によって指定された画素の色に最も類似する基準色の名前を含めるようにしても良い。
 このような種々の態様によって、図9Dのように、得られたオリジナルカラー名がオリジナルカラー名欄708に入力されると、本応用例では、入力されたオリジナルカラー名が商品サーバ504に送信される。
 すると、商品サーバ504は、検索サーバ505を画像検索装置として利用する色決定装置101として機能して、送信されたオリジナルカラー名により表される代表色と、その代表色に類似する基準色と、を決定する。
 そして、商品サーバ504は、決定された基準色のカラーIDを、端末装置503に返信する。
 カラーIDを受信した端末装置503は、図9Eに示すように、基準カラーID欄709において、当該受信されたカラーIDに相当する基準色のカラー名711と基準色で塗り潰されたカラー見本712と、当該基準色を選択するためのチェックボックス713と、の表示の態様を変化させて、当該基準色を強調表示する。本図では、チェックボックス713の横に表示されているカラー名711ならびにカラー見本712を大きくすることによって、当該基準色を強調している。
 商店主は、基準色が強調表示されていることを参考に、当該商品に対して最も適しているものを選択して、選択した基準色のチェックボックス712をチェックする。
 なお、色決定装置101による基準色の決定が誤っていることも稀にある。この場合には、商店主は、強調表示されていないチェックボックス713をチェックすることで、正しい分類をすることができる。
 ただし、基準色の決定が誤っている場合には、オリジナルカラー名の選定が不適切である場合がほとんどである、とも考えられる。この場合には、商店主に、その旨の警告を行い、オリジナルカラー名の再選定を促すこととしても良い。
 このほか、選択可能なものは、オリジナルカラー名から決定された色に限定することとしても良い。この場合には、図9Fに示すように、オリジナルカラー名欄708の近傍に基準色のカラー見本712を表すポップアップウィンドウ714を表示し、その中からいずれかをマウスによって選択する、という態様もありうる。
 そして、商店主がマウスを用いて登録ボタン721をクリックすると、商品登録フォーム701に入力された各情報が商品サーバ504に送信され、商品テーブルのレコードとして登録されることになる。
 このように、商品登録フォーム701が表示されている間の端末装置503と商品サーバ504との通信は、当該商品登録フォーム701に設定されたスクリプトプログラムによって制御される。
 なお、スクリプトプログラムを適切に構成することによって、端末装置503そのものを色決定装置101や色名決定装置301として機能させることも可能である。この場合には、上記のような色に関する情報の送受を、端末装置503と商品サーバ504との間で行う必要はない。
 このように本応用例では、商品サーバ504にとって未知の色名が商店主の選択によりオリジナルカラー名として、指定されたとしても、そのオリジナルカラー名に相当する蓋然性が高い基準色を、候補として提示することが可能となる。
 (商品の検索)
 本応用例では、商品テーブルの各レコードに、当該レコードの商品に最も適合した基準色のカラーIDの情報が登録されることになる。以下では、この情報の利用の態様について説明する。
 第1の利用の態様は、商品の絞り込み検索の際に、カラーIDを利用するものである。
 図10は、商品サーバ504から送信された商品検索フォームが、端末装置503の画面に表示される例を示す説明図である。以下、本図を参照して説明する。
 本図に示すように、商品検索フォーム801には、商品名キーワード欄802、ブランド名キーワード欄803、価格帯欄804のほかに、カラー欄805が用意されており、これらの条件をユーザが入力して検索ボタン806をクリックすると、検索結果欄807に検索結果の商品説明808が一覧表示される。
 ここで、カラー欄805は、選択可能な項目として基準色がすべて並んでいるドロップダウンリストボックスにより構成されており、ユーザは、所望の色をこの中から選ぶことができる。
 第2の利用の形態は、ある商品を紹介するウェブページに、当該商品の色違い商品を一覧表示する場合である。
 図11は、商品サーバ504から送信された商品購入フォームが、端末装置503の画面に表示される例を示す説明図である。以下、本図を参照して説明する。
 本図に示される商品購入フォーム901は、商品検索フォーム801において、検索結果の商品説明808をクリックすることによって表示される。
 本図に示すように、商品購入フォーム901には、商品名やブランド名、商店主による説明などが表示される商品説明欄902、商品の価格が表示される価格欄903のほか、ユーザが購入数を入力する個数欄904、購入の処理を開始するための購入ボタン905が配置されている。
 このほか、商品購入フォーム901に表示されている商品の色違い商品があることが、カラー見本906によって表示されている。上記の商品テーブルのフィールド設定では、色違い商品は、商店主、商品名、ブランド名は一致するが、基準カラーIDは一致しない商品である。
 ユーザがカラー見本906のいずれかをマウスでクリックすると、ブラウザは、当該色違い商品の商品購入フォームに移行する。
 このように、上記実施例に係る色決定装置101や色名決定装置301を活用することによって、ユーザが色を様々に利用することができるようになる。
 また、上記実施例に係る色決定装置101や色名決定装置301によれば、画像検索装置の性能が低い場合、たとえば、クエリに対して最適な一つの解を提供できないような画像検索装置を利用した場合であったとしても、検索された複数の画像を利用して色の出現度合を取得しているので、適切な色や色名を提案することができる。
 なお、出願人は、本願について、2011年8月5日出願の日本国特許出願特願2011-172211を基礎とする優先権を主張するものとし、指定国の法令が許す限り、当該基礎出願の内容をすべて本願にとりこむものとする。
 本発明によれば、色と、その色を表す文字列と、の対応関係を決定するのに好適な色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラムを提供することができる。
  101 色決定装置
  102 文字列受付部
  103 画像検索部
  104 度合取得部
  105 色決定部
  301 色名決定装置
  302 色受付部
  303 文書検索部
  304 キーワード抽出部
  305 色名決定部
  501 商品販売システム
  502 インターネット
  503 端末装置
  504 商品サーバ
  505 検索サーバ
  701 商品登録フォーム
  702 商店主ID欄
  703 商品名欄
  704 ブランド名欄
  705 価格欄
  706 商品画像名欄
  707 商品画像欄
  708 オリジナルカラー名欄
  709 基準カラーID欄
  711 カラー名
  712 カラー見本
  713 チェックボックス
  714 ポップアップウィンドウ
  721 登録ボタン
  751 マウスカーソル
  801 商品検索フォーム
  802 商品名キーワード欄
  803 ブランド名キーワード欄
  804 価格帯欄
  805 カラー欄
  806 検索ボタン
  807 検索結果欄
  808 商品説明
  901 商品購入フォーム
  902 商品説明欄
  903 価格欄
  904 個数欄
  905 購入ボタン
  906 カラー見本

Claims (12)

  1.  色の入力を受け付ける色受付部、
     前記受け付けられた色に関連する画像が配置された文書を検索した結果として得られた文書に関連するキーワード文字列を抽出するキーワード抽出部、
     前記抽出されたキーワード文字列に関連する画像を検索した結果として得られた複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が前記複数の画像のそれぞれに出現する度合を取得する度合取得部、
     前記取得された度合に基づいて、前記所定の精度で表現された色から、前記受け付けられた文字列により表される色を決定する色決定部、
     前記受け付けられた色と、前記決定された色と、が、同一または類似する場合、前記決定された色に対するキーワード文字列を、前記受け付けられた色を表す色名文字列に決定する色名決定部
     を備えることを特徴とする色名決定装置。
  2.  請求項1に記載の色名決定装置であって、
     前記検索の結果として得られる文書は複数であり、
     前記キーワード抽出部は、前記検索された複数の文書に共通して出現するキーワード文字列を抽出する
     ことを特徴とする色名決定装置。
  3.  請求項1に記載の色名決定装置であって、
     前記キーワード抽出部は、前記キーワード文字列を複数抽出し、
     前記抽出されたキーワード文字列のそれぞれに対して、前記画像検索部による画像検索、前記度合取得部による度合の取得、前記色決定部による色の決定、前記色名決定部による色名の候補の決定が実行される
     ことを特徴とする色名決定装置。
  4.  請求項1に記載の色名決定装置であって、
     前記文書検索では、前記受け付けられた色を入力したユーザにより指定された言語により記述された文書が検索される
     ことを特徴とする色名決定装置。
  5.  請求項4に記載の色名決定装置であって、
     前記キーワード文字列は、前記指定された言語における名詞、名詞句、または、名詞を修飾する修飾語もしくは修飾語句である
     ことを特徴とする色名決定装置。
  6.  請求項4に記載の色名決定装置であって、
     前記指定された言語において色を意味する文字列と、前記抽出されたキーワード文字列と、を指定するクエリを含む画像検索要求を、前記色名決定装置に通信可能に接続された外部の画像検索装置に送信し、当該画像検索装置から前記画像検索要求に対する画像検索応答を受信し、前記画像検索応答に指定される複数の画像を、画像検索の結果とする画像検索部
     をさらに備えることを特徴とする色名決定装置。
  7.  請求項1に記載の色名決定装置であって、
     前記抽出されたキーワード文字列に関連する画像を検索する画像検索部
     をさらに備え、
     前記度合取得部は、前記画像検索部による画像検索の結果として得られた複数の画像から、前記度合を取得する
     ことを特徴とする色名決定装置。
  8.  請求項1に記載の色名決定装置であって、
     前記受け付けられた色を指定するクエリを含む文書検索要求を、前記色名決定装置に通信可能に接続された外部の文書検索装置に送信し、当該文書検索装置から前記文書検索要求に対する文書検索応答を受信し、前記文書検索応答に指定される文書を、文書検索の結果とする文書検索部
     をさらに備えることを特徴とする色名決定装置。
  9.  請求項1に記載の色名決定装置であって、
     前記受け付けられた色に関連する画像が配置された文書を検索する文書検索部
     をさらに備え、
     前記キーワード抽出部は、前記文書検索部による文書検索の結果として得られた文書に基づいて、前記キーワード文字列を抽出する
     ことを特徴とする色名決定装置。
  10.  色の入力を受け付ける色受付工程、
     前記受け付けられた色に関連する画像が配置された文書を検索した結果として得られた文書に関連するキーワード文字列を抽出するキーワード抽出工程、
     前記抽出されたキーワード文字列に関連する画像を検索した結果として得られた前記複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が前記複数の画像のそれぞれに出現する度合を取得する度合取得工程、
     前記取得された度合に基づいて、前記所定の精度で表現された色から、前記受け付けられた文字列により表される色を決定する色決定工程、
     前記受け付けられた色と、前記決定された色と、が、同一または類似する場合、前記決定された色に対するキーワード文字列を、前記受け付けられた色を表す色名文字列に決定する色名決定工程
     を備えることを特徴とする色名決定方法。
  11.  コンピュータを、
     色の入力を受け付ける色受付部、
     前記受け付けられた色に関連する画像が配置された文書を検索した結果として得られた文書に関連するキーワード文字列を抽出するキーワード抽出部、
     前記抽出されたキーワード文字列に関連する画像を検索した結果として得られた複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が前記複数の画像のそれぞれに出現する度合を取得する度合取得部、
     前記取得された度合に基づいて、前記所定の精度で表現された色から、前記受け付けられた文字列により表される色を決定する色決定部、
     前記受け付けられた色と、前記決定された色と、が、同一または類似する場合、前記決定された色に対するキーワード文字列を、前記受け付けられた色を表す色名文字列に決定する色名決定部
     として機能させることを特徴とするプログラムを記録したコンピュータ読み取り可能な情報記録媒体。
  12.  コンピュータを、
     色の入力を受け付ける色受付部、
     前記受け付けられた色に関連する画像が配置された文書を検索した結果として得られた文書に関連するキーワード文字列を抽出するキーワード抽出部、
     前記抽出されたキーワード文字列に関連する画像を検索した結果として得られた複数の画像のそれぞれに出現する色を所定の精度で表現し、当該所定の精度で表現された色が前記複数の画像のそれぞれに出現する度合を取得する度合取得部、
     前記取得された度合に基づいて、前記所定の精度で表現された色から、前記受け付けられた文字列により表される色を決定する色決定部、
     前記受け付けられた色と、前記決定された色と、が、同一または類似する場合、前記決定された色に対するキーワード文字列を、前記受け付けられた色を表す色名文字列に決定する色名決定部
     として機能させることを特徴とするプログラム。
PCT/JP2012/069565 2011-08-05 2012-08-01 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム WO2013021889A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/235,523 US8891860B2 (en) 2011-08-05 2012-08-01 Color name determination device, color name determination method, information recording medium, and program
JP2013511432A JP5259894B1 (ja) 2011-08-05 2012-08-01 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-172211 2011-08-05
JP2011172211 2011-08-05

Publications (1)

Publication Number Publication Date
WO2013021889A1 true WO2013021889A1 (ja) 2013-02-14

Family

ID=47668399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/069565 WO2013021889A1 (ja) 2011-08-05 2012-08-01 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム

Country Status (3)

Country Link
US (1) US8891860B2 (ja)
JP (1) JP5259894B1 (ja)
WO (1) WO2013021889A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460157B2 (en) * 2012-12-28 2016-10-04 Wal-Mart Stores, Inc. Ranking search results based on color
US9460214B2 (en) 2012-12-28 2016-10-04 Wal-Mart Stores, Inc. Ranking search results based on color
WO2015145766A1 (ja) * 2014-03-28 2015-10-01 楽天株式会社 色推定装置、色推定方法及び色推定プログラム
US9727983B2 (en) 2014-06-26 2017-08-08 Amazon Technologies, Inc. Automatic color palette based recommendations
US10255295B2 (en) 2014-06-26 2019-04-09 Amazon Technologies, Inc. Automatic color validation of image metadata
US10235389B2 (en) 2014-06-26 2019-03-19 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes
US10223427B1 (en) 2014-06-26 2019-03-05 Amazon Technologies, Inc. Building a palette of colors based on human color preferences
US9922050B2 (en) 2014-06-26 2018-03-20 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes and color palette trends
US9916613B1 (en) 2014-06-26 2018-03-13 Amazon Technologies, Inc. Automatic color palette based recommendations for affiliated colors
US9401032B1 (en) 2014-06-26 2016-07-26 Amazon Technologies, Inc. Image-based color palette generation
US9659032B1 (en) 2014-06-26 2017-05-23 Amazon Technologies, Inc. Building a palette of colors from a plurality of colors based on human color preferences
US9697573B1 (en) 2014-06-26 2017-07-04 Amazon Technologies, Inc. Color-related social networking recommendations using affiliated colors
US9996579B2 (en) 2014-06-26 2018-06-12 Amazon Technologies, Inc. Fast color searching
US10691744B2 (en) 2014-06-26 2020-06-23 Amazon Technologies, Inc. Determining affiliated colors from keyword searches of color palettes
US9679532B2 (en) 2014-06-26 2017-06-13 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9514543B2 (en) 2014-06-26 2016-12-06 Amazon Technologies, Inc. Color name generation from images and color palettes
US10073860B2 (en) 2014-06-26 2018-09-11 Amazon Technologies, Inc. Generating visualizations from keyword searches of color palettes
US9792303B2 (en) 2014-06-26 2017-10-17 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes and keyword trends
US9898487B2 (en) 2014-06-26 2018-02-20 Amazon Technologies, Inc. Determining color names from keyword searches of color palettes
US10169803B2 (en) 2014-06-26 2019-01-01 Amazon Technologies, Inc. Color based social networking recommendations
US9652868B2 (en) 2014-06-26 2017-05-16 Amazon Technologies, Inc. Automatic color palette based recommendations
US10120880B2 (en) * 2014-06-26 2018-11-06 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9524563B2 (en) * 2014-06-26 2016-12-20 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US10430857B1 (en) 2014-08-01 2019-10-01 Amazon Technologies, Inc. Color name based search
US9785649B1 (en) 2014-09-02 2017-10-10 Amazon Technologies, Inc. Hue-based color naming for an image
US11436771B2 (en) 2020-11-20 2022-09-06 International Business Machines Corporation Graph-based color description generation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146871A (ja) * 1993-11-24 1995-06-06 Hitachi Ltd 静止画検索装置および静止画検索方法
JP2000112959A (ja) * 1998-09-30 2000-04-21 Canon Inc 情報検索装置及び方法
JP2005202452A (ja) * 2004-01-13 2005-07-28 Casio Comput Co Ltd 画像表示装置、画像記録装置及びそのプログラム
JP2009032154A (ja) * 2007-07-30 2009-02-12 Olympus Corp 情報処理装置およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3748164B2 (ja) * 1998-02-06 2006-02-22 富士通株式会社 パターン抽出装置
JP2001069362A (ja) 1999-08-27 2001-03-16 Minolta Co Ltd 色補正装置
KR100422805B1 (ko) * 2000-12-26 2004-03-12 한국전자통신연구원 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법
US7693856B2 (en) * 2004-06-25 2010-04-06 Apple Inc. Methods and systems for managing data
JP4960897B2 (ja) * 2008-01-30 2012-06-27 株式会社リコー 画像処理装置、画像処理方法、プログラム、記憶媒体
JP5682569B2 (ja) * 2009-10-16 2015-03-11 日本電気株式会社 色彩解析装置、色彩解析方法、及び色彩解析プログラム
JP5259876B2 (ja) * 2010-02-26 2013-08-07 楽天株式会社 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体
US8861844B2 (en) * 2010-03-29 2014-10-14 Ebay Inc. Pre-computing digests for image similarity searching of image-based listings in a network-based publication system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146871A (ja) * 1993-11-24 1995-06-06 Hitachi Ltd 静止画検索装置および静止画検索方法
JP2000112959A (ja) * 1998-09-30 2000-04-21 Canon Inc 情報検索装置及び方法
JP2005202452A (ja) * 2004-01-13 2005-07-28 Casio Comput Co Ltd 画像表示装置、画像記録装置及びそのプログラム
JP2009032154A (ja) * 2007-07-30 2009-02-12 Olympus Corp 情報処理装置およびプログラム

Also Published As

Publication number Publication date
JPWO2013021889A1 (ja) 2015-03-05
US8891860B2 (en) 2014-11-18
JP5259894B1 (ja) 2013-08-07
US20140177952A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
JP5259893B1 (ja) 色決定装置、色決定システム、色決定方法、情報記録媒体、ならびに、プログラム
JP5259894B1 (ja) 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム
Wang et al. Recipe recognition with large multimodal food dataset
US10691744B2 (en) Determining affiliated colors from keyword searches of color palettes
US8234306B2 (en) Information process apparatus, information process method, and program
US20110078176A1 (en) Image search apparatus and method
Wang et al. Affective image adjustment with a single word
CN107145536A (zh) 用户画像构建方法与装置及推荐方法与装置
US11615263B2 (en) Content prediction based on pixel-based vectors
JP6767342B2 (ja) 検索装置、検索方法および検索プログラム
US11403339B2 (en) Techniques for identifying color profiles for textual queries
JP6310529B1 (ja) 検索装置、検索方法および検索プログラム
Maheshwari et al. Learning colour representations of search queries
JP2000048041A (ja) データ検索システム及びこれに用いる装置
JP6756648B2 (ja) 生成装置、生成方法および生成プログラム
JP5153390B2 (ja) 関連語辞書作成方法及び装置、並びに関連語辞書作成プログラム
JP7372278B2 (ja) 算出装置、算出方法及び算出プログラム
Lin et al. Robustness and reliability evaluations of image annotation
US20220019617A1 (en) Image processing device, image viewing system, image processing program, and image processing method
WO2023062668A1 (ja) 情報処理装置、情報処理方法、情報処理システム、およびプログラム
JP2012108721A (ja) 画像検索装置、及び画像検索方法
JP7027288B2 (ja) 決定装置、決定方法および決定プログラム
JP6805626B2 (ja) 情報処理装置及びプログラム
Xu Cross-Media Retrieval: Methodologies and Challenges
JP2022178243A (ja) 画像生成装置、画像生成方法およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013511432

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12822782

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14235523

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12822782

Country of ref document: EP

Kind code of ref document: A1