WO2021215268A1 - 情報処理装置、情報処理端末、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理端末、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2021215268A1
WO2021215268A1 PCT/JP2021/014984 JP2021014984W WO2021215268A1 WO 2021215268 A1 WO2021215268 A1 WO 2021215268A1 JP 2021014984 W JP2021014984 W JP 2021014984W WO 2021215268 A1 WO2021215268 A1 WO 2021215268A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
true value
comparison
information processing
information
Prior art date
Application number
PCT/JP2021/014984
Other languages
English (en)
French (fr)
Inventor
佳之 秋山
高橋　修一
拓郎 川合
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/919,099 priority Critical patent/US20230162399A1/en
Publication of WO2021215268A1 publication Critical patent/WO2021215268A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • This technology is particularly related to an information processing device, an information processing terminal, an information processing method, and a program that make it possible to easily obtain the true value of the color of an object in an image.
  • Patent Document 1 discloses a technique for realizing RGB-XYZ conversion by capturing a color chart as an image.
  • Patent Document 2 discloses a color management system for reproducing the color of an actual product.
  • color reproduction is achieved by converting the color of an image using a monitor profile registered by the user.
  • This technology was made in view of such a situation, and makes it possible to easily obtain the true value of the color of the object in the image.
  • the information processing device of one aspect of the present technology is created based on a first image obtained by photographing an object whose true color value is known in the user environment, and has a color space in the user environment and the color.
  • a calculation unit for calculating the true value of the color of the object appearing in the second image obtained by taking a picture in the user environment is provided based on the model showing the correspondence relationship with the true value color space.
  • the information processing terminal of the other aspect of the present technology is the color space and the color in the user environment created based on the first image obtained by photographing an object whose true color value is known in the user environment.
  • the transmission unit that transmits the second image obtained by photographing the comparison object, which is the comparison object, the true value of the color of the comparison object calculated based on the model, and the color. It is provided with a presenting unit that presents information on the color of the target object to the user based on the comparison result of the color of the target object to which the information is presented by the information processing apparatus.
  • the color space in the user environment and the true value of the color created based on the first image obtained by photographing an object whose true color value is known in the user environment is calculated.
  • the color space in the user environment and the true value of the color created based on the first image obtained by photographing an object whose true color value is known in the user environment For color comparison with an information processing device that calculates the true value of the color of the object shown in the second image obtained by taking a picture in the user environment based on the model showing the correspondence with the color space of.
  • the second image obtained by photographing the comparison object, which is the object of the above, is transmitted, and the true value of the color of the comparison object calculated based on the model and the object for presenting the color information.
  • Information on the color of the target object is presented to the user based on the result of comparison with the true value of the color of the target object by the information processing apparatus.
  • FIG. 1 It is a figure which shows the configuration example of the color information comparison system which concerns on one Embodiment of this technique. It is a figure which shows the example of providing the information about a color by a color information providing server. It is a figure which shows the flow of color comparison by a color information providing server. It is a block diagram which shows the functional structure example of a color information comparison system. It is a figure which shows the example of the information stored in a color information DB. It is a figure which shows the example of the extraction of a representative color. It is a figure which shows the example of the input and output to the transformation model creation part. It is a figure which shows the presentation example of comparative information. It is a figure which shows the implementation example of each configuration.
  • FIG. 1 is a diagram showing a configuration example of a color information comparison system according to an embodiment of the present technology.
  • the color information comparison system of FIG. 1 is configured by connecting a color information providing server 1 and a mobile terminal 2 via a network 11 such as the Internet.
  • the color information providing server 1 is an information processing device that provides information on the color of the subject shown in the image that the user of the mobile terminal 2 is viewing on the display of the mobile terminal 2.
  • the mobile terminal 2 is an information processing terminal such as a smartphone used by the user.
  • a display, a camera, and the like are provided in the housing of the mobile terminal 2.
  • the user can operate the mobile terminal 2 and perform online shopping or the like by viewing the screen displayed on the display by an application such as a Web browser.
  • Various devices having a display, such as a PC, a tablet terminal, and a TV, may be used in place of the mobile terminal 2.
  • a Web server 12 that manages a shopping site is also connected to the network 11.
  • the shopping site managed by the Web server 12 is a fashion site that sells clothes.
  • the user of the mobile terminal 2 can browse the shopping site managed by the Web server 12 and purchase clothes as a product. Images of various products are prepared on the shopping site managed by the Web server 12.
  • FIG. 2 is a diagram showing an example of providing information on colors by the color information providing server 1.
  • the user of the mobile terminal 2 selects a predetermined product on the shopping site managed by the Web server 12 and views the product image as shown on the left side of the upper part of FIG. 2 on the display of the mobile terminal 2.
  • the user uses the shopping site, for example, at home.
  • the product image is an image prepared by the seller who is the administrator of the shopping site for posting on the shopping site.
  • the color of the product that can be seen on the display of the mobile terminal 2 is different from the original color depending on the shooting method on the seller side and the characteristics of the display.
  • the product image is transmitted to the color information providing server 1.
  • the user of the mobile terminal 2 takes a picture of a comparison object, which is an object for comparing the color with the product, with the camera of the mobile terminal 2.
  • the comparison object is any object near the user. For example, clothes of the same color as the product that the user is looking at are photographed as a comparison object.
  • the comparison object image which is an image of the comparison object taken by the user, is transmitted to the color information providing server 1.
  • the color of the product and the color of the comparison object are compared based on the product image and the comparison object image, and the information on the product color is presented to the user based on the comparison result.
  • the product shown in the product image is a target object for presenting color-related information. As information on the color of the product, for example, information on the relative color based on the color of the comparison object is presented.
  • the user is presented with "the product has a slightly brighter color".
  • the presentation to the user may be performed by using the display on the display or by using the voice.
  • the comparison object is an object that is actually near the user. The user can imagine the original color of the product by comparing it with the color of the object that can be seen directly.
  • FIG. 3 is a diagram showing a flow of color comparison by the color information providing server 1.
  • the color information comparison system is a system on the premise that the true values of the colors of various objects are known and a database (DB) of such known colors is prepared.
  • a color information DB which is a database of true values of colors of various objects, is provided in, for example, a color information providing server 1.
  • the user of the mobile terminal 2 takes an image of a general object which is a general object at home.
  • a general object at home In the example of FIG. 3, a plurality of images of general objects showing furniture, bags, etc. at home are taken.
  • a plurality of general object images are transmitted to the color information providing server 1.
  • the color of the general object reflected in the general object image taken in the environment of the user of the mobile terminal 2 is different from the true value.
  • the color information providing server 1 recognizes (identifies) a general object that appears as a subject in the general object image, as shown at the tip of the arrow A1. Further, the color information DB is referred to, and as shown at the tip of the arrow A2, the true value of the color of a general object is obtained. The color information DB also stores the true value of the color of a general object.
  • the conversion model is a model used to convert the color of the subject appearing in the image taken in the environment of the user of the mobile terminal 2 into the true value of the color.
  • the conversion model is a model for the environment of the user of the mobile terminal 2. The creation of such a transformation model is performed before receiving the color information of the product. Instead of using a plurality of general object images, the transformation model may be created using one general object image.
  • the color information providing server 1 displays the product as shown at the tip of the arrow A5.
  • the product that appears as the subject in the image is recognized.
  • the color information DB is referred to, and as shown at the tip of the arrow A6, the true value of the color of the product is obtained.
  • the color information DB also stores the true value of the color of the product.
  • the color information providing server 1 has the tip of the arrow A7 and the arrow A8.
  • the color of the comparison object in the comparison object image is converted to a true value by using the conversion model. Since it is the true value of the color obtained by using the transformation model, the true value of the color of the comparison object is an estimated value. The true value of the color of the comparison object is not stored in the color information DB.
  • the comparison object image is used by using the conversion model created by using the general object image. It is possible to obtain (estimate) the true value of a color.
  • the true value of the color of the product shown in the product image, the true value of the color of the general object shown in the general object image, and the true value of the color of the comparison object shown in the comparison object image, which are surrounded by the broken line L2, are the devices.
  • -Independent color A color on the space.
  • the true value of the color of the product and the true value of the color of the comparison object are compared, and based on the comparison result, the tip of the arrow A12.
  • the color information of the product is presented to the user as shown in.
  • the color space of the user environment and the color of the color are based on the general object image in which the general object existing in the user environment and having the true value of the color exists in the color information DB.
  • the correspondence with the device-independent color space, which is the true color space is constructed as a conversion model.
  • the color information providing server 1 can easily provide information on the color of the product. Further, since the true value of the color of the comparison object is obtained by using the conversion model for the user environment, the color information providing server 1 compares the color of the product with the color of the object owned by the user with high accuracy. Can be done.
  • the color information providing server 1 can easily and highly accurately obtain the true value of each color of the product and the comparison object, and can provide information on the color of the product.
  • FIG. 4 is a block diagram showing a functional configuration example of the color information comparison system.
  • the color information comparison system includes a color information DB 51, a general object subject recognition unit 52, a representative color extraction unit 53, a conversion model creation unit 54, a product subject recognition unit 55, a representative color designation unit 56, and a comparison object color information calculation unit 57. It is composed of a comparison unit 58 and an information presentation unit 59.
  • a general object image taken by the user of the mobile terminal 2 is input to the general object subject recognition unit 52 and the representative color extraction unit 53, and a product image prepared by the seller is input to the product subject recognition unit 55. Will be done.
  • a comparison object image taken by the user of the mobile terminal 2 is input to the representative color designation unit 56.
  • General object images, product images, and comparison object images are all RGB images.
  • the general object image and the comparison object image are RGB images that depend on the user environment (environment E1) of the user of the mobile terminal 2.
  • the product image is an RGB image that depends on the environment (environment E2) on the seller side.
  • the color information DB 51 is a database that stores the true values of the colors of various objects. At least, the true value of the color of a general object and the true value of the color of a product are stored in the color information DB 51.
  • FIG. 5 is a diagram showing an example of information stored in the color information DB 51.
  • the color information DB 51 stores the true value of the representative color in association with the subject name and the product identification code.
  • the subject name of each product is information that combines the company name of the seller of the product, the product name, and the color.
  • the color information DB 51 the information of each product is listed and managed. Similarly, for a general object, the true value of the representative color is stored in association with the subject name and the product identification code.
  • the representative color is a single color that is considered to best represent the subject-likeness.
  • the representative color is determined when the true value of the color is registered.
  • the true value of a color is represented by the tristimulus value XYZ under the standard light source (D65) defined by the International Commission on Illumination (CIE).
  • the true value of a color may be represented by other factors such as hue, lightness, and saturation.
  • the general object subject recognition unit 52 in FIG. 4 analyzes the input general object image and recognizes the general object to be captured as a subject.
  • Subject recognition by the general object subject recognition unit 52 is realized by, for example, image recognition using a DNN (Deep Neural Network).
  • the general object subject recognition unit 52 is provided with an inference model such as a DNN that inputs a general object image and outputs a subject area and a subject name.
  • the subject area information representing the position on the general object image of the area in which the subject is captured is supplied to the representative color extraction unit 53.
  • the position of the area in which the subject is captured is represented by coordinates with respect to a rectangle such as a bounding box, or a pixel-by-pixel label map such as semantic segmentation.
  • the general object subject recognition unit 52 refers to the color information DB 51 and acquires the true value of the color of the general object based on the subject name of the general object.
  • the true value of the color of the general object acquired by the general object subject recognition unit 52 is supplied to the transformation model creation unit 54.
  • the color information DB 51 and the general object subject recognition unit 52 realize a general object color true value acquisition unit that acquires the true value of the color of the general object.
  • the representative color extraction unit 53 extracts the representative color of the general object reflected in the general object image based on the general object image and the subject area information.
  • the representative color extraction unit 53 determines the pixels constituting the region in which a general object is captured as the calculation target pixels based on the subject area information.
  • the pixels constituting the rectangular area in which the bag, which is a general object, is reflected are determined as the calculation target pixels.
  • the representative color extraction unit 53 extracts the representative color by referring to the color distribution of the calculation target pixel and the like, for example, calculating the center of gravity in the color distribution.
  • the color of the center of gravity of the subject area may be extracted as a representative color.
  • the representative color may be extracted manually.
  • the representative color is extracted, for example, by using the color at a position arbitrarily specified by the user on the general object image as the representative color. That is, when the representative color is manually extracted, the subject area information supplied from the general object subject recognition unit 52 is not used.
  • the representative color may be manually extracted.
  • the method of extracting the representative color is arbitrary, such as using the average value of the colors of general objects as the representative color.
  • the representative color information extracted by the representative color extraction unit 53 is supplied to the conversion model creation unit 54.
  • the conversion model creation unit 54 is for the user environment of the user of the mobile terminal 2 based on the true value of the color of the general object acquired by the general object subject recognition unit 52 and the representative color extracted by the representative color extraction unit 53. Create a transformation model for.
  • the user environment includes a shooting device such as a camera used by the user of the mobile terminal 2, setting of shooting parameters such as exposure time and shutter speed, the type and intensity of illumination light, and the relative relationship between the user who is the photographer and the subject. It is determined by factors such as the positional relationship.
  • a shooting device such as a camera used by the user of the mobile terminal 2
  • setting of shooting parameters such as exposure time and shutter speed, the type and intensity of illumination light
  • the relative relationship between the user who is the photographer and the subject It is determined by factors such as the positional relationship.
  • FIG. 7 is a diagram showing an example of input and output to the transformation model creation unit 54.
  • the representative colors and the true values of the colors for a plurality of (N) general objects are input to the transformation model creation unit 54.
  • the representative color of a general object is a color in the RGB space of the user environment.
  • the true value of the color of a general object is the color represented by the tristimulus values XYZ in the standard environment (environment under a standard light source).
  • the transformation model creation unit 54 creates a transformation model f using a plurality of data pairs of representative colors and true values.
  • the transformation using the transformation model f is represented by the following equation (1).
  • X', Y', and Z' represent the true values of the colors estimated by the transformation model f.
  • R E1 , G E1 , and B E1 represent RGB values of representative colors of general objects in the user environment.
  • the transformation model f it is possible to use an inference model such as DNN that inputs R E1 , G E1 , and B E1 and outputs X', Y', and Z'.
  • the conversion model creation unit 54 creates the conversion model f by learning the coefficients of each layer using the true value group of the colors of the general object as the teacher data and the representative color group of the general object as the student data. ..
  • the configuration of the network constituting the conversion model f is arbitrarily set in consideration of the conversion accuracy and the amount of calculation.
  • the transformation model may be constructed by a transformation matrix M of 3 ⁇ 3 (3 rows and 3 columns) instead of an inference model such as DNN.
  • Transformation matrix M as in the following equation (2), the general object of the representative colors of R i, G i, and B i, the color of the true value X 'i, Y' i, a matrix for converting the Z 'i be.
  • the subscript i takes a value from 1 to N.
  • the conversion model creation unit 54 as represented in the following formula (3), the number of samples N, the true value X i in the XYZ components, Y i, Z i and the estimated true value X 'i, Y ' i , Z'
  • the transformation matrix M is determined by finding the matrix that minimizes the sum of squares S of the difference from i. It is possible to improve the conversion accuracy by adding various conditions.
  • the transformation model creation unit 54 outputs the transformation model f created in this way to the comparison object color information calculation unit 57.
  • the product subject recognition unit 55 of FIG. 4 analyzes the product image input according to the operation of the user of the mobile terminal 2 and recognizes the product to be captured as the subject.
  • Subject recognition by the product subject recognition unit 55 is realized by, for example, image recognition using DNN.
  • the product subject recognition unit 55 is provided with an inference model such as a DNN that inputs a product image and outputs a subject name that is a product name.
  • the product subject recognition unit 55 refers to the color information DB 51 and acquires the true value of the color of the product based on the subject name of the product.
  • the true value of the color of the product acquired by the product subject recognition unit 55 is supplied to the comparison unit 58.
  • the product color true value acquisition unit that acquires the true value of the product color is realized by the color information DB 51 and the product subject recognition unit 55.
  • the representative color designation unit 56 causes the user to specify a color as the representative color when the comparison object image is input in response to the user of the mobile terminal 2 taking a picture of the comparison object. For example, a representative color is specified by presenting a comparison object image to the user and designating a position on the comparison object that is close to the color of the product.
  • the representative color designation unit 56 outputs the color designated by the user as the representative color of the comparison object to the comparison object color information calculation unit 57.
  • the representative color of the comparison object may be automatically extracted based on the comparison object image.
  • the comparison object color information calculation unit 57 converts the representative color of the comparison object into a true value by using the conversion model f created by the conversion model creation unit 54.
  • the comparison object color information calculation unit 57 outputs the true value of the color calculated by the conversion using the conversion model f to the comparison unit 58 as the true value of the color of the comparison object.
  • the representative color designation unit 56 and the comparison object color information calculation unit 57 realize a comparison object color true value acquisition unit that acquires the true value of the color of the comparison object.
  • the comparison unit 58 compares the true value of the color of the product acquired by the product subject recognition unit 55 with the true value of the color of the comparison object calculated by the comparison object color information calculation unit 57.
  • the comparison unit 58 outputs information representing the comparison result to the information presentation unit 59, and causes the user to present the comparison information.
  • the information presentation unit 59 presents to the user comparative information representing the comparison result between the true value of the color of the product and the true value of the color of the subject for comparison based on the information supplied from the comparison unit 58.
  • a display, a speaker, or the like of the mobile terminal 2 is used for presenting the comparison information.
  • the information presentation unit 59 displays characters indicating the comparison result on the display, such as "the product is slightly brighter and slightly blue”. This presentation presents the relative color of the product with respect to the color of the comparison object.
  • the information presentation unit 59 displays a numerical value representing the true value of the color of the product and a numerical value representing the true value of the color of the subject for comparison. In addition, the information presentation unit 59 displays the difference between the true values as a numerical value.
  • the information presenting unit 59 converts the true value of the color of the product and the true value of the color of the subject for comparison into the RGB value of the standard color space, and displays the true value in color on the display.
  • the information presentation unit 59 converts each of the product image and the comparison object image into an image in which the representative color is matched to the true value and displays it on the display.
  • the information presentation unit 59 outputs a voice representing the comparison result from the speaker.
  • the information presentation unit 59 adjusts the loudness, strength, frequency characteristics, etc. of the sound based on the rules assigned in advance, and outputs the sound representing the comparison result from the speaker.
  • the information presenting unit 59 presents the difference between the true value of the color of the product and the true value of the color of the subject for comparison by the motion assigned in advance. In this case, the information presenting unit 59 controls the mobile terminal 2 to generate a motion such as quivering when the product is slightly bright.
  • the information presentation unit 59 displays the true value of the color of the product and the true value of the color of the subject for comparison on the two-dimensional chromaticity diagram or 3 displayed on the display, respectively. It is plotted and presented on a dimensional color space.
  • the information presenting unit 59 searches for a general object with a color close to the color of the product from the color information DB 51, and the general object obtained as a search result is an image, text, Present by voice, etc.
  • This presentation is performed when there is a general object having a color close to the true value of the color of the product among the general objects photographed by the user for creating the conversion model f. For example, a presentation such as "Your color is close to the color of the product" is given.
  • the user of the mobile terminal 2 takes a moving image in the user environment, and the captured moving image is displayed on the display of the mobile terminal 2 in a live view format. It is done in real time when it is displayed in. If there is an object with a color close to the color of the product among the objects shown in the moving image, as shown in FIG. 8, an object with a color close to the color of the product is displayed on the moving image displayed in the live view format. Information indicating which object is displayed.
  • the towel hung on the towel rack installed on the wall is an object having a color close to the color of the product, and the towel is highlighted by being surrounded by a frame.
  • the user can know which object has a color close to the color of the product.
  • the transformation model f Since the transformation model f is prepared in advance, it is possible to estimate the true value of the color of an object existing in the user environment in real time and present it to the user.
  • FIG. 9 is a diagram showing an implementation example of each configuration.
  • Color information DB 51 having each of the above functions, general object subject recognition unit 52, representative color extraction unit 53, conversion model creation unit 54, product subject recognition unit 55, representative color designation unit 56, comparison object color information calculation unit.
  • the 57 and the comparison unit 58 are provided in, for example, the color information providing server 1. Further, the information presentation unit 59 is provided in the mobile terminal 2.
  • step S1 the color information providing server 1 performs a transformation model creation process, which is a process of creating a transformation model f.
  • a transformation model creation process which is a process of creating a transformation model f. The details of the transformation model creation process will be described later with reference to the flowchart of FIG.
  • step S2 the color information providing server 1 performs a product color true value acquisition process, which is a process of acquiring the true value of the product color.
  • a product color true value acquisition process which is a process of acquiring the true value of the product color. The details of the product color true value acquisition process will be described later with reference to the flowchart of FIG.
  • step S3 the color information providing server 1 performs a comparison object color true value acquisition process, which is a process of acquiring the true value of the color of the comparison object.
  • a comparison object color true value acquisition process which is a process of acquiring the true value of the color of the comparison object. The details of the comparison object color true value acquisition process will be described later with reference to the flowchart of FIG.
  • step S4 the color information providing server 1 performs a comparison process, which is a process of comparing the true value of the color of the product with the true value of the color of the comparison object.
  • a comparison process is a process of comparing the true value of the color of the product with the true value of the color of the comparison object. The details of the comparison process will be described later with reference to the flowchart of FIG.
  • step S1 of FIG. 10 the transformation model creation process performed in step S1 of FIG. 10 will be described with reference to the flowchart of FIG.
  • the process of FIG. 11 is started, for example, when a general object image taken by the user of the mobile terminal 2 is transmitted.
  • step S11 the general object subject recognition unit 52 acquires the general object image transmitted from the mobile terminal 2.
  • step S12 the general object subject recognition unit 52 analyzes the general object image and recognizes the general object to be captured as a subject.
  • Image recognition using DNN recognizes the subject area and subject name.
  • step S13 the general object subject recognition unit 52 refers to the color information DB 51 and acquires the true value of the color of the general object based on the subject name of the general object.
  • step S14 the representative color extraction unit 53 extracts the representative color of the general object from the general object image based on the subject area information.
  • step S15 the transformation model creation unit 54 determines whether or not the number of data for creating the transformation model f is sufficient. If it is determined in step S15 that the number of data for creating the conversion model f is not sufficient, the process returns to step S11 and the above processing is repeated.
  • step S15 When it is determined in step S15 that the number of data for creating the transformation model f is sufficient because a sufficient number of representative colors of general objects and data pairs of true color values have been acquired, the process is stepped. Proceed to S16.
  • step S16 the conversion model creation unit 54 creates the conversion model f by performing learning using the true value group of the colors of the general object as the teacher data and the representative color group of the general object as the student data. After that, the process returns to step S1 in FIG. 10 and the subsequent processing is performed.
  • the transformation model f created by the transformation model creation process is supplied to the comparison object color information calculation unit 57.
  • the product color true value acquisition process performed in step S2 of FIG. 10 will be described with reference to the flowchart of FIG.
  • the process of FIG. 12 is started when, for example, the user of the mobile terminal 2 browses the product image of the product to be purchased and the product image is transmitted.
  • step S21 the product subject recognition unit 55 acquires the product image.
  • step S22 the product subject recognition unit 55 analyzes the product image and recognizes the product to be captured as the subject.
  • the subject name is recognized by image recognition using DNN.
  • step S23 the product subject recognition unit 55 refers to the color information DB 51 and acquires the true value of the color of the product based on the subject name of the product. After that, the process returns to step S2 in FIG. 10 and the subsequent processing is performed. The true value of the color of the product acquired by the product color true value acquisition process is supplied to the comparison unit 58.
  • step S3 of FIG. 10 The comparison object color true value acquisition process performed in step S3 of FIG. 10 will be described with reference to the flowchart of FIG.
  • the process of FIG. 13 is started, for example, when the user of the mobile terminal 2 takes a picture of the comparison object and the comparison object image is transmitted from the mobile terminal 2.
  • step S31 the representative color designation unit 56 acquires a comparison object image.
  • step S32 the representative color designation unit 56 extracts the color of the comparison object as the representative color from the comparison object image by letting the user specify it.
  • step S33 the comparison object color information calculation unit 57 estimates the true value of the color of the comparison object by converting the representative color based on the conversion model f. After that, the process returns to step S3 of FIG. 10 and the subsequent processing is performed. The true value of the color of the comparison object estimated by the comparison object color true value acquisition process is supplied to the comparison unit 58.
  • step S4 of FIG. 10 The comparison process performed in step S4 of FIG. 10 will be described with reference to the flowchart of FIG.
  • step S41 the comparison unit 58 compares the true value of the color of the product acquired by the product color true value acquisition process with the true value of the color of the comparison object estimated by the comparison object color true value acquisition process. do.
  • step S42 the comparison unit 58 transmits the comparison information representing the comparison result to the mobile terminal 2. After that, the process returns to step S4 of FIG. 10, and the process of the color information providing server 1 is completed.
  • the processing of the mobile terminal 2 is performed after the processing described with reference to FIG. 11 is performed by the color information providing server 1 and the conversion model f is created.
  • step S51 the mobile terminal 2 selects a product image according to the user's operation.
  • the selected product image is transmitted to the color information providing server 1, and the product color true value acquisition process (FIG. 12) is performed.
  • step S52 the mobile terminal 2 photographs a comparison object according to the operation of the user.
  • the captured image of the comparison object is transmitted to the color information providing server 1, and the comparison object color true value acquisition process (FIG. 13) is performed.
  • the comparison process (FIG. 14) is performed, and the comparison information is transmitted from the color information providing server 1 to the mobile terminal 2.
  • step S53 the information presentation unit 59 of the mobile terminal 2 presents the color of the product to the user based on the comparison information transmitted from the color information providing server 1, and ends the process.
  • the object for which information on color is presented is clothing
  • the true value of the color is recorded in the color information DB 51 as a value under standard lighting such as D65 which is general daylight.
  • standard lighting such as D65 which is general daylight.
  • Estimating the daytime appearance of an object in an image taken in the evening can be applied to, for example, displaying an image (video) taken by an in-vehicle camera or a surveillance camera.
  • an image taken by an in-vehicle camera or the like By converting an image taken by an in-vehicle camera or the like into an image in a standard environment using a conversion model, it is possible to display an image in which the user can easily recognize a scene or an object.
  • the user environment is not always constant. For example, even in the same room, different conversion models are required to obtain an image under the same standard lighting depending on whether the image is taken in the daytime or under fluorescent light at night.
  • a conversion model may be created and saved for each difference in user environment.
  • a plurality of conversion models are switched and used according to the environment at the time of shooting the image to be converted.
  • the unit 57 and the comparison unit 58 are provided in the color information providing server 1, and the information presenting unit 59 is provided in the mobile terminal 2.
  • FIG. 16 is a diagram showing another implementation example of each configuration.
  • each configuration is realized in the color information providing server 1 and the mobile terminal 2 by executing the program by the CPU of the computer constituting the color information providing server 1 and the CPU constituting the mobile terminal 2, respectively.
  • FIG. 17 is a block diagram showing a configuration example of the hardware of the computer constituting the color information providing server 1.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • An input unit 106 including a keyboard, a mouse, and the like, and an output unit 107 including a display, a speaker, and the like are connected to the input / output interface 105.
  • the input / output interface 105 is connected to a storage unit 108 composed of a hard disk, a non-volatile memory, or the like, a communication unit 109 composed of a network interface or the like, and a drive 110 for driving the removable media 111.
  • Each configuration of the color information providing server 1 is realized by the CPU 101 executing, for example, a program stored in the storage unit 108.
  • the color information providing server 1 may be configured by one computer having the configuration shown in FIG. 17, or may be configured by a plurality of computers.
  • the mobile terminal 2 also has basically the same configuration as the configuration shown in FIG. Explaining that the configuration of FIG. 17 is diverted as the configuration of the mobile terminal 2, each configuration of the mobile terminal 2 is realized by executing the program stored in the storage unit 108 by the CPU 101 of the mobile terminal 2.
  • the communication unit 109 of the mobile terminal 2 communicates with the color information providing server 1 and the Web server 12.
  • the communication unit 109 functions as a communication unit that transmits a comparison object image to the color information providing server 1.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed on a computer embedded in dedicated hardware, a general-purpose personal computer, or the like.
  • the installed program is provided by being recorded on the removable media 111 shown in FIG. 17, which consists of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a semiconductor memory, or the like. It may also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be pre-installed in the ROM 102 or the storage unit 108.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An information processing device including a calculation unit that calculates the true value of the color of an object appearing in a second image obtained by taking a picture in the user environment based on the model.
  • the calculation unit calculates the true value of the color of the comparison object shown in the second image taken as the color comparison object.
  • the above (1) further includes a comparison unit that compares the true value of the color of the comparison object calculated based on the model with the true value of the color of the target object for which information about the color is presented.
  • the comparison unit has the user present information about the color of the target object based on the comparison result between the true value of the color of the comparison object and the true value of the color of the target object.
  • Information processing device (4) The information processing device according to (3) above, wherein the comparison unit causes the user to present information on the color of the target object based on the color of the comparison object.
  • a model creation unit that creates the model based on the color of the object shown in the first image obtained by photographing in the user environment and the true value of the color of the object shown in the first image is further added.
  • the information processing apparatus according to any one of (1) to (4) above.
  • the model creation unit uses the true value of the color of the object shown in the first image as the teacher data, and the color of the object shown in the first image obtained by shooting in the user environment as the student data.
  • the information processing apparatus according to (5) above which creates the model by performing learning.
  • the model creation unit uses a transformation matrix as the model, which converts the color of the object captured in the first image obtained by photographing in the user environment into the true value of the color of the object captured in the first image.
  • the information processing apparatus according to (5) above.
  • (8) Extraction that extracts the color of the center of gravity of the object shown in the first image obtained by taking a picture in the user environment or the color at the position specified by the user as a representative color of the object shown in the first image.
  • Information processing device It represents the correspondence between the color space in the user environment and the color space of the true value of the color, which is created based on the first image obtained by photographing an object whose true value of color is known in the user environment.
  • a comparison object which is a color comparison object
  • an information processing device that calculates the true value of the color of the object reflected in the second image obtained by photographing in the user environment.
  • the communication unit that transmits the second image obtained in Based on the comparison result by the information processing device between the true value of the color of the comparison object calculated based on the model and the true value of the color of the target object for which information about the color is presented, the said An information processing terminal provided with a presentation unit that presents information about the color of the target object to the user. (12) The information processing terminal according to (11), wherein the presentation unit presents information regarding the color of the target object to the user based on the color of the comparison object.
  • Information processing terminal It represents the correspondence between the color space in the user environment and the color space of the true value of the color, which is created based on the first image obtained by photographing an object whose true value of color is known in the user environment. Based on the model, a comparison object, which is a color comparison object, is photographed by an information processing device that calculates the true value of the color of the object reflected in the second image obtained by photographing in the user environment. The second image obtained in the above process is transmitted.
  • the said An information processing method that presents information about the color of an object to the user.
  • the computer It represents the correspondence between the color space in the user environment and the color space of the true value of the color, which is created based on the first image obtained by photographing an object whose true value of color is known in the user environment.
  • a comparison object which is a color comparison object, is photographed by an information processing device that calculates the true value of the color of the object reflected in the second image obtained by photographing in the user environment. The second image obtained in the above process is transmitted.
  • the said A program that executes a process that presents information about the color of an object to the user.
  • 1 color information providing server 2 mobile terminal, 51 color information DB, 52 general object subject recognition unit, 53 representative color extraction unit, 54 conversion model creation unit, 55 product subject recognition unit, 56 representative color specification unit, 57 comparison object Color information calculation unit, 58 comparison unit, 59 information presentation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、画像に写っている物体の色の真値を容易に求めることができるようにする情報処理装置、情報処理端末、情報処理方法、およびプログラムに関する。 本技術の一側面の情報処理装置は、色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、ユーザ環境における色空間と色の真値の色空間との対応関係を表すモデルに基づいて、ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する。本技術は、携帯端末のユーザに対して、色に関する情報を提供する色情報比較システムに適用することができる。

Description

情報処理装置、情報処理端末、情報処理方法、およびプログラム
　本技術は、特に、画像に写っている物体の色の真値を容易に求めることができるようにした情報処理装置、情報処理端末、情報処理方法、およびプログラムに関する。
　ネットショッピングなどの、手元に現物が無い場での取引が増えてきている。商品を評価する際には、ディスプレイに表示される表示画像が頼りになる。通常、ディスプレイに表示される画像からは、商品の正確な色が分からない。
　ネットショッピングなどで用いられる一般的な商品画像は、撮影環境の素性が不明だったり、レタッチ等によって色に変更が加えられたりするため、商品本来の色が失われていることが多い。そのため、ユーザが、ディスプレイに表示された画像のみから、商品の本来の色を知ることは難しい。
　特許文献１には、カラーチャートを画像として取り込むことでRGB-XYZ変換を実現する技術が開示されている。
　特許文献２には、現物の商品の色を再現するための色管理システムが開示されている。色管理システムにおいては、ユーザにより登録されたモニタプロファイルを用いて画像の色を変換することによって、色の再現が図られる。
特開平９－２３３４９４号公報 特開２００３－１１１０９３号公報
　カラーチャートやモニタプロファイルを用いるのはユーザにとって煩雑である。
　本技術はこのような状況に鑑みてなされたものであり、画像に写っている物体の色の真値を容易に求めることができるようにするものである。
　本技術の一側面の情報処理装置は、色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する算出部を備える。
　本技術の他の側面の情報処理端末は、色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する情報処理装置に対して、色の比較用の物体である比較用物体を撮影して得られた前記第２の画像を送信する送信部と、前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値との、前記情報処理装置による比較結果に基づいて、前記対象物体の色に関する情報をユーザに提示する提示部とを備える。
　本技術の一側面においては、色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値が算出される。
　本技術の他の側面においては、色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する情報処理装置に対して、色の比較用の物体である比較用物体を撮影して得られた前記第２の画像が送信され、前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値との、前記情報処理装置による比較結果に基づいて、前記対象物体の色に関する情報がユーザに提示される。
本技術の一実施形態に係る色情報比較システムの構成例を示す図である。 色情報提供サーバによる色に関する情報の提供の例を示す図である。 色情報提供サーバによる色の比較の流れを示す図である。 色情報比較システムの機能構成例を示すブロック図である。 色情報DBに格納される情報の例を示す図である。 代表色の抽出の例を示す図である。 変換モデル作成部に対する入力と出力の例を示す図である。 比較情報の提示例を示す図である。 各構成の実装例を示す図である。 色情報提供サーバの処理について説明するフローチャートである。 図１０のステップＳ１において行われる変換モデル作成処理について説明するフローチャートである。 図１０のステップＳ２において行われる商品色真値取得処理について説明するフローチャートである。 図１０のステップＳ３において行われる比較用物体色真値取得処理について説明するフローチャートである。 図１０のステップＳ４において行われる比較処理について説明するフローチャートである。 携帯端末の処理について説明するフローチャートである。 各構成の他の実装例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．色情報比較システム
　２．色情報比較システムの機能構成
　３．色情報比較システムの一連の動作
　４．その他
＜色情報比較システム＞
　図１は、本技術の一実施形態に係る色情報比較システムの構成例を示す図である。
　図１の色情報比較システムは、色情報提供サーバ１と携帯端末２が、インターネットなどのネットワーク１１を介して接続されることによって構成される。
　色情報提供サーバ１は、携帯端末２のユーザが携帯端末２のディスプレイ上で見ている画像に写っている被写体の色に関する情報を提供する情報処理装置である。
　携帯端末２は、ユーザが使用するスマートフォンなどの情報処理端末である。携帯端末２の筐体には、ディスプレイやカメラなどが設けられる。ユーザは、携帯端末２を操作し、Webブラウザなどのアプリケーションによってディスプレイに表示された画面を見てネットショッピングなどを行うことができる。PC、タブレット端末、TVなどの、ディスプレイを有する各種のデバイスが携帯端末２に代えて用いられるようにしてもよい。
　ネットワーク１１には、ショッピングサイトを管理するWebサーバ１２も接続される。この例においては、Webサーバ１２が管理するショッピングサイトが服を販売するファッションサイトであるものとする。携帯端末２のユーザは、Webサーバ１２が管理するショッピングサイトを閲覧し、商品としての服を購入することができる。Webサーバ１２が管理するショッピングサイトには、様々な商品の画像が用意される。
　図２は、色情報提供サーバ１による色に関する情報の提供の例を示す図である。
　携帯端末２のユーザが、Webサーバ１２が管理するショッピングサイトにおいて所定の商品を選択し、図２の上段の左側に示すような商品画像を携帯端末２のディスプレイ上で見ているものとする。ユーザは、ショッピングサイトを例えば自宅で利用している。
　商品画像は、ショッピングサイトに掲載するために、ショッピングサイトの管理者である売り手により用意された画像である。売り手側での撮影の仕方やディスプレイの特性などに応じて、携帯端末２のディスプレイ上で見える商品の色は、本来の色とは異なる色となる。商品画像は色情報提供サーバ１に対して送信される。
　携帯端末２のユーザは、図２の右側に示すように、商品との色を比較する物体である比較用物体を携帯端末２のカメラで撮影する。比較用物体は、ユーザの近くにある任意の物体である。例えば、ユーザが見ている商品と同じ系統の色の服が比較用物体として撮影される。ユーザにより撮影された比較用物体の画像である比較用物体画像は色情報提供サーバ１に送信される。
　色情報提供サーバ１においては、商品画像と比較用物体画像に基づいて、商品の色と比較用物体の色が比較され、比較結果に基づいて、商品の色に関する情報がユーザに対して提示される。商品画像に写る商品は、色に関する情報を提示する対象となる対象物体となる。商品の色に関する情報として、例えば、比較用物体の色を基準とした相対的な色の情報が提示される。
　図２の例においては、下段の吹き出しに示すように、「商品の方がやや明るい色」であることがユーザに提示されている。ユーザに対する提示は、ディスプレイの表示を用いて行われるようにしてもよいし、音声を用いて行われるようにしてもよい。
　比較用物体はユーザの近くに実際にある物体である。ユーザは、直接見ることができる物体の色と比較して、商品の本来の色をイメージすることができる。
　図３は、色情報提供サーバ１による色の比較の流れを示す図である。
　図３を参照して、色情報提供サーバ１による全体的な処理の流れについて説明する。それぞれの処理の詳細については後述する。
　色情報比較システムは、様々な物体の色の真値が既知であり、そのような既知の色のデータベース（DB）が用意されていることを前提としたシステムである。様々な物体の色の真値のデータベースである色情報DBが例えば色情報提供サーバ１に設けられる。
　図３の中央上方に示すように、携帯端末２のユーザは、自宅にある一般的な物体である一般物体が写る画像を撮影する。図３の例においては、自宅にある家具、バッグなどが写る複数枚の一般物体画像の撮影が行われている。
　複数枚の一般物体画像は、色情報提供サーバ１に対して送信される。携帯端末２のユーザの環境で撮影された一般物体画像に写る一般物体の色は、真値とは異なる色となる。
　色情報提供サーバ１においては、矢印Ａ１の先に示すように、一般物体画像に被写体として写る一般物体が認識（識別）される。また、色情報DBが参照され、矢印Ａ２の先に示すように、一般物体の色の真値が求められる。色情報DBには、一般物体の色の真値も格納されている。
　一般物体の色の真値が求められた後、色情報提供サーバ１においては、矢印Ａ３と矢印Ａ４の先に示すように、一般物体画像に写る一般物体の色と、一般物体の色の真値とに基づいて変換モデルが作成される。変換モデルは、携帯端末２のユーザの環境で撮影された画像に写る被写体の色を、色の真値に変換することに用いられるモデルである。変換モデルは、携帯端末２のユーザの環境用のモデルとなる。このような変換モデルの作成が、商品の色情報の提供を受ける前に行われる。複数枚の一般物体画像を用いるのではなく、１枚の一般物体画像を用いて変換モデルの作成が行われるようにしてもよい。
　図３の左側に示すように、携帯端末２のユーザが商品を選択することなどに応じて商品画像が入力された場合、色情報提供サーバ１においては、矢印Ａ５の先に示すように、商品画像に被写体として写る商品が認識される。また、色情報DBが参照され、矢印Ａ６の先に示すように、商品の色の真値が求められる。色情報DBには、商品の色の真値も格納されている。
　図３の右側に示すように、携帯端末２のユーザが比較用物体を撮影することに応じて比較用物体画像が入力された場合、色情報提供サーバ１においては、矢印Ａ７、矢印Ａ８の先に示すように、変換モデルを用いて、比較用物体画像に写る比較用物体の色が真値に変換される。変換モデルを用いて求められた色の真値であるから、比較用物体の色の真値は推定値となる。比較用物体の色の真値については、色情報DBに格納されていない。
　一般物体画像と比較用物体画像は、破線Ｌ１で囲んで示すように同じユーザ環境で撮影された画像であるから、一般物体画像を用いて作成された変換モデルを用いて、比較用物体画像の色の真値を求める（推定する）ことが可能となる。
　破線Ｌ２で囲んで示す、商品画像に写る商品の色の真値、一般物体画像に写る一般物体の色の真値、および、比較用物体画像に写る比較用物体の色の真値は、デバイス・インディペンデント色空間上の色である。
　色情報提供サーバ１においては、矢印Ａ１０、矢印Ａ１１の先に示すように、商品の色の真値と比較用物体の色の真値とが比較され、比較結果に基づいて、矢印Ａ１２の先に示すように商品の色の情報がユーザに対して提示される。
　このように、色情報比較システムにおいては、ユーザ環境に存在し、かつ、色情報DBに色の真値が存在する一般物体が写る一般物体画像に基づいて、ユーザ環境の色空間と、色の真値の色空間であるデバイス・インディペンデント色空間との対応関係が変換モデルとして構築される。変換モデルを利用することによって、任意の比較用物体の色の真値を求めることができ、商品の色との比較が可能となる。
　カラーチャートのようなキャリブレーション用の特別な機材が不要であるため、色情報提供サーバ１は、容易に、商品の色に関する情報を提供することができる。また、比較用物体の色の真値がユーザ環境用の変換モデルを用いて求められるため、色情報提供サーバ１は、高い精度で、商品の色とユーザが所有する物の色を比較することができる。
　すなわち、色情報提供サーバ１は、容易に、かつ高い精度で、商品と比較用物体のそれぞれの色の真値を求め、商品の色に関する情報を提供することができる。
　正確な色表示を実現する方法としては、マルチバンド撮影を用いた方法などの、撮影側と表示側で特別な機材を使って情報を伝送する方法がある。しかし、売る側と買う側（ユーザ）の双方が特別な機材を用意して取引をするのは現実的ではない。
　また、カラーチャートを用いるなどして色のキャリブレーションを行う方法がある。正確な色を容易に知るためには、カラーチャートのような特別な機材を利用しないことが望ましい。
　色情報比較システムによれば、売る側と買う側の双方が特別な機材を用意したり、カラーチャートのような特別な機材を利用したりすることが不要となる。
＜色情報比較システムの機能構成＞
　図４は、色情報比較システムの機能構成例を示すブロック図である。
　色情報比較システムは、色情報DB５１、一般物体被写体認識部５２、代表色抽出部５３、変換モデル作成部５４、商品被写体認識部５５、代表色指定部５６、比較用物体色情報算出部５７、比較部５８、および、情報提示部５９により構成される。
　一般物体被写体認識部５２と代表色抽出部５３に対しては携帯端末２のユーザにより撮影された一般物体画像が入力され、商品被写体認識部５５に対しては売り手により用意された商品画像が入力される。代表色指定部５６に対しては、携帯端末２のユーザにより撮影された比較用物体画像が入力される。
　一般物体画像、商品画像、比較用物体画像はいずれもRGB画像である。一般物体画像と比較用物体画像は、携帯端末２のユーザのユーザ環境（環境Ｅ１）に依存したRGB画像である。商品画像は、売り手側の環境（環境Ｅ２）に依存したRGB画像である。
　色情報DB５１は、様々な物体の色の真値を格納したデータベースである。色情報DB５１には、少なくとも、一般物体の色の真値、商品の色の真値が格納される。
　図５は、色情報DB５１に格納される情報の例を示す図である。
　図５に示すように、色情報DB５１には、被写体名、商品識別コードと紐付けて、代表色の真値が格納される。図５の例においては、それぞれの商品の被写体名は、商品の販売元の会社名、商品名、色（カラー）を組み合わせた情報とされている。
　このように、色情報DB５１においては、それぞれの商品の情報がリスト化され、管理されている。一般物体についても同様に、被写体名、商品識別コードと紐付けて、代表色の真値が格納される。
　なお、代表色は、その被写体らしさを最も表していると考えられる単一の色である。代表色は色の真値の登録時に決定される。例えば、色の真値は、国際照明委員会（CIE）により定義された標準光源（D65）下での三刺激値XYZで表される。色の真値が、色相・明度・彩度のような他の要素で表されるようにしてもよい。
　図４の一般物体被写体認識部５２は、入力された一般物体画像を解析し、被写体として写る一般物体を認識する。一般物体被写体認識部５２による被写体認識は、例えばDNN(Deep Neural Network)を使った画像認識によって実現される。一般物体被写体認識部５２には、一般物体画像を入力とし、被写体領域と被写体名を出力とするDNNなどの推論モデルが用意されている。
　被写体が写っている領域の一般物体画像上の位置を表す被写体領域情報は、代表色抽出部５３に供給される。被写体が写っている領域の位置は、バウンディングボックスのような矩形に対する座標や、セマンティックセグメンテーションのような画素単位のラベルマップによって表される。
　また、一般物体被写体認識部５２は、色情報DB５１を参照し、一般物体の被写体名に基づいて、一般物体の色の真値を取得する。一般物体被写体認識部５２により取得された一般物体の色の真値は変換モデル作成部５４に供給される。破線Ｌ１１で囲んで示すように、色情報DB５１と一般物体被写体認識部５２により、一般物体の色の真値を取得する一般物体色真値取得部が実現される。
　代表色抽出部５３は、一般物体画像と被写体領域情報に基づいて、一般物体画像に写る一般物体の代表色を抽出する。
　例えば、代表色抽出部５３は、図６のＡに示すように、被写体領域情報に基づいて、一般物体が写っている領域を構成する画素を計算対象画素として決定する。図６のＡの例においては、被写体領域情報に基づいて、一般物体であるカバンが写っている矩形状の領域を構成する画素が計算対象画素として決定されている。
　また、代表色抽出部５３は、計算対象画素の色の分布等を参照し、例えば、色分布における重心を計算するなどして代表色を抽出する。被写体領域の重心の色が代表色として抽出されるようにしてもよい。
　図６のＢに示すように、代表色の抽出が手動で行われるようにしてもよい。この場合、代表色の抽出は、例えば一般物体画像上でユーザが任意に指定した位置の色を代表色とするようにして行われる。すなわち、代表色の抽出が手動で行われる場合、一般物体被写体認識部５２から供給された被写体領域情報は用いられない。
　被写体領域情報を用いて自動的に抽出された代表色が妥当でないと判断された場合に、代表色の抽出が手動で行われるようにしてもよい。一般物体の色の平均値を代表色として用いるといったように、代表色の抽出の仕方は任意である。
　代表色抽出部５３により抽出された代表色の情報は変換モデル作成部５４に供給される。
　変換モデル作成部５４は、一般物体被写体認識部５２により取得された一般物体の色の真値と、代表色抽出部５３により抽出された代表色に基づいて、携帯端末２のユーザのユーザ環境用の変換モデルを作成する。
　ここで、ユーザ環境は、携帯端末２のユーザが利用するカメラ等の撮影デバイス、露光時間やシャッタースピード等の撮影パラメータの設定、照明光の種類と強度、撮影者であるユーザと被写体との相対位置関係などの要因により決定される。
　図７は、変換モデル作成部５４に対する入力と出力の例を示す図である。
　図７に示すように、変換モデル作成部５４に対しては、複数（Ｎ）の一般物体についての代表色と色の真値が入力される。一般物体の代表色は、ユーザ環境のRGB空間上の色である。一般物体の色の真値は、標準環境（標準光源下の環境）の三刺激値XYZにより表される色である。
　変換モデル作成部５４は、代表色と真値の複数のデータ対を用いて、変換モデルｆを作成する。
　変換モデルｆを用いた変換は、下式（１）により表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、Ｘ’，Ｙ’，Ｚ’は、変換モデルｆによって推定される色の真値を表す。また、ＲE1，ＧE1，ＢE1は、ユーザ環境における一般物体の代表色のRGB値を表す。
　変換モデルｆとして、ＲE1，ＧE1，ＢE1を入力とし、Ｘ’，Ｙ’，Ｚ’を出力とするDNNなどの推論モデルを用いることが可能である。この場合、変換モデル作成部５４は、一般物体の色の真値群を教師データとするとともに、一般物体の代表色群を生徒データとして、各層の係数を学習することによって変換モデルｆを作成する。変換モデルｆを構成するネットワークの構成は、変換精度や計算量を考慮して任意に設定される。
　DNNなどの推論モデルではなく、３×３（３行３列）の変換行列Ｍによって変換モデルが構成されるようにしてもよい。変換行列Ｍは、下式（２）のように、一般物体の代表色のＲi，Ｇi，Ｂiを、色の真値Ｘ’i，Ｙ’i，Ｚ’iに変換する行列である。添え字のiは1～Nの値をとる。
Figure JPOXMLDOC01-appb-M000002
　この場合、変換モデル作成部５４は、下式（３）に表されるように、サンプル数Ｎの、XYZ各成分における真値Ｘi，Ｙi，Ｚiと推定真値Ｘ’i，Ｙ’i，Ｚ’iとの差の二乗和Ｓが最小となる行列を求めるようにして変換行列Ｍを決定する。各種の条件を追加するなどして変換精度を高めることが可能である。
Figure JPOXMLDOC01-appb-M000003
　その他、変換モデルｆとして、ＲE1，ＧE1，ＢE1とＸ’，Ｙ’，Ｚ’とを対応付けたLook Up Tableを用いることも可能である。
　変換モデル作成部５４は、このようにして作成した変換モデルｆを比較用物体色情報算出部５７に出力する。
　図４の商品被写体認識部５５は、携帯端末２のユーザの操作に応じて入力された商品画像を解析し、被写体として写る商品を認識する。商品被写体認識部５５による被写体認識は、例えばDNNを使った画像認識によって実現される。商品被写体認識部５５には、商品画像を入力とし、商品名である被写体名を出力とするDNNなどの推論モデルが用意されている。
　商品被写体認識部５５は、色情報DB５１を参照し、商品の被写体名に基づいて、商品の色の真値を取得する。商品被写体認識部５５により取得された商品の色の真値は比較部５８に供給される。破線Ｌ１２で囲んで示すように、色情報DB５１と商品被写体認識部５５により、商品の色の真値を取得する商品色真値取得部が実現される。
　代表色指定部５６は、携帯端末２のユーザが比較用物体を撮影することに応じて比較用物体画像が入力された場合、代表色とする色をユーザに指定させる。例えば、比較用物体画像がユーザに対して提示され、商品の色に近い比較用物体上の位置を指定することによって、代表色の指定が行われる。代表色指定部５６は、ユーザにより指定された色を比較用物体の代表色として比較用物体色情報算出部５７に出力する。
　一般物体の代表色と同様に、比較用物体の代表色が、比較用物体画像に基づいて自動的に抽出されるようにしてもよい。
　比較用物体色情報算出部５７は、変換モデル作成部５４により作成された変換モデルｆを用いて、比較用物体の代表色を真値に変換する。比較用物体色情報算出部５７は、変換モデルｆを用いた変換によって算出された色の真値を、比較用物体の色の真値として比較部５８に出力する。破線Ｌ１３で囲んで示すように、代表色指定部５６と比較用物体色情報算出部５７により、比較用物体の色の真値を取得する比較用物体色真値取得部が実現される。
　比較部５８は、商品被写体認識部５５により取得された商品の色の真値と、比較用物体色情報算出部５７により算出された比較用物体の色の真値とを比較する。比較部５８は、比較結果を表す情報を情報提示部５９に出力し、比較情報をユーザに提示させる。
　情報提示部５９は、比較部５８から供給された情報に基づいて、商品の色の真値と比較用被写体の色の真値との比較結果を表す比較情報をユーザに提示する。比較情報の提示には、携帯端末２のディスプレイ、スピーカなどが用いられる。
　ここで、比較情報の提示例について説明する。
・文字による提示
　情報提示部５９は、「商品の方がやや明るく、やや青い」といったように、比較結果を表す文字をディスプレイに表示させる。この提示は、比較用物体の色を基準とした相対的な商品の色を提示するものとなる。
　情報提示部５９は、商品の色の真値を表す数値と比較用被写体の色の真値を表す数値を表示させる。また、情報提示部５９は、それらの真値の差分を数値で表示させる。
・色による提示
　情報提示部５９は、商品の色の真値と比較用被写体の色の真値を標準色空間のRGB値に変換し、ディスプレイ上に色で表示させる。
・画像による提示
　情報提示部５９は、商品画像と比較用物体画像のそれぞれについて、代表色を真値に合わせた画像に変換し、ディスプレイ上に表示させる。
・音声による提示
　情報提示部５９は、比較結果を表す音声をスピーカから出力させる。
　情報提示部５９は、音の大小、強弱、周波数特性等をあらかじめ割り当てられたルールに基づいて調整し、比較結果を表す音をスピーカから出力させる。
・モーションによる提示
　情報提示部５９は、商品の色の真値と比較用被写体の色の真値との差分を、あらかじめ割り当てられたモーションによって提示する。この場合、商品がやや明るいときは小刻みに震える等のモーションを携帯端末２において発生させるための制御が情報提示部５９により行われる。
・色度図、色空間へのプロットによる提示
　情報提示部５９は、商品の色の真値と比較用被写体の色の真値とを、それぞれ、ディスプレイに表示した２次元色度図上または３次元色空間上にプロットして提示する。
・近い色の物体を色情報DB５１から検索して提示
　情報提示部５９は、商品の色に近い色の一般物体を色情報DB５１から検索し、検索結果として得られた一般物体を画像、テキスト、音声等で提示する。
　この提示は、変換モデルｆの作成のためにユーザが撮影した一般物体の中に、商品の色の真値に近い色の一般物体がある場合に行われる。例えば、「あなたの〇〇の色が商品の色に近い色です」などの提示が行われる。
・近い色の物体をリアルタイムで検索して提示
　この提示は、例えば、携帯端末２のユーザがユーザ環境において動画像の撮影を行い、取り込まれた動画像がライブビュー形式で携帯端末２のディスプレイ上に表示されている場合にリアルタイムで行われる。動画像に写っている物体の中に商品の色に近い色の物体がある場合、図８に示すように、ライブビュー形式で表示されている動画像上に、商品の色に近い色の物体がどの物体であるのかを表す情報が表示される。
　図８の例においては、壁に設置されたタオル掛けに掛けられたタオルが商品の色に近い色の物体であり、そのタオルが枠で囲まれることによって強調表示されている。ユーザは、自分の周りを携帯端末２のカメラで撮影することにより、商品の色に近い色の物体がどの物体であるのかを知ることができる。
　変換モデルｆがあらかじめ用意されていることにより、このような、ユーザ環境に存在する物体の色の真値をリアルタイムで推定し、ユーザに提示することが可能となる。
　このように、動画像を比較用物体画像として用いることが可能である。
　図９は、各構成の実装例を示す図である。
　以上のような各機能を有する色情報DB５１、一般物体被写体認識部５２、代表色抽出部５３、変換モデル作成部５４、商品被写体認識部５５、代表色指定部５６、比較用物体色情報算出部５７、および比較部５８は、例えば色情報提供サーバ１に設けられる。また、情報提示部５９は、携帯端末２に設けられる。
　以下、図９に示す構成をそれぞれ有する色情報提供サーバ１と携帯端末２により実現される、色情報比較システムの一連の動作について説明する。
＜色情報比較システムの一連の動作＞
・色情報提供サーバ１の動作
　はじめに、図１０のフローチャートを参照して、色情報提供サーバ１の処理について説明する。
　ステップＳ１において、色情報提供サーバ１は、変換モデルｆを作成する処理である変換モデル作成処理を行う。変換モデル作成処理の詳細については図１１のフローチャートを参照して後述する。
　ステップＳ２において、色情報提供サーバ１は、商品の色の真値を取得する処理である商品色真値取得処理を行う。商品色真値取得処理の詳細については図１２のフローチャートを参照して後述する。
　ステップＳ３において、色情報提供サーバ１は、比較用物体の色の真値を取得する処理である比較用物体色真値取得処理を行う。比較用物体色真値取得処理の詳細については図１３のフローチャートを参照して後述する。
　ステップＳ４において、色情報提供サーバ１は、商品の色の真値と比較用物体の色の真値とを比較する処理である比較処理を行う。比較処理の詳細については図１４のフローチャートを参照して後述する。
　次に、図１１のフローチャートを参照して、図１０のステップＳ１において行われる変換モデル作成処理について説明する。図１１の処理は、例えば、携帯端末２のユーザにより撮影された一般物体画像が送信されてきたときに開始される。
　ステップＳ１１において、一般物体被写体認識部５２は、携帯端末２から送信されてきた一般物体画像を取得する。
　ステップＳ１２において、一般物体被写体認識部５２は、一般物体画像を解析し、被写体として写る一般物体を認識する。DNNを使った画像認識により、被写体領域と被写体名が認識される。
　ステップＳ１３において、一般物体被写体認識部５２は、色情報DB５１を参照し、一般物体の被写体名に基づいて、一般物体の色の真値を取得する。
　ステップＳ１４において、代表色抽出部５３は、被写体領域情報に基づいて、一般物体画像から一般物体の代表色を抽出する。
　ステップＳ１５において、変換モデル作成部５４は、変換モデルｆを作成するためのデータ数が十分であるか否かを判定する。変換モデルｆを作成するためのデータ数が十分ではないとステップＳ１５において判定された場合、ステップＳ１１に戻り、以上の処理が繰り返される。
　十分な数の一般物体の代表色と色の真値のデータ対が取得されたことから、変換モデルｆを作成するためのデータ数が十分であるとステップＳ１５において判定された場合、処理はステップＳ１６に進む。
　ステップＳ１６において、変換モデル作成部５４は、一般物体の色の真値群を教師データ、一般物体の代表色群を生徒データとした学習を行うなどして変換モデルｆを作成する。その後、図１０のステップＳ１に戻り、それ以降の処理が行われる。変換モデル作成処理によって作成された変換モデルｆは比較用物体色情報算出部５７に供給される。
　図１２のフローチャートを参照して、図１０のステップＳ２において行われる商品色真値取得処理について説明する。図１２の処理は、例えば、携帯端末２のユーザが、購入しようとする商品の商品画像を閲覧するなどして、商品画像が送信されてきたときに開始される。
　ステップＳ２１において、商品被写体認識部５５は、商品画像を取得する。
　ステップＳ２２において、商品被写体認識部５５は、商品画像を解析し、被写体として写る商品を認識する。DNNを使った画像認識により、被写体名が認識される。
　ステップＳ２３において、商品被写体認識部５５は、色情報DB５１を参照し、商品の被写体名に基づいて、商品の色の真値を取得する。その後、図１０のステップＳ２に戻り、それ以降の処理が行われる。商品色真値取得処理により取得された商品の色の真値は比較部５８に供給される。
　図１３のフローチャートを参照して、図１０のステップＳ３において行われる比較用物体色真値取得処理について説明する。図１３の処理は、例えば、携帯端末２のユーザが比較用物体を撮影することに応じて、携帯端末２から比較用物体画像が送信されてきたときに開始される。
　ステップＳ３１において、代表色指定部５６は、比較用物体画像を取得する。
　ステップＳ３２において、代表色指定部５６は、ユーザに指定させることによって、代表色とする比較用物体の色を比較用物体画像から抽出する。
　ステップＳ３３において、比較用物体色情報算出部５７は、変換モデルｆに基づいて代表色の変換を行うことによって、比較用物体の色の真値を推定する。その後、図１０のステップＳ３に戻り、それ以降の処理が行われる。比較用物体色真値取得処理により推定された比較用物体の色の真値は比較部５８に供給される。
　図１４のフローチャートを参照して、図１０のステップＳ４において行われる比較処理について説明する。
　ステップＳ４１において、比較部５８は、商品色真値取得処理により取得された商品の色の真値と、比較用物体色真値取得処理により推定された比較用物体の色の真値とを比較する。
　ステップＳ４２において、比較部５８は、比較結果を表す比較情報を携帯端末２に送信する。その後、図１０のステップＳ４に戻り、色情報提供サーバ１の処理は終了となる。
・携帯端末２の動作
　次に、図１５のフローチャートを参照して、携帯端末２の処理について説明する。
　携帯端末２の処理は、図１１を参照して説明した処理が色情報提供サーバ１により行われ、変換モデルｆが作成された後に行われる。
　ステップＳ５１において、携帯端末２は、ユーザの操作に応じて商品画像を選択する。選択された商品画像は色情報提供サーバ１に対して送信され、商品色真値取得処理（図１２）が行われる。
　ステップＳ５２において、携帯端末２は、ユーザの操作に応じて比較用物体を撮影する。撮影された比較用物体画像は色情報提供サーバ１に対して送信され、比較用物体色真値取得処理（図１３）が行われる。比較用物体色真値取得処理の後、比較処理（図１４）が行われ、色情報提供サーバ１から携帯端末２に対して比較情報が送信されてくる。
　ステップＳ５３において、携帯端末２の情報提示部５９は、色情報提供サーバ１から送信されてきた比較情報に基づいて商品の色をユーザに提示し、処理を終了する。
　以上の一連の処理により、容易に、かつ高い精度で、商品と比較用物体のそれぞれの色の真値を求め、商品の色に関する情報を提供することが可能となる。
　なお、色に関する情報を提示する対象となる物体が服であるものとしたが、ディスプレイ上でユーザが色を確認する、服以外の様々な物体を対象とすることも可能である。
＜その他＞
・異なる環境での見え方の推定
　上述した例においては、色の真値は、一般的昼光であるD65などの標準照明下での値として色情報DB５１に記録されている。変換モデルｆが作成されてさえいれば、撮影環境によらずに、任意の物体の通常の見え方（標準照明下での見え方）を推定できるということになる。
　このことを利用して、例えば、夕方に撮影した画像に写る物体の、昼間の見え方を推定することが可能となる。これにより、ユーザの認識のしやすさを向上させることが可能となる。
　夕方に撮影した画像に写る物体の昼間の見え方を推定することは、例えば、車載カメラや監視カメラにより撮影された画像（映像）の表示に適用可能である。車載カメラなどにより撮影された画像を、変換モデルを用いて標準環境の画像に変換することにより、ユーザにとってシーンや物体を認識しやすい画像を表示させることが可能となる。
・複数の変換モデルの使い分け
　ユーザ環境は常に一定ではない。例えば、同じ室内でも、昼間に撮影した場合と夜間の蛍光灯下で撮影した場合とでは、同じ標準照明下の画像を得るためには、異なる変換モデルが必要となる。
　ユーザ環境の違い毎に変換モデルが作成され、保存されるようにしてもよい。この場合、変換の対象となる画像の撮影時の環境に応じて、複数の変換モデルが切り替えて用いられる。
・構成の変形例
　以上においては、色情報DB５１、一般物体被写体認識部５２、代表色抽出部５３、変換モデル作成部５４、商品被写体認識部５５、代表色指定部５６、比較用物体色情報算出部５７、および比較部５８が色情報提供サーバ１に設けられ、情報提示部５９が携帯端末２に設けられるものとしたが、色情報提供サーバ１に設けられる構成と携帯端末２に設けられる構成の組み合わせは適宜変更可能である。
　図１６は、各構成の他の実装例を示す図である。
　例えば、図１６に示すように、色情報DB５１のみが色情報提供サーバ１に設けられ、他の構成が携帯端末２に設けられるようにすることも可能である。色情報提供サーバ１を構成するコンピュータのCPUと、携帯端末２を構成するCPUによりそれぞれプログラムが実行されることにより、色情報提供サーバ１と携帯端末２において各構成が実現される。
　図１７は、色情報提供サーバ１を構成するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
　CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを実行することにより、色情報提供サーバ１の各構成が実現される。
　色情報提供サーバ１が、図１７に示す構成を有する１台のコンピュータにより構成されるようにしてもよいし、複数台のコンピュータにより構成されるようにしてもよい。
　なお、携帯端末２も、図１７に示す構成と基本的に同様の構成を有する。図１７の構成を携帯端末２の構成として流用して説明すると、携帯端末２のCPU１０１が記憶部１０８に記憶されているプログラムを実行することにより、携帯端末２の各構成が実現される。例えば、携帯端末２の通信部１０９は、色情報提供サーバ１やWebサーバ１２と通信を行う。通信部１０９は、色情報提供サーバ１に対して比較用物体画像を送信する通信部として機能する。
・プログラムについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１７に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する算出部を備える
　情報処理装置。
（２）
　前記算出部は、色の比較用の物体として撮影された前記第２の画像に写る比較用物体の色の真値を算出し、
　前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値とを比較する比較部をさらに備える
　前記（１）に記載の情報処理装置。
（３）
　前記比較部は、前記比較用物体の色の真値と前記対象物体の色の真値との比較結果に基づいて、前記対象物体の色に関する情報をユーザに提示させる
　前記（２）に記載の情報処理装置。
（４）
　前記比較部は、前記比較用物体の色を基準とした前記対象物体の色に関する情報をユーザに提示させる
　前記（３）に記載の情報処理装置。
（５）
　前記ユーザ環境で撮影して得られた前記第１の画像に写る物体の色と、前記第１の画像に写る物体の色の真値とに基づいて、前記モデルを作成するモデル作成部をさらに備える
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記モデル作成部は、前記第１の画像に写る物体の色の真値を教師データとし、前記ユーザ環境で撮影して得られた前記第１の画像に写る物体の色を生徒データとした機械学習を行うことによって、前記モデルを作成する
　前記（５）に記載の情報処理装置。
（７）
　前記モデル作成部は、前記ユーザ環境で撮影して得られた前記第１の画像に写る物体の色を、前記第１の画像に写る物体の色の真値に変換する変換行列を前記モデルとして作成する
　前記（５）に記載の情報処理装置。
（８）
　前記ユーザ環境で撮影して得られた前記第１の画像に写る物体の重心の色、または、ユーザにより指定された位置の色を、前記第１の画像に写る物体の代表色として抽出する抽出部をさらに備え、
　前記モデル作成部は、前記代表色を前記第１の画像に写る物体の色として用いて、前記モデルを作成する
　前記（５）乃至（７）のいずれかに記載の情報処理装置。
（９）
　情報処理装置が、
　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する
　情報処理方法。
（１０）
　コンピュータに、
　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する
　処理を実行させるためのプログラム。
（１１）
　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する情報処理装置に対して、色の比較用の物体である比較用物体を撮影して得られた前記第２の画像を送信する通信部と、
　前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値との、前記情報処理装置による比較結果に基づいて、前記対象物体の色に関する情報をユーザに提示する提示部と
　を備える情報処理端末。
（１２）
　前記提示部は、前記比較用物体の色を基準とした前記対象物体の色に関する情報をユーザに提示する
　前記（１１）に記載の情報処理端末。
（１３）
　前記提示部は、ディスプレイに表示する文字、色、または、スピーカから出力する音声によって、前記対象物体の色に関する情報をユーザに提示する
　前記（１１）に記載の情報処理端末。
（１４）
　情報処理端末が、
　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する情報処理装置に対して、色の比較用の物体である比較用物体を撮影して得られた前記第２の画像を送信し、
　前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値との、前記情報処理装置による比較結果に基づいて、前記対象物体の色に関する情報をユーザに提示する
　情報処理方法。
（１５）
　コンピュータに、
　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する情報処理装置に対して、色の比較用の物体である比較用物体を撮影して得られた前記第２の画像を送信し、
　前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値との、前記情報処理装置による比較結果に基づいて、前記対象物体の色に関する情報をユーザに提示する
　処理を実行させるためのプログラム。
　１　色情報提供サーバ，　２　携帯端末，　５１　色情報DB，　５２　一般物体被写体認識部，　５３　代表色抽出部，　５４　変換モデル作成部，　５５　商品被写体認識部，　５６　代表色指定部，　５７　比較用物体色情報算出部，　５８　比較部，　５９　情報提示部

Claims (15)

  1. 　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する算出部を備える
    　情報処理装置。
  2. 　前記算出部は、色の比較用の物体として撮影された前記第２の画像に写る比較用物体の色の真値を算出し、
    　前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値とを比較する比較部をさらに備える
    　請求項１に記載の情報処理装置。
  3. 　前記比較部は、前記比較用物体の色の真値と前記対象物体の色の真値との比較結果に基づいて、前記対象物体の色に関する情報をユーザに提示させる
    　請求項２に記載の情報処理装置。
  4. 　前記比較部は、前記比較用物体の色を基準とした前記対象物体の色に関する情報をユーザに提示させる
    　請求項３に記載の情報処理装置。
  5. 　前記ユーザ環境で撮影して得られた前記第１の画像に写る物体の色と、前記第１の画像に写る物体の色の真値とに基づいて、前記モデルを作成するモデル作成部をさらに備える
    　請求項１に記載の情報処理装置。
  6. 　前記モデル作成部は、前記第１の画像に写る物体の色の真値を教師データとし、前記ユーザ環境で撮影して得られた前記第１の画像に写る物体の色を生徒データとした機械学習を行うことによって、前記モデルを作成する
    　請求項５に記載の情報処理装置。
  7. 　前記モデル作成部は、前記ユーザ環境で撮影して得られた前記第１の画像に写る物体の色を、前記第１の画像に写る物体の色の真値に変換する変換行列を前記モデルとして作成する
    　請求項５に記載の情報処理装置。
  8. 　前記ユーザ環境で撮影して得られた前記第１の画像に写る物体の重心の色、または、ユーザにより指定された位置の色を、前記第１の画像に写る物体の代表色として抽出する抽出部をさらに備え、
    　前記モデル作成部は、前記代表色を前記第１の画像に写る物体の色として用いて、前記モデルを作成する
    　請求項５に記載の情報処理装置。
  9. 　情報処理装置が、
    　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する
    　情報処理方法。
  10. 　コンピュータに、
    　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する
    　処理を実行させるためのプログラム。
  11. 　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する情報処理装置に対して、色の比較用の物体である比較用物体を撮影して得られた前記第２の画像を送信する通信部と、
    　前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値との、前記情報処理装置による比較結果に基づいて、前記対象物体の色に関する情報をユーザに提示する提示部と
    　を備える情報処理端末。
  12. 　前記提示部は、前記比較用物体の色を基準とした前記対象物体の色に関する情報をユーザに提示する
    　請求項１１に記載の情報処理端末。
  13. 　前記提示部は、ディスプレイに表示する文字、色、または、スピーカから出力する音声によって、前記対象物体の色に関する情報をユーザに提示する
    　請求項１１に記載の情報処理端末。
  14. 　情報処理端末が、
    　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する情報処理装置に対して、色の比較用の物体である比較用物体を撮影して得られた前記第２の画像を送信し、
    　前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値との、前記情報処理装置による比較結果に基づいて、前記対象物体の色に関する情報をユーザに提示する
    　情報処理方法。
  15. 　コンピュータに、
    　色の真値が既知の物体をユーザ環境で撮影して得られた第１の画像に基づいて作成された、前記ユーザ環境における色空間と前記色の真値の色空間との対応関係を表すモデルに基づいて、前記ユーザ環境で撮影して得られた第２の画像に写る物体の色の真値を算出する情報処理装置に対して、色の比較用の物体である比較用物体を撮影して得られた前記第２の画像を送信し、
    　前記モデルに基づいて算出された前記比較用物体の色の真値と、色に関する情報を提示する対象となる対象物体の色の真値との、前記情報処理装置による比較結果に基づいて、前記対象物体の色に関する情報をユーザに提示する
    　処理を実行させるためのプログラム。
PCT/JP2021/014984 2020-04-23 2021-04-09 情報処理装置、情報処理端末、情報処理方法、およびプログラム WO2021215268A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/919,099 US20230162399A1 (en) 2020-04-23 2021-04-09 Information processing apparatus, information processing terminal, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-076711 2020-04-23
JP2020076711 2020-04-23

Publications (1)

Publication Number Publication Date
WO2021215268A1 true WO2021215268A1 (ja) 2021-10-28

Family

ID=78269133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014984 WO2021215268A1 (ja) 2020-04-23 2021-04-09 情報処理装置、情報処理端末、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US20230162399A1 (ja)
WO (1) WO2021215268A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224047A1 (ja) * 2022-05-19 2023-11-23 Ｄｉｃグラフィックス株式会社 物品情報提供システム、物品情報提供方法、端末装置、色情報提供装置、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022105385A (ja) * 2021-01-04 2022-07-14 株式会社東芝 進捗判定システム、進捗判定方法、プログラム、及び記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182108A1 (ja) * 2018-03-22 2019-09-26 凸版印刷株式会社 色対応情報生成システム、プログラム及び色対応情報生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182108A1 (ja) * 2018-03-22 2019-09-26 凸版印刷株式会社 色対応情報生成システム、プログラム及び色対応情報生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224047A1 (ja) * 2022-05-19 2023-11-23 Ｄｉｃグラフィックス株式会社 物品情報提供システム、物品情報提供方法、端末装置、色情報提供装置、およびプログラム

Also Published As

Publication number Publication date
US20230162399A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US9866748B2 (en) System and method for controlling a camera based on processing an image captured by other camera
US9710928B2 (en) System and process for automatically finding objects of a specific color
Robertson et al. Estimation-theoretic approach to dynamic range enhancement using multiple exposures
US7532766B2 (en) Method and system for producing formatted data related to geometric distortions
US10809884B2 (en) Paint color selection and display system and method
WO2021215268A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
JP2010062672A (ja) 画像処理装置およびその方法
US10296806B2 (en) Recognition-based color corrections
CN112328345A (zh) 用于确定主题色的方法、装置、电子设备及可读存储介质
US20160140748A1 (en) Automated animation for presentation of images
Krasula et al. Objective evaluation of naturalness, contrast, and colorfulness of tone-mapped images
Abdullah et al. Digital image processing analysis using Matlab
CN112866667B (zh) 图像的白平衡处理方法、装置、电子设备和存储介质
CN112995633B (zh) 图像的白平衡处理方法、装置、电子设备和存储介质
Tai et al. Underwater image enhancement through depth estimation based on random forest
JP2015125543A (ja) 視線予測システム、視線予測方法、および視線予測プログラム
JP4615430B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
Le et al. Visual quality assessment for projected content
JP2015232832A (ja) 表示処理装置、表示処理方法、及びプログラム
JP3478429B2 (ja) 照明光変換装置
CN113920115B (zh) 一种视频图像质量测评方法及测评系统
Rajendran et al. A pixel-based color transfer system to recolor nighttime imagery
JP2006094137A (ja) 画像処理方法及び画像処理システム
Wang et al. Fusion of visible and near-infrared images based on luminance estimation by weighted luminance algorithm
Setkov et al. Dacimpro: A novel database of acquired image projections and its application to object recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21792101

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21792101

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP