WO2021131806A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2021131806A1
WO2021131806A1 PCT/JP2020/046342 JP2020046342W WO2021131806A1 WO 2021131806 A1 WO2021131806 A1 WO 2021131806A1 JP 2020046342 W JP2020046342 W JP 2020046342W WO 2021131806 A1 WO2021131806 A1 WO 2021131806A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
real object
user
information
information processing
Prior art date
Application number
PCT/JP2020/046342
Other languages
English (en)
French (fr)
Inventor
誠 ダニエル 徳永
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/757,506 priority Critical patent/US20220392120A1/en
Publication of WO2021131806A1 publication Critical patent/WO2021131806A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • Augmented Reality that expands the real world by adding digital information to the information in the real space that can be seen through the camera.
  • a technology that images a real object existing in the user's real environment and corrects the color gamut of the virtual object displayed on top of the real object by augmented reality technology based on the color information of the captured real object has been proposed.
  • the above-mentioned conventional technology cannot always improve the convenience regarding color correction of a virtual object.
  • a real object existing in the user's real environment is imaged, and based on the color information of the captured real object, a virtual object is displayed superimposed on the real object by the augmented reality technique. It only corrects the color gamut, and it is not always possible to improve the convenience of color correction of a virtual object.
  • the information processing apparatus of one form according to the present disclosure is another real object that complements the color information used for correcting the color gamut of a virtual object displayed overlaid on a predetermined real object.
  • a proposal unit that proposes the imaging of the above to the user, and a display control unit that corrects the color gamut of the virtual object based on the color information acquired by imaging another real object presented by the user. , Equipped with.
  • Embodiment 1-1 Overview 1-2. Relationship between parameter estimation for color gamut correction and observation error 1-3.
  • Information processing system configuration 1-4. Configuration of terminal device 1-5. Configuration of server device 1-6.
  • Other embodiments 3. Effect of this disclosure 4.
  • Hardware configuration 1-4. Configuration of terminal device 1-5. Configuration of server device 1-6.
  • Information processing flow chart 1-7 Information processing sequence diagram 1-8. Modifications of the Embodiment 1-8-1. Combination of color correction marker and superimposition marker 1-8-2. Color sample that is a box of goods 1-8-3. Proposal of an object based on a captured image 1-8-4. How to determine the priority of proposing an object 2.
  • the color of the virtual object is adjusted according to the actual environment.
  • a known color chart for calibration also called a color sample.
  • camera setting information cannot be obtained.
  • Non-Patent Document 1 a real object existing in the user's real environment is imaged without using a special color chart, and the image is superimposed on the real object based on the color information of the imaged real object.
  • a technique for correcting the color gamut of a displayed virtual object has been proposed.
  • the technique described in Non-Patent Document 1 enables color correction under augmented reality without acquiring camera setting information and without depending on a calibration object such as a color chart.
  • the accuracy of color correction depends on the color information of the captured real object. Therefore, for example, when trying to reproduce a color that does not exist in the captured real object or a completely different color by correction, there is a problem that an error due to color correction is likely to increase.
  • the terminal device 100 allows the user to image another real object that complements the color information used for correcting the color gamut of the virtual object displayed overlaid on the predetermined real object. Propose. Further, the terminal device 100 corrects the color gamut of the virtual object based on the color information acquired by imaging another real object presented by the user. In this way, the terminal device 100 proposes to the user the observation of another real object that complements the lack of color information when the color information necessary for expressing the color of the virtual object is insufficient. Then, the color gamut of the virtual object is corrected based on the color information of other real objects. As a result, the terminal device 100 makes it possible to more easily correct the color gamut of a virtual object by using an object close to the user as a color sample. Therefore, the terminal device 100 can improve the convenience regarding the color correction of the virtual object.
  • FIG. 1 is a diagram showing an example of information processing according to the embodiment of the present disclosure.
  • a user U1 of an electronic commerce service is considering purchasing a new product, red headphones (hereinafter referred to as product G1).
  • the information processing system 1 uses an old black headphone (hereinafter referred to as product G2) purchased by the user U1 in the past as a marker for display by augmented reality, and is a real object (product).
  • product G1 is superimposed on G2) and displayed by augmented reality.
  • product G2 may be appropriately referred to as a "marker".
  • the user U1 selects a virtual object (product G1) to be displayed by augmented reality.
  • the terminal device 100 accepts the selection of the virtual object (product G1) from the user U1 (step S1). Further, the user U1 projects a real object (commodity G2) used as a marker when superimposing a virtual object on the camera C1 of the terminal device 100.
  • the terminal device 100 acquires an image of a real object (product G2) captured by the camera C1. Subsequently, the terminal device 100 recognizes the real object (product G2) and estimates the position and orientation of the real object (product G2) based on the acquired image of the real object (product G2). Subsequently, when the terminal device 100 estimates the position and orientation of the real object (product G2), it displays an image G1-1 in which a virtual object (product G1) is superimposed on the real object (product G2) by augmented reality (product G1). Step S2).
  • the terminal device 100 acquires a color sample in a real environment from a real object (product G2) designated as a marker when superimposing a virtual object. Specifically, the terminal device 100 acquires a color sample of the real object (commodity G2) in the real environment based on the acquired image of the real object G2.
  • the terminal device 100 estimates the parameters for color gamut correction of the camera C1 (hereinafter, also simply referred to as parameters) based on the color sample of the real object (product G2) in the real environment, and the virtual object. Correct the color gamut of (Product G1).
  • the terminal device 100 determines whether or not the color information necessary for expressing the color of the virtual object (commodity G1) is sufficient.
  • the terminal device 100 compares the color information of the virtual object (product G1) with the color information of the real object (product G2), and since the colors of the two are too different, the color of the virtual object (product G1) is changed. It is determined that the color information to be expressed is insufficient. The details of the process for determining the excess or deficiency of color information will be described later.
  • the server device 200 determines whether or not it exists.
  • the server device 200 receives an information determination request from the terminal device 100.
  • the server device 200 acquires the information of the product purchased by the user U1 in the past based on the purchase history of the product by the user U1.
  • the server device 200 selects the product G3 as another real object capable of complementing the lacking color information from the products purchased by the user U1 in the past.
  • the product G3 is a red smartphone.
  • the server device 200 selects another real object (product G3) that can complement the lacking color information
  • the server device 200 transmits information about the selected other real object (product G3) to the terminal device 100.
  • the terminal device 100 acquires information about another real object (commodity G3) from the server device 200.
  • the terminal device 100 proposes to the user U1 to additionally image the other real object (product G3) (step S3).
  • the user U1 Upon receiving a proposal from the terminal device 100, the user U1 adds another real object (product G3) to the real object (product G2) and projects another real object (product G3) on the camera C1 of the terminal device 100.
  • the terminal device 100 acquires an image of another real object (commodity G3) captured by the camera C1.
  • the terminal device 100 recognizes the other real object (product G3) based on the acquired image of the other real object (product G3), and determines the position and orientation of the other real object (product G3).
  • the terminal device 100 acquires a color sample of the other real object (product G3) in the real environment based on the acquired image of the other real object (product G3).
  • the terminal device 100 corrects the color gamut of the virtual object (product G1) based on the color sample of another real object (product G3) in the real environment.
  • the details of the color gamut correction processing of the virtual object will be described later.
  • the terminal device 100 corrects the color of the virtual object (product G1) based on the color gamut of the corrected virtual object (product G1). Subsequently, the terminal device 100 displays an image G1-2 in which a virtual object (product G1) after color correction is superimposed on a real object (product G2) which is a marker (step S4).
  • the terminal device 100 proposes to the user the imaging of another real object that complements the color information used for correcting the color gamut of the virtual object displayed overlaid on the predetermined real object. Further, the terminal device 100 corrects the color gamut of the virtual object based on the color information acquired by imaging another real object presented by the user. In this way, when the color information expressing the color of the virtual object is insufficient, the terminal device 100 proposes to the user the imaging of another real object that can supplement the insufficient color information, and other The color gamut of the virtual object is corrected based on the color information of the real object. As a result, the terminal device 100 makes it possible to more easily correct the color gamut of a virtual object by using a real object close to the user as a color sample. Therefore, the terminal device 100 can improve the convenience regarding the color correction of the virtual object.
  • the parameter estimation for color gamut correction refers to the estimation of the parameters when the information processing system 1 corrects the color gamut of the virtual object according to the actual environment.
  • the observation means that the information processing system 1 acquires a color sample of the real object in the real environment from the image of the real object designated as a marker when superimposing the virtual object.
  • the color value indicates a numerical value representing a color.
  • CIE Lab is also described as L * a * b * in the sense of Lab defined by CIE (International Commission on Illumination).
  • L * a * b * represents lightness (bright, dark).
  • a *” in L * a * b * indicates the intensity of color from green to red.
  • b *" in L * a * b * indicates the intensity of color from blue to yellow.
  • each of these three values is an independent index, each of them can be represented by a three-dimensional Cartesian coordinate system for the three orthogonal coordinate axes. This is called the L * a * b * color space (hereinafter, also referred to as the color space). Color values are indicated by the coordinates of points in the color space.
  • the color gamut refers to a part of the color space. In other words, the color gamut indicates a range (area) of color values in a color space.
  • parameter estimation for color gamut correction will be described. For example, there is a method of estimating parameters for color gamut correction using the following formula.
  • (v) represents the correction amount in the input color (e)
  • ( ⁇ ) is the function that controls the correction amount for each observation sample color (i).
  • the final correction amount is calculated by averaging these samples with a weight (w).
  • the amount of correction strongly depends on the sample, so if an error occurs in these observed samples, the error will be propagated to the final estimation of the color correction.
  • the farther the color to be corrected is from the observation sample the larger the error becomes. This point will be described in detail with reference to FIGS. 2 to 4 described later.
  • the color correction is expressed by the correction matrix. Then, the correction matrix is obtained so as to obtain the minimum value of the sampled color and the known value. When determining this matrix, there is a high possibility that the unsampled area will deviate significantly due to the sample color and bias.
  • FIG. 2-FIG. 4 the L * a * b * color space is schematically shown by a two-dimensional space.
  • Each point in the L * a * b * color space shown in FIG. 2 to FIG. 4 indicates a color corresponding to the color value of each point.
  • the squares (black square marks) in FIGS. 2-FIG. 2 indicate the original color samples of the real object (corresponding to the product G2 shown in FIG. 1).
  • the original color refers to the color information of a real object registered in the database of the information processing system 1 (for example, the product information storage unit 221 described later).
  • the star shape black star mark indicates a sample of the color of the real object acquired in the real environment.
  • the dotted arrow indicates the correspondence between the original color sample of the real object and the color sample of the real object acquired in the real environment.
  • the solid line frame on the left side of FIGS. 2 to 4 indicates the color gamut of the virtual object (corresponding to the product G1 of FIG. 1) before correction.
  • the dotted frame on the right side of FIGS. 2 to 4 indicates the color gamut of the virtual object before correction.
  • the solid line frame on the right side of FIGS. 2 to 4 indicates the color gamut of the virtual object after correction.
  • FIG. 2 is a diagram (when the observation error is not included) for explaining the relationship between the parameter estimation for color gamut correction and the observation error.
  • FIG. 2 the case where the color sample (black star mark) of the real object in the real environment is correctly acquired by the information processing system 1 (when there is no observation error) is shown.
  • each dotted line from each sample of the original color of the real object (black square mark) to each sample of the color of the real object in the real environment (black star mark).
  • the direction and magnitude of each vector indicated by the arrow of is almost the same.
  • the black circle (black circle) shown on the left side of FIG. 2 and the white circle (white circle) shown on the right side of FIG. 2 indicate the color of the virtual object before correction. Further, the circles of the grid pattern shown on the right side of FIG. 2 indicate the colors of the virtual object after the color gamut correction.
  • the information processing system 1 moves from each sample of the original color of the real object (black square mark) shown in FIG. 2 to each sample of the color of the real object in the real environment (black star mark). Based on each vector indicated by each dotted arrow, the parameters for color gamut correction of the virtual object are estimated.
  • the information processing system 1 estimates a parameter for color gamut correction of a virtual object based on, for example, the above equation 1 or 2.
  • the information processing system 1 estimates the parameters and corrects the color gamut of the virtual object based on the estimated parameters (solid line frame). There are several methods of color correction, and the information processing system 1 performs color correction based on, for example, the above-mentioned number 1 or number 2.
  • a solid line from the color of the virtual object before correction (white circle) to the color of the virtual object after correction (circle of lattice pattern). Color correction is done as much as the arrow of. As shown in FIG. 2, if there is no observation error, the color of the virtual object can be corrected correctly.
  • FIG. 3 is a diagram (when the observation error is included) for explaining the relationship between the parameter estimation for color gamut correction and the observation error.
  • the example shown in FIG. 3 shows a case where a part of a color sample (black star mark) of a real object in a real environment is erroneously acquired by the information processing system 1 (when an observation error is included).
  • each dotted line from each sample of the original color of the real object (black square mark) to each sample of the color of the real object in the real environment (black star mark).
  • three vectors have the same orientation, but the orientation of one vector is opposite to that of the other three vectors.
  • the color sample (black star mark) at the tip of the vector opposite to the direction of the other three vectors corresponds to the observation error.
  • the black circle (black circle) shown on the left side of FIG. 3 and the white circle (white circle) shown on the right side of FIG. 3 indicate the color of the virtual object before correction.
  • the black circle (black circle) shown on the right side of FIG. 3 indicates the color of the virtual object after the color gamut correction.
  • the circles of the grid pattern shown on the right side of FIG. 3 indicate the color of the corrected virtual object when correct observation is performed (when the observation error is not included).
  • the information processing system 1 moves from each sample of the original color of the real object (black square mark) shown in FIG. 3 to each sample of the color of the real object in the real environment (black star mark). Based on each vector indicated by each dotted arrow, the parameters for color gamut correction of the virtual object are estimated.
  • the information processing system 1 estimates a parameter for color gamut correction of a virtual object based on, for example, the above equation 1 or 2. Subsequently, the information processing system 1 estimates the parameters and corrects the color gamut of the virtual object based on the estimated parameters (solid line frame). As described above, there are several color correction methods, and the information processing system 1 performs color correction based on, for example, the above-mentioned number 1 or number 2. As a result of color correction by the information processing system 1, as shown on the right side of FIG. 3, a solid line from the color of the virtual object before correction (white circle) to the color of the virtual object after correction (black circle). Color correction is done as much as the arrow.
  • each sample of the color of the real object (black square mark) and the color of the virtual object before correction (black circle mark on the left side of each figure) are compared with the example shown in FIG. , The white circle on the right side) is far from the color space.
  • FIG. 3 when the observation error is included and the distance between each sample of the color of the real object and the color of the virtual object before correction is long in the color space, correct observation is performed. In the case of (when the observation error is not included), the distance in the color space between the corrected virtual object color (checkered pattern circle) and the erroneously corrected virtual object color (black circle) becomes longer. .. That is, as shown in FIG. 3, when the distance between each sample of the color of the real object and the color of the virtual object before correction in the color space is long, the color of the virtual object after correction caused by the influence of the observation error The error becomes large.
  • FIG. 4 is a diagram (when the observation error is included) for explaining the relationship between the parameter estimation for color gamut correction and the observation error.
  • FIG. 4 similarly to FIG. 3, when a part of the color sample (black star mark) of the real object in the real environment is erroneously acquired by the information processing system 1 (when the observation error is included). ) Is shown.
  • FIG. 4 including an observation error as in FIG. 3, each sample of the original color of the real object (black square mark) to each sample of the color of the real object in the real environment (black star).
  • the directions of the three vectors are the same, but the direction of one vector is opposite to the direction of the other three vectors.
  • the color sample (black star mark) at the tip of the vector opposite to the direction of the other three vectors corresponds to the observation error.
  • the black circle (black circle) shown on the left side of FIG. 4 and the white circle (white circle) shown on the right side of FIG. 4 indicate the color of the virtual object before correction.
  • the black circle (black circle) shown on the right side of FIG. 4 indicates the color of the virtual object after the color gamut correction.
  • the circles of the grid pattern shown on the right side of FIG. 4 indicate the color of the corrected virtual object when correct observation is performed (when the observation error is not included).
  • the information processing system 1 moves from each sample of the original color of the real object (black square mark) shown in FIG. 4 to each sample of the color of the real object in the real environment (black star mark). Based on each vector indicated by each dotted arrow, the parameters for color gamut correction of the virtual object are estimated.
  • the information processing system 1 estimates a parameter for color gamut correction of a virtual object based on, for example, the above equation 1 or 2. Subsequently, the information processing system 1 estimates the parameters and corrects the color gamut of the virtual object based on the estimated parameters (solid line frame). As described above, there are several color correction methods, and the information processing system 1 performs color correction based on, for example, the above-mentioned number 1 or number 2. As a result of color correction by the information processing system 1, as shown on the right side of FIG. 4, a solid line from the color of the virtual object before correction (white circle) to the color of the virtual object after correction (black circle). Color correction is done as much as the arrow.
  • each sample of the color of the real object (black square mark) and the color of the virtual object before correction (black circle mark on the left side of each figure) are compared with the example shown in FIG. ,
  • the white circle on the right side) is close in color space.
  • the observation error is included and the distance in the color space between each sample of the color of the real object and the color of the virtual object before correction is short, correct observation is performed.
  • the distance in the color space between the corrected virtual object color (marked with a checkered pattern) and the erroneously corrected virtual object color (black circle) is relative. Close to. That is, as shown in FIG. 4, when the distance in the color space between each sample of the color of the real object and the color of the virtual object before correction is short, the color of the virtual object after correction caused by the influence of the observation error The error is small.
  • FIG. 5 is a diagram showing a configuration example of the information processing system according to the embodiment.
  • the information processing system 1 includes a terminal device 100 and a server device 200.
  • the terminal device 100 and the server device 200 are connected to each other via a predetermined network N so as to be communicable by wire or wirelessly.
  • the information processing system 1 shown in FIG. 5 may include an arbitrary number of terminal devices 100 and an arbitrary number of server devices 200.
  • the terminal device 100 is an information processing device used by the user.
  • the terminal device 100 is realized by, for example, a desktop PC (Personal Computer), a notebook PC, a smartphone, a tablet terminal, a mobile phone, a PDA (Personal Digital Assistant), or the like.
  • the terminal device 100 is a desktop PC.
  • the server device 200 is an information processing device that provides an electronic commerce service.
  • the server device 200 stores information about the product. Specifically, the server device 200 stores the identification information for identifying the product and the shape, feature point, and color information of the product in association with each other.
  • the server device 200 provides product information in response to a request from the terminal device 100. In addition, the server device 200 stores information regarding the purchase history of the product by the user.
  • FIG. 6 is a diagram showing a configuration example of the terminal device 100 according to the embodiment.
  • the terminal device 100 includes a communication unit 110, an image pickup unit 120, an input unit 130, an output unit 140, a storage unit 150, and a control unit 160.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 110 is connected to the network by wire or wirelessly, and transmits / receives information to / from, for example, the server device 200.
  • NIC Network Interface Card
  • the image pickup unit 120 has a function of capturing various information regarding the user or the surrounding environment.
  • the imaging unit 120 includes a camera C1 installed on the upper part of the terminal device 100.
  • the imaging unit 120 images an object presented to the camera.
  • the image pickup unit 120 includes an optical system such as a lens and an image pickup element such as a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the input unit 130 is an input device that receives various operations from the user.
  • the input unit 130 is realized by a keyboard, a mouse, operation keys, or the like.
  • the output unit 140 includes a display unit 141 and an audio output unit 142.
  • the display unit 141 is a display device for displaying various types of information.
  • the display unit 141 is realized by a liquid crystal display or the like.
  • the input unit 130 and the display unit 141 are integrated.
  • the audio output unit 142 reproduces an audio signal according to the control of the control unit 160.
  • the storage unit 150 stores various data and programs. Specifically, the storage unit 150 stores programs and parameters for the control unit 160 to execute each function. For example, the storage unit 150 stores information about the AR marker used by the recognition unit 162 to recognize the AR marker and information about the virtual object to be AR-displayed by the display control unit 166. Further, the storage unit 150 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory)
  • the control unit 160 is a controller, and is an example of various programs (information processing programs) stored in a storage device inside the terminal device 100 by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). Is realized by executing RAM as a work area. Further, the control unit 160 is a controller, and is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • control unit 160 includes a reception unit 161, a recognition unit 162, an estimation unit 163, a determination unit 164, a proposal unit 165, and a display control unit 166, which will be described below. Realize or execute the action of information processing.
  • the internal configuration of the control unit 160 is not limited to the configuration shown in FIG. 6, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the reception unit 161 accepts the selection of a virtual object from the user. Specifically, the reception unit 161 receives a virtual object selection operation from the user via the input unit 130. Subsequently, when the reception unit 161 receives the virtual object selection operation from the user, the reception unit 161 requests the server device 200 for information on the selected virtual object. Subsequently, the reception unit 161 acquires information about the virtual object from the server device 200. For example, the reception unit 161 acquires information on the shape of the virtual object and color information of the virtual object. For example, the reception unit 161 acquires a color sample of a virtual object.
  • the reception unit 161 transmits the product ID “G1” that identifies the virtual object (product G1) selected by the user U1, and also transmits information about the virtual object (product G1) to the server device 200. Request for. Subsequently, the reception unit 161 acquires information on the shape of the virtual object (product G1) and color information of the virtual object (product G1) from the server device 200. For example, the reception unit 161 acquires a color sample of the virtual object (product G1).
  • the reception unit 161 accepts the designation of the real object to be used as a marker when superimposing the virtual object from the user. Specifically, the reception unit 161 acquires an image of a real object (marker) imaged by the image pickup unit 120. Subsequently, the reception unit 161 requests the server device 200 for information necessary for recognizing the real object (marker). Subsequently, the reception unit 161 acquires the information necessary for recognizing the real object (marker) from the server device 200. For example, the reception unit 161 acquires the feature points of the real object (marker) and the color information of the real object (marker). For example, the reception unit 161 acquires a color sample of a real object (marker).
  • the reception unit 161 acquires an image of a real object (product G2) imaged by the image pickup unit 120. Subsequently, the reception unit 161 transmits an image of the real object (product G2) and requests the server device 200 for information necessary for recognizing the real object (product G2). Subsequently, the reception unit 161 acquires the feature points of the real object (product G2) and the color information of the real object (product G2) from the server device 200. For example, the reception unit 161 acquires a color sample of a real object (product G2).
  • the recognition unit 162 acquires an image of a real object (marker) from the reception unit 161. Subsequently, the recognition unit 162 recognizes the real object (marker) based on the acquired image of the real object, and estimates the position and orientation of the real object. For example, the recognition unit 162 compares the feature points of the real object (marker) and the color information of the real object (marker) acquired from the server device 200 with the image of the real object (marker), and determines the real object (marker). Along with recognizing, the position and orientation of the real object (marker) are estimated.
  • the recognition unit 162 acquires an image of a real object (product G2) from the reception unit 161. Subsequently, the recognition unit 162 recognizes the real object (product G2) and estimates the position and orientation of the real object based on the acquired image of the real object (product G2). For example, the recognition unit 162 compares the feature points of the real object (product G2) acquired from the server device 200, the color information of the real object (product G2) with the image of the real object (product G2), and compares the image of the real object (product G2) with the real object (product G2). While recognizing the product G2), the position and orientation of the real object (product G2) are estimated.
  • the recognition unit 162 acquires a color sample of the real object (marker) in the real environment from the real object (marker). Specifically, the recognition unit 162 acquires a color sample of the real object (marker) in the real environment based on the acquired image of the real object (marker).
  • the recognition unit 162 acquires a color sample of the real object (product G2) in the real environment from the real object (product G2). Specifically, the recognition unit 162 acquires a color sample of the real object (product G2) in the real environment based on the acquired image of the real object (product G2).
  • the recognition unit 162 acquires an image of another real object captured by the image pickup unit 120. Subsequently, the recognition unit 162 recognizes the other real object and estimates the position and orientation of the other real object based on the acquired image of the other real object. Further, the recognition unit 162 acquires a color sample of another real object in the real environment based on the acquired image of the other real object.
  • the recognition unit 162 acquires an image of another real object (product G3) captured by the camera C1. Subsequently, the recognition unit 162 recognizes the other real object (product G3) based on the acquired image of the other real object (product G3), and determines the position and orientation of the other real object (product G3). presume. Further, the recognition unit 162 acquires a color sample of the other real object (product G3) in the real environment based on the acquired image of the other real object (product G3).
  • the estimation unit 163 estimates the parameters for correcting the color gamut of the virtual object.
  • the estimation unit 163 estimates the parameters for color gamut correction of the image pickup unit 120 based on the color sample of the real object in the real environment acquired by the recognition unit 162. Specifically, the estimation unit 163 uses the color values of the color sample of the real object (marker) acquired by the reception unit 161 and the color sample of the color of the real object (marker) in the real environment acquired by the recognition unit 162. Calculate the difference vector in the color space with the color value. Subsequently, the estimation unit 163 estimates the parameters for color gamut correction of the virtual object based on the calculated difference vector. For example, the estimation unit 163 estimates the parameters for color gamut correction of the virtual object based on the above equation 1 or 2.
  • the estimation unit 163 is the color value of the color sample of the real object (product G2) acquired by the reception unit 161 and the color value of the real object (product G2) in the actual environment acquired by the recognition unit 162. Calculate the difference vector in the color space with the color value of the color sample. Subsequently, the estimation unit 163 estimates the parameters for color gamut correction of the virtual object (commodity G1) based on the calculated difference vector.
  • the determination unit 164 determines whether or not the color information necessary for expressing the color of the virtual object is sufficient. Specifically, the determination unit 164 determines whether or not the color information necessary for expressing the color of the virtual object is sufficient based on the comparison between the color information of the real object and the color information of the virtual object. judge. For example, when the distance between the color value of the real object and the color value of the virtual object exceeds a predetermined threshold, the determination unit 164 does not have sufficient color information to express the color of the virtual object. Judge that there is no.
  • the determination unit 164 is a color required to express the color of the virtual object when the area in the color space of the region where the color gamut of the real object and the color gamut of the virtual object overlap is less than a predetermined threshold value. Determine that the information is not sufficient.
  • the determination unit 164 determines that the color information required to express the color of the virtual object is not sufficient, the determination unit 164 captures an image of another real object (also referred to as an additional object) that complements the color information expressing the color of the virtual object. Is determined to be necessary. When the determination unit 164 determines that it is necessary to image another real object that complements the color information that expresses the color of the virtual object, the determination unit 164 of the information about the other real object that complements the color information that expresses the color of the virtual object. The server device 200 is requested to determine the presence / absence.
  • the determination unit 164 determines that the color information expressing the color of the virtual object (product G1) is insufficient. Further, when the determination unit 164 determines that the color information expressing the color of the virtual object (product G1) is insufficient, the determination unit 164 complements the insufficient color information (different from the product G2) of another real object. The server device 200 is requested to determine whether or not the information exists.
  • FIG. 10 is a diagram showing an example of a determination process for determining the necessity of color information complementation according to the embodiment of the present disclosure.
  • the determination unit 164 calculates the distances of all the imaged real objects (also referred to as known objects) in the CIE Lab space for each color sample of the virtual object, and determines the shortest distance. calculate. Subsequently, the determination unit 164 determines that expression is impossible when one or several samples exceed a certain threshold value within the shortest distance of all the color samples of the virtual object. Subsequently, when the determination unit 164 determines that the expression cannot be expressed, the determination unit 164 requests the server device 200 to list a plurality of objects having a color close to the sample exceeding the threshold value as candidates for additional observation.
  • FIG. 11 is a diagram showing an example of a determination process for determining the necessity of color information complementation according to the embodiment of the present disclosure.
  • the determination unit 164 calculates the area occupied by the color of the virtual object as prior information.
  • the determination unit 164 calculates the coverage ratio of the area occupied by the color sample of the real object with respect to the color area of the virtual object.
  • the coverage rate of the area occupied by the color sample of the real object is less than a predetermined threshold value, the determination unit 164 determines that the expression cannot be expressed.
  • the determination unit 164 requests the server device 200 to list a plurality of objects having colors that can supplement the insufficient region as candidates for additional observation.
  • the proposal unit 165 proposes to the user the imaging of another real object that complements the color information used for correcting the color gamut of the virtual object displayed overlaid on the predetermined real object. Specifically, the proposal unit 165 acquires information about another real object that complements the color information expressing the color of the virtual object from the server device 200. Subsequently, when the proposal unit 165 acquires information about another real object that complements the color information expressing the color of the virtual object, the illustration (illustration) that prompts additional imaging of the other real object together with the image of the other real object ( A "?" Mark, etc.) or a message is displayed on the display unit 141. For example, the proposal unit 165 proposes to the user an image of another real object selected based on the purchase history of the product by the user. The proposal unit 165 proposes to the user an image of another real object selected from the products purchased by the user.
  • the proposal unit 165 proposes to the user the imaging of another real object based on the comparison between the color information of the predetermined real object and the color information of the virtual object. Specifically, the proposal unit 165 captures an image of another real object to the user when the distance between the color value of the predetermined real object and the color value of the virtual object in the color space exceeds a predetermined threshold value. Propose. Specifically, the proposal unit 165 determines that the distance between the color value of a predetermined real object and the color value of the virtual object in the color space exceeds a predetermined threshold value by the determination unit 164, the server device 200 We propose to the user the imaging of other real objects obtained from.
  • the proposal unit 165 tells the user to image another real object when the area in the color space of the region where the color gamut of the predetermined real object and the color gamut of the virtual object overlap is less than the predetermined threshold value. I propose to you. Specifically, the proposal unit 165 determines that the area in the color space of the region where the color gamut of the predetermined real object and the color gamut of the virtual object overlap is less than the predetermined threshold value by the determination unit 164. , Proposes to the user the imaging of other real objects acquired from the server device 200.
  • the proposal unit 165 acquires information about another real object (product G3) from the server device 200. Subsequently, the proposal unit 165 proposes to the user U1 to additionally image the other real object (product G3) when the information about the other real object (product G3) is acquired.
  • the display control unit 166 corrects the color gamut of the virtual object based on the color information acquired by imaging another real object presented by the user.
  • the display control unit 166 corrects the color gamut of the virtual object as described with reference to FIGS. 2 to 4 described above. Further, the display control unit 166 controls the display unit 141 so that when the color gamut of the virtual object is corrected, the virtual object is superimposed and displayed on the real object.
  • FIG. 7 is a diagram showing a configuration example of the server device 200 according to the embodiment.
  • the server device 200 includes a communication unit 210, a storage unit 220, and a control unit 230.
  • the communication unit 210 is realized by, for example, a NIC or the like. Then, the communication unit 210 is connected to the network by wire or wirelessly, and transmits / receives information to / from, for example, the terminal device 100.
  • the storage unit 220 stores various data and programs.
  • the storage unit 220 is realized by, for example, a semiconductor memory element such as a flash memory or a storage device such as a hard disk or an optical disk. As shown in FIG. 7, the storage unit 220 includes a product information storage unit 221 and a user information storage unit 222.
  • the product information storage unit 221 stores various information related to the product.
  • FIG. 8 shows an example of the product information storage unit 221.
  • FIG. 8 is a diagram showing an example of a product information storage unit according to the embodiment of the present disclosure.
  • the product information storage unit 221 has items such as “product ID” and “color information”.
  • Product ID indicates identification information that identifies the product.
  • Color information indicates information regarding the color of a product.
  • the user information storage unit 222 stores various information about the user.
  • FIG. 9 shows an example of the product information storage unit 221.
  • FIG. 9 is a diagram showing an example of a user information storage unit according to the embodiment of the present disclosure.
  • the user information storage unit 222 has items such as "user ID" and "purchase history”.
  • User ID indicates identification information that identifies the user.
  • purchase history indicates information regarding the purchase history of the product by the user.
  • control unit 230 is a controller, and for example, various programs (corresponding to an example of an information processing program) stored in a storage device inside the server device 200 by a CPU, MPU, or the like are RAMs. Is realized by executing as a work area. Further, the control unit 230 is a controller, and is realized by, for example, an integrated circuit such as an ASIC or FPGA.
  • control unit 230 has a reception unit 231, a transmission unit 232, a determination unit 233, and a recognition unit 234, and realizes or executes the information processing operation described below.
  • the internal configuration of the control unit 230 is not limited to the configuration shown in FIG. 7, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the receiving unit 231 receives a request for information about the virtual object from the terminal device 100. In addition, the receiving unit 231 receives a request for information necessary for recognizing a real object (marker) from the terminal device 100.
  • Transmission unit 232 When the receiving unit 231 receives the request for the information about the virtual object, the transmitting unit 232 transmits the information about the virtual object to the terminal device 100. Specifically, the transmission unit 232 acquires information on the shape of the virtual object and color information of the virtual object with reference to the product information storage unit 221. Subsequently, the transmission unit 232 transmits information regarding the shape of the virtual object and color information of the virtual object.
  • the transmitting unit 232 sends the information necessary for recognizing the real object (marker) to the terminal device 100. Send. Specifically, the transmission unit 232 acquires the feature points of the real object (marker) and the color information of the real object (marker) with reference to the product information storage unit 221. Subsequently, the transmission unit 232 transmits the feature points of the real object (marker) and the color information of the real object (marker).
  • the determination unit 233 receives a determination request from the terminal device 100 regarding the presence or absence of information regarding another real object (hereinafter, also referred to as an additional object) capable of complementing the color information expressing the color of the virtual object.
  • the determination unit 233 determines the presence / absence of information regarding the additional object in response to the request of the terminal device 100. Specifically, when the determination unit 233 receives the determination request for the presence or absence of information regarding the additional object, the determination unit 233 refers to the user information storage unit 222 and has a purchase history of the product by the user of the transmission source terminal device 100. Determine whether or not to do so.
  • the determination unit 233 determines that the purchase history of the product by the user exists. Subsequently, when the determination unit 233 identifies the product purchased by the user, the determination unit 233 refers to the product information storage unit 221 and acquires the color information of the product purchased by the user. Subsequently, when the determination unit 233 acquires the color information of the product purchased by the user, the determination unit 233 selects a product that can complement the color information expressing the color of the virtual object from the products purchased by the user. Subsequently, the determination unit 233 transmits information about the selected product to the terminal device 100.
  • the determination unit 233 determines that the purchase history of the product by the user does not exist, the determination unit 233 requests the terminal device 100 to transmit the current image captured by the camera of the terminal device 100.
  • the determination unit 233 receives an information determination request from the terminal device 100.
  • the determination unit 233 acquires the information of the product purchased by the user U1 in the past based on the purchase history of the product by the user U1.
  • the determination unit 233 selects the product G3 as another real object that can complement the lacking color information from the products purchased by the user U1 in the past.
  • the product G3 is a red smartphone.
  • the determination unit 233 transmits information about the selected other real object (product G3) to the terminal device 100. ..
  • the recognition unit 234 acquires the current image captured by the camera of the terminal device 100 from the terminal device 100. When the image is acquired, the recognition unit 234 determines whether or not a real object capable of complementing the color information expressing the color of the virtual object is reflected in the acquired image. When the recognition unit 234 determines that the acquired image contains a real object that can complement the color information that expresses the color of the virtual object, the recognition unit 234 can complement the color information that expresses the color of the virtual object. Information about the body is transmitted to the terminal device 100.
  • the recognition unit 234 determines that the acquired image does not show a real object capable of complementing the color information expressing the color of the virtual object
  • the recognition unit 234 refers to the product information storage unit 221 and refers to the virtual object.
  • a real object that can complement the color information expressing the color of the above is selected, and information about the selected real object is transmitted to the terminal device 100.
  • FIG. 12 is a flowchart showing an information processing procedure according to the embodiment.
  • the information processing system 1 recognizes an object (real object) used as a marker when superimposing a virtual object, and estimates the position and orientation of the object (step S11).
  • the information processing system 1 acquires a sample of the color of the object (step S12). Subsequently, the information processing system 1 estimates the parameters for color gamut correction based on the acquired color sample of the object (step S13).
  • the information processing system 1 compares the color palette of the superimposed object (virtual object) with the acquired color sample of the acquired object (step S14).
  • the information processing system 1 determines whether or not a sample of a color sufficient to express the color of the superimposed object (virtual object) has been acquired (step S15).
  • the information processing system 1 determines that a sample of a color sufficient to express the color of the superimposed object (virtual object) has been acquired (Yes in step S15)
  • the information processing system 1 observes an additional object for the user. (Imaging) is not proposed (step S16).
  • the information processing system 1 determines that a sufficient color sample for expressing the color of the superimposed object (virtual object) has not been acquired (No in step S15)
  • the database for example, the product information storage unit
  • An object having a missing color sample is estimated from 221), and observation (imaging) of an additional object is proposed to the user (step S17).
  • FIG. 13 is a sequence diagram showing an information processing procedure according to the embodiment.
  • the terminal device 100 requests the server device 200 to provide information about a virtual object to be superimposed and displayed by augmented reality. Further, the terminal device 100 requests the server device 200 for information necessary for recognizing an object (hereinafter, also referred to as a marker) used as a marker when superimposing a virtual object (step S101).
  • an object hereinafter, also referred to as a marker
  • the server device 200 receives a request for information from the terminal device 100.
  • the server device 200 transmits information about the shape of the virtual object and color information of the virtual object to the terminal device 100 as information about the virtual object. Further, the server device 200 transmits the feature points of the marker and the color information of the marker to the terminal device 100 as the information necessary for recognizing the marker (step S102).
  • the terminal device 100 receives information about a virtual object and information about a marker from the server device 200. Upon receiving the information regarding the marker, the terminal device 100 recognizes the marker (step S103). Subsequently, when the terminal device 100 recognizes the marker, it estimates a parameter for correcting the color gamut of the virtual object (step S104). Subsequently, the terminal device 100 determines the necessity of imaging the additional object by estimating the parameter (step S105).
  • the terminal device 100 determines whether or not there is information about the additional object (step S106).
  • the server device 200 determines the presence or absence of information about the additional object.
  • the server device 200 transmits the information regarding the additional object to the terminal device 100 (step S108).
  • the terminal device 100 receives information about the additional object from the server device 200. Upon receiving the information regarding the additional object, the terminal device 100 images the additional object (step S109). Subsequently, when the additional object is imaged, the terminal device 100 corrects the color gamut of the virtual object based on the color sample obtained from the imaged additional object (step S110). Subsequently, when the color gamut of the virtual object is corrected, the terminal device 100 superimposes the virtual object after the color gamut correction on the marker and displays it by AR (step S111).
  • FIG. 14 is a diagram showing an example of information processing according to a modified example of the present disclosure.
  • a real object for markers (commodity G2) and a real object for color correction (commodity G3) are used in combination.
  • the real object (product G2) for the marker is similar to the virtual object (product G1), it is possible to express a tactile sensation close to the virtual object and the deformation of the object as an AR experience.
  • the real object for the marker itself does not need to have a color palette similar to the virtual object, an object having a similar shape is used for the marker, and the color approximation is the real object for color correction. It can be supplemented by the body.
  • the proposal unit 165 may propose to the user an image of another real object selected from the packaging container of the product purchased by the user. For example, the proposal unit 165 proposes to the user an image of another real object selected based on the color information of the box of the product purchased by the user.
  • the proposal unit 165 proposes to the user the imaging of another real object selected based on the image captured by the user's terminal device.
  • the proposal unit 165 proposes to the user the imaging of another real object selected from the objects included in the image captured by the user's terminal device.
  • the proposal unit 165 is another real object whose distance is less than a predetermined threshold value as compared with another real object in which the distance between the color value of the other real object and the color value of the virtual object is equal to or more than a predetermined threshold value. Priority is given to proposing body imaging to users.
  • the color information of the other real object is the color information of the predetermined real object rather than the color information of the other real object in which the color information of the other real object exists in the color information of the predetermined real object.
  • terminal device 100 and the server device 200 are separate devices
  • terminal device 100 and the server device 200 may be integrated devices.
  • the information processing device includes a proposal unit (proposal unit 165 in the embodiment) and a display control unit (display control unit 166 in the embodiment).
  • the proposal unit 165 proposes to the user the imaging of another real object that complements the color information used for correcting the color gamut of the virtual object displayed overlaid on the predetermined real object.
  • the display control unit 166 corrects the color gamut of the virtual object based on the color information acquired by imaging another real object presented by the user.
  • the information processing device proposes to the user the observation of another real object that complements the lack of color information when the color information necessary for expressing the color of the virtual object is insufficient. , Corrects the color range of a virtual object based on the color information of other real objects.
  • the information processing device makes it possible to more easily correct the color gamut of a virtual object by using an object close to the user as a color sample. Therefore, the information processing device can improve the convenience regarding the color correction of the virtual object.
  • the proposal unit 165 proposes to the user the imaging of another real object selected from the known objects whose color information is known. In addition, the proposal unit 165 proposes to the user an image of another real object selected based on the purchase history of the product by the user. In addition, the proposal unit 165 proposes to the user an image of another real object selected from the products purchased by the user.
  • the proposal unit 165 proposes to the user an image of another real object selected from the packaging container of the product purchased by the user.
  • the proposal unit 165 proposes to the user the imaging of another real object selected based on the image captured by the user's terminal device. In addition, the proposal unit 165 proposes to the user the imaging of another real object selected from the objects included in the image captured by the user's terminal device.
  • the information processing device proposes to the user that the object included in the image captured by the user's terminal device is used as a color sample when the product purchased by the user does not exist. This makes it easier to correct the color gamut of a virtual object.
  • the proposal unit 165 proposes to the user the imaging of another real object based on the comparison between the color information of the predetermined real object and the color information of the virtual object. Further, the proposal unit 165 proposes to the user the imaging of another real object when the distance between the color value of the predetermined real object and the color value of the virtual object in the color space exceeds a predetermined threshold value. .. Further, the proposal unit 165 tells the user to image another real object when the area in the color space of the region where the color gamut of the predetermined real object and the color gamut of the virtual object overlap is less than the predetermined threshold value. I propose to you.
  • the information processing device enables better color correction by proposing to the user the imaging of another real object when there is a high possibility that the color error of the corrected virtual object becomes large.
  • the proposal unit 165 is another real object whose distance is less than a predetermined threshold value as compared with another real object in which the distance between the color value of the other real object and the color value of the virtual object is equal to or more than a predetermined threshold value. Priority is given to proposing body imaging to users.
  • the information processing device preferentially proposes an object having a higher effect of improving color correction by complementing the color information, so that better color correction is possible.
  • the color information of the other real object is the color information of the predetermined real object rather than the color information of the other real object in which the color information of the other real object exists in the color information of the predetermined real object.
  • the information processing device preferentially proposes an object having a higher effect of improving color correction by complementing the color information, so that better color correction is possible.
  • FIG. 15 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of information processing devices such as the terminal device 100 and the server device 200.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as an MO (Magneto-Optical disk)
  • a tape medium such as a magnetic tape
  • magnetic recording medium such as a magnetic tape
  • semiconductor memory for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 160 and the like by executing the information processing program loaded on the RAM 1200. Further, the information processing program according to the present disclosure and the data in the storage unit 150 are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • a proposal unit that proposes to the user the imaging of another real object that complements the color information used to correct the color gamut of the virtual object that is displayed overlaid on the predetermined real object.
  • a display control unit that corrects the color gamut of the virtual object based on the color information acquired by imaging another real object presented by the user.
  • Information processing device equipped with (2)
  • the proposal section The information processing apparatus according to (1) above, which proposes to the user the imaging of the other real object selected from known objects whose color information is known.
  • (3) The proposal section The information processing apparatus according to (1) or (2), which proposes to the user the imaging of the other real object selected based on the purchase history of the product by the user.
  • the proposal section The information processing device according to (3) above, which proposes to the user the imaging of the other real object selected from the products purchased by the user.
  • the proposal section The information processing apparatus according to (3) or (4), which proposes to the user an image of the other real object selected from the packaging container of the product purchased by the user.
  • the proposal section The information processing device according to (1) or (2), which proposes to the user the imaging of the other real object selected based on the image captured by the terminal device of the user.
  • the proposal section The information processing device according to (6) above, which proposes to the user the imaging of the other real object selected from the objects included in the image captured by the terminal device of the user.
  • the proposal section Any of the above (1) to (7), which proposes to the user the imaging of the other real object based on the comparison between the color information of the predetermined real object and the color information of the virtual object.
  • the information processing device described in one.
  • the proposal section When the distance between the color value of the predetermined real object and the color value of the virtual object exceeds a predetermined threshold value, imaging of the other real object is proposed to the user (1).
  • the information processing apparatus according to any one of (8).
  • the proposal section When the area in the color space of the region where the color gamut of the predetermined real object and the color gamut of the virtual object overlap is less than the predetermined threshold value, imaging of the other real object is proposed to the user.
  • the information processing apparatus according to any one of (1) to (9) above.
  • the proposal section The distance between the color value of the other real object and the color value of the virtual object in the color space is equal to or greater than a predetermined threshold value.
  • the information processing apparatus according to any one of (1) to (10) above, which preferentially proposes imaging to the user.
  • the proposal section The color information of the other real object is included in the color information of the predetermined real object, rather than the color information of the other real object existing in the color information of the predetermined real object.
  • the information processing apparatus according to any one of (1) to (11), which preferentially proposes to the user the imaging of the other real object that does not exist.
  • the computer We propose to users the imaging of other real objects that complement the color information used to correct the color gamut of virtual objects that are overlaid on a given real object.
  • the color gamut of the virtual object is corrected based on the color information acquired by imaging another real object presented by the user.
  • An information processing method that executes processing.
  • (14) On the computer A proposal procedure that proposes to the user the imaging of another real object that complements the color information used to correct the color gamut of the virtual object that is displayed overlaid on the predetermined real object.
  • Terminal equipment 110 Communication unit 120 Imaging unit 130 Input unit 140 Output unit 141 Display unit 142 Audio output unit 150 Storage unit 160 Control unit 161 Reception unit 162 Recognition unit 163 Estimate unit 164 Judgment unit 165 Proposal unit 166 Display control Unit 200 Server device 210 Communication unit 220 Storage unit 221 Product information storage unit 222 User information storage unit 230 Control unit 231 Reception unit 232 Transmission unit 233 Judgment unit 234 Recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本開示に係る情報処理装置（１００）は、所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する提案部（１６５）と、利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、仮想物体の色域を補正する表示制御部（１６６）と、を備える。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　従来、カメラを通して見える実空間の情報にデジタル情報を付加することにより、現実世界を拡張する拡張現実（Augmented　Reality）に関する技術が知られている。例えば、利用者の実環境に存在する実物体を撮像して、撮像した実物体の色情報に基づいて、拡張現実の技術によって実物体に重ねて表示される仮想物体の色域を補正する技術が提案されている。
Thomas　Oskam　他３名、"Fast　and　Stable　Color　Balancing　for　Images　and　Augmented　Reality"、［Online]、２０１９年３月、［令和１年１１月１４日検索］、インターネット＜URL：https://studios.disneyresearch.com/wp-content/uploads/2019/03/Fast-and-Stable-Color-Balancing-for-Images-and-Augmented-Reality-1.pdf＞
　しかしながら、上記の従来技術では、仮想物体の色補正に関する利便性を向上させることができるとは限らない。例えば、上記の従来技術では、利用者の実環境に存在する実物体を撮像して、撮像した実物体の色情報に基づいて、拡張現実の技術によって実物体に重ねて表示される仮想物体の色域を補正するにすぎず、仮想物体の色補正に関する利便性を向上させることができるとは限らない。
　そこで、本開示では、仮想物体の色補正に関する利便性を向上させることができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する提案部と、前記利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、前記仮想物体の色域を補正する表示制御部と、を備える。
本開示の実施形態に係る情報処理の一例を示す図である。 色域補正用のパラメータ推定と観測誤差との関係について説明するための図（観測誤差を含まない場合）である。 色域補正用のパラメータ推定と観測誤差との関係について説明するための図（観測誤差を含む場合）である。 色域補正用のパラメータ推定と観測誤差との関係について説明するための図（観測誤差を含む場合）である。 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る端末装置の構成例を示す図である。 本開示の実施形態に係るサーバ装置の構成例を示す図である。 本開示の実施形態に係る商品情報記憶部の一例を示す図である。 本開示の実施形態に係る利用者情報記憶部の一例を示す図である。 本開示の実施形態に係る色情報補完要否の判定処理の一例を示す図である。 本開示の実施形態に係る色情報補完要否の判定処理の一例を示す図である。 本開示の実施形態に係る情報処理手順を示すフローチャートである。 本開示の実施形態に係る情報処理手順を示すシーケンス図である。 本開示の変形例に係る情報処理の一例を示す図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　　１－１．概要
　　　１－２．色域補正用のパラメータ推定と観測誤差との関係
　　　１－３．情報処理システムの構成
　　　１－４．端末装置の構成
　　　１－５．サーバ装置の構成
　　　１－６．情報処理のフロー図
　　　１－７．情報処理のシーケンス図
　　　１－８．実施形態に係る変形例
　　　１－８－１．色補正用マーカーと重畳用マーカーとの併用
　　　１－８－２．商品の箱である色見本
　　　１－８－３．撮像画像に基づく物体の提案
　　　１－８－４．物体を提案する優先度の決定方法
　　２．その他の実施形態
　　３．本開示に係る効果
　　４．ハードウェア構成
［１．実施形態］
［１－１．概要］
　従来、拡張現実の技術によって、実空間に存在する物体（実物体）を撮像した画像に仮想物体の画像を重畳して表示する技術が知られている。例えば、電子商取引を利用する利用者の実環境に存在する物体（実物体）を撮像した画像に利用者が購入を希望する商品（仮想物体）の画像を重畳して表示する技術が知られている。また、このように、実物体を撮像した画像に仮想物体の画像を重畳して表示する際に、実環境に合わせて仮想物体の色味を調整する技術が知られている。
　例えば、カメラの設定情報を取得して、既知のキャリブレーション用のカラーチャート（色見本ともいう）を用いることにより、実環境に合わせて仮想物体の色味を調整する。しかしながら、一般消費者向けのカメラの場合、カメラの設定情報を取得できないものが多い。また、光源の色を補正するためには物理的に特殊なカラーチャートを映す必要がある。
　そこで、上述した非特許文献１では、特殊なカラーチャートを用いることなく、利用者の実環境に存在する実物体を撮像して、撮像した実物体の色情報に基づいて、実物体に重ねて表示される仮想物体の色域を補正する技術が提案されている。非特許文献１に記載された技術では、カメラの設定情報を取得することなく、また、カラーチャートのようなキャリブレーション物体に依存することなく、拡張現実下での色補正が可能となる。しかしながら、非特許文献１に記載された技術では、色補正の精度が撮像された実物体の色情報に依存する。そのため、例えば、撮像された実物体に存在しない色や全く異なる色を補正によって再現しようとすると、色補正による誤差が大きくなる可能性が高いという問題があった。
　そこで、本開示の実施形態に係る端末装置１００は、所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する。また、端末装置１００は、利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、仮想物体の色域を補正する。このように、端末装置１００は、仮想物体の色を表現するのに必要な色情報が足りない場合には、利用者に対して不足した色情報を補完する他の実物体の観測を提案して、他の実物体の色情報に基づいて、仮想物体の色域を補正する。これにより、端末装置１００は、利用者の身近にある物体を色見本として用いることで、より簡易に仮想物体の色域補正を可能とする。したがって、端末装置１００は、仮想物体の色補正に関する利便性を向上させることができる。
　ここから、図１を用いて、本開示の実施形態に係る情報処理の概要について説明する。図１は、本開示の実施形態に係る情報処理の一例を示す図である。図１に示す例では、電子商取引サービスの利用者Ｕ１が、新規製品である赤色のヘッドフォン（以下、商品Ｇ１と記載する）の購入を検討している。そして、情報処理システム１は、利用者Ｕ１が過去に購入した旧型の黒色のヘッドフォン（以下、商品Ｇ２と記載する）である実物体を拡張現実による表示のマーカーとして、マーカーである実物体（商品Ｇ２）に仮想物体（商品Ｇ１）を重畳して拡張現実によって表示する。なお、以下では、商品Ｇ２を適宜「マーカー」と記載する場合がある。
　まず、利用者Ｕ１は、拡張現実によって表示したい仮想物体（商品Ｇ１）を選択する。端末装置１００は、利用者Ｕ１から仮想物体（商品Ｇ１）の選択を受け付ける（ステップＳ１）。また、利用者Ｕ１は、仮想物体を重畳する際にマーカーとして用いる実物体（商品Ｇ２）を端末装置１００のカメラＣ１に映す。
　端末装置１００は、カメラＣ１によって撮像された実物体（商品Ｇ２）の画像を取得する。続いて、端末装置１００は、取得した実物体（商品Ｇ２）の画像に基づいて、実物体（商品Ｇ２）を認識するとともに、実物体（商品Ｇ２）の位置及び姿勢を推定する。続いて、端末装置１００は、実物体（商品Ｇ２）の位置及び姿勢を推定すると、拡張現実によって、実物体（商品Ｇ２）に仮想物体（商品Ｇ１）を重畳した画像Ｇ１－１を表示する（ステップＳ２）。
　また、端末装置１００は、仮想物体を重畳する際にマーカーとして指定された実物体（商品Ｇ２）から、実環境下における色のサンプルを取得する。具体的には、端末装置１００は、取得した実物体Ｇ２の画像に基づいて、実環境下における実物体（商品Ｇ２）の色のサンプルを取得する。
　続いて、端末装置１００は、実環境下における実物体（商品Ｇ２）の色のサンプルに基づいて、カメラＣ１の色域補正用のパラメータ（以下、単にパラメータともいう）の推定を行い、仮想物体（商品Ｇ１）の色域を補正する。このとき、端末装置１００は、仮想物体（商品Ｇ１）の色を表現するのに必要な色情報が十分であるか否かを判定する。ここで、端末装置１００は、仮想物体（商品Ｇ１）の色情報と実物体（商品Ｇ２）の色情報とを比較して、両者の色が違いすぎるので、仮想物体（商品Ｇ１）の色を表現する色情報が不足していると判定する。なお、色情報の過不足の判定処理の詳細については後述する。
　端末装置１００は、仮想物体（商品Ｇ１）の色を表現する色情報が不足していると判定すると、不足している色情報を補完する（商品Ｇ２とは異なる）他の実物体の情報が存在するか否かの判定をサーバ装置２００に対して要求する。サーバ装置２００は、端末装置１００から情報の判定要求を受け付ける。サーバ装置２００は、情報の判定要求を受け付けると、利用者Ｕ１による商品の購入履歴に基づいて、利用者Ｕ１が過去に購入した商品の情報を取得する。続いて、サーバ装置２００は、利用者Ｕ１が過去に購入した商品の中から、不足している色情報を補完できる他の実物体として商品Ｇ３を選択する。具体的には、商品Ｇ３は、赤色のスマートフォンである。続いて、サーバ装置２００は、不足している色情報を補完できる他の実物体（商品Ｇ３）を選択すると、選択した他の実物体（商品Ｇ３）に関する情報を端末装置１００に対して送信する。端末装置１００は、他の実物体（商品Ｇ３）に関する情報をサーバ装置２００から取得する。続いて、端末装置１００は、他の実物体（商品Ｇ３）に関する情報を取得すると、他の実物体（商品Ｇ３）を追加で撮像するよう利用者Ｕ１に対して提案する（ステップＳ３）。
　利用者Ｕ１は、端末装置１００からの提案を受けて、実物体（商品Ｇ２）に追加して他の実物体（商品Ｇ３）を端末装置１００のカメラＣ１に映す。端末装置１００は、カメラＣ１によって撮像された他の実物体（商品Ｇ３）の画像を取得する。続いて、端末装置１００は、取得した他の実物体（商品Ｇ３）の画像に基づいて、他の実物体（商品Ｇ３）を認識するとともに、他の実物体（商品Ｇ３）の位置及び姿勢を推定する。また、端末装置１００は、取得した他の実物体（商品Ｇ３）の画像に基づいて、実環境下における他の実物体（商品Ｇ３）の色のサンプルを取得する。
　続いて、端末装置１００は、実環境下における他の実物体（商品Ｇ３）の色のサンプルに基づいて、仮想物体（商品Ｇ１）の色域を補正する。なお、仮想物体の色域の補正処理の詳細については後述する。
　続いて、端末装置１００は、補正後の仮想物体（商品Ｇ１）の色域に基づいて、仮想物体（商品Ｇ１）の色を補正する。続いて、端末装置１００は、マーカーである実物体（商品Ｇ２）に色補正後の仮想物体（商品Ｇ１）を重畳した画像Ｇ１－２を表示する（ステップＳ４）。
　上述したとおり、端末装置１００は、所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する。また、端末装置１００は、利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、仮想物体の色域を補正する。このように、端末装置１００は、仮想物体の色を表現する色情報が足りない場合には、利用者に対して不足した色情報を補完できる他の実物体の撮像を提案して、他の実物体の色情報に基づいて、仮想物体の色域を補正する。これにより、端末装置１００は、利用者の身近にある実物体を色見本として用いることで、より簡易に仮想物体の色域補正を可能とする。したがって、端末装置１００は、仮想物体の色補正に関する利便性を向上させることができる。
［１－２．色域補正用のパラメータ推定と観測誤差との関係］
　次に、図２－図４を用いて、色域補正用のパラメータ推定と観測誤差との関係について説明する。ここで、色域補正用のパラメータ推定とは、情報処理システム１が仮想物体の色域を実環境に合わせて補正する際のパラメータの推定を指す。また、観測とは、情報処理システム１が仮想物体を重畳する際にマーカーとして指定された実物体の画像から実環境下における実物体の色のサンプルを取得することを指す。
　色域補正用のパラメータ推定と観測誤差との関係について説明する前に、色彩値、色空間、および色域について説明する。色彩値とは、色を表す数値を示す。色彩値を表す指標はいくつかあるが、本開示の実施形態では、一般的によく使用されている指標であるCIE　Labという色彩値を用いて説明する。CIE　Labとは、CIE（国際照明委員会）が定義したLabという意味でL*a*b*とも記載される。L*a*b*のうち「L*」は明度（明るい、暗い）を表す。また、L*a*b*のうち「a*」は緑から赤にかけての色味の強さを表す。また、L*a*b*のうち「b*」は青から黄にかけての色味の強さを表す。これら３つの値は、それぞれ独立した指標なので、それぞれを３つの直交する座標軸にとって３次元の直交座標系で表現することができる。これをL*a*b*色空間（以下、色空間ともいう）と呼ぶ。色彩値は、色空間中の点の座標で示される。また、色域とは、色空間の部分を指す。言い換えると、色域とは、色空間における色彩値の範囲（領域）を示す。
　次に、色域補正用のパラメータ推定について説明する。例えば、下記の式を用いて色域補正用のパラメータを推定する方法がある。
Figure JPOXMLDOC01-appb-M000001
　上記の式において、(v)は入力カラー(e)における補正量を表し、(Ф)は各観測サンプルカラー(i)に対する補正量を司る関数である。これらのサンプルに対して重み（w）付きの平均を行う事で最終的な補正量を計算する。ただし、この式から見て取れるように、補正量はサンプルに強く依存しているため、これら観測サンプルに誤差が生じた場合、最終的なカラー補正の推定にまで誤差が伝搬されることとなる。また、補正したい色が観測サンプルから遠いほど、その誤差は大きくなる。この点については、後述する図２－図４を用いて詳しく説明する。
　また、下記の式を用いて色域補正用のパラメータを推定する方法がある。
Figure JPOXMLDOC01-appb-M000002
　上記の式において、カラー補正は補正マトリックスで表現される。そして、サンプルされているカラーと既知の値の最小値を求める様に補正マトリックス求める。このマトリックスを求める際、サンプルカラーと偏りにより、サンプルされていない領域が大きくずれる可能性が高い。
　上記のように、観測のカラーサンプルと表現したい色が合ってない場合、表現そのものに失敗する可能性が高い。そのため、既存のカラーチャートを使用したキャリブレーションでは、表現に失敗しないように、補正用のカラーサンプルの種類を出来るだけ広くとっている。そのため、特殊なチャートを必要とする。
　図２－図４の説明に戻る。図２－図４では、L*a*b*色空間を２次元空間によって模式的に示す。図２－図４に示すL*a*b*色空間における各点は、各点の色彩値に対応する色を示す。図２－図４における四角（黒色の四角印）は、実物体（図１に示す商品Ｇ２に対応）の本来の色のサンプルを示す。ここで、本来の色とは、情報処理システム１のデータベース（例えば、後述する商品情報記憶部２２１）に登録されている実物体の色情報を指す。また、星形（黒色の星印）は、実環境下で取得された実物体の色のサンプルを示す。また、点線の矢印は、実物体の本来の色のサンプルと、実環境下で取得された実物体の色のサンプルとの対応関係を示す。また、図２－図４の左側における実線の枠は、補正前の仮想物体（図１の商品Ｇ１に対応）の色域を示す。また、図２－図４の右側における点線の枠は、補正前の仮想物体の色域を示す。また、図２－図４の右側における実線の枠は、補正後の仮想物体の色域を示す。
　続いて、図２を用いて、観測誤差を含まない場合における色域補正用のパラメータ推定と観測誤差との関係について説明する。図２は、色域補正用のパラメータ推定と観測誤差との関係について説明するための図（観測誤差を含まない場合）である。図２に示す例では、情報処理システム１によって実環境下における実物体の色のサンプル（黒色の星印）が正しく取得された場合（観測誤差がない場合）を示す。例えば、観測誤差がない図２の場合には、実物体の本来の色の各サンプル（黒色の四角印）から実環境下における実物体の色の各サンプル（黒色の星印）に向かう各点線の矢印で示す各ベクトルの向きと大きさがほぼ等しい。
　図２の左側に示す黒丸（黒色の丸印）および図２の右側に示す白丸（白色の丸印）は、補正前の仮想物体の色を示す。また、図２の右側に示す格子柄の丸は、色域補正後の仮想物体の色を示す。具体的には、情報処理システム１は、図２に示す実物体の本来の色の各サンプル（黒色の四角印）から実環境下における実物体の色の各サンプル（黒色の星印）に向かう各点線の矢印で示す各ベクトルに基づいて、仮想物体の色域補正用のパラメータを推定する。情報処理システム１は、例えば、上記の数１または数２に基づいて仮想物体の色域補正用のパラメータを推定する。続いて、情報処理システム１は、パラメータを推定すると、推定したパラメータに基づいて、仮想物体の色域を補正する（実線の枠）。色補正の方法はいくつかあり、情報処理システム１は、例えば、上記の数１または数２に基づいて色補正を行う。情報処理システム１による色補正の結果、図２の右側に示すように、補正前の仮想物体の色（白色の丸印）から補正後の仮想物体の色（格子柄の丸印）に向かう実線の矢印ほどの色補正がなされる。図２に示すように、観測誤差がない場合、仮想物体の色は正しく補正できる。
　続いて、図３を用いて、観測誤差を含む場合における色域補正用のパラメータ推定と観測誤差との関係について説明する。図３は、色域補正用のパラメータ推定と観測誤差との関係について説明するための図（観測誤差を含む場合）である。図３に示す例では、情報処理システム１によって実環境下における実物体の色のサンプル（黒色の星印）の一部が誤って取得された場合（観測誤差を含む場合）を示す。例えば、観測誤差を含む図３の場合には、実物体の本来の色の各サンプル（黒色の四角印）から実環境下における実物体の色の各サンプル（黒色の星印）に向かう各点線の矢印で示す各ベクトルのうち、３つのベクトルの向きは同じであるが、一つのベクトルの向きが他の３つのベクトルの向きと逆向きになっている。図３では、他の３つのベクトルの向きと逆向きのベクトルの先にある色のサンプル（黒色の星印）が観測誤差に相当する。
　図３の左側に示す黒丸（黒色の丸印）および図３の右側に示す白丸（白色の丸印）は、補正前の仮想物体の色を示す。また、図３の右側に示す黒丸（黒色の丸印）は、色域補正後の仮想物体の色を示す。また、図３の右側に示す格子柄の丸は、正しい観測が行われた場合（観測誤差を含まない場合）の補正後の仮想物体の色を示す。具体的には、情報処理システム１は、図３に示す実物体の本来の色の各サンプル（黒色の四角印）から実環境下における実物体の色の各サンプル（黒色の星印）に向かう各点線の矢印で示す各ベクトルに基づいて、仮想物体の色域補正用のパラメータを推定する。情報処理システム１は、例えば、上記の数１または数２に基づいて仮想物体の色域補正用のパラメータを推定する。続いて、情報処理システム１は、パラメータを推定すると、推定したパラメータに基づいて、仮想物体の色域を補正する（実線の枠）。上述したように、色補正の方法はいくつかあり、情報処理システム１は、例えば、上記の数１または数２に基づいて色補正を行う。情報処理システム１による色補正の結果、図３の右側に示すように、補正前の仮想物体の色（白色の丸印）から補正後の仮想物体の色（黒色の丸印）に向かう実線の矢印ほどの色補正がなされる。
　ここで、図３に示す例では、図４に示す例と比べて、実物体の色の各サンプル（黒色の四角印）と補正前の仮想物体の色（各図の左側では黒色の丸印、右側では白色の丸印）との色空間における距離が遠い。図３に示すように、観測誤差を含む場合であって、かつ、実物体の色の各サンプルと補正前の仮想物体の色との色空間における距離が遠い場合には、正しい観測が行われた場合（観測誤差を含まない場合）の補正後の仮想物体の色（格子柄の丸印）と誤って補正された仮想物体の色（黒色の丸印）との色空間における距離が遠くなる。すなわち、図３に示すように、実物体の色の各サンプルと補正前の仮想物体の色との色空間における距離が遠い場合には、観測誤差の影響によって生じる補正後の仮想物体の色の誤差が大きくなる。
　続いて、図４を用いて、観測誤差を含む場合における色域補正用のパラメータ推定と観測誤差との関係について説明する。図４は、色域補正用のパラメータ推定と観測誤差との関係について説明するための図（観測誤差を含む場合）である。図４に示す例では、図３と同様に、情報処理システム１によって実環境下における実物体の色のサンプル（黒色の星印）の一部が誤って取得された場合（観測誤差を含む場合）を示す。例えば、観測誤差を含む図４の場合には、図３と同様に、実物体の本来の色の各サンプル（黒色の四角印）から実環境下における実物体の色の各サンプル（黒色の星印）に向かう各点線の矢印で示す各ベクトルのうち、３つのベクトルの向きは同じであるが、一つのベクトルの向きが他の３つのベクトルの向きと逆向きになっている。図４では、他の３つのベクトルの向きと逆向きのベクトルの先にある色のサンプル（黒色の星印）が観測誤差に相当する。
　図４の左側に示す黒丸（黒色の丸印）および図４の右側に示す白丸（白色の丸印）は、補正前の仮想物体の色を示す。また、図４の右側に示す黒丸（黒色の丸印）は、色域補正後の仮想物体の色を示す。また、図４の右側に示す格子柄の丸は、正しい観測が行われた場合（観測誤差を含まない場合）の補正後の仮想物体の色を示す。具体的には、情報処理システム１は、図４に示す実物体の本来の色の各サンプル（黒色の四角印）から実環境下における実物体の色の各サンプル（黒色の星印）に向かう各点線の矢印で示す各ベクトルに基づいて、仮想物体の色域補正用のパラメータを推定する。情報処理システム１は、例えば、上記の数１または数２に基づいて仮想物体の色域補正用のパラメータを推定する。続いて、情報処理システム１は、パラメータを推定すると、推定したパラメータに基づいて、仮想物体の色域を補正する（実線の枠）。上述したように、色補正の方法はいくつかあり、情報処理システム１は、例えば、上記の数１または数２に基づいて色補正を行う。情報処理システム１による色補正の結果、図４の右側に示すように、補正前の仮想物体の色（白色の丸印）から補正後の仮想物体の色（黒色の丸印）に向かう実線の矢印ほどの色補正がなされる。
　ここで、図４に示す例では、図３に示す例と比べて、実物体の色の各サンプル（黒色の四角印）と補正前の仮想物体の色（各図の左側では黒色の丸印、右側では白色の丸印）との色空間における距離が近い。図４に示すように、観測誤差を含む場合であって、かつ、実物体の色の各サンプルと補正前の仮想物体の色との色空間における距離が近い場合には、正しい観測が行われた場合（観測誤差を含まない場合）の補正後の仮想物体の色（格子柄の丸印）と誤って補正された仮想物体の色（黒色の丸印）との色空間における距離が相対的に近い。すなわち、図４に示すように、実物体の色の各サンプルと補正前の仮想物体の色との色空間における距離が近い場合には、観測誤差の影響によって生じる補正後の仮想物体の色の誤差は小さい。
　図３に示すように、実物体の色の各サンプルと補正前の仮想物体の色との色空間における距離が遠い場合には、観測誤差の影響によって生じる補正後の仮想物体の色の誤差が大きくなる可能性が高い。そこで、実施形態に係る情報処理システム１は、実物体の色の各サンプルと補正前の仮想物体の色との色空間における距離が遠い場合には、実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する。
［１－３．情報処理システムの構成］
　次に、図５を用いて、実施形態に係る情報処理システムの構成について説明する。図５は、実施形態に係る情報処理システムの構成例を示す図である。図５に示すように、情報処理システム１には、端末装置１００とサーバ装置２００とが含まれる。端末装置１００と、サーバ装置２００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図５に示す情報処理システム１には、任意の数の端末装置１００と任意の数のサーバ装置２００とが含まれてもよい。
　端末装置１００は、利用者によって利用される情報処理装置である。端末装置１００は、例えば、デスクトップ型ＰＣ（Personal　Computer）や、ノート型ＰＣや、スマートフォンや、タブレット型端末や、携帯電話機や、ＰＤＡ（Personal　Digital　Assistant）等により実現される。図１に示す例では、端末装置１００はデスクトップ型ＰＣである。
　サーバ装置２００は、電子商取引サービスを提供する情報処理装置である。サーバ装置２００は、商品に関する情報を記憶する。具体的には、サーバ装置２００は、商品を識別する識別情報と商品の形状、特徴点および色情報を対応付けて記憶する。サーバ装置２００は、端末装置１００の要求に応じて商品の情報を提供する。また、サーバ装置２００は、利用者による商品の購入履歴に関する情報を記憶する。
［１－４．端末装置の構成］
　次に、図６を用いて、実施形態に係る端末装置１００について説明する。図６は、実施形態に係る端末装置１００の構成例を示す図である。図６に示すように、端末装置１００は、通信部１１０と、撮像部１２０と、入力部１３０と、出力部１４０と、記憶部１５０と、制御部１６０とを有する。
（通信部１１０）
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、サーバ装置２００との間で情報の送受信を行う。
（撮像部１２０）
　撮像部１２０は、利用者または周辺環境に関する各種情報を撮像する機能を有する。図１に示す例では、撮像部１２０は、端末装置１００の上部に設置されたカメラＣ１を含む。例えば、撮像部１２０は、カメラに提示された物体を撮像する。撮像部１２０は、レンズ等の光学系と、ＣＣＤ（Charge　Coupled　Device）イメージセンサ、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）センサ等の撮像素子と、を有する。
（入力部１３０）
　入力部１３０は、ユーザから各種操作を受け付ける入力装置である。例えば、入力部１３０は、キーボードやマウスや操作キー等によって実現される。
（出力部１４０）
　出力部１４０は、表示部１４１と音声出力部１４２とを有する。表示部１４１は、各種情報を表示するための表示装置である。例えば、表示部１４１は、液晶ディスプレイ等によって実現される。なお、端末装置１００にタッチパネルが採用された場合には、入力部１３０と表示部１４１とは一体化される。
　音声出力部１４２は、制御部１６０の制御に従って、音声信号を再生する。
（記憶部１５０）
　記憶部１５０は、各種データ及びプログラムを記憶する。具体的には、記憶部１５０は、制御部１６０が各機能を実行するためのプログラムやパラメータを記憶する。例えば、記憶部１５０は、認識部１６２がＡＲマーカーを認識するために用いられるＡＲマーカーに関する情報や、表示制御部１６６がＡＲ表示させる仮想物体に関する情報を記憶する。また、記憶部１５０は、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
（制御部１６０）
　制御部１６０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、端末装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１６０は、コントローラであり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。
　図６に示すように、制御部１６０は、受付部１６１と、認識部１６２と、推定部１６３と、判定部１６４と、提案部１６５と、表示制御部１６６とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１６０の内部構成は、図６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（受付部１６１）
　受付部１６１は、利用者から仮想物体の選択を受け付ける。具体的には、受付部１６１は、入力部１３０を介して、利用者から仮想物体の選択操作を受け付ける。続いて、受付部１６１は、利用者から仮想物体の選択操作を受け付けると、選択された仮想物体に関する情報をサーバ装置２００に対して要求する。続いて、受付部１６１は、サーバ装置２００から仮想物体に関する情報を取得する。例えば、受付部１６１は、仮想物体の形状に関する情報や仮想物体の色情報を取得する。例えば、受付部１６１は、仮想物体の色のサンプルを取得する。
　図１に示す例では、受付部１６１は、利用者Ｕ１によって選択された仮想物体（商品Ｇ１）を識別する商品ＩＤ「Ｇ１」を送信するとともに、仮想物体（商品Ｇ１）に関する情報をサーバ装置２００に対して要求する。続いて、受付部１６１は、サーバ装置２００から仮想物体（商品Ｇ１）の形状に関する情報や仮想物体（商品Ｇ１）の色情報を取得する。例えば、受付部１６１は、仮想物体（商品Ｇ１）の色のサンプルを取得する。
　また、受付部１６１は、利用者から仮想物体を重畳する際にマーカーとして用いる実物体の指定を受け付ける。具体的には、受付部１６１は、撮像部１２０によって撮像された実物体（マーカー）の画像を取得する。続いて、受付部１６１は、実物体（マーカー）を認識するために必要な情報をサーバ装置２００に対して要求する。続いて、受付部１６１は、サーバ装置２００から実物体（マーカー）を認識するために必要な情報を取得する。例えば、受付部１６１は、実物体（マーカー）の特徴点や実物体（マーカー）の色情報を取得する。例えば、受付部１６１は、実物体（マーカー）の色のサンプルを取得する。
　図１に示す例では、受付部１６１は、撮像部１２０によって撮像された実物体（商品Ｇ２）の画像を取得する。続いて、受付部１６１は、実物体（商品Ｇ２）の画像を送信するとともに、実物体（商品Ｇ２）を認識するために必要な情報をサーバ装置２００に対して要求する。続いて、受付部１６１は、サーバ装置２００から実物体（商品Ｇ２）の特徴点や実物体（商品Ｇ２）の色情報を取得する。例えば、受付部１６１は、実物体（商品Ｇ２）の色のサンプルを取得する。
（認識部１６２）
　認識部１６２は、受付部１６１から実物体（マーカー）の画像を取得する。続いて、認識部１６２は、取得した実物体の画像に基づいて、実物体（マーカー）を認識するとともに、実物体の位置及び姿勢を推定する。例えば、認識部１６２は、サーバ装置２００から取得した実物体（マーカー）の特徴点や実物体（マーカー）の色情報と実物体（マーカー）の画像とを比較して、実物体（マーカー）を認識するとともに、実物体（マーカー）の位置及び姿勢を推定する。
　図１に示す例では、認識部１６２は、受付部１６１から実物体（商品Ｇ２）の画像を取得する。続いて、認識部１６２は、取得した実物体（商品Ｇ２）の画像に基づいて、実物体（商品Ｇ２）を認識するとともに、実物体の位置及び姿勢を推定する。例えば、認識部１６２は、サーバ装置２００から取得した実物体（商品Ｇ２）の特徴点や実物体（商品Ｇ２）の色情報と実物体（商品Ｇ２）の画像とを比較して、実物体（商品Ｇ２）を認識するとともに、実物体（商品Ｇ２）の位置及び姿勢を推定する。
　また、認識部１６２は、実物体（マーカー）から、実環境下における実物体（マーカー）の色のサンプルを取得する。具体的には、認識部１６２は、取得した実物体（マーカー）の画像に基づいて、実環境下における実物体（マーカー）の色のサンプルを取得する。
　図１に示す例では、認識部１６２は、実物体（商品Ｇ２）から、実環境下における実物体（商品Ｇ２）の色のサンプルを取得する。具体的には、認識部１６２は、取得した実物体（商品Ｇ２）の画像に基づいて、実環境下における実物体（商品Ｇ２）の色のサンプルを取得する。
　認識部１６２は、撮像部１２０によって撮像された他の実物体の画像を取得する。続いて、認識部１６２は、取得した他の実物体の画像に基づいて、他の実物体を認識するとともに、他の実物体の位置及び姿勢を推定する。また、認識部１６２は、取得した他の実物体の画像に基づいて、実環境下における他の実物体の色のサンプルを取得する。
　図１に示す例では、認識部１６２は、カメラＣ１によって撮像された他の実物体（商品Ｇ３）の画像を取得する。続いて、認識部１６２は、取得した他の実物体（商品Ｇ３）の画像に基づいて、他の実物体（商品Ｇ３）を認識するとともに、他の実物体（商品Ｇ３）の位置及び姿勢を推定する。また、認識部１６２は、取得した他の実物体（商品Ｇ３）の画像に基づいて、実環境下における他の実物体（商品Ｇ３）の色のサンプルを取得する。
（推定部１６３）
　推定部１６３は、仮想物体の色域補正用のパラメータを推定する。推定部１６３は、認識部１６２が取得した実環境下における実物体の色のサンプルに基づいて、撮像部１２０の色域補正用のパラメータの推定を行う。具体的には、推定部１６３は、受付部１６１が取得した実物体（マーカー）の色のサンプルの色彩値と、認識部１６２が取得した実環境下における実物体（マーカー）の色のサンプルの色彩値との色空間における差分ベクトルを算出する。続いて、推定部１６３は、算出した差分ベクトルに基づいて、仮想物体の色域補正用のパラメータを推定する。例えば、推定部１６３は、上記の数１または数２に基づいて、仮想物体の色域補正用のパラメータを推定する。
　図１に示す例では、推定部１６３は、受付部１６１が取得した実物体（商品Ｇ２）の色のサンプルの色彩値と、認識部１６２が取得した実環境下における実物体（商品Ｇ２）の色のサンプルの色彩値との色空間における差分ベクトルを算出する。続いて、推定部１６３は、算出した差分ベクトルに基づいて、仮想物体（商品Ｇ１）の色域補正用のパラメータを推定する。
（判定部１６４）
　判定部１６４は、推定部１６３がパラメータを推定すると、仮想物体の色を表現するのに必要な色情報が十分であるか否かを判定する。具体的には、判定部１６４は、実物体の色情報と、仮想物体の色情報との比較に基づいて、仮想物体の色を表現するのに必要な色情報が十分であるか否かを判定する。例えば、判定部１６４は、実物体の色彩値と、仮想物体の色彩値との色空間における距離が所定の閾値を上回る場合に、仮想物体の色を表現するのに必要な色情報が十分ではないと判定する。あるいは、判定部１６４は、実物体の色域と、仮想物体の色域とが重複する領域の色空間における面積が所定の閾値を下回る場合に、仮想物体の色を表現するのに必要な色情報が十分ではないと判定する。
　判定部１６４は、仮想物体の色を表現するのに必要な色情報が十分ではないと判定すると、仮想物体の色を表現する色情報を補完する他の実物体（追加物体ともいう）の撮像が必要であると判定する。判定部１６４は、仮想物体の色を表現する色情報を補完する他の実物体の撮像が必要であると判定すると、仮想物体の色を表現する色情報を補完する他の実物体に関する情報の有無の判定をサーバ装置２００に対して要求する。
　図１に示す例では、判定部１６４は、仮想物体（商品Ｇ１）の色を表現する色情報が不足していると判定する。また、判定部１６４は、仮想物体（商品Ｇ１）の色を表現する色情報が不足していると判定すると、不足している色情報を補完する（商品Ｇ２とは異なる）他の実物体の情報が存在するか否かの判定をサーバ装置２００に対して要求する。
　ここで、図１０及び図１１を用いて、仮想物体の色を表現する色情報の補完要否の判定処理について説明する。まず、図１０を用いて説明する。図１０は、本開示の実施形態に係る色情報補完要否の判定処理の一例を示す図である。図１０では、判定部１６４は、仮想物体の各カラーサンプルに対して、撮像された実物体（既知物体ともいう）の全てのカラーサンプルのCIE　Lab空間での距離の計算を行い、最短距離を計算する。続いて、判定部１６４は、仮想物体の全カラーサンプルの最短距離の中で、一つ、もしくは幾つかのサンプルが一定の閾値を上回っている場合、表現不可の判断を行う。続いて、判定部１６４は、表現不可の判断を行うと、サーバ装置２００に対して、閾値を上回ったサンプルに近い色を持つ複数の物体を追加観測の候補として挙げるよう要求する。
　次に、図１１を用いて説明する。図１１は、本開示の実施形態に係る色情報補完要否の判定処理の一例を示す図である。図１１では、色補正をCIELab空間上の補正フィールドと表現した場合、判定部１６４は、仮想物体の色が占める領域を事前情報として算出する。次に、判定部１６４は、実物体を観測している際、仮想物体の色領域に対して、実物体の色サンプルが占める領域のカバー率を計算する。判定部１６４は、実物体の色サンプルが占める領域のカバー率が所定の閾値を下回る場合、表現不可の判断を行う。続いて、判定部１６４は、表現不可の判断を行うと、サーバ装置２００に対して、足りない領域を補えるような色を持つ複数の物体を追加観測の候補として挙げるよう要求する。
（提案部１６５）
　提案部１６５は、所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する。具体的には、提案部１６５は、サーバ装置２００から仮想物体の色を表現する色情報を補完する他の実物体に関する情報を取得する。続いて、提案部１６５は、仮想物体の色を表現する色情報を補完する他の実物体に関する情報を取得すると、他の実物体の画像とともに、他の実物体の追加の撮像を促すイラスト（「?」マークなど）やメッセージを表示部１４１に表示する。例えば、提案部１６５は、利用者による商品の購入履歴に基づいて選択された他の実物体の撮像を利用者に対して提案する。提案部１６５は、利用者によって購入された商品の中から選択された他の実物体の撮像を利用者に対して提案する。
　また、提案部１６５は、所定の実物体の色情報と、仮想物体の色情報との比較に基づいて、他の実物体の撮像を利用者に対して提案する。具体的には、提案部１６５は、所定の実物体の色彩値と、仮想物体の色彩値との色空間における距離が所定の閾値を上回る場合に、他の実物体の撮像を利用者に対して提案する。具体的には、提案部１６５は、判定部１６４によって所定の実物体の色彩値と、仮想物体の色彩値との色空間における距離が所定の閾値を上回ると判定された場合に、サーバ装置２００から取得した他の実物体の撮像を利用者に対して提案する。
　あるいは、提案部１６５は、所定の実物体の色域と、仮想物体の色域とが重複する領域の色空間における面積が所定の閾値を下回る場合に、他の実物体の撮像を利用者に対して提案する。具体的には、提案部１６５は、判定部１６４によって所定の実物体の色域と、仮想物体の色域とが重複する領域の色空間における面積が所定の閾値を下回ると判定された場合に、サーバ装置２００から取得した他の実物体の撮像を利用者に対して提案する。
　図１に示す例では、提案部１６５は、他の実物体（商品Ｇ３）に関する情報をサーバ装置２００から取得する。続いて、提案部１６５は、他の実物体（商品Ｇ３）に関する情報を取得すると、他の実物体（商品Ｇ３）を追加で撮像するよう利用者Ｕ１に対して提案する。
（表示制御部１６６）
　表示制御部１６６は、利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、仮想物体の色域を補正する。表示制御部１６６は、上述した図２－図４で説明したように、仮想物体の色域を補正する。また、表示制御部１６６は、仮想物体の色域を補正すると、仮想物体を実物体に重畳して表示するよう表示部１４１を制御する。
［１－５．サーバ装置の構成］
　次に、図７を用いて、実施形態に係るサーバ装置２００について説明する。図７は、実施形態に係るサーバ装置２００の構成例を示す図である。図７に示すように、サーバ装置２００は、通信部２１０と、記憶部２２０と、制御部２３０とを有する。
（通信部２１０）
　通信部２１０は、例えば、ＮＩＣ等によって実現される。そして、通信部２１０は、ネットワークと有線または無線で接続され、例えば、端末装置１００との間で情報の送受信を行う。
（記憶部２２０）
　記憶部２２０は、各種データ及びプログラムを記憶する。記憶部２２０は、例えば、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２２０は、図７に示すように、商品情報記憶部２２１と利用者情報記憶部２２２を有する。
（商品情報記憶部２２１）
　商品情報記憶部２２１は、商品に関する各種情報を記憶する。図８に、商品情報記憶部２２１の一例を示す。図８は、本開示の実施形態に係る商品情報記憶部の一例を示す図である。図８に示す例では、商品情報記憶部２２１は、「商品ＩＤ」、「色情報」といった項目を有する。
　「商品ＩＤ」は、商品を識別する識別情報を示す。「色情報」は、商品の色に関する情報を示す。
（利用者情報記憶部２２２）
　利用者情報記憶部２２２は、利用者に関する各種情報を記憶する。図９に、商品情報記憶部２２１の一例を示す。図９は、本開示の実施形態に係る利用者情報記憶部の一例を示す図である。図９に示す例では、利用者情報記憶部２２２は、「利用者ＩＤ」、「購入履歴」といった項目を有する。
　「利用者ＩＤ」は、利用者を識別する識別情報を示す。「購入履歴」は、利用者による商品の購入履歴に関する情報を示す。
（制御部２３０）
　図７の説明に戻って、制御部２３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、サーバ装置２００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部２３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
　図７に示すように、制御部２３０は、受信部２３１と、送信部２３２と、判定部２３３と、認識部２３４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部２３０の内部構成は、図７に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（受信部２３１）
　受信部２３１は、端末装置１００から仮想物体に関する情報の要求を受信する。また、受信部２３１は、端末装置１００から実物体（マーカー）を認識するために必要な情報の要求を受信する。
（送信部２３２）
　送信部２３２は、受信部２３１が仮想物体に関する情報の要求を受信すると、仮想物体に関する情報を端末装置１００に対して送信する。具体的には、送信部２３２は、商品情報記憶部２２１を参照して、仮想物体の形状に関する情報や仮想物体の色情報を取得する。続いて、送信部２３２は、仮想物体の形状に関する情報や仮想物体の色情報を送信する。
　また、送信部２３２は、受信部２３１が実物体（マーカー）を認識するために必要な情報の要求を受信すると、実物体（マーカー）を認識するために必要な情報を端末装置１００に対して送信する。具体的には、送信部２３２は、商品情報記憶部２２１を参照して、実物体（マーカー）の特徴点や実物体（マーカー）の色情報を取得する。続いて、送信部２３２は、実物体（マーカー）の特徴点や実物体（マーカー）の色情報を送信する。
（判定部２３３）
　判定部２３３は、仮想物体の色を表現する色情報を補完可能な他の実物体（以下、追加物体ともいう）に関する情報の有無に関する判定要求を端末装置１００から受け付ける。判定部２３３は、端末装置１００の要求に応じて、追加物体に関する情報の有無を判定する。具体的には、判定部２３３は、追加物体に関する情報の有無の判定要求を受信すると、利用者情報記憶部２２２を参照して、送信元の端末装置１００の利用者による商品の購入履歴が存在するか否かを判定する。判定部２３３は、利用者による商品の購入履歴が存在すると判定すると、利用者が購入した商品を特定する。続いて、判定部２３３は、利用者が購入した商品を特定すると、商品情報記憶部２２１を参照して、利用者が購入した商品の色情報を取得する。続いて、判定部２３３は、利用者が購入した商品の色情報を取得すると、利用者が購入した商品の中から、仮想物体の色を表現する色情報を補完可能な商品を選択する。続いて、判定部２３３は、選択した商品に関する情報を端末装置１００に送信する。
　一方、判定部２３３は、利用者による商品の購入履歴が存在しないと判定した場合、端末装置１００のカメラによって撮像された現在の画像の送信を端末装置１００に要求する。
　図１に示す例では、判定部２３３は、端末装置１００から情報の判定要求を受け付ける。判定部２３３は、情報の判定要求を受け付けると、利用者Ｕ１による商品の購入履歴に基づいて、利用者Ｕ１が過去に購入した商品の情報を取得する。続いて、判定部２３３は、利用者Ｕ１が過去に購入した商品の中から、不足している色情報を補完できる他の実物体として商品Ｇ３を選択する。具体的には、商品Ｇ３は、赤色のスマートフォンである。続いて、判定部２３３は、不足している色情報を補完できる他の実物体（商品Ｇ３）を選択すると、選択した他の実物体（商品Ｇ３）に関する情報を端末装置１００に対して送信する。
（認識部２３４）
　認識部２３４は、端末装置１００のカメラによって撮像された現在の画像を端末装置１００から取得する。認識部２３４は、画像を取得すると、取得した画像の中に仮想物体の色を表現する色情報を補完可能な実物体が映っているか否かを判定する。認識部２３４は、取得した画像の中に仮想物体の色を表現する色情報を補完可能な実物体が映っていると判定した場合は、仮想物体の色を表現する色情報を補完可能な実物体に関する情報を端末装置１００に送信する。一方、認識部２３４は、取得した画像の中に仮想物体の色を表現する色情報を補完可能な実物体が映っていないと判定した場合は、商品情報記憶部２２１を参照して、仮想物体の色を表現する色情報を補完可能な実物体を選択して、選択した実物体に関する情報を端末装置１００に送信する。
［１－６．情報処理のフロー図］
　次に、図１２を用いて、実施形態に係る情報処理システムによる情報処理の手順について説明する。図１２は、実施形態に係る情報処理手順を示すフローチャートである。図１２に示す例では、情報処理システム１は、仮想物体を重畳する際にマーカーとして用いられる物体（実物体）を認識するとともに、物体の位置及び姿勢を推定する（ステップＳ１１）。
　続いて、情報処理システム１は、物体の色のサンプルを取得する（ステップＳ１２）。続いて、情報処理システム１は、取得した物体の色のサンプルに基づいて、色域補正用のパラメータを推定する（ステップＳ１３）。
　続いて、情報処理システム１は、重畳物（仮想物体）のカラーパレットと取得した取得した物体の色のサンプルとを比較する（ステップＳ１４）。
　続いて、情報処理システム１は、重畳物（仮想物体）の色を表現するのに十分な色のサンプルが取得されているか否かを判定する（ステップＳ１５）。情報処理システム１は、重畳物（仮想物体）の色を表現するのに十分な色のサンプルが取得されていると判定した場合（ステップＳ１５でＹｅｓ）、利用者に対して追加の物体の観測（撮像）を提案しない（ステップＳ１６）。
　一方、情報処理システム１は、重畳物（仮想物体）の色を表現するのに十分な色のサンプルが取得されていないと判定した場合（ステップＳ１５でＮｏ）、データベース（例えば、商品情報記憶部２２１）から不足している色のサンプルを持つ物体を推定し、利用者に対して追加の物体の観測（撮像）を提案する（ステップＳ１７）。
［１－７．情報処理のシーケンス図］
　次に、図１３を用いて、実施形態に係る各装置による情報処理の手順について説明する。図１３は、実施形態に係る情報処理手順を示すシーケンス図である。図１３に示す例では、端末装置１００は、拡張現実によって重畳して表示したい仮想物体に関する情報をサーバ装置２００に対して要求する。また、端末装置１００は、仮想物体を重畳する際にマーカーとして用いられる物体（以下、マーカーともいう）を認識するために必要な情報をサーバ装置２００に対して要求する（ステップＳ１０１）。
　サーバ装置２００は、端末装置１００から情報の要求を受信する。サーバ装置２００は、情報の要求を受信すると、仮想物体に関する情報として、仮想物体の形状に関する情報や仮想物体の色情報を端末装置１００に対して送信する。また、サーバ装置２００は、マーカーを認識するために必要な情報として、マーカーの特徴点やマーカーの色情報を端末装置１００に対して送信する（ステップＳ１０２）。
　端末装置１００は、サーバ装置２００から仮想物体に関する情報およびマーカーに関する情報を受信する。端末装置１００は、マーカーに関する情報を受信すると、マーカーを認識する（ステップＳ１０３）。続いて、端末装置１００は、マーカーを認識すると、仮想物体の色域補正用のパラメータを推定する（ステップＳ１０４）。続いて、端末装置１００は、パラメータを推定すると、追加物体の撮像の要否を判定する（ステップＳ１０５）。
　端末装置１００は、追加物体の撮像が必要であると判定すると、追加物体に関する情報の有無の判定をサーバ装置２００に対して要求する（ステップＳ１０６）。サーバ装置２００は、追加物体に関する情報の有無を判定する。サーバ装置２００は、追加物体に関する情報が存在すると判定すると、追加物体に関する情報を端末装置１００に対して送信する（ステップＳ１０８）。
　端末装置１００は、サーバ装置２００から追加物体に関する情報を受信する。端末装置１００は、追加物体に関する情報を受信すると、追加物体を撮像する（ステップＳ１０９）。続いて端末装置１００は、追加物体を撮像すると、撮像した追加物体から取得した色のサンプルに基づいて、仮想物体の色域を補正する（ステップＳ１１０）。続いて、端末装置１００は、仮想物体の色域を補正すると、色域補正後の仮想物体をマーカーに重畳してＡＲによって表示する（ステップＳ１１１）。
［１－８．実施形態に係る変形例］
［１－８－１．色補正用マーカーと重畳用マーカーとの併用］
　次に、図１４を用いて、実施形態に係る変形例について説明する。図１４は、本開示の変形例に係る情報処理の一例を示す図である。図１４に示す例では、マーカー用の実物体（商品Ｇ２）と、色補正用の実物体（商品Ｇ３）とを併用する。この場合、マーカー用の実物体（商品Ｇ２）が仮想物体（商品Ｇ１）と似ているため、ＡＲ体験として、仮想物体に近い触覚や物体のデフォーメションが表現可能となる。図１４に示す例では、マーカー用の実物体自体が仮想物体と似たカラーパレットを持つ必要がないため、形のみ似ている物体をマーカー用に使用し、色の近似は色補正用の実物体で補うことが可能である。
［１－８－２．商品の箱である色見本］
　提案部１６５は、利用者によって購入された商品の包装容器の中から選択された他の実物体の撮像を利用者に対して提案してもよい。例えば、提案部１６５は、利用者によって購入された商品の箱の色情報に基づいて選択された他の実物体の撮像を利用者に対して提案する。
［１－８－３．撮像画像に基づく物体の提案］
　また、提案部１６５は、利用者の端末装置によって撮像された画像に基づいて選択された他の実物体の撮像を利用者に対して提案する。提案部１６５は、利用者の端末装置によって撮像された画像に含まれる物体の中から選択された他の実物体の撮像を利用者に対して提案する。
［１－８－４．物体を提案する優先度の決定方法］
　また、提案部１６５は、他の実物体の色彩値と仮想物体の色彩値との色空間における距離が所定の閾値以上である他の実物体よりも、距離が所定の閾値を下回る他の実物体の撮像を利用者に対して優先的に提案する。
　また、提案部１６５は、他の実物体の色情報が所定の実物体の色情報の中に存在する他の実物体よりも、他の実物体の色情報が所定の実物体の色情報の中に存在しない他の実物体の撮像を利用者に対して優先的に提案する。
［２．その他の実施形態］
　上述した実施形態では、端末装置１００とサーバ装置２００とが別々の装置である例について説明したが、端末装置１００とサーバ装置２００とが一体の装置であってもよい。
［３．本開示に係る効果］
　上述のように、本開示に係る情報処理装置（実施形態では端末装置１００）は、提案部（実施形態では提案部１６５）と表示制御部（実施形態では表示制御部１６６）とを備える。提案部１６５は、所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する。表示制御部１６６は、利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、仮想物体の色域を補正する。
　これにより、情報処理装置は、仮想物体の色を表現するのに必要な色情報が足りない場合には、利用者に対して不足した色情報を補完する他の実物体の観測を提案して、他の実物体の色情報に基づいて、仮想物体の色域を補正する。これにより、情報処理装置は、利用者の身近にある物体を色見本として用いることで、より簡易に仮想物体の色域補正を可能とする。したがって、情報処理装置は、仮想物体の色補正に関する利便性を向上させることができる。
　また、提案部１６５は、色情報が既知である既知物体の中から選択された他の実物体の撮像を利用者に対して提案する。また、提案部１６５は、利用者による商品の購入履歴に基づいて選択された他の実物体の撮像を利用者に対して提案する。また、提案部１６５は、利用者によって購入された商品の中から選択された他の実物体の撮像を利用者に対して提案する。
　これにより、情報処理装置は、利用者の身近にある商品を色見本とするよう利用者に対して提案することで、より簡易に仮想物体の色域補正を可能とする。
　また、提案部１６５は、利用者によって購入された商品の包装容器の中から選択された他の実物体の撮像を利用者に対して提案する。
　これにより、情報処理装置は、利用者の身近にある商品の箱等を色見本とするよう利用者に対して提案することで、より簡易に仮想物体の色域補正を可能とする。
　また、提案部１６５は、利用者の端末装置によって撮像された画像に基づいて選択された他の実物体の撮像を利用者に対して提案する。また、提案部１６５は、利用者の端末装置によって撮像された画像に含まれる物体の中から選択された他の実物体の撮像を利用者に対して提案する。
　これにより、情報処理装置は、利用者によって購入された商品が存在しない場合には、利用者の端末装置によって撮像された画像に含まれる物体を色見本とするよう利用者に対して提案することで、より簡易に仮想物体の色域補正を可能とする。
　また、提案部１６５は、所定の実物体の色情報と、仮想物体の色情報との比較に基づいて、他の実物体の撮像を利用者に対して提案する。また、提案部１６５は、所定の実物体の色彩値と、仮想物体の色彩値との色空間における距離が所定の閾値を上回る場合に、他の実物体の撮像を利用者に対して提案する。また、提案部１６５は、所定の実物体の色域と、仮想物体の色域とが重複する領域の色空間における面積が所定の閾値を下回る場合に、他の実物体の撮像を利用者に対して提案する。
　一般的に、実物体の色の各サンプルと補正前の仮想物体の色との色空間における距離が遠い場合には、観測誤差の影響によって生じる補正後の仮想物体の色の誤差が大きくなる可能性が高い。そこで情報処理装置は、補正後の仮想物体の色の誤差が大きくなる可能性が高い場合に他の実物体の撮像を利用者に対して提案することで、よりよい色補正を可能とする。
　また、提案部１６５は、他の実物体の色彩値と仮想物体の色彩値との色空間における距離が所定の閾値以上である他の実物体よりも、距離が所定の閾値を下回る他の実物体の撮像を利用者に対して優先的に提案する。
　これにより、情報処理装置は、色情報を補完することによる色補正改善の効果がより高い物体を優先的に提案するので、よりよい色補正を可能とする。
　また、提案部１６５は、他の実物体の色情報が所定の実物体の色情報の中に存在する他の実物体よりも、他の実物体の色情報が所定の実物体の色情報の中に存在しない他の実物体の撮像を利用者に対して優先的に提案する。
　これにより、情報処理装置は、色情報を補完することによる色補正改善の効果がより高い物体を優先的に提案するので、よりよい色補正を可能とする。
［４．ハードウェア構成］
　上述してきた実施形態や変形例に係る端末装置１００およびサーバ装置２００等の情報機器は、例えば図１５に示すような構成のコンピュータ１０００によって実現される。図１５は、端末装置１００およびサーバ装置２００等の情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係る端末装置１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る端末装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１６０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１５０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する提案部と、
　前記利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、前記仮想物体の色域を補正する表示制御部と、
　を備える情報処理装置。
（２）
　前記提案部は、
　色情報が既知である既知物体の中から選択された前記他の実物体の撮像を前記利用者に対して提案する
　前記（１）に記載の情報処理装置。
（３）
　前記提案部は、
　前記利用者による商品の購入履歴に基づいて選択された前記他の実物体の撮像を前記利用者に対して提案する
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記提案部は、
　前記利用者によって購入された商品の中から選択された前記他の実物体の撮像を前記利用者に対して提案する
　前記（３）に記載の情報処理装置。
（５）
　前記提案部は、
　前記利用者によって購入された商品の包装容器の中から選択された前記他の実物体の撮像を前記利用者に対して提案する
　前記（３）または（４）に記載の情報処理装置。
（６）
　前記提案部は、
　前記利用者の端末装置によって撮像された画像に基づいて選択された前記他の実物体の撮像を前記利用者に対して提案する
　前記（１）または（２）に記載の情報処理装置。
（７）
　前記提案部は、
　前記利用者の端末装置によって撮像された画像に含まれる物体の中から選択された前記他の実物体の撮像を前記利用者に対して提案する
　前記（６）に記載の情報処理装置。
（８）
　前記提案部は、
　前記所定の実物体の色情報と、前記仮想物体の色情報との比較に基づいて、前記他の実物体の撮像を前記利用者に対して提案する
　前記（１）～（７）のいずれか一つに記載の情報処理装置。
（９）
　前記提案部は、
　前記所定の実物体の色彩値と、前記仮想物体の色彩値との色空間における距離が所定の閾値を上回る場合に、前記他の実物体の撮像を前記利用者に対して提案する
　前記（１）～（８）のいずれか一つに記載の情報処理装置。
（１０）
　前記提案部は、
　前記所定の実物体の色域と、前記仮想物体の色域とが重複する領域の色空間における面積が所定の閾値を下回る場合に、前記他の実物体の撮像を前記利用者に対して提案する
　前記（１）～（９）のいずれか一つに記載の情報処理装置。
（１１）
　前記提案部は、
　前記他の実物体の色彩値と前記仮想物体の色彩値との色空間における距離が所定の閾値以上である前記他の実物体よりも、前記距離が所定の閾値を下回る前記他の実物体の撮像を前記利用者に対して優先的に提案する
　前記（１）～（１０）のいずれか一つに記載の情報処理装置。
（１２）
　前記提案部は、
　前記他の実物体の色情報が前記所定の実物体の色情報の中に存在する前記他の実物体よりも、前記他の実物体の色情報が前記所定の実物体の色情報の中に存在しない前記他の実物体の撮像を前記利用者に対して優先的に提案する
　前記（１）～（１１）のいずれか一つに記載の情報処理装置。
（１３）
　コンピュータが、
　所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案し、
　前記利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、前記仮想物体の色域を補正する、
　処理を実行する情報処理方法。
（１４）
　コンピュータに、
　所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する提案手順と、
　前記利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、前記仮想物体の色域を補正する表示制御手順と、
　を実行させるための情報処理プログラム。
　１　　情報処理システム
　１００　　端末装置
　１１０　　通信部
　１２０　　撮像部
　１３０　　入力部
　１４０　　出力部
　１４１　　表示部
　１４２　　音声出力部
　１５０　　記憶部
　１６０　　制御部
　１６１　　受付部
　１６２　　認識部
　１６３　　推定部
　１６４　　判定部
　１６５　　提案部
　１６６　　表示制御部
　２００　　サーバ装置
　２１０　　通信部
　２２０　　記憶部
　２２１　　商品情報記憶部
　２２２　　利用者情報記憶部
　２３０　　制御部
　２３１　　受信部
　２３２　　送信部
　２３３　　判定部
　２３４　　認識部

Claims (14)

  1. 　所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する提案部と、
    　前記利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、前記仮想物体の色域を補正する表示制御部と、
    　を備える情報処理装置。
  2. 　前記提案部は、
    　色情報が既知である既知物体の中から選択された前記他の実物体の撮像を前記利用者に対して提案する
    　請求項１に記載の情報処理装置。
  3. 　前記提案部は、
    　前記利用者による商品の購入履歴に基づいて選択された前記他の実物体の撮像を前記利用者に対して提案する
    　請求項１に記載の情報処理装置。
  4. 　前記提案部は、
    　前記利用者によって購入された商品の中から選択された前記他の実物体の撮像を前記利用者に対して提案する
    　請求項３に記載の情報処理装置。
  5. 　前記提案部は、
    　前記利用者によって購入された商品の包装容器の中から選択された前記他の実物体の撮像を前記利用者に対して提案する
    　請求項３に記載の情報処理装置。
  6. 　前記提案部は、
    　前記利用者の端末装置によって撮像された画像に基づいて選択された前記他の実物体の撮像を前記利用者に対して提案する
    　請求項１に記載の情報処理装置。
  7. 　前記提案部は、
    　前記利用者の端末装置によって撮像された画像に含まれる物体の中から選択された前記他の実物体の撮像を前記利用者に対して提案する
    　請求項６に記載の情報処理装置。
  8. 　前記提案部は、
    　前記所定の実物体の色情報と、前記仮想物体の色情報との比較に基づいて、前記他の実物体の撮像を前記利用者に対して提案する
    　請求項１に記載の情報処理装置。
  9. 　前記提案部は、
    　前記所定の実物体の色彩値と、前記仮想物体の色彩値との色空間における距離が所定の閾値を上回る場合に、前記他の実物体の撮像を前記利用者に対して提案する
    　請求項１に記載の情報処理装置。
  10. 　前記提案部は、
    　前記所定の実物体の色域と、前記仮想物体の色域とが重複する領域の色空間における面積が所定の閾値を下回る場合に、前記他の実物体の撮像を前記利用者に対して提案する
    　請求項１に記載の情報処理装置。
  11. 　前記提案部は、
    　前記他の実物体の色彩値と前記仮想物体の色彩値との色空間における距離が所定の閾値以上である前記他の実物体よりも、前記距離が所定の閾値を下回る前記他の実物体の撮像を前記利用者に対して優先的に提案する
    　請求項１に記載の情報処理装置。
  12. 　前記提案部は、
    　前記他の実物体の色情報が前記所定の実物体の色情報の中に存在する前記他の実物体よりも、前記他の実物体の色情報が前記所定の実物体の色情報の中に存在しない前記他の実物体の撮像を前記利用者に対して優先的に提案する
    　請求項１に記載の情報処理装置。
  13. 　コンピュータが、
    　所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案し、
    　前記利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、前記仮想物体の色域を補正する、
    　処理を実行する情報処理方法。
  14. 　コンピュータに、
    　所定の実物体に重ねて表示される仮想物体の色域の補正に用いられる色情報を補完する他の実物体の撮像を利用者に対して提案する提案手順と、
    　前記利用者によって提示された他の実物体の撮像により取得された色情報に基づいて、前記仮想物体の色域を補正する表示制御手順と、
    　を実行させるための情報処理プログラム。
PCT/JP2020/046342 2019-12-25 2020-12-11 情報処理装置、情報処理方法及び情報処理プログラム WO2021131806A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/757,506 US20220392120A1 (en) 2019-12-25 2020-12-11 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-235264 2019-12-25
JP2019235264 2019-12-25

Publications (1)

Publication Number Publication Date
WO2021131806A1 true WO2021131806A1 (ja) 2021-07-01

Family

ID=76574450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046342 WO2021131806A1 (ja) 2019-12-25 2020-12-11 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (2)

Country Link
US (1) US20220392120A1 (ja)
WO (1) WO2021131806A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170316A (ja) * 2009-01-22 2010-08-05 Konami Digital Entertainment Co Ltd 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
JP2012174116A (ja) * 2011-02-23 2012-09-10 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP2016218547A (ja) * 2015-05-15 2016-12-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2019026747A1 (ja) * 2017-07-31 2019-02-07 日本精機株式会社 車両用拡張現実画像表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180084232A1 (en) * 2015-07-13 2018-03-22 Michael Belenkii Optical See-Through Head Worn Display
CN116775543A (zh) * 2016-09-06 2023-09-19 株式会社半导体能源研究所 电子设备
US11532293B2 (en) * 2020-02-06 2022-12-20 James K. Beasley System and method for generating harmonious color sets from musical interval data
US20210248338A1 (en) * 2020-02-08 2021-08-12 Blocktag, Inc. Systems, methods and apparatuses of a security device
US11715405B1 (en) * 2021-02-10 2023-08-01 Sivalogeswaran Ratnasingam Chroma modification based on ambient light characteristics
US20220343529A1 (en) * 2021-04-23 2022-10-27 Varjo Technologies Oy Image signal processing based on virtual superimposition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170316A (ja) * 2009-01-22 2010-08-05 Konami Digital Entertainment Co Ltd 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
JP2012174116A (ja) * 2011-02-23 2012-09-10 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP2016218547A (ja) * 2015-05-15 2016-12-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2019026747A1 (ja) * 2017-07-31 2019-02-07 日本精機株式会社 車両用拡張現実画像表示装置

Also Published As

Publication number Publication date
US20220392120A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
JP5325267B2 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP6891873B2 (ja) 画像処理装置および方法
CN102685511B (zh) 图像处理设备和图像处理方法
WO2012114639A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
KR20170019359A (ko) 국부적 적응형 히스토그램 등화
CN110121728B (zh) 化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器
US20170280130A1 (en) 2d video analysis for 3d modeling
EP3161725B1 (en) Color identification using infrared imaging
US11727599B2 (en) Color correspondence information generating system, program, and method of generating color correspondence information
WO2015145917A1 (ja) 画像補正装置、画像補正方法およびプログラム記録媒体
JP2017059927A (ja) ユーザ端末、色彩補正システム及び色彩補正方法
WO2021131806A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US9020275B2 (en) Other viewpoint closed surface image pixel value correction device, method of correcting other viewpoint closed surface image pixel value, user position information output device, method of outputting user position information
CN104871526A (zh) 图像处理装置、摄像装置、图像处理方法、图像处理程序
JP5824423B2 (ja) 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
JP4682782B2 (ja) 画像処理装置
US10397483B2 (en) Image processing device, image processing system and non-transitory computer readable medium storing program
EP3407297B1 (en) Method and device for determining a characteristic of a display device
JP5925947B1 (ja) まつげエクステ評価装置、まつげエクステ評価方法、まつげエクステ評価システム、及びプログラム
JP7047596B2 (ja) 画像補正システム及び画像補正方法
JP6404525B2 (ja) 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム
JP5029187B2 (ja) 色座標変換装置、撮像装置、色座標変換プログラム、色座標変換方法
JP6187119B2 (ja) 画像色調整装置、画像色調整方法、およびプログラム
JP2010081051A (ja) 色変換方法、色変換装置、色変換プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20905179

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20905179

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP